爱看读书 通过搜索各大小说站为您自动抓取各类小说的最快更新供您阅读!

用故事解释Softmax函数的溢出问题

故事背景:龙族宴会上的金碗

在一座神秘的龙族王国,龙族每年都会举行一次盛大的宴会,宴会上有一个传统:每条龙要把自己的财富(金币数量)放进一个金碗,然后让智慧长老计算每条龙的“财富占比”,来决定谁是这一年的财富之王。

宴会当天,四条龙分别报出了自己的金币数量:

? 火龙:100万金币

? 冰龙:200万金币

? 雷龙:300万金币

? 风龙:10亿金币

智慧长老准备使用一个古老的计算方法——Softmax规则,将这些财富转换成概率来比较。但他很快发现了一个严重的问题:

金碗炸了!

为什么?因为按照Softmax的计算方法,他需要计算每个金币数量的指数值:

但这些数值实在是太大了,远远超出了王国的计算能力,直接导致金碗崩溃(计算溢出)。

智慧长老陷入了困境,他需要找到一个方法来避免计算崩溃。于是他想到一个聪明的技巧:

“我们不直接放金币,我们可以先让大家的金币数减去最大的金币数!”

于是,他重新计算:

? 火龙的金币数变为 100万 - 10亿 = -9.99亿

? 冰龙的金币数变为 200万 - 10亿 = -9.98亿

? 雷龙的金币数变为 300万 - 10亿 = -9.97亿

? 风龙的金币数变为 10亿 - 10亿 = 0

然后,他计算:

现在,所有的指数值都变得很小,不会再溢出,金碗终于能正常计算了!

最终,风龙的财富占比几乎是 100%,其他三条龙的财富占比接近 0,宴会得出了正确的结论。

这个方法被称为 Softmax的数值稳定性技巧,即 在计算前减去最大值,防止指数运算导致溢出。

用比喻解释Softmax的溢出问题

比喻1:水池溢出

想象你有一个大水池,你往里面倒水:

? 第一桶水是 100升

? 第二桶水是 200升

? 第三桶水是 300升

? 第四桶水是 10亿升

显然,水池无法承受10亿升的水,直接溢出了!

解决方案?

? 你先抽掉10亿升的水(相当于减去最大值),这样所有的水量都变成一个较小的数字,水池就不会溢出了。

比喻2:计算机的“溢出”锅

假设你在做饭,想同时煮四个锅的水,每个锅的温度分别是:

? 100°c

? 200°c

? 300°c

? 10亿°c

你的炉子最高只能加热到 500°c,但第四个锅的温度远超这个上限,直接导致炉子爆炸(计算机溢出)!

怎么办?

你可以先把所有锅的温度减去一个基准值(比如减去10亿°c),让温度变成:

? -9.99亿°c

? -9.98亿°c

? -9.97亿°c

? 0°c

现在,最高的温度也只是 0°c,不会再超出炉子的承受范围。

总结

? Softmax的溢出问题 是因为指数运算会导致数值过大,超过计算机的上限。

? 解决方案 是在计算Softmax之前,先减去最大值,这样所有的数值都会变小,防止指数爆炸。

? 就像往水池倒水、往锅里加热,数值太大就会溢出,我们需要先做调整,确保计算不超出范围!

爱看读书推荐阅读:正良缘杨辰秦惜打怪爆率太高,开局转职武神豪门大佬的六岁小侄女御兽:开局觉醒双灵环回到92:开局被俩大舅哥投河韩娱之影帝重生九零乱晴秋权门贵嫁重生神医嫡女不好惹对手不败战神秦惜杨辰绝代掌教贵女奸商丫头,悔婚无效韩娱之灿我有一个超能终端六零俏媳妇篮球皇帝姜先生的团宠小嗲精太娇了爱欲横流农门长姐有空间第39次相亲春闺密事缠绵入骨:总裁好好爱校花的透视高手农家后娘巧种田步步高升V5宠婚:鱼精萌妻,要乖乖凰妃倾天下超级保安在都市boss偏执宠:小娇妻,真甜!姑苏伊梦夜倾城大一开学,学姐一脚踢飞我的行李大国体育权臣重生后只想搞事业傲娇男神住我家:99次说爱你大时代1994闺门荣婿重启1986我在豪门当夫人萌宠豪门冷妻:非你不可道门小天师雄起,我洗鞋子养你少年风水师,出生就和白虎定亲辞金枝凤策长安农家团宠六岁半贪财王妃太嚣张甜宠娇妻无下限
爱看读书搜藏榜:宠婚为爱:甜妻你好文娱:我被黑成了娱乐圈大佬轮回新世规则兄弟!boss偏执宠:小娇妻,真甜!甜妻动人,霸道总裁好情深山村小药神豪门情夺之黑莲逆袭特勤精英九天无神官路登天逆袭,不服输的人生最精彩!漫威里的次元餐厅玉谋不轨四合院:我能采摘别人技能戒不掉的喜欢重生后我不用做寡妇了你是我心里说不出的痛日娱之遇见那些人开局尘遁换木遁,我被全网笑惨了田园医女之傲娇萌夫惹不得不是直播民生吗,你怎么成全能了尊主的巨星之路四合院:秦淮茹,我对寡妇没有兴独家蜜婚:帝少宠妻太深度都市仙途异能反派,求求你给主角留点活路吧学园异战录喷人就变强:我怼哭了百万毒鸡汤命运两头设堵我却左右逢源贵夫临门祸害娱乐圈,你说自己是正经人?巨星大导演庶福良缘重生日本之剑道大魔王哼!我的总裁大人说好断绝关系,你们后悔算什么?我的人工智能可以升级御兽:我契约的都是上古禁忌彪妻重生重生1990,带着全村人发家致一拳和尚唐三藏快穿:宠妻男二走上人生巅峰总有人爱你如命大侠等一等抗战之我每天一个签到大礼包[综]一梦经年破产千金逆风翻盘快穿攻略,黑化女配要洗白离婚后,我上离婚综艺被疯抢,前妻跪求复合
爱看读书最新小说:夫人要和离?疯批权臣亲她红温重生之得意人生小司机的美女总裁老婆四嫁帝王,三位前夫坐不住了断亲后,我带全村悠哉度荒年天崩开局:伪装神女我赢麻了佟贵妃只想修仙鉴芳年刚穿八零,资本家小姐要买我老公玫瑰戟她算哪门子表姑娘婉风沉王府里来了个捡破烂的崽崽重生矿奴,却成为人类救世主?小撩精太黏人,被偏执校草亲哭穿书被鞭打,我抱上黑化首辅大腿京夜婚动与病弱兄长共梦一鸣江山定我在板鸭很开心换嫁随军,谁家凶兽奶呼呼呀!殿下,你抢的王妃是顶级大佬野欲诱吻于他怀中轻颤净水迎帆我女朋友是学医的全家偷听心声吃瓜,我赢麻了荒年肉满仓,缺德后娘养歪女主!和死对头双穿,冷面丈夫成了权臣恶毒公主觉醒后,他们都想当驸马开荒躲乱世,我家过的太富裕了!肥妻苟山村养娃,疯批佛子急疯了民国恶女求生游戏苟分日常七零:娇气包大小姐随军闹翻天穿越开自助,办个酒楼做首富她谋六零娇娇作精,糙汉老公带我躺赢前夫处处护青梅,重生改嫁他疯了非分之想七零娇妻萌宠在手,随军护家无忧被换命格后,玄门大佬杀疯了女配她过分美貌撩倒五个男主后,娇美寡妇跑路了刚大一就与女神老师被强制结婚春深囚宦逃荒有空间,嫁绝嗣糙汉一胎多宝守寡后,我逼疯了满朝文武去种田诈尸后,她成了大理寺卿的掌中娇八零:换嫁小渔村,我成全家团宠重生八零小豆丁,手握空间聊天群