爱看读书 通过搜索各大小说站为您自动抓取各类小说的最快更新供您阅读!

看到这个标题,你可能会觉得是噱头。谁不知道 chatGpt 模型有 1750 亿以上的参数,别说是在笔记本电脑上跑,就是使用高性能 GpU 的台式机,也无法带得动啊。老老实实调用 ApI 不好吗?其实,LLm(大语言模型)有非常宽泛的参数量范围。咱们今天介绍的这个模型 Gpt4All 只有 70 亿参数,在 LLm 里面现在算是妥妥的小巧玲珑。不过看这个名字你也能发现,它确实是野心勃勃,照着 chatGpt 的性能去对标的。Gpt4All 基于 meta 的 LLama 模型训练。你可能立即觉得不对,你这跟 Gpt 有啥关系?为什么要无端蹭热度?且慢,Gpt4All 确实和 chatGpt 有关 —— 它用来微调的训练数据,正是调用 chatGpt 产生的大量问答内容。我怕你对技术细节不感兴趣,因此只用下面这张图来说明 Gpt4All 的训练过程。??Gpt4All 其实就是非常典型的蒸馏(distill)模型 —— 想要模型尽量靠近大模型的性能,又要参数足够少。听起来很贪心,是吧?据开发者自己说,Gpt4All 虽小,却在某些任务类型上可以和 chatGpt 相媲美。但是,咱们不能只听开发者的一面之辞。还是试试看比较好,你说是吧?深度神经网络由多个层组成。每一层包含处理输入数据并通过非线性激活函数(Sigmoid 或 ReLU)传递给其他层的神经元。每一层的输出会传递给另一层,在传递给下一层进行进一步处理之前,这一层会对这个中间表示进行某种操作。 这个架构可以分为两个主要部分:输入层和输出层。 输入层 - 这表示一组输入,这些输入被送入人工神经网络(ANN)作为训练数据或测试数据,然后由深度学习算法使用,以根据历史信息(例如过去的交易等)预测未来事件 \/ 结果,这一过程使用输入层及其相关权重。 输出层 - 这表示一组输出,这些输出在经过人工神经网络内部的各个层(例如卷积神经网络、循环神经网络或长短时记忆网络)处理后被送回到 ANN 中,然后由深度学习算法使用,以根据历史信息(例如过去的交易等)预测未来事件 \/ 结果,这一过程使用输出层及其相关权重。 深度学习模型的架构可能会因各种因素而有所不同,例如数据类型、特征数量、目标变量或正在解决的分类问题。transformer 是一类深度学习架构,在自然语言处理(NLp)和其他领域中已变得非常流行,这归功于它们强大的性能和可扩展性。transformer 首次在 Vaswani 等人于 2017 年发表的论文 \"Attention is All You Need\" 中被介绍。transformer 基于自注意力机制,这使它们能够捕获长距离依赖关系并在序列中建模复杂的模式。自注意力机制:transformer 的核心是自注意力机制,它允许模型衡量每个输入标记与序列中每个其他标记的关系的重要性。这是通过使用三个可学习的向量实现的,分别称为查询向量(q)、键向量(K)和值向量(V)。自注意力机制计算每对标记之间的注意力分数,然后用于生成值向量的加权和。多头注意力:transformer 使用多头注意力来捕捉输入序列的不同方面。多头注意力层中的每个 \"头\" 都独立执行自注意力,并生成自己的输出。这些输出然后被连接并线性转换以创建多头注意力层的最终输出。看到这里,你可能已经怒了 —— 有这么比的吗?!你拿一个如此精致的小模型 Gpt4All(70b)跟 Gpt-4 这样的大怪物去比。Gpt-4 胜之不武,我为 Gpt4All 鸣不平!且慢恼怒,我想表达的意思是这样的:如果一个模型真的能达到蒸馏浓缩的作用,那么显然体积的显着减小是重大优势,毕竟这意味着训练和应用成本降低,速度显着提升。但如果模型缩小以后在解决问答、解释和编程能力上和大模型相比差距显着,那么我们就不能武断地说小模型「性价比」更高了。有研究证实过在「有人类调教的情况下」,60 亿参数的小模型甚至可以在某些任务上面击败 1750 亿参数的大模型 (ouyang et al. 2022)。只不过,这里的比较并不公平 —— 它指的是小模型有人工调教,而大模型缺乏调教的情况。chatGpt 不缺乏调教,因此我们并没有看到 Gpt4All 能够以少量的参数达到 chatGpt 这么好的性能,即便它充分使用了 chatGpt 的输入输出数据。训练大语言模型时,多大的语料会使得模型对外部世界真实认知产生质的飞跃(可以在各项任务上都有好的表现)?目前的经验是 300 亿单词的输入量 (Zhang et al. 2020)。但是大语料需要足够高的模型复杂度来承载。模型相对输入数据过于复杂固然不好(过拟合,over-fitting)。然而一个太小的模型在面对大数据的时候,也会力不从心(欠拟合)。大和小是需要相对判断的。目前的 Gpt4All 在一众巨无霸面前,无论如何也是个小模型。chatGpt 这样的大语言模型让人们惊诧的地方,在于它能够有自己的「顿悟时刻」。这种「顿悟时刻」如何出现的?现在学术界还在研究中。但是有很多证据指向一些提示语(例如「一步步来」step by step)能够激活大语言模型的 chain-of-thought (思维链),从而有助于解锁「顿悟」般的逻辑推理能力。不过研究者同样证明了,这种「魔法」提示语有效的前提,是模型的参数量需要达到 1000 亿的规模 (wei et al. 2023)。chatGpt 的参数超过了这个阈值,而 Gpt4All 还远得很。当然不是。如果你把 Gpt4All 看成某种终极形态,那么等待你的可能是从激动快速跌落到失望。但是比较一下初代 iphone 和 iphone 4S,你就能感受到短短几年间,技术进步带来的产品性能天差地别。更何况,现在的 AI 进展速度,可不像 iphone 一样「一年一更」。即便从短期来看,Gpt4All 也有其用途。在我们的测试中,它在写作上还是有能力的。Gpt4All 不需要付费调用 token ,也不需要把数据传递到远端进行处理。对有些使用目的(例如保护公司机密数据)而言,Gpt4All 这样的模型出现,关乎的可不只是「好用」与「不好用」,而是「能用」和「不能用」的分水岭。对于很多机构的事务性工作而言,复杂的逻辑推理能力其实只是锦上添花。若是能完美解决日常单项任务,收益也已经十分显着。请你在试用之后,依然对Gpt4All保持一份耐心。也许不久以后,我们每个人的电脑和手机上,都能运行一个随时待命的优秀助理,帮助我们做许多从前想做,但是一想到要做就头疼的任务

爱看读书推荐阅读:正良缘杨辰秦惜打怪爆率太高,开局转职武神豪门大佬的六岁小侄女御兽:开局觉醒双灵环回到92:开局被俩大舅哥投河韩娱之影帝重生九零乱晴秋权门贵嫁重生神医嫡女不好惹对手不败战神秦惜杨辰绝代掌教贵女奸商丫头,悔婚无效韩娱之灿我有一个超能终端六零俏媳妇篮球皇帝姜先生的团宠小嗲精太娇了爱欲横流农门长姐有空间第39次相亲春闺密事缠绵入骨:总裁好好爱校花的透视高手农家后娘巧种田步步高升V5宠婚:鱼精萌妻,要乖乖凰妃倾天下超级保安在都市boss偏执宠:小娇妻,真甜!姑苏伊梦夜倾城大一开学,学姐一脚踢飞我的行李大国体育权臣重生后只想搞事业傲娇男神住我家:99次说爱你大时代1994闺门荣婿重启1986我在豪门当夫人萌宠豪门冷妻:非你不可道门小天师雄起,我洗鞋子养你少年风水师,出生就和白虎定亲辞金枝凤策长安农家团宠六岁半贪财王妃太嚣张甜宠娇妻无下限
爱看读书搜藏榜:宠婚为爱:甜妻你好文娱:我被黑成了娱乐圈大佬轮回新世规则兄弟!boss偏执宠:小娇妻,真甜!甜妻动人,霸道总裁好情深山村小药神豪门情夺之黑莲逆袭特勤精英九天无神官路登天逆袭,不服输的人生最精彩!漫威里的次元餐厅玉谋不轨四合院:我能采摘别人技能戒不掉的喜欢重生后我不用做寡妇了你是我心里说不出的痛日娱之遇见那些人开局尘遁换木遁,我被全网笑惨了田园医女之傲娇萌夫惹不得不是直播民生吗,你怎么成全能了尊主的巨星之路四合院:秦淮茹,我对寡妇没有兴独家蜜婚:帝少宠妻太深度都市仙途异能反派,求求你给主角留点活路吧学园异战录喷人就变强:我怼哭了百万毒鸡汤命运两头设堵我却左右逢源贵夫临门祸害娱乐圈,你说自己是正经人?巨星大导演庶福良缘重生日本之剑道大魔王哼!我的总裁大人说好断绝关系,你们后悔算什么?我的人工智能可以升级御兽:我契约的都是上古禁忌彪妻重生重生1990,带着全村人发家致一拳和尚唐三藏快穿:宠妻男二走上人生巅峰总有人爱你如命大侠等一等抗战之我每天一个签到大礼包[综]一梦经年破产千金逆风翻盘快穿攻略,黑化女配要洗白离婚后,我上离婚综艺被疯抢,前妻跪求复合
爱看读书最新小说:玉阶血夫人要和离?疯批权臣亲她红温重生之得意人生小司机的美女总裁老婆四嫁帝王,三位前夫坐不住了断亲后,我带全村悠哉度荒年天崩开局:伪装神女我赢麻了佟贵妃只想修仙鉴芳年刚穿八零,资本家小姐要买我老公玫瑰戟她算哪门子表姑娘婉风沉王府里来了个捡破烂的崽崽重生矿奴,却成为人类救世主?王府弃妇,我靠养崽富可敌国小撩精太黏人,被偏执校草亲哭穿书被鞭打,我抱上黑化首辅大腿京夜婚动与病弱兄长共梦一鸣江山定我在板鸭很开心换嫁随军,谁家凶兽奶呼呼呀!殿下,你抢的王妃是顶级大佬野欲诱吻于他怀中轻颤净水迎帆我女朋友是学医的全家偷听心声吃瓜,我赢麻了荒年肉满仓,缺德后娘养歪女主!和死对头双穿,冷面丈夫成了权臣恶毒公主觉醒后,他们都想当驸马开荒躲乱世,我家过的太富裕了!肥妻苟山村养娃,疯批佛子急疯了民国恶女求生游戏苟分日常七零:娇气包大小姐随军闹翻天穿越开自助,办个酒楼做首富她谋六零娇娇作精,糙汉老公带我躺赢前夫处处护青梅,重生改嫁他疯了非分之想七零娇妻萌宠在手,随军护家无忧被换命格后,玄门大佬杀疯了女配她过分美貌撩倒五个男主后,娇美寡妇跑路了刚大一就与女神老师被强制结婚春深囚宦逃荒有空间,嫁绝嗣糙汉一胎多宝守寡后,我逼疯了满朝文武去种田诈尸后,她成了大理寺卿的掌中娇