天才一秒记住【久久文学】地址：https://www.jjwxx.com
“如果我把逻辑边界变得『平滑了，变成了一个连续的概率流，那这和传统的transformer有什么本质区別？transformer也是输出一个概率分布，预测下一个词是『猫的概率是80%，是『狗的概率是20%。”
“如果我的模型也只是输出一个软绵绵的概率，那它依然可能会在那20%的时候胡说八道。”
“必须要有一把锁。”
徐辰的眼神变得犀利起来。
他迅速在代码的输出层之前，插入了一个全新的模块——逻辑门控单元。
“gumbel-box的平滑性，是为了在训练阶段让梯度能够流淌，让模型能『学会逻辑。
但在推理阶段，也就是真正上考场的时候，这个平滑的边界必须瞬间『硬化。”
他在草稿纸上画了一个陡峭的sigmoid函数。
“我设定一个逻辑置信度閾值t（第十九个希腊字母，念做“套”
）。
当两个概念在几何空间里的重叠体积低於这个閾值时，说明它们在逻辑上几乎不相容，比如『猫和『植物。”
“这时候，门控单元会像一把闸刀一样落下，直接將这个路径的概率强行截断为0！”
“传统的llm是『我觉得应该这么说，而加了门控的laart是『虽然我想这么说，但几何逻辑告诉我，这么说是错的，所以我闭嘴。”
“这才是完美的逻辑与生成的结合。”
解决了这个关键的机制问题，徐辰终於满意地点了点头。
……
搞定了数学模型的优化，摆在徐辰面前的，是另一个棘手的工程问题。
benchmark（业內普遍直接用英语称呼，意思是基准测试）怎么选？
做ai研究，光有模型没用，你得拉出来溜溜。
你得在公开的测试中，把以前的模型，比如transformer、bert、gpt等给考倒了，別人才承认你牛逼。
当年的transformer为了证明它比以前的rnn和lstm强，google团队选择了“英德机器翻译数据集”
。
这是一个非常经典的任务。
评价標准是bleu分数，也就是看机器翻译出来的句子，和人类翻译的句子，在词汇重叠度上有多高。
transformer在那场考试中，以28.4的bleu分数，刷新了世界纪录，从此一战成名。
“但是。
我的模型优势不在於『翻译，也不在於『文本生成的流畅度。”
现在的gpt模型，靠著海量的语料堆砌，已经是天生的语言大师了。
让laart去跟它们比谁写诗写得好，谁翻译得溜，那是拿自己的短处去碰別人的长处。
laart的核心优势是什么？
是逻辑。
是永远不会说“猫是植物”
，永远不会在做三段论推理时出现“a＞b，b＞c，所以a＜c”
这种弱智错误的严谨性。
“用翻译数据集测逻辑，就像是考爱因斯坦背单词，根本测不出智商。”
本章未完，请点击下一章继续阅读！若浏览器显示没有新章节了，请尝试点击右上角↗️或右下角↘️的菜单，退出阅读模式即可，谢谢！