天才一秒记住【久久文学】地址：https://www.jjwxx.com
“收敛速度比预想的要快。”
徐辰眉毛一挑。
普通的transformer模型在处理逻辑推理任务时，往往需要海量的数据“餵”
进去，靠概率去“蒙”
出逻辑关係，所以收敛极慢，且很容易过擬合。
但laart不一样。
它的“逻辑门控单元”
就像是一个严厉的老师，一旦模型试图“瞎矇”
，就会被几何约束狠狠地惩罚。
这迫使模型必须去学习真正的因果链条，而不是统计规律。
“差不多了。”
徐辰终止了训练，保存了模型权重。
……
接下来，是见证奇蹟的时刻——推理测试。
也就是看一下刚刚训练好的ai在实际推理上的成绩怎么样。
他打开了那个专门用来测试逻辑能力的clutrr数据集，隨机抽取了一道题输入模型。
context（上下文）：“爱丽丝的丈夫是鲍勃。
鲍勃的女儿是克莱尔。
克莱尔的哥哥是大卫。
大卫的儿子是艾瑞克。”
question（问题）：“爱丽丝是艾瑞克的什么人？”
徐辰按下了回车。
如果是普通的gpt-3级別的模型，面对这种多跳推理，很容易因为“注意力分散”
而答错，可能会回答“阿姨”
或者“妈妈”
。
屏幕上光標闪烁了0.1秒。
回答:grandmother（祖母）
逻辑路径:爱丽丝-＞（妻子）-＞鲍勃-＞（女儿）-＞克莱尔-＞（哥哥）-＞大卫-＞（儿子）-＞艾瑞克.
“漂亮！”
徐辰打了个响指。
不仅仅是答案正確，更重要的是那个逻辑路径。
这说明模型不是在“猜”
，而是在那个高维的几何空间里，真正地构建出了人物关係图谱，並通过向量运算，一步步推导出了结果！
……
本章未完，请点击下一章继续阅读！若浏览器显示没有新章节了，请尝试点击右上角↗️或右下角↘️的菜单，退出阅读模式即可，谢谢！