天才一秒记住【久久文学】地址:https://www.jjwxx.com
“我需要一套专门考『逻辑推理的卷子。”
他在arxiv和github上飞速检索。
很快,几个备选方案浮现在眼前。
1.snli(stanfordnaturallanguageinference):斯坦福自然语言推理数据集。
给两句话,判断它们是“蕴含”
、“矛盾”
还是“中立”
。
这是最经典的nli任务。
2.squad(stanfordquestionansweringdataset):阅读理解问答。
这个稍好一点,但也侧重於信息提取。
3.clutrr(compositionallanguageunderstandingandtext-basedrelationalreasoning):基於文本的关係推理。
徐辰的目光最终锁定了最后一个数据集clutrr。
……
clutrr这个数据集很有意思。
它会给你一段像绕口令一样的故事:
“爱丽丝的妈妈是鲍勃的姐姐,鲍勃的儿子是查理。”
然后问你:“爱丽丝和查理是什么关係?”
这不仅需要模型读懂文本,更需要在脑子里构建出一张“家谱图”
,进行多次的逻辑推理,才能得出正確答案。
对於传统的transformer模型来说,这是个噩梦。
因为transformer本质上是在算“词与词之间的相关性”
,它並没有真正的逻辑推理模块。
它可能会因为“妈妈”
、“姐姐”
这些词出现的频率,瞎猜一个“姨妈”
或者“奶奶”
。
但对於装载了“逻辑几何嵌入”
的laart来说……
这简直就是送分题!
在徐辰的数学模型里,“妈妈”
、“姐姐”
、“儿子”
这些关係,会被映射为向量空间里的几何变换算子。
本章未完,请点击下一章继续阅读!若浏览器显示没有新章节了,请尝试点击右上角↗️或右下角↘️的菜单,退出阅读模式即可,谢谢!