久久文学

第166章 重启lr研究 二(第2页)

天才一秒记住【久久文学】地址:https://www.jjwxx.com

徐辰的目光锁定在了开源社区的热门模型——qwen-7b上。

这是一个典型的“小模型”

虽然在通用对话上表现不错,但在面对clutrr这种需要多步逻辑推理的硬核任务时,它的表现只能用“惨不忍睹”

来形容。

徐辰先查了一下qwen-7b在clutrr上的成绩,结果不出所料:45.2%。

这基本上就是瞎猜的水平。

对於复杂的亲属关係推理,7b参数的小脑瓜显然不够用。

“很好,起点够低,反差才够大。

否则展现不出slrm的威力。”

本书首发????????????.??????,提供给你无错章节,无乱序章节的阅读体验

徐辰嘴角勾起一抹笑意。

他的思路很清晰:让qwen-7b只负责它最擅长的事情——语义理解。

它只需要读懂题目,把“a是b的父亲”

这种自然语言,翻译成slrm能听懂的向量信號。

然后,把最难啃的逻辑推理部分,交给slrm这个专业的“逻辑外掛”

来处理。

slrm在高维几何空间里完成推导后,再把结果扔回给qwen-7b,让它组织语言输出答案。

这就像是给一个文科生(qwen-7b)配了一个数学系的学霸同桌(slrm)。

考试的时候,文科生负责读题,学霸负责解题,最后文科生负责把答案写在卷子上。

这套组合拳,能打出什么样的效果?

……

虽然基础框架已经確定,但参数设置还是一门玄学。

任何一个超参数的微调,都可能导致最终效果的天壤之別。

徐辰坐在屏幕前,將slrm模块拆解为四个环节:

-几何注意力层是感知的门户,是用刚性的“交集体积”

硬碰硬,还是用柔性的“gumbel平滑”

去化解梯度消失的危机?

-逻辑投影层是消化的核心,是用暴力的mlp强行映射,还是祭出昂贵的“辛几何网络”

来维持拓扑结构的守恆?

-体积归一化是防崩的底线,如何防止高维几何体在运算中指数级坍缩成虚无的奇点?

-真值控制单眼是最终的裁决,那个判定真偽的閾值t,究竟该定在何处,才能既不放过谬误,又不误杀真理?

本章未完,请点击下一章继续阅读!若浏览器显示没有新章节了,请尝试点击右上角↗️或右下角↘️的菜单,退出阅读模式即可,谢谢!

如遇章节错误,请点击报错(无需登陆)

新书推荐

她除了能打一无是处四合院:这背锅侠我不当了特种岁月之弹道无声蒸汽朋克下的神秘世界凤还朝,妖孽王爷请让道民国谍影我能升级地球人在斗罗开局加入聊天群这个修士很危险修真研究生生活录青梅且把时光暖丹师剑宗五年后我携三个幼崽炸翻财阀家族深渊独行仙傲召唤神将皇帝系统我家可能有位大佬官道争锋权宠刁妃:王爷终于被翻牌了!人生交换游戏我,截教大师兄,加入聊天群神印王座商场红颜路万族王座青春派黑岩