天才一秒记住【久久文学】地址：https://www.jjwxx.com
討论陷入了短暂的僵局。
这时，一直盯著徐辰论文推导过程的一位资深工程师，在白板上写下了一个公式：volume=exp（∑log（l?））。
“大家看，”
他指著公式说道，“徐辰在论文里提到，为了数值稳定性，概率计算最好在对数域进行。”
“对数域……”
李工若有所思，“在对数域里，乘法会变成加法，除法会变成减法。”
“没错！”
那位工程师接著推演，“如果我们让lpu內部的所有数据，从输入那一刻起，就全部转换为对数形式存储和传输呢？”
眾人的眼睛逐渐亮了起来。
这不是灵光一闪，而是顺著数学逻辑推导出的必然方向。
“在对数域下，数据的动態范围会极大压缩。”
李工迅速在脑海中构建架构图，“原本需要32位浮点数才能表示的概率值，在对数域下，可能只需要16位甚至更少的定点数就能表示，而且精度损失极小。”
“不仅如此，”
另一位硬体专家补充道，“加法器的电路面积和功耗，远小於乘法器。
如果我们把核心计算全变成了加减法，那就能省下大量的电晶体，用来堆更多的核心！”
“唯一的难点是gumbel-softplus算子，它需要非线性变换。”
“查表法。”
李工当机立断，“神威的异构核正好擅长做这个。
马上安排一组仿真，验证『全对数域数据流+查表法的精度损失。”
十分钟后，结果出炉。
“误差小於1e-5！
完全在slrm的鲁棒性范围內！”
“好！”
李工猛地一拍桌子，“就定这个架构！
全对数域数据流。
这能把核心面积砍掉一半，功耗降低60%！
这才是lpu该有的样子！”
“准备打包rtl代码。”
李工下达了指令，“通知深圳那边，前端设计已经封版，可以开始物理综合了。”
……
本章未完，请点击下一章继续阅读！若浏览器显示没有新章节了，请尝试点击右上角↗️或右下角↘️的菜单，退出阅读模式即可，谢谢！