久久文学

第171章 我需要当面和他谈谈(第3页)

天才一秒记住【久久文学】地址:https://www.jjwxx.com

这哪里是隨便玩玩!

他这是在宿舍里手搓了个核武器出来啊!

……

然而,震惊过后,朱宋纯的理性开始捕捉到这种算法的缺点。

“不对……这玩意儿,现在的硬体根本跑不动。”

朱宋纯重新坐回椅子上,指关节有节奏地敲击著桌面,大脑开始飞速进行工程评估。

“目前的gpu,无论是英伟达的h100还是国產的昇腾910,其底层架构的设计哲学只有一个——为『矩阵乘法极致优化。

它们擅长的是大规模、並行的线性运算。”

“但徐辰这个slrm架构……”

他盯著论文里那些复杂的几何公式:“大量的非线性几何交集运算、复杂的拓扑变换、频繁的条件判断……”

“这在gpu看来,就是最討厌的『分支预测和『標量计算。

如果强行用cuda架构跑这个算法,h100的几千个核心大部分时间都会处於『等待状態,利用率恐怕连5%都不到!”

“这简直是用法拉利的引擎去拉磨,不仅慢,而且极度浪费!”

“而且,cpu也不行,核心数太少,吞吐量不够。”

朱宋纯嘆了口气,眼神中透出一丝无奈。

“工程上是灾难级的。

要想產业化,必须重写底层的算子库,甚至……需要专门设计一种新的晶片架构——逻辑处理单元(lpu)。”

“不过,至少从理论上证明了这条路是通的。”

朱宋纯站起身,走到窗前,望著窗外正在建设的计算中心,思绪飘回了七年前。

“2017年,当transformer架构刚横空出世时,情况比现在好不了多少。

那时候,推理一个简单的翻译任务,成本高达每百万token100美元,慢得像蜗牛。”

“后来,產业界花了整整五年。

通过flashattention优化显存读写,通过kvcache加速推理,通过量化技术压缩模型……硬生生把推理成本降到了现在的0.01美元,降幅高达99.99%!”

“正是这无数工程师堆出来的工程奇蹟,才造就了chatgpt的爆发。”

朱宋纯回过头,目光重新落在屏幕上。

“如今,徐辰这个slrm,就像是当年的transformer。”

“虽然现在的ai產业链已经比几年前成熟太多,工具链也更完善,要想把这个『数学模型打磨成『商业產品,速度会快很多。”

“但即便如此,按照正常的市场规律,从晶片设计到流片,从算子优化到框架適配,至少也需要18个月到2年的时间,才能拿出成熟的產品。”

“两年……”

朱宋纯眉头紧锁。

“太久了。

在ai这个日新月异的领域,两年足够发生三次技术叠代了。”

但隨即,他的眼中闪过一丝决绝的光芒。

“如果……动用国家力量呢?”

“如果我们集中海思、寒武纪的晶片设计能力,集中工程优化团队,集中全国的算力资源,搞一次『大兵团作战呢?”

“也许,我们可以把这个时间,压缩到半年!”

“这是一个千载难逢的『弯道超车机会。”

“这是一场豪赌。”

“一旦输了,几十亿的投入打水漂。”

“但一旦贏了……”

本章未完,请点击下一章继续阅读!若浏览器显示没有新章节了,请尝试点击右上角↗️或右下角↘️的菜单,退出阅读模式即可,谢谢!

如遇章节错误,请点击报错(无需登陆)

新书推荐

青春派黑岩造化之王仙路争锋邪帝缠宠:神医九小姐科技炼器师武侠BOSS之路封神战婿戍边五年,抓大汗跳舞给皇帝看从伦敦开始的诡异剧场农民小仙医大魏霸主电影世界的雇佣兵神秘之旅全民:我的武器可以无限成长!吃鬼的男孩玄天武帝穿成修N代暗夜综艺上,我专戳主角团的肺管子都市绝品神瞳遮天之圣体时代重生之归位满级悟性:神魔陵园扫地百年灵气复苏:从小奶虎进化成禁区兽皇!高武:神话最强传说