手机浏览器扫描二维码访问
437 傲慢的代价（第1页）
孟繁岐并不是第一次听说DeepSeek的名字，虽然此前DS在大众之中不能说是完全无人知晓，但说它是籍籍无名也不为过。
比起天然拥有海量客户的互联网大厂们推出的AI模型，DS即便免费，但终究天然地在积累用户方面有着巨大的劣势。
孟繁岐此前注意到DS，主要便是因为他们的技术路线与孟繁岐的几个设想相似。
由于在降低技术成本上颇有建树，DS的API价格要低于市场平均水平许多，这使得它慢慢积累了一些技术型的用户。不过这个规模在孟繁岐眼中，还远远上不了桌。
前两个月，DeepSeek已经迭代到了第三代。
逐渐缩小的性能差异并没有引起孟繁岐足够的重视。
而今天，详细的技术报告以及R1版本的发布，才终于让他明白，自己实在是后知后觉。
震撼到孟繁岐的并不是单纯性能上的逼近，而是诸多技术细节透露出的海量信息。
比如，FP8的成功实现。
孟繁岐有些不相信这个事实。
半精度和FP8是他一直在大力推动的事情，而现在，DS反而成为了首个在超大规模模型上证明了FP8训练完全可行的公司。
孟繁岐沉着脸，翻阅着DS的技术报告，他们对框架内部的操作细节并不吝啬。
哪些核心操作做了FP8的量化，在什么步骤应该转回BF16，又在哪里应该使用全精度FP32计算，标注十分详细。
向量层、输出层、MoE门控模块、标准化运算和注意力运算模块进行了精度保留，而前向，激活反向，权重反向则用FP8执行。
针对前向反向采用FP8会带来的许多问题，报告中也知无不言。
在低精度训练框架中，由于FP8格式的指数位较少导致其动态范围受限，经常出现数值溢出和下溢的问题。传统方法是将输入张量的最大绝对值映射到FP8格式的最大可表示值，将输入分布对齐到可表示范围内。然而，这种方法使得低精度训练对激活值中的极端值特别敏感，可能导致量化精度显著下降。
孟繁岐也走到过这一步，部分FP8，部分BF16FP32。仅仅如此是不够的。
DS最终采用的方案是在核心算子内部GEMM操作里引入缩放因子，这同样是孟繁岐曾经考虑过的事情。
但closeai最终没有这样做，因为英伟达显卡的FP8并不直接支持这一功能。
长期居于龙头位置的closeai程序员们并没有选择下苦工用其他的方式实现这一功能，而是选择了与英伟达沟通，以求让英伟达在下代硬件框架中支持细粒度缩放格式。
孟繁岐回忆起那个时候，欲言又止。
这称得上是错误吗？其实也不见得。
因为closeai的建议为英伟达提供了重要参考。
下一代硬件框架中支持该功能无疑是非常正确的决定。
但...没有它真的就做不了吗？很显然，DS回答了这个问题，现有的条件之下，技术并不是无法实现的。
另一件让孟繁岐感到扼腕叹息的事情，是双方在“稀疏”这一概念上的分歧。
在FP8问题上，孟繁岐与DS是一致的。
来自宇宙的情书 狂舞巔峰 桂林山水甲阳朔 黑天使 无解 弹琴不谈情 你要不要跟我告白 巧克力女孩 娱乐：让你上台卖惨，没让你笑场 夜之牙一 反派手挽手，八零抖一抖 JULIET 莫名其妙爱上你 冷暴力恐怖份子 荒岛求生后假千金爆火了 我不花心，只是多情 西有鹿鸣 倾世狂妃：驯服腹黑王爷 华娱：导演的快乐就这么简单 忘记
最强祖宗养成
书海阁小说网免费提供作者铁匠大师的经典小说最强祖宗养成最新章节全文阅读服务本站更新及时无弹窗广告欢迎光临wwwshgtw观看小说帝族？圣地？禁土？我叶长生说在坐的各位都是垃圾！身为家族老祖宗，叶长生表示谁敢欺负我的子孙，老子就把你们的祖宗从坟里拉出来揍一顿，还要把骨灰都给扬了！...
偏执总裁强势宠
惊！唐家千金勾引厉氏总裁，被厉总保镖踹进医院！宋烟委屈总裁说，踹死有奖。热搜第一！厉氏总裁厉北霆性取向不明，疑跟乔家大少恋爱中！万千少女梦碎一地，帅哥总有美男抢。宋烟扶额我得监视好他俩，为总裁觅得良妻！劲爆！厉氏总裁与保镖街边热吻，坐实GAY传闻！宋烟摔键盘GAY个鬼！老娘是女的！宋烟觉得自己很难，为给弟弟治病，女扮男装当保镖，每天都在厉北霆的魔爪下苟延残喘。厉北霆，霸道总裁代言人。腹黑冷血商业霸主，不近人情，不爱女色。好像也不全是宋烟摸着自己红肿的嘴唇，干笑一声，总裁，能不能放开我。厉北霆在宋烟耳边低喘，答应我，别离开我。在遇见宋烟之前，厉北霆没爱过人。遇见宋烟后，厉北霆不管宋烟是男人还是女人，他都爱。女扮男装小保镖X偏执痴情霸总...
龙婿
重生归来，前世种种欺辱，十倍奉还。天骄只不过是垫脚石，龙婿再来，荡平寰宇！...
末世之死神降临
当大灾变过去两百年，当进化者与魔法师主宰这个世界当天使恶魔虫族龙族死灵鬼怪机械生命体这曾经的一切再次出现，当残破的大地重新被黑暗和阴谋侵袭。当从小饱受虐待的孩童成为微笑着的死神降临在这个世上，世界，将会如何改变？...
洪荒不朽
自盘古开天来，世间万物无不在追寻着不朽的道路，道祖鸿钧，魔主罗睺，盘古三清，佛教二主，龙祖始凤，五德麒麟问世间谁能不朽？一个重生而来的主角，将如何在这方世界之中纵横，找到一条属于他自己的通天大道！且看主角纵横诸天万界！PS求红票支持！求收藏！小七拜谢！您的每一份支持，都是这本书前进的动力，不朽，加油！小七也创建了一个群，有兴趣的读者，可以加一下，群号182401502不朽群182482212...
我的女人是捡来的
我是一个混吃等死的小职员，本以为这一辈子就会这样平淡无奇的过了，但人生的际遇就是这么奇怪，有那么一天，我却做了回英雄救美的倒霉事，捡回了一个叫雾儿的女孩，并渐渐的产生了感情。在一次偶然的情况下，在酒吧又与一个刚离了婚的女人发生了超友谊关系，而此时公司同事晴子也走进了我的情感世界。就在我与三个女人之间纠缠不清时，曾经背叛了我的前女友也在这时出现了，随后又与高中时代的同桌菲菲在街头相遇，于是五个女人一个男人的情感故事，就这样拉开了序幕。此书为加长完整版，希望大家能够喜欢。本书QQ群94522630...