手机浏览器扫描二维码访问
437 傲慢的代价（第1页）
孟繁岐并不是第一次听说DeepSeek的名字，虽然此前DS在大众之中不能说是完全无人知晓，但说它是籍籍无名也不为过。
比起天然拥有海量客户的互联网大厂们推出的AI模型，DS即便免费，但终究天然地在积累用户方面有着巨大的劣势。
孟繁岐此前注意到DS，主要便是因为他们的技术路线与孟繁岐的几个设想相似。
由于在降低技术成本上颇有建树，DS的API价格要低于市场平均水平许多，这使得它慢慢积累了一些技术型的用户。不过这个规模在孟繁岐眼中，还远远上不了桌。
前两个月，DeepSeek已经迭代到了第三代。
逐渐缩小的性能差异并没有引起孟繁岐足够的重视。
而今天，详细的技术报告以及R1版本的发布，才终于让他明白，自己实在是后知后觉。
震撼到孟繁岐的并不是单纯性能上的逼近，而是诸多技术细节透露出的海量信息。
比如，FP8的成功实现。
孟繁岐有些不相信这个事实。
半精度和FP8是他一直在大力推动的事情，而现在，DS反而成为了首个在超大规模模型上证明了FP8训练完全可行的公司。
孟繁岐沉着脸，翻阅着DS的技术报告，他们对框架内部的操作细节并不吝啬。
哪些核心操作做了FP8的量化，在什么步骤应该转回BF16，又在哪里应该使用全精度FP32计算，标注十分详细。
向量层、输出层、MoE门控模块、标准化运算和注意力运算模块进行了精度保留，而前向，激活反向，权重反向则用FP8执行。
针对前向反向采用FP8会带来的许多问题，报告中也知无不言。
在低精度训练框架中，由于FP8格式的指数位较少导致其动态范围受限，经常出现数值溢出和下溢的问题。传统方法是将输入张量的最大绝对值映射到FP8格式的最大可表示值，将输入分布对齐到可表示范围内。然而，这种方法使得低精度训练对激活值中的极端值特别敏感，可能导致量化精度显著下降。
孟繁岐也走到过这一步，部分FP8，部分BF16FP32。仅仅如此是不够的。
DS最终采用的方案是在核心算子内部GEMM操作里引入缩放因子，这同样是孟繁岐曾经考虑过的事情。
但closeai最终没有这样做，因为英伟达显卡的FP8并不直接支持这一功能。
长期居于龙头位置的closeai程序员们并没有选择下苦工用其他的方式实现这一功能，而是选择了与英伟达沟通，以求让英伟达在下代硬件框架中支持细粒度缩放格式。
孟繁岐回忆起那个时候，欲言又止。
这称得上是错误吗？其实也不见得。
因为closeai的建议为英伟达提供了重要参考。
下一代硬件框架中支持该功能无疑是非常正确的决定。
但...没有它真的就做不了吗？很显然，DS回答了这个问题，现有的条件之下，技术并不是无法实现的。
另一件让孟繁岐感到扼腕叹息的事情，是双方在“稀疏”这一概念上的分歧。
在FP8问题上，孟繁岐与DS是一致的。
巧克力女孩 忘记 华娱：导演的快乐就这么简单 弹琴不谈情 娱乐：让你上台卖惨，没让你笑场 桂林山水甲阳朔 来自宇宙的情书 黑天使 我不花心，只是多情 莫名其妙爱上你 冷暴力恐怖份子 狂舞巔峰 西有鹿鸣 反派手挽手，八零抖一抖 无解 JULIET 荒岛求生后假千金爆火了 夜之牙一 你要不要跟我告白 倾世狂妃：驯服腹黑王爷
女总裁的极品兵王
一代兵王回归，从此都市鸡犬不宁。拳打富二代，脚踢纨绔少。各种美女统统不在话下Tags女总裁的极品兵王莫里斯克女总裁的极品兵王txt全集下载女总裁的极品兵王无弹窗女总裁的极品兵王最新章节女总裁的极品兵王txt全文下载女总裁的极品兵王全文阅读...
三国之战神刘封
这一年，刘备的亲生儿子刘禅出生。这一年，曹操号称八十万大军南下。这一年，现代小会计穿越成为刘备的养子刘封。尴尬的身份，近在眼前的劫难，远在将来的悲剧结局，熟知这一切的刘封，只有奋起反抗命运的安排，在这个伟大的时代，为自己杀出一个光明未来。ps书友群154583222V群162686632。欢迎大家入群来讨论本书。...
一纸婚约，总裁的天价丑妻
书海阁小说网免费提供作者可乐加冰的经典小说一纸婚约，总裁的天价丑妻最新章节全文阅读服务本站更新及时无弹窗广告欢迎光临wwwshgtw观看小说为报当年的恩情，苏菱签下一纸婚约，成为顾氏集团的挂名总裁夫人。待到协议到期，她的妹妹，他心中唯一的白月光，便可踩着她上位。然而她的努力配合，却被男人误认为是别有居心。女人，你最好别给我耍什么花招。苏菱闻言冷冷一笑，甩下离婚协议和病危通知便消失得无影无踪。...
无尽之门
作者长洲冬马的经典小说无尽之门最新章节全文阅读服务本站更新及时无弹窗广告小说李云飞推开了家门，就看到八岁大的女儿坐在沙发上，像个高傲女王般冷冷的打量着他那么你就是我的召唤师了吗？渺小的凡人，看在你辛苦的将本王召唤过来的份上，本王赐予你做本王仆人的荣誉。看着这个臭屁的小丫头，李云飞叹了口气，径直的走了过去，捏着她的脸把她抱了起来，使劲的揉着小女孩的脸我尊敬的女王大人，你似乎刚穿越过来，还没有搞清楚这里谁才是老大啊怎么？要不要我帮您老人家疏通疏通筋骨，让您知道这...
爹地追妻请低调
她遭亲人陷害怀孕，大出血差点死掉，回国复仇，却被两个小包子给缠上了，又被小包子的他爹地粘上了。杨依依无奈的看着一大两小，我今天要休息，你们三个给我睡书房。妈咪求亲亲！妈咪求抱抱！老婆举高高！杨依依一脚朝男人踹过去，举你个大头鬼。杀伐果断的大总裁秒怂！！1v1纯洁，有两只可爱的小包子出没。群1满了，群2692134120群3479994577VIP群618895719（需要...
我的七个姐姐绝世无双宁北川陈梓桐
大姐林晚枫，霸道总裁。二姐萧妃，医术高超。三姐风若言，地下车手。四姐慕容幽若，琴棋书画样样通。五姐陈梓桐，王牌律师。六姐竹清雪，影视天后。七姐墨初染，身份未知，迷雾重重。而我则是大夏利剑镇北天王！十年戎马，天王归来，一路为姐姐们保驾护航！...