【CNMO科技消息】近日，在CEO埃隆·马斯克公开点赞中国AI公司Kimi的最新研究成果后，Kimi官方账号于3月17日以幽默口吻回应：“你的火箭造得也不错！”
据CNMO了解，事件的起因是3月16日，月之暗面（Kimi）发布了一项关于大模型基础架构的研究，提出“Attention Residuals”（注意力残差）机制，对深度学习中沿用近十年的残差连接进行了重新设计。传统残差连接采用固定、均匀的累加方式，而Kimi的新方法让每一层能够选择性地关注此前各层的输出，从而提升训练效率。据Kimi官方披露，在48B参数的模型上，该机制使训练效率提升了1.25倍。
该研究迅速引起了学界和业界关注。马斯克在社交平台X上转发并评论：“Impressive work from Kimi”（Kimi这项研究干得漂亮）。随后，前OpenAI研究科学家Andrej Karpathy也发文称，该研究真正践行了“Attention is All You Need”的理念；被誉为“推理模型之父”的前OpenAI研究副总裁Jerry Tworek更是直言“深度学习2.0来了”。这些来自全球顶尖AI专家的认可，凸显了Kimi此次技术突破的分量。
加杠网提示：文章来自网络，不代表本站观点。
热点资讯
