Meta 挖走 OpenAI 大批员工后，又用 OpenAI 的技术搞出新突破。
这是什么杀人又诛心（doge）？
新架构名为2-Simplicial Transformer，重点是通过修改标准注意力，让 Transformer 能更高效地利用训练数据，以突破当前大模型发展的数据瓶颈。
而核心方法，就是基于 OpenAI 提出的 Triton，将标准点积注意力推广到三线性函数。
实验结果显示，在同等参数量和数据量下，相较于传统 Transformer，新架构在数学、编程、推理等任务上均有更好的表现。
并且，2-Simplicial Transformer 的缩放指数高于传统 Transformer ——这意味着随着参数增加，新架构加持下的模型性能提升更快，更适用于有限数据的场景。
三元线性注意力
传统 Transformer 的核心机制是点积注意力，其计算复杂度较低，但对复杂任务（如逻辑推理、数学运算等）表达能力有限。
针对于此，Meta 的这项研究，重点放在将点积注意力从二元线性操作扩展到三元线性操作。
简单来说，就是在计算注意力时引入第三个向量，来增加模型对复杂模式的表达能力。
这第三个向量，是一个新的 Key，写为K ’，通过三元线性函数计算得到。
K ’引入了额外的维度，使得注意力机制能够捕获更加丰富的关系。
举个例子，在处理推理任务时，可以用查询向量Q表示当前问题，用键向量K表示第一个参考信息，用K ’表示第二个参考信息。
其中关键的一点在于，相比于点积，三元计算更为复杂。为此，这项研究引入了Triton来实现核心运算。
Triton 是一种高效的 GPU 编程框架，最早由 OpenAI 提出。它旨在让研究人员无需 CUDA 经验，就能用较少的代码实现接近于手写 CUDA 的性能。
研究人员通过 Triton 实现了 520TFLOPS（每秒万亿次浮点运算）的性能。
另外，论文还引入了滑动窗口（Sliding Window）机制，通过限制注意力的计算范围，来降低计算成本，同时保持较好的性能。
缩放指数更优
研究人员训练了一系列 MoE 模型来验证 2-Simplicial Transformer 的有效性。
模型规模从活跃参数 10 亿、总参数 570 亿，到活跃参数 35 亿、总参数 1760 亿不等。
在不同任务和模型规模上对比 2-Simplicial Transformer 和传统 Transformer 的负对数似然（值越小，说明模型对数据的预测越准确），结果如下：
可以看到，在小模型（1B）上，2-Simplicial Transformer 改进有限，在 GSM8k、MBPP 等任务中甚至出现了较为明显的性能下降。
但在较大模型上，2-Simplicial Transformer 表现显著优于传统 Transformer。
论文还分析了缩放指数的变化。
2-Simplicial Transformer 的缩放指数 α 明显高于传统 Transformer，说明模型性能随参数量、数据量的增加，变强速度更快。这也意味着，2-Simplicial Transformer 在数据有限场景下优势会更加明显。
不过，研究人员也提到，目前，2-Simplicial Transformer 的计算复杂度和延迟仍然较高，Triton 虽然高效，但仍需进一步优化以适配生产环境。
One More Thing
新注意力机制引发讨论，而背后的 Triton 这次也牢牢吸引住了网友们的目光。
用 Triton 实现三元线性注意力机制？这就像给了模型一把瑞士军刀。
整个 Triton 库就是一本关于如何不编程的教科书。
合着 Meta 的论文，这次算是给 OpenAI 的技术做了宣传了（doge）。
不过反过来也可以说，Meta 这波不仅挖走了 OpenAI 的人，也玩转了 OpenAI 的技术。
论文地址：
https://arxiv.org/abs/2507.02754
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
专属 AI 产品从业者的实名社群，只聊 AI 产品最落地的真问题 扫码添加小助手，发送「姓名 + 公司 + 职位」申请入群～
进群后，你将直接获得：
� � 最新最专业的 AI 产品信息及分析 � �
� � 不定期发放的热门产品内测码 � �
� � 内部专属内容与专业讨论 � �
� � 点亮星标 � �
科技前沿进展每日见
98配资官网-正规配资平台网站-广州股票配资平台-配资炒股配资优秀提示：文章来自网络，不代表本站观点。
