在机器学习的世界里，有一个函数几乎无处不在： Softmax。它将神经网络最后一层的打分变成一组概率，让模型能用“我有多确定”来回答问题。乍看，这只是一个便利的数学小工具；然而当我们把目光移向 19 世纪的统计力学，再回到 20 世纪的信息论，再 ...

「我发现注意力公式里有个 bug，八年了都没有人发现。所有 Transformer 模型包括 GPT、LLaMA 都受到了影响。」 昨天，一位名叫 Evan Miller 的统计工程师的话在 AI 领域掀起了轩然大波。 我们知道，机器学习中注意力公式是这样的： 自 2017 年 Transformer 问世，这个公式 ...