层次化（Hierarchial）Softmax算法是在深度学习领域中解决大规模词嵌入训练效率问题的重要突破。该算法通过引入Huffman树结构，有效地将传统Softmax的计算复杂度从线性降至对数级别，从而在处理大规模词汇表时表现出显著的优势。 在传统的神经网络词嵌入模型中 ...

在机器学习的世界里，有一个函数几乎无处不在： Softmax。它将神经网络最后一层的打分变成一组概率，让模型能用“我有多确定”来回答问题。乍看，这只是一个便利的数学小工具；然而当我们把目光移向 19 世纪的统计力学，再回到 20 世纪的信息论，再 ...

GPT 等大型语言模型（LLM）的成功离不开 Softmax 注意力机制，但这一机制也存在着成本高等一些缺点。 近日，上海人工智能实验室和 OpenNLPLab 的一个研究团队提出了一种新的大型语言模型 TransNormerLLM，其中完全抛弃了基于 Softmax 的注意力机制，而是使用了新提出 ...