在机器学习的世界里，有一个函数几乎无处不在： Softmax。它将神经网络最后一层的打分变成一组概率，让模型能用“我有多确定”来回答问题。乍看，这只是一个便利的数学小工具；然而当我们把目光移向 19 世纪的统计力学，再回到 20 世纪的信息论，再 ...

这篇论文针对增量学习（IL）中的灾难性遗忘问题，提出了突破性解决方案。作者发现标准Softmax交叉熵损失（softmax cross-entropy loss）存在非可识别性缺陷，会导致任务间权重失衡。通过提出两种创新策略——不平衡不变蒸馏损失（imbalance-invariant distillation loss）和 ...

「我发现注意力公式里有个 bug，八年了都没有人发现。所有 Transformer 模型包括 GPT、LLaMA 都受到了影响。」 昨天，一位名叫 Evan Miller 的统计工程师的话在 AI 领域掀起了轩然大波。 我们知道，机器学习中注意力公式是这样的： 自 2017 年 Transformer 问世，这个公式 ...

Learn how to create a simple neural network, and a more accurate convolutional neural network, with the PyTorch deep learning library PyTorch is a Python-based tensor computing library with high-level ...

PyTorch 1.10 is production ready, with a rich ecosystem of tools and libraries for deep learning, computer vision, natural language processing, and more. Here's how to get started with PyTorch.