NVIDIA 2025中国开发者日将于11月14日在苏州国际博览中心G馆盛大开幕，这场备受瞩目的活动将汇聚来自全国乃至全球的AI开发者，共同探讨人工智能领域的最新进展。本次开发者日将重点关注 大语言模型 、 机器人 、 物理AI 以及 开发工具 等关键领域的前沿创新与落地实践，为行业发展注入新的活力。确认邮件已发出，您的“入场券”已经激活！

点击上方“Deephub Imba”,关注公众号,好文章不错过 ! 随着NVIDIA不断推出基于新架构的GPU产品，机器学习框架需要相应地更新以支持这些硬件。本文记录了在RTX 5070 Ti上运行PyTorch时遇到的CUDA兼容性问题，并详细分析了问题根源及其解决方案，以期为遇到类似情况的 ...

【新智元导读】用英伟达的GPU，但可以不用CUDA？PyTorch官宣，借助OpenAI开发的Triton语言编写内核来加速LLM推理，可以实现和CUDA类似甚至更佳的性能。 试问，有多少机器学习小白曾被深度学习框架和CUDA的兼容问题所困扰？ 又有多少开发者曾因为频频闪烁的警报「 ...

更多精彩内容 请点击上方蓝字关注我们吧！ 今年 3 月，苹果发布了其自研 M1 芯片的最终型号 M1 Ultra，它由 1140 亿个晶体管组成，是有史以来个人计算机中最大的数字。苹果宣称只需 1/3 的功耗，M1 Ultra 就可以实现比桌面级 GPU RTX 3090 更高的性能。 随着用户 ...

【导读】12月2日，英伟达发布了最新的TensorRT 8.2版本，对10亿级参数模型进行了优化，让实时运行NLP应用成为可能。与原始PyTorch模型相比，TensorRT可以将T5、GPT-2的延迟降低9到21倍。 众所周知，PyTorch和TensorFlow是两个非常受欢迎的深度学习框架。 12月2日，英伟达 ...

快科技10月31日消息，摩尔线程宣布，针对PyTorch深度学习框架的MUSA插件“Torch-MUSA”，迎来重大更新新版本v1.3.0，全面兼容PyTorch 2.2.0。 新版进一步提升了PyTorch在摩尔线程GPU MUSA架构上的模型性能与覆盖度，能更友好地支持模型迁移到摩尔线程GPU。 PyTorch是全球 ...

此功能由Pytorch与Apple的Metal工程团队合作推出。 它使用Apple的Metal Performance Shaders(MPS) 作为PyTorch的后端来启用GPU加速训练。 为了优化计算性能，MPS还针对Metal GPU系列的独特特性对每个内核进行了微调。 Metal是一个类似OpenGL的框架，只不过OpenGL适用于各平台的移动 ...

7项指标排名第一。 JAX在最近的基准测试中的性能已经不声不响地超过了Pytorch和TensorFlow，也许未来会有更多的大模型诞生在这个平台上。谷歌在背后的默默付出终于得到了回报。 谷歌力推的JAX在最近的基准测试中性能已经超过Pytorch和TensorFlow，7项指标排名第一。

大语言模型的微调一直是说起来容易做起来难的事儿。近日 Hugging Face 技术主管 Philipp Schmid 发表了一篇博客，详细讲解了如何利用 Hugging Face 上的库和 fsdp 以及 Q-Lora 对大模型进行微调。 我们知道，Meta 推出的 Llama 3、Mistral AI 推出的 Mistral 和 Mixtral 模型以及 AI21 ...