llm.c 是 Karpathy 用 C 语言（外加一点点 C++）从零开始写的一个 Transformer 训练框架 为什么要写 llm.c？ 事情是这样的：一年前，Karpathy 想在他的视频系列（Karpathy非常喜欢分享AI技术）中添加一个关于 LLM 训练的视频，于是他开始用 PyTorch 写代码。结果，他被 PyTorch ...

生成式人工智能 (AI) 正在科技领域发挥关键作用，许多企业已经开始将大语言模型 集成到云端和边缘侧的应用中。生成式 AI 的引入也使得许多框架和库得以发展。其中，PyTorch 作为热门的深度学习框架尤为突出，许多企业均会选择其作为开发 AI 应用的库。

作者 | 北京大学 DCAI 团队在大模型（LLM）研发进入深水区的 2026 年，行业共识正经历从“模型中心（Model-Centric）”向“数据中心（Data-Centric）”的深刻演进。随着 Scaling Law ...

【新智元导读】用英伟达的GPU，但可以不用CUDA？PyTorch官宣，借助OpenAI开发的Triton语言编写内核来加速LLM推理，可以实现和CUDA类似甚至更佳的性能。 试问，有多少机器学习小白曾被深度学习框架和CUDA的兼容问题所困扰？ 又有多少开发者曾因为频频闪烁的警报「 ...

PyTorch，这一广受欢迎的开源机器学习框架，近期正式推出了其最新版本——2.8版。此次版本更新聚焦于提升量化大语言模型（LLM）在Intel CPU上的推理性能，吸引了众多开发者和研究人员的目光。 在PyTorch 2.8中，开发者团队通过算法优化和技术革新，显著提高了 ...

导语：Colossal-AI团队开源了SwiftInfer，可以进一步提升大模型推理性能46%，为多轮对话推理提供了高效可靠的落地方案。 在大型语言模型（LLM）的世界中，处理多轮对话一直是一个挑战。前不久麻省理工Guangxuan Xiao等人推出的StreamingLLM，能够在不牺牲推理速度和 ...

PyTorch公开2024 H2发展路线图，增透明度。 【导读】最近，PyTorch团队首次公布了开发路线图，由内部技术文档直接修改而来，披露了这个经典开源库下一步的发展方向。 如果你在AI领域用Python开发，想必PyTorch一定是你的老朋友之一。2017年，Meta AI发布了这个机器 ...

7项指标排名第一。 JAX在最近的基准测试中的性能已经不声不响地超过了Pytorch和TensorFlow，也许未来会有更多的大模型诞生在这个平台上。谷歌在背后的默默付出终于得到了回报。 谷歌力推的JAX在最近的基准测试中性能已经超过Pytorch和TensorFlow，7项指标排名第一。

一键报名免费网络研讨会，探索RISC-V如何驱动AI/ML技术最前沿！ 欢迎参加SiFive AI/ML网络研讨会，了解SiFive如何在RISC-V平台上 ...