大模型训练一般都是用单机 8 卡 GPU 主机组成集群，机型包括 8*{A100,A800,H100,H800} 。下面一台典型 8*A100 GPU 的主机内硬件拓扑： 本节将基于这张图来介绍一些概念和术语，有基础的可直接跳过。 关于CPU、服务器和存储详细技术，请参考“下载提醒：服务器基础 ...

Hello folks，我是 Luga，今天我们来聊一下人工智能应用场景 - 基于 k8s-device-plugin 机制所实现的 GPU 资源动态调度。 近几年，随着大数据和人工智能技术的迅猛发展，AI 应用场景日益丰富，成为推动产业升级的重要驱动力。云计算作为 AI 发展的坚实基础 ...

【本文由小黑盒作者@夏日冰柠于09月12日发布，转载请标明出处！】 一、基本架构与组件 1. CUDA核心（仅限NVIDIA）：NVIDIA GPU中的基本计算单元，用于执行并行计算任务，如浮点和整数运算。 2. 流处理器（AMD）：AMD GPU中的基本计算单元，类似于NVIDIA的CUDA核心 ...

GPU，即图形处理器（Graphics Processing Unit），又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备（如平板电脑、智能手机等）上做图像和图形相关运算工作的微处理器。根据应用端，可将GPU分为移动端和桌面端，其中 ...