DeepSeek开源周第三天（2025年2月26日）核心进展：开源项目DeepGEMM：FP8

1. 开源项目DeepGEMM：FP8矩阵计算性能突破

   - 核心功能：DeepGEMM是专为密集型和混合专家（MoE）模型设计的FP8通用矩阵乘法库，支持DeepSeek V3/R1模型的训练与推理。其核心目标是通过低精度计算优化算力利用率，同时兼顾计算精度。

   - 技术亮点：

     - 极致性能：在NVIDIA Hopper架构GPU上实现1350+ TFLOPS的FP8计算性能，小批量推理场景（如M=64或128矩阵）性能较优化后的CUTLASS方案提升2.7倍，MoE模型分组运算效率提升1.1-1.2倍。

     - 代码简洁性：核心逻辑仅约300行代码，通过即时编译（JIT）动态生成内核，无需预编译或复杂依赖项，设计风格“如教科书般清晰”。

     - 架构优化：

       - 采用线程束专用内核与张量内存加速器（TMA），实现数据搬运、计算与指令的并行重叠，减少GPU闲置。

       - 支持非对齐块大小（如112），适应不规则矩阵形状，提升流式多处理器（SM）利用率。

       - 结合CUDA核心两级累加技术，解决FP8精度损失问题。

 2. 实际应用与性能对比

   - 应用场景：

     - 实时推理：如聊天机器人响应生成，小批量处理的高效性显著降低延迟。

     - 大规模训练：支持MoE模型的分布式计算，优化参数规模达万亿级别的模型训练效率。

   - 对比优势：与英伟达CUTLASS库相比，DeepGEMM在多数矩阵尺寸上表现更优，尤其在短序列处理中体现“短跑式”速度优势，被开发者评价为“比NVIDIA更懂如何优化Hopper架构”。

 3. 开源策略与行业影响

   - 技术普惠：DeepGEMM延续了DeepSeek“生产验证”的开源策略，其代码已应用于V3/R1模型的商业部署，验证了工业级可靠性。

   - 社区反响：

     - GitHub仓库首日Star量快速攀升，开发者评价其“重新定义矩阵运算工具的设计哲学”。

     - 行业厂商（如趋境科技）认为，DeepSeek的优化技术“下沉至PTX指令级”，展现了对GPU底层架构的深刻理解，可能推动AI社区对硬件极限性能的进一步探索。

   - 生态协同：DeepGEMM与此前开源的FlashMLA（计算优化）、DeepEP（通信优化）形成技术闭环，覆盖AI训练推理的全链路。

 4. 后续计划与挑战

   - 技术扩展：当前版本仅支持Hopper架构，但社区预计其优化思路将适配更广泛硬件。

   - 开源延续：DeepSeek计划在剩余两天开源模型轻量化工具与稀疏注意力优化库，进一步完善AI基础设施生态。

   - 行业挑战：FP8低精度计算的普及需解决开发者适配门槛，DeepSeek通过提供清晰文档和案例加速技术落地。

DeepSeek开源周第三天以DeepGEMM为核心，通过FP8计算革新与极简代码设计，再次验证了其在AI底层技术领域的领先地位。该项目不仅为MoE模型的大规模应用提供关键支撑，更以“教科书级”代码示范推动行业技术透明化。结合前两日的开源成果，DeepSeek正构建覆盖计算、通信、矩阵运算的全栈优化体系，加速AGI技术从实验室到产业应用的转化。

以下是 DeepGEMM: FP8 开源项目的下载地址及相关信息整合：

 1. 项目下载地址

GitHub 仓库：  

  https://github.com/deepseek-ai/DeepGEMM 

2. 系统要求

- 硬件：  

  - 必须使用 NVIDIA Hopper 架构 GPU（如 H100/H800，支持 sm_90a 计算能力）。  

- 软件：  

  - CUDA 12.3 或更高版本（推荐 12.8+）  

  - Python 3.8+ 和 PyTorch 2.1+  

  - 其他依赖：CUTLASS 3.6+、Linux 操作系统（推荐 Ubuntu/CentOS）。

3. 核心功能与特性

- 支持 FP8 数据类型：  

  采用 E4M3 格式（4 位指数 + 3 位尾数），通过细粒度缩放和双级累加技术解决 FP8 精度问题。  

- 高效计算性能：  

  - 在 Hopper GPU 上实现 1350+ FP8 TFLOPS，小批量推理性能较优化库提升 2.7 倍。  

  - 支持 普通 GEMM 和 MoE 分组 GEMM（连续/掩码布局）。  

- 极简设计：  

  核心代码仅约 300 行，无复杂依赖，支持 JIT（即时编译）动态优化。  

 5. 应用场景

- AI 训练与推理：加速大规模语言模型（如 DeepSeek-V3/R1）的矩阵运算。  

- 混合专家（MoE）模型：优化分组 GEMM 计算，提升多专家共享场景效率。  

- 低精度计算优化：通过 FP8 减少内存带宽需求，适配资源受限环境。