大模型训练框架工程师
- NIO
- Shanghai, Shenzhen +1 more, China
- CNY 400,000 – CNY 800,000
大模型训练框架工程师
深圳、合肥、上海社招全职数字技术本科及以上1-3 年
职位描述
· 负责大模型分布式训练框架核心组件的方案设计与特性开发 · 研究并优化3D并行（数据/张量/流水线并行）、ZeRO等分布式训练策略，提升千卡级集群扩展效率 · 探索通信优化、计算通信重叠、算子融合等技术，降低分布式训练通信开销 · 参与训练稳定性与容错机制建设，保障长周期预训练任务的稳定运行 · 与推理框架团队协同，打通训练到推理的模型导出与部署链路
职位要求
· 本科及以上学历，计算机、人工智能、数学、信息、电子等相关专业，1年以上相关经验 · 精通Python或C++，具备扎实的工程能力与系统级性能优化功底 · 深入理解Transformer架构与大模型训练全流程（前向/反向/优化器/混合精度等） · 熟悉至少一种主流训练框架（Megatron-LM/DeepSpeed/FSDP等）及其底层实现 加分项（非必需） · 有千卡级以上大规模预训练实战经验，熟悉NCCL/RDMA等高性能通信方案 · 在3D并行、ZeRO优化、序列并行、选择性重计算等方向有深度实践 · 熟悉CUDA/Triton算子开发，有自定义算子融合优化经验 · 有MoE模型训练、长上下文训练等前沿方向落地经验 · 在Megatron-LM/DeepSpeed/Megatron-Deepspeed等开源社区有贡献，或在顶会发表过相关论文
投递
Skills
- Python
- C++
- Megatron-LM
- DeepSpeed
- NCCL
- CUDA
