大模型算法工程Co-Design
- MiniMax
- Shanghai, Beijing, China
- CNY 800,000 – CNY 1,500,000
上海、北京社招全职研发 - 算法
职位描述
寻找深度理解大模型算法，同时具备顶尖系统工程设计能力的专家。你将作为算法研究与工程落地的核心桥梁，主导优化大模型训练/推理效率、性能与成本，确保前沿算法在大规模系统中高效实现。
- 协同设计与优化：
- 深入理解大模型算法（架构、训练/推理技术），评估其工程可行性、性能瓶颈与成本。
- 主导设计下一代训练/推理框架或核心组件，确保原生支持高效算法实现（如高效Attention、通信优化）。
- 系统性解决训练/推理工作负载的性能瓶颈（计算、通信、存储）。
- 高性能系统实现：
- 设计并实现高性能核心（如定制Kernel）、优化通信与数据流水线。
- 分布式架构：
- 设计构建大规模分布式训练系统（DeepSpeed/Megatron-LM/FSDP）。
- 设计构建高并发、低延迟的大模型推理服务平台。
- 前瞻探索与协作：
- 跟踪领域前沿，探索验证新技术（新硬件、非Transformer架构等）。
- 高效沟通，跨团队（算法、工程、平台）协作推动方案落地。
职位要求
- 学历/经验： 计算机/人工智能等相关领域本科及以上，或具备同等杰出实践经验。
- 大模型基础： 深刻理解Transformer架构及大模型训练/推理等相关核心技术。
- 工程硬实力：
- 精通 PyTorch 及其分布式训练（DDP/FSDP），有大规模分布式系统设计开发调优经验
- 扎实的计算机体系结构/操作系统/网络基础。
- 丰富的“性能调优”经验（Nsight Systems, Profiler等）。 加分项
- 参与 DeepSpeed/Megatron-LM/vLLM/SGLang 等核心框架开发。
- GPU Kernel优化 (CUDA/Triton) 经验。
- 千亿参数级模型训练/部署经验。
- 熟悉云平台大规模AI负载管理。
投递
Skills
- PyTorch
- Distributed Training
- CUDA
- Performance Optimization
- DeepSpeed
- Megatron-LM
- System Architecture
