端侧全模态大模型工程专家
- ModelBest
- Shanghai, Beijing +1 more, China
- CNY 600,000 – CNY 900,000
端侧全模态大模型工程专家
北京、上海、深圳社招全职技术 - 基础架构职位 ID：A133605
职位描述
- 端侧语言模型 / 多模态模型 / 全模态模型推理部署；
- 深入全模态模型双工异步工作流推理开发与优化；
- 模型量化、KV Cache 管理与投机推理加速；
- 分析硬件性能调优与内存管理；
- 跟进主流芯片厂商技术栈演进；
职位要求
- 了解主流模型架构，包括 Transformer 系列、LLaMA、Qwen、Whisper 等，能分析其计算与内存特点；
- 熟悉TensorRT，了解llama.cpp、vllm、sglang框架；
- 有Orin平台开发经验；
- 了解投机采样（Eagle2/Eagle3/MTP）等推理加速思路，能够分析其对端侧延迟、内存和工程复杂度的影响；
- 精通 C/C++/python；
- 具备 异步多线程计算、内存管理优化 实战经验；
- 熟悉 GPU OOM / 内存调优，能分析内存带宽与计算瓶颈； 加分项：
- 有Whisper、Qwen3 asr等声学模型推理开发经验；
- GPU kernel / OpenCL / 自定义推理算子实现经验；
- Openvino推理开发经验；
- llama.cpp 自定义推理 runtime 开发经验；
- 有模型压缩、量化、蒸馏技术经验；
投递
Skills
- C/C++
- Python
- TensorRT
- llama.cpp
- Model Quantization
- GPU Memory Optimization
- Multimodal Model Inference
