Token服务工程师
- NIO
- Shenzhen, Hangzhou +1 more, China
- CNY 350,000 – CNY 600,000
深圳、杭州、合肥社招全职数字技术 - 芯片研发本科及以上1-3 年
职位描述
· 负责token服务平台架构设计与核心功能开发，包括模型托管、API网关、推理调度等 · 设计并实现大模型推理服务的弹性调度与多租户隔离机制 · 构建模型版本管理与灰度发布体系，支撑模型的快速迭代上线 · 开发推理服务的监控、计费与配额管理系统 · 与推理框架团队协同，将底层推理能力高效封装为标准化API服务
职位要求
· 本科及以上学历，计算机、信息、电子等相关专业，1年以上相关经验 · 精通Go或Python，具备扎实的后端工程能力与分布式系统开发经验 · 熟悉微服务架构与API网关设计，了解gRPC/REST等通信协议 · 熟悉Kubernetes及容器化部署，具备云原生应用开发能力 加分项（非必需） · 有大模型推理服务化（vLLM/TGI/Triton Inference Server等）落地经验 · 熟悉GPU资源调度与弹性伸缩方案（Volcano/Kueue等） · 有高并发、低延迟API服务设计与性能调优实战经验 · 熟悉Serverless或事件驱动架构，有相关平台开发经验 · 了解模型量化、蒸馏等优化手段，能从平台视角整合推理优化能力
投递
Skills
- Go
- Python
- Kubernetes
- API Gateway
- Microservices Architecture
- gRPC
- Model Serving
