机器人专项-认知智能体

机器人专项-认知智能体

深圳、上海社招全职智能制造 / 工业互联网 / 工业自动化

职位描述

【P0】具身多模态大模型（VLM/VLA）算法工程师/资深/专家/TL 岗位职责：

1. 研究应用大模型实现四足、人形机器人的复杂认知能力，包括：
2. 开放指令任务理解及规划、复杂场景理解、行为决策推理与动作规划，长程任务规划等；
3. 实现机器人自主探索导航
4. 实现高效可泛化的四足、人形机器人的移动、操作联合决策和规划
5. 实现基于视觉、深度等的环境感知与3D空间表征，人脸人形识别、人体姿态估计等， 实现精准的空间推理 及action model 动作轨迹规划；
6. 开发适配大模型VLM/VLA的场景表征/对齐技术和场景语义识别。训练图像/视频与文本融合的多模态理解大模型，提升模型的跨模态理解能力；
7. 设计构建模型训练数据集和标注方法，支持大批量自动化的标注构建
8. 负责基模型的领域预训练，模型微调SFT、强化学习（RLHF）训练，提升夸任务的泛化性能，开发高效的模型评测方法提高迭代效率。
9. 解决模型评测/部署/真机测试中的问题，满足项目交付指标要求
10. 跟踪前沿技术方案，持续迭代升级方案 岗位要求
11. 人工智能、计算机、机器人、自动驾驶、自然语言处理等相关专业硕士或博士学位
12. 有如下某个方向研究经验：
13. 熟练掌握主流LLM技术（Bert、GPT、Llama、transformer等），有VLM模型（Llava、QwenVL等）、VLA（action token）模型应用经验， 熟悉生成式AI 技术（diffusion）。
14. 有量产动静态环境感知或表征经验，熟悉 BEV、Sparse，SAM，VIT，CLIP，DINO
15. 具备多模态数据融合（文+视+听）研发经验；
16. 掌握主流的具身大模型技术（RT2, π系列、OpenVLA，ACT, Diffusion Policy）
17. 基于学习的机器人移动、操纵相关算法经验
18. 熟练掌握大模型领域训练、微调方法（LoRA/P-tuning等）、RL方法（PPO/DPO/GRPO、A3C等）；
19. 熟悉模型轻量化技术（剪枝、蒸馏、量化等）
20. 掌握大模型的分布式训练框架
21. 熟练使用PyTorch/TensorFlow深度学习框架，熟练使用Python/C++语言编程，有实际项目开发经验
22. 有 ROS2/DDS下的开发经验，能够在Linux环境下独立进行开发和调试； 加分项：
23. 有智能驾驶、具身智能、CV等领域实际的大模型系统或相关开发经验者优先
24. 在机器人顶会（SR/IJRR/TRO/RSS/ICRA/IROS等）或AI顶会（CVPR/NeurIPS/ICML/ICLR等）发表论文者优先

职位要求

【P0】具身大模型自主导航（VLN）算法工程师/资深/专家/TL 岗位职责：

1. 负责基于大模型技术的的机器人自主探索导航功能
2. 实现语义环境构建与记忆功能
3. 构建模型训练数据集和设计标注方法，支持大批量自动化的标注构建
4. 应用模仿学习，在/离线强化学习（IL/RL）进行模型训练提升模型性能，开发高效的模型评测方法提高迭代效率
5. 解决模型评测/部署/真机测试中遇到的问题，满足项目交付指标要求
6. 跟踪前沿技术方案，持续迭代升级方案 岗位要求：
7. 人工智能、计算机、机器人、自动驾驶等相关专业硕士或博士学位
8. 精通主流VLM架构和RAG，有大模型微调SFT/强化学习RL经验，熟悉PPO/GRPO/DPO等。
9. 有记忆泊车/AVP/机器人自主导航相关工程经验优先
10. 熟练使用PyTorch/TensorFlow深度学习框架，熟练使用Python/C++语言编程，有实际项目开发经验
11. 熟悉机器人常用开发环境Mojuco/NVIDIA Isaac/gazebo
12. 有 ROS2/DDS下的开发经验，能够在Linux环境下独立进行开发和调试； 加分项：
13. 智能驾驶/机器人领域的工程落地经验
14. 在机器人顶会（SR/IJRR/TRO/RSS/ICRA/IROS等）或AI顶会（CVPR/NeurIPS/ICML/ICLR等）发表论文者优先

投递