资深大数据平台开发工程师
- NIO
- Shanghai, Hefei, China
- CNY 500,000 – CNY 800,000
资深大数据平台开发工程师
上海、合肥社招全职数字技术本科及以上5-7 年
职位描述
- 参与Agent-Native的数据平台整体架构设计与实现，构建全链路的数据开发与闭环的智能化落地；
- 完善Data+AI的核心基础架构建设，负责湖仓一体和元数据管理体系建设，实现数据治理智能化；
- 研究未来数据模型和计算存储框架的创新与落地，包括但不限于以下领域：统一数据目录管理，数据血缘权限建设，数据湖仓技术建设等；
- 接受大数据平台系统设计与实现复杂度的挑战，分析和发现系统的优化点，负责推动系统的合理性、可靠性、可用性的提升；
- 和开源社区保持交流，从社区引入对公司业务场景有帮助的特性与系统，或将内部研发的功能贡献到社区。
职位要求
- 计算机/应用数学等相关专业、全日制本科以上学历 ，5-10年工作经验;
- 熟悉存储系统、分布式算法、计算机网络，理解大型分布式存储系统工作原理 ;
- 熟悉Hadoop生态组件，对Hive以及Iceberg数据湖技术有过相关开发经验，并对计算引擎(Spark，Trino/Presto、Flink，Ray)有一定的实践；
- 熟悉OLAP数据库（如：Clickhouse、Doris、Starrocks等)，并对其中一些数据库有深入的实践 ;
- 熟悉大数据云原生建设，有Spark/Flink on K8s的开发经验；
- 精通Java或C++，熟悉多线程编程、网络编程，熟悉常见的数据结构和算法，具备快速学习能力，能快速掌握新的开源技术框架；
- 优先考虑有DataWorks/DataLeap/WeData等类似的数据平台开发经验，或有Data Agent的开发经验
投递
Skills
- Java
- C++
- Apache Spark
- Apache Flink
- Apache Iceberg
- Kubernetes
- Distributed Systems
