- 负责解决超大规模集群下的跨机房资源调度、任务错峰编排、参数自适应、数据识重等技术难题
- 负责数据虚拟化、算子血缘、主动元数据治理等DataFabric技术落地
岗位要求:
- 熟练掌握大数据技术架构HDFS、Yarn、Hive、Spark、ClickHouse、HBase等
- 熟悉数据决策系统、规则引擎、算法建模、大模型应用等技术领域,能够设计和实现复杂的数据分析和智能决策解决方案。
- 熟悉大数据平台整个ETL过程
- 熟悉DataFabric关键技术和架构,了解行业落地方案
- 精通JAVA开发语言及常用开发框架Spring、Mybatis等
- 五年以上大数据开发经验
- 具备较强的学习能力和逻辑思维能力,关注前沿技术,能够持续学习。具备较强的团队沟通和协作能力,有较强的主人翁意识。能够承受一定的工作压力。