岗位职责:
1.负责数据湖开发、设计、工具应用;
2.负责企业数据治理;
3.负责数据资产编制、数据目录设计等。
任职要求:
1.本科及以上学历,3年以上相关工作经验,计算机相关专业;
2.熟悉Hadoop/Spark/Flink等大数据计算引擎,以及Kafka/Hive/HDFS等大数据平台组件;熟悉Hudi/Iceberg/Delta Lake等数据湖技术,以及HBase/Clickhouse等数据仓库技术;熟悉主流数据处理工具,如ETL工具、报表工具等,熟悉机器学习和数据挖掘算法;
3.熟练掌握Java、Python、Go等语言和相关框架,熟练掌握JVM原理和调优;熟练掌握数据库操作,包括数据库设计、性能优化;
4.熟悉Linux操作系统及常用Linux操作命令;
5.具有复杂应用系统设计、高并发、大数据、数据湖相关经验优先。