当前位置

首页 > 办公 > 文秘 > 岗位职责 > 大数据开发工程师的工作职责模板

大数据开发工程师的工作职责模板

推荐人: 来源: 笔墨帮 阅读: 6.26K 次

大数据开发工程师负责数据仓库的体系建设及落地实现。下面是本站小编整理的大数据开发工程师的工作职责模板。

大数据开发工程师的工作职责模板

大数据开发工程师的工作职责模板1

职责:

1、独立负责工作小组,并对下级成员进行监督;

2、具备资源整合以及对软件项目全局把控的能力;

3、负责软件项目的系统设计和需求分析;

4、制定软件项目开发计划,并按时完成功能模块的设计、开发以及编程任务;

5、积极配合并完成主管下达的任务,并能够对软件部门的发展规划提出意见;

任职条件

1、大数据相关开发经验3年以上,至少具备2年以上java开发经验;

2、有基于hadoop的数据抽取、转换、加载的开发相关经验;

3、熟练掌握hadoop生态的相关知识,如hive,hbase,a,storm,spark,mapreduce等;

4、熟悉Linux操作系统。熟悉linux各项基本操作,至少掌握一门脚本语言;

5、熟练数据仓库,对多维数据建模有深入理解;

6、有BI数据平台、数据仓库、日志采集、多维数据仓库设计、开发、架构经验者优先;

7、思维敏捷,有较强的钻研学习能力,较好的沟通能力、团队合作;

大数据开发工程师的工作职责模板2

1、负责数据仓库和大数据处理模块的架构设计和开发;

2、负责实现基于Spark框架的分布式计算框架的设计和开发工作;

3、负责Spark技术研究和通用数据平台的性能调优;

4、负责大数据项目中,基于kafka、flume、spark streaming、Spark SQL等相关技术的海量数据的处理、分析、统计、挖掘工作。

5、熟悉Scala/Java语言,对Scala/Java原理、底层技术有深入研究者优先;

6、有过海量数据系统开发经验者优先;

7、熟悉Hadoop/Spark生态系统组件的使用,至少有2年以上的Spark开发经验;

8、写过推荐系统的优先考虑

大数据开发工程师的工作职责模板3

职责

1、负责公司大数据平台建设工作,完成Hdaoop/Spark搭建部署,根据业务需要进行开发;

2、开发实现网络爬虫并爬取所需数据,有效存储到大数据平台;

3、对平台数据做预处理,满足数据展现及后续机器学习等系统使用;

4、根据业务需要,应用大数据实时分析技术、可视化技术等,并对平台发展规划进行设计。

任职资格

1、本科及以上学历,计算机相关专业;

2、熟悉数据仓库和数据建模相关技术细节,有编程经验,熟悉SQL/Hadoop/Hive/Hbase/Spark等大数据工具;

3、具备海量数据处理经验,或有互联网行业数据挖掘工作经验;

4、1年以上岗位经验优先,本科应届有意向的,可优先培养。

大数据开发工程师的工作职责模板4

职责:

1.负责金融银行大数据系统相关模块的数据架构及研发实施工作

2.依据业务场景、分析需求提供技术解决方案并加以实现;

3.与客户业务部门对接,解决数据建模、报表和报告在系统开发遇到的问题;

任职资格:

1.具备3年以上DW系统建设经验,了解BI系统,有数据管理经验,有维度建模相关经验,了解数据仓库建设过程中的挑战与问题

2.精通多系统数据融合、清洗、转换、整合,具备海量数据加工处理相关经验

3.熟悉业界数据仓库建模方法、元数据管理、数据质量体系管理

4.掌握大型数据库开发技术(ORACLE/DB2等),有丰富的数据库模型设计和优化经验

5.熟练掌握Unix/Linux常规命令、工具及Shell编程

6.掌握一门或多门编程语言优先,如Java、Python、scala等

7.熟悉Hadoop、spark、kafka等大数据生态相关技术,有相关实践经验着优先8.良好的语言沟通与表达能力和自我驱动动力9.具备银行项目设计、开发、优化等经验者加分

大数据开发工程师的工作职责模板5

职责:

1、 参与ODS系统或Hadoop 系统数据库相关开发,包括数据仓库的数据模型设计(ODS层设计、基础数据层设计、汇总层设计等);

2、 参与ETL Mapping设计及开发工作;

3、 参与客户/用户画像、经营管理、产品画像、营销活动等主题域建设工作。

资质要求:

1.计算机相关专业本科及以上学历,优秀者放宽至大专;

2.有大型数据库(ORALCE/MSSQL SERVER等)开发经验,有Sybase IQHIVESpark SQL开发经验者优先;

3、有较强的SQL编程能力,熟练编写存储过程,能设计各种复杂的业务处理、统计分析语句,精通sql性能优化;

4、具有数据仓库、ods、BI商务智能项目经验者优先,具有金融行业项目背景者优先;

5、较好的沟通理解能力,态度踏实,积极上进。