大数据架构师岗位的具体职责表述(精选12篇)

大数据架构师岗位的具体职责表述(精选12篇)

大数据架构师岗位的具体职责表述 篇1

职责:

1、负责规划大数据平台及应用产品的需求和技术方案设计;

2、负责数据对接和对外服务设计、开发和维护,并能保证质量和性能;

3、负责基于大数据平台的应用设计、开发和维护;

4、能从系统全局和各子系统的角度思考可能存在的问题,并提出改进方案建议;

任职要求:

1、大学本科6年以上工作经验,计算机相关专业。

2、至少4年以上的Java开发经验,3年以上大数据应用系统的开发和设计经验。

3、熟悉Hadoop生态圈技术体系, 对离线计算、内存计算和流式计算均有深刻理解, 如Hadoop、Storm、Spark三个中的任意二个, 能进行平台和组件优化。

4、精通Hive、HBase仓库设计,深刻理解MR运行原理和机制,能进行以提供高任务执行效率的优化。

5、精通Java开发,熟悉JVM调优, 对GC有深刻理解。

6、熟悉Linux、Shell、Kafka、Oracle、Mysql、Redis等相关技术, 能进行hbase可靠性诊断和维护。

7、快速研究和学习技术能力。

大数据架构师岗位的具体职责表述 篇2

职责:

1.负责企业数据中心建设,设计数据逻辑模型和物理模型,并完成相关开发

2.梳理公司各业务线常用的指标和维度,统一指标定义口径

3.根据数据应用开发和数据分析需求,设计数据仓库信息层模型,提高数据开发的效率

4.负责数据模型的运营和优化,及时响应业务逻辑变更,保证模型的数据质量和稳定性

5.负责公司数据标签体系的建设,并推动标签体系在实际业务场景中落地

岗位要求:

1.5年以上DW/BI数据架构设计、模型设计和性能调优等相关经验

2.有较强的数据分析能力,精通数据仓库架构,熟悉Erwin或PowerDesigner建模工具

3.精通一种主流关系数据库(如mysql等),熟悉Hive开发

4.有电商业务经验,元数据管理,数据质量管理或标签体系搭建经验者优先

5.优秀的协调沟通与团队协作能力,极强的责任心,能承受一定的工作压力,认同企业文化和团队价值

大数据架构师岗位的具体职责表述 篇3

职责:

根据大数据业务需求,设计大数据方案及架构,实现相关功能;

搭建和维护大数据集群,保证集群规模持续、稳定、高效平稳运行;

负责大数据业务的设计和指导具体开发工作;

负责公司产品研发过程中的数据及存储设计;

针对数据分析工作,能够完成和指导负责业务数据建模。

职位要求:

计算机、自动化或相关专业(如统计学、数学)本科以上学历,3年以上大数据处理相关工作经验;

精通大数据主流框架(如 Hadoop、hive、Spark等);

熟悉 MySQL、NoSQL(MongoDB、Redis)等主流数据库,以及rabbit MQ等队列技术;

熟悉hadoop/spark生态的原理、特性且有实战开发经验;

熟悉常用的数据挖掘算法优先.

大数据架构师岗位的具体职责表述 篇4

职责:

1、搭建基于Hadoop/Spark的数据挖掘体系和大数据分析系统架构;

2、研究大数据领域前沿数据挖掘技术,并引入相应技术在数据中心的使用;

3、进行大数据系统框架设计、模型算法开发;

4、负责大型数据挖掘项目方案制定、项目实施落地及优化等 ;

5、开展数据爬取、聚类分析、舆情分析、鱼骨图分析、定价策略等领域数据挖掘工作;

任职资格:

1、本科以上学历(持有学士学位)(985,211优先),计算机相关专业,五年工作经验;

2、二年以上数据挖掘项目经验,完整参与过数据挖掘大数据平台的架构开发过程,具备互联网行业背景优先;

3、精通分布式计算框架(hadoop、spark、Storm等)及相关经验,熟练掌握Hive/SQL,Python,熟悉Python、R相关数值科学计算库(NumPy,SciPy等);

4、了解传统的BI/DW 理论,能结合传统BI实践设计大数据平台;

5、熟悉常用机器学习算法(如分类、回归、聚类、关联规则等)及其原理,具备应用场景经验,如用户画像、商品关联度分析、舆情分析;

6、熟悉主数据、元数据、数据质量、和数据建模等数据治理相关的体系和方法;

7、具备较强的逻辑思维能力、数据敏感度,擅于利用数据发现问题及解决问题;

大数据架构师岗位的具体职责表述 篇5

1、搭建基于Hadoop/Spark的数据挖掘体系和大数据分析系统架构;

2、研究大数据领域前沿数据挖掘技术,并引入相应技术在数据中心的使用;

3、进行大数据系统框架设计、模型算法开发;

4、负责大型数据挖掘项目方案制定、项目实施落地及优化等;

5、开展数据爬取、聚类分析、舆情分析、鱼骨图分析、定价策略等领域数据挖掘工作;

大数据架构师岗位的具体职责表述 篇6

职责:

1、负责公司的大数据平台的数仓架构、系统架构设计;

2、负责带领团队完成舆情分析相关的挖掘方案设计;

3、负责大数据研发组团队管理;

4、负责带领团队完成舆情平台的方案文档撰写、迭代开发;

5、负责研发规范制定,研究行业前沿技术;

6、参与产品规划及设计讨论。

任职要求:

1、本科五年工作经验及以上,有至少五年的大数据技术实践经验,有NLP或AI相关经验;

2、有很强的架构设计能力和良好的表达能力;

3、有一定的项目管理及团队管理能力;

4、精通Hadoop、Spark生态圈中的常用组件原理及应用;

6、理解媒体业务,精通数据仓库的规划和设计;

5、精通掌握Java或Python编程,有性能调优能力;

4、熟悉NLP算法原理及应用;

6、对新生事物或者新技术有浓厚兴趣,学习能力强。

大数据架构师岗位的具体职责表述 篇7

1、建设大数据平台,主要技术为k8s, docker;

2、跟进开源社区的更新,阅读文档,验证feature;

3、阅读容器生态圈各组件的开源项目代码,开发新功能;

4、持续提升平台的性能和稳定性。

大数据架构师岗位的具体职责表述 篇8

职责:

1.负责过多个大数据项目的架构;

2.精通Hadoop、Spark, HBase等主流的大数据平台、精通各组件优化设计原理;

3.精通大数据实时流式处理的设计和应用;

3.熟悉大数据平台调优,具备大数据生产平台调优经验;

4.金融行业,运营商行业大数据架构经验更优;

5.研究大数据技术的最新发展,并引入到公司技术架构;

6.指导大数据工程师的日常工作,并培养技术骨干。

任职资格:

1.计算机相关专业本科或以上学历;

2.具有5年以上大数据相关开发经验;

3.具有2年以上带团队经验

4.对Hadoop/Hive/Spark/HBase/ES等等大数据常用技术有深刻理解,能够带领团队进行技术攻坚,完成中间件的实施、改造、调优;

5.精通海量数据和实时数据的分析处理,能对线上的数据处理性能问题做调优;

6.精通数据仓库以及维度建模原理,有大型数据仓库建设经验;

7.精通关系型数据库和NoSQL数据库的使用,熟悉相关理论;

8.沟通顺畅,重点突出,高效。

大数据架构师岗位的具体职责表述 篇9

职责:

1、大数据平台的规划、设计、实施,并优化数据库;

2、对数据库进行管理,负责数据库应用系统的运营及监控;

3、对数据库性能分析与调优,排错,保证数据正确率;

4、配合其他部门进行的数据处理、查询,统计和分析工作;

5、完成公司下达的项目开发任务。

任职要求:

1、计算机及相关专业本科以上学历,5年以上软件开发从业经验,其中包括至少2年以上的大数据开发工作经验;

2、熟悉hive,hadoop/spark,hbase等大数据相关技术架构,有管理或优化大型分布式集群经验;

3、熟悉linux基本命令,精通SQL脚本的编写,有丰富的数据库管理、运维调优经验;

4、熟悉C++、Java、C#等开发语言;

5、有互联网电商行业大数据分析处理和大型数据仓库的设计和实施经验;

6、有分布式系统分析及架构设计经验和大型计算集群的基础设施开发维护经验;

7、快速处理系统突发事件的能力,较强的学习和创新能力;

8、良好的沟通能力和团队合作精神。

大数据架构师岗位的具体职责表述 篇10

职责:

1.负责公司新业务方向平台大数据基础架构的搭建及后期数据处理体系的升级和优化,不断提升系统的稳定性和效率。为公司未来方向性产品提供大数据底层平台的支持和保证。

2.负责制定大数据平台调用约束和规范;

3.负责大数据方向技术难题的解决,以及代码质量的把控;

4.作为大数据开发团队的leader,负责大数据系统平台开发团队建设与人才梯队培养,分享技术经验,撰写相关技术文档指导和培训工程师。

任职要求:

1.热衷于大数据技术,并能平衡大数据性能、稳定性、扩展性多重要素进行设计和优化;

2.熟悉服务器基本知识,能够评估系统硬件性能瓶颈;

3.掌握Linux操作系统的配置,管理及优化,能够独立排查及解决操作系统层的各类问题,并能提供解决问题的理论依据;

4.精通Java服务器编程,熟悉JVM原理,对数据结构和算法设计有较为深刻的理解;

5.精通elasticsearch、Redis、hadoop、Kafka、Zookeeper、Yarn、Hbase、Spark底层架构,熟悉原理、源码、集群部署,包括参数优化、Bug修复,贡献过代码或提交过bug者优先

6.具备数据中心资源管理、监控、调度等系统研发经验者优先,具备分布式系统研发经验者优先;

7.具有应用大数据技术处理的项目开发、维护超过两年的经验者优先;

8.具有良好的文档编写能力,可进行方案设计、架构设计。

大数据架构师岗位的具体职责表述 篇11

职责:

负责公司大数据产品架构的设计与实现;

配合大数据产品经理完成产品的快速研发与交付;

负责大数据产品架构的持续优化设计;

负责大数据产品核心组件设计;

负责大数据相关数据架构规划、数据建模、数据库设计以及大数据产品研发工作;

为应用开发团队提供技术支撑。

及时向上级反馈工作进度、遇到的问题或者对现有工作的建议等;

完成上级领导交办的其它各项工作。

任职资格:

985/211本科及以上学历,3年以上的大数据开发经验、

2年以上大数据架构设计经验;

丰富的JAVA研发经验,精通JAVA,熟悉Python Scala等编程语言;具备深厚的分布式系统或数据库系统的理论基础,熟悉分布式计算系统的工作机制,具有分布式文件系统、分布式数据库系统、集群存储系统等架构设计经验;

熟悉整个大数据的完整处理流程(数据的采集、清洗、预处理、存储、分析挖掘、机器学习和数据可视化);

精通各种大数据相关技术体系:Hadoop、Spark、Storm、ElasticSearch、Kafka;

有数据挖掘、机器学习相关应用或研究背景;

沟通能力较好,积极主动意识较强,责任心较强。

具备优秀的逻辑思维能力,对解决挑战性问题充满热情,善于解决问题和分析问题;

良好的团队合作精神,较强的沟通能力和学习能力 ;

大数据架构师岗位的具体职责表述 篇12

职责:

(1) 负责公司大数据平台搭建,相关的设计和技术开发工作,负责大数据存储系统、分布式计算系统、数据集成、挖掘算法等的设计、研发以及维护、优化工作;

(2) 通过数据分析技术,挖掘有利于营销中各业务场景的变量或规则类标签,以提升模型效果,为文旅、教育业务提供数学模型理论及编程支撑;

(3) 对接沟通业务系统研发团队和产品部门,提供数据驱动方面的专业咨询方案,并对业务的大数据应用场景提出建设性意见;

(4) 配合部门领导进行项目需求分析、设计开发工作。

任职要求:

(1) 计算机、统计学,数学等相关专业本科以上学历,5年以上大数据或文旅、教育数据产品设计开发经验,高效高质量产出需求和技术文档;

(2) 精通Hadoop,熟悉大数据生态技术,如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Hive、Hbase、Kerberos等,有大规模集群架构、开发及运维经验;熟悉HDFS/MapReduce等;

(3) 熟悉Java,能够独立应用python、R、SAS或类似分析工具进行数据分析;

(4) 熟悉大数据挖掘、可视化分析,各种BI算法和产品等,在计算广告、搜索引擎、推荐系统、用户画像等有一个或多个算法领域的研发经验,能够运用数据作为产品解决业务方运营及决策问题;

(5) 有互联网行业工作经验者优先,有海量数据的机器学习算法实践经验优先;

(6) 工作认真、负责,有良好的团队合作精神,良好的分析能力、沟通技巧。

一键复制全文保存为WORD
相关文章