数据中心工程师岗位职责(通用13篇)
1、负责每日的数据仓库运维工作,保障数据的稳定性、一致性等;
2、参与数据仓库的优化设计,如元数据、数据权限、调度优化;
3、负责数据质量和数据标准化的设计与开发;
4、负责满足业务部门的日常业务提数与报表需求的开发。
1、负责产品数据库研发,参与系统整体架构设计;
2、根据产品目标负责相关业务的数据分析、建模、设计评审,跟进产品过程中数据库设计;
3、负责产品模块的数据层分析、设计、编码、测试;
4、能够独立完成产品数据层开发任务,负责各类数据接口开发;
5、负责各类型数据操作处理和兼容问题;数据库复杂SQL开发和调优。
1.负责海量数据的分析开发工作;
2.完成数据挖掘模型,跟踪模型的实施和效果,定期优化算法和分析策略,分析研究后提供建设性建议 ;
3.优化大数据存储、计算等各方面性能,确保能从海量大数据信息里,有效进行数据分析和挖掘;
4.根据用户的活动记录进行特征筛选和关联挖掘。提高关联准确性;
5.参与相关数据标准和规范的制定。
要求:
1.熟悉java/scala/python/R中至少一种编程语言,具有良好的.编码习惯;
2.计算机、数学相关专业本科以上学历;
3.2年以上数据挖掘及其相关经验,对常用的数据挖掘算法有较深入了解,有实际算法调优经验 ;
4.熟悉常用数据挖掘算法(聚类/分类/回归/关联规则/图模型)等算法原理,具备实际的建模经验,熟悉常用机器学习算法原理,如朴素贝叶斯/决策树/随机森林/逻辑回归/SVM等,并具备相关应用经验;
5.熟悉hadoop生态,具有spark/flink等实际开发经验;
6.极强的数据敏感度,能从海量数据中挖掘出数据核心价值,相关;
7.熟悉分布式存储,熟悉mysql/oracle、hbase、redis、mogongdb、elasticsearch等,熟悉neo4j/JanusGraph等图数据库优先 ;
8.富有创新精神,充满激情,乐于接受挑战,良好的沟通技巧和团队合作,抗压性强,能适应加班。
1.负责海量数据的分析开发工作;
2.完成数据挖掘模型,跟踪模型的实施和效果,定期优化算法和分析策略,分析研究后提供建设性建议;
3.优化大数据存储、计算等各方面性能,确保能从海量大数据信息里,有效进行数据分析和挖掘;
4.根据用户的活动记录进行特征筛选和关联挖掘。提高关联准确性;
5.参与相关数据标准和规范的制定。
1、5年或以上 Oracle / MySQL / PG DBA或相关工作经验;
2、熟悉Linux以及基于Linux的各种常用系统服务的部署、配置、运维、排障、监控等;
3、熟悉Oracle 10 / 11 / 12的SQL以及PL/SQL编写;
4、熟悉上述版本Oracle以及RAC的运维、排障、数据迁移、调优等;
5、熟悉PG 10 / 11 / 12的'部署维护、备份恢复、数据迁移、流复制、排障调优者优先;
6、熟悉KVM、ZStack、Docker、K8S等云基础架构技术并有相关工作经验者优先。
1.依据项目需求建构数据萃取与转换流程
2.挖掘数据特征,进行数据和特征融合
3.搭建数学模型,并对模型进行检验评估
职位要求:
1、计算机、数学、统计、人工智能等相关专业的硕士或以上学历;
2、二年以上数据挖掘、机器学习相关工作经验,熟悉python、spark、pandas、sklearn等数据分析工具者优先;
3、熟练掌握贝叶斯、随机森林、深度学习等机器学习算法;
4、突出的分析问题和解决问题能力,自我驱动,并且具备较强的学习能力、创新应用能力及沟通协调能力,有良好的'团队合作意识;
5、有国际背景或能熟练使用英文沟通者优先
1.负责数据分析,数据挖掘相关的算法、应用的设计与开发;
2.负责公司产品各阶段数据的整理、分析、挖掘及提交数据报告,重点对车辆行为数据进行分析和挖掘,利用数据分析结论推动业务产品的优化;
3.对海量业务数据进行整合、分析挖掘,挖掘产品以及用户潜在信息,为营销、运营及决策提供业务分析及数据支持。
岗位职责:
1.按产品功能需求说明,设计相应数据库业务逻辑及规则,并完成脚本封装。
2.根据产品适配计划,进行新适配数据库的预研。
3.根据业务需求,提供数据库元数据创建语句。
4.协助产品内容、数据库知识体系、业务算法模型等研发。
技能要求:
1.熟悉Oracle、SQL Server、MySQL数据库架构及原理,并有实际运维经验。
2.熟悉MySQL、PostgreSQL和MongoDB等开源数据库架构及原理,并有实际运维经验。
3.熟悉RDS for MySQL、PostgreSQL等云数据库架构及原理,并有实际运维经验。
4.熟悉达梦、人大金仓、南大通用、神州通用、高斯、热璞、巨杉等国产数据库架构及原理,并有实际运维经验。
5.熟悉PolarDB、OceanBase、Tidb等数据库架构及原理,并有实际运维经验。
6.深刻理解数据库原理及架构,有二线dba经验者优先。
7.熟悉Unix、Linux、Windows等操作系统架构及原理,并能熟练使用。
8.熟悉主流自动化运维、监控产品,有实际开发及使用经验的优先。
9.熟练使用shells、Python等脚本语言。
10.熟悉脚本开发规范,具有数据库开发背景的`优先。
11.深入理解数据库的数据字典,并熟悉对象定义,有自定义对象开发经验的优先。
12.善于沟通,皮实,良好的学习能力。
13.本科(含)以上学历,计算机或相关专业的优先。
岗位职责:
业务数据的收集整理和分析;
负责公安、交通领域的业务建模和算法设计;
分析项目数据需求,完成系统中数据分析模块的设计、实现和测试;
设计、构建和优化基于大数据的存储平台架构,编写相关技术文档;
设计并实现基于开源项目(Cobar,Spark等)的海量数据集成与处理平台;
为其他部门提供数据分析支撑。
任职资格:
计算机相关专业;
熟悉数据挖掘算法,对分类、聚类、时序、图等算法有很深了解;
熟练掌握Hadoop、Spark生态系统组件(MR、HBase、Hive、ZooKeeper、Spark SQL、Spark Mlib等),有相关大数据架构,开发成功案例;
熟练的使用、开发ETL工具经验,有数据库建模ER建模经验优先;
有海量数据BI或数据挖掘项目实施和管理经验,对数据挖掘理论方法有一定了解者优先;
熟悉的Bash Shell和Python等脚本编程能力;
强烈的责任心和工作热情,良好的团队合作精神。
岗位职责:
1.负责衔接大数据平台与前端的数据传输;
2.根据客户需求设计大数据业务平台架构、配置组件;
3.负责后台服务的调试与测试,梳理接口文档、开发文档与测试文档。
任职资格:
1.硕士以上,或较为优秀的本科生;后端开发经验2年以上;
2.有基于b/s架构进行实际业务平台开发的经验,有to b软件开发经验更佳;
3.通用软件开发基础、软件架构基础、scrum敏捷开发方法,有大数据基础更佳;
4.精通java或python语言,有rcp框架经验更佳;熟练掌握mybatis、springcloud / springboot、node.js等框架,精通sql技术;了解以太网通信协议,熟悉websocket技术。熟练使用git,svn等工具;
5.学习能力强,勇于挑战,代码质量意识强,笃信“工程即魔法”。
1.数据采集系统和分布式爬虫系统的架构设计和开发
2.对接外部数据服务商提供的数据及资讯服务,实现数据的'有效沉淀,建立数据服务评估机制
3.负责大规模文本、图像、视频数据的抓取、抽取,去重、分类,垃圾过滤,质量识别等工作
4.研究各种目标网站的形态,互联网特征挖掘,发现它们的特点和规律
1.负责直播业务相关数据仓库的数据模型设计;
3.参与数据仓库ETL流程设计、开发和优化,解决ETL过程相关技术问题;
3.参与项目规划,数据采集设计,数据仓库开发,模型开发,报表开发等;
4. 总结数据仓库建模的方法,负责数据产品平台化和系统化;
1、MySQL数据库规划、设计、监控维护、升级、备份、镜像、容灾;
2、数据库服务器的安装部署、性能优化、可靠性、容灾方案制定等;
3、对数据库性能分析与调优,排错,保证数据安全;
4、负责对开发工程师的SQL语句进行优化;
5、配合研发制定数据库技术方案,分库分表策略,现有表结构优化,数据迁移方案;
6、负责Mysql自动化相关事宜;