您的当前位置:首页正文

大数据架构师的岗位职责

2021-06-30 来源:榕意旅游网

  职责:

  1、搭建基于Hadoop/Spark的数据挖掘体系和大数据分析系统架构;

  2、研究大数据领域前沿数据挖掘技术,并引入相应技术在数据中心的使用;

  3、进行大数据系统框架设计、模型算法开发;

  4、负责大型数据挖掘项目方案制定、项目实施落地及优化等 ;

  5、开展数据爬取、聚类分析、舆情分析、鱼骨图分析、定价策略等领域数据挖掘工作;

  任职资格:

  1、本科以上学历(持有学士学位)(985,211优先),计算机相关专业,五年工作经验;

  2、二年以上数据挖掘项目经验,完整参与过数据挖掘大数据平台的架构开发过程,具备互联网行业背景优先;

  3、精通分布式计算框架(hadoop、spark、Storm等)及相关经验,熟练掌握Hive/SQL,Python,熟悉Python、R相关数值科学计算库(NumPy,SciPy等);

  4、了解传统的BI/DW 理论,能结合传统BI实践设计大数据平台;

  5、熟悉常用机器学习算法(如分类、回归、聚类、关联规则等)及其原理,具备应用场景经验,如用户画像、商品关联度分析、舆情分析;

  6、熟悉主数据、元数据、数据质量、和数据建模等数据治理相关的体系和方法;

  7、具备较强的逻辑思维能力、数据敏感度,擅于利用数据发现问题及解决问题;

因篇幅问题不能全部显示,请点此查看更多更全内容