大数据架构师的职责 篇27

　　职责：

　　1、负责公司大数据底层框架的整体架构设计，结合公司实际业务情况进行技术选型及大数据战略规划;

　　2、负责公司项目的整体评估、设计、架构及关键模块的开发;

　　3、负责架构优化，协助团队解决开发过程中遇到的技术难题;

　　4、负责新技术的调研和大数据相关开源组件的研究，并能在团队进行推广应用;

　　5、参与数据分析、数据建模、项目核心模块及核心框架的开发;

　　6、负责大数据平台的性能条有和问题诊断。

　　任职要求：

　　1、计算机相关专业，本科及以上学历，3-5年以上工作经验，2-3年大数据相关经验;

　　2、具有扎实的大数据和数据仓库理底，负责过大数据平台或数据仓库设计;

　　3、对基于Hadoop的大数据体系有深入的认识，具备相关产品(Hadoop、Hive、HBase、Spark、Storm、Flume、Kafka、Redis、ES等)项目应用研发经验，有Hadoop集群搭建和管理经验，度过Hadoop和Spark源码;

　　4、熟悉Linux和Python语言，了解Scala原理和底层技术;

　　5、熟悉分布式系统的架构及对其进行设计和优化，对海量数据的清晰、分析处理及存储有相关的实战经验;

　　6、算法基础扎实，熟悉常见的数据结构，深入理解分布式算法和以上提到的分布式系统，

　　7、必须有一线coding的能力;

　　8、有统计学、数学知识，海量数据处理、分析和挖掘，大型互联网公司从业经历着优先。