大数据技术与应用专业培养方案
一、
专业名称及代码
专业名称：大数据技术与应用 码：610201 二、
教育类型及学历层次
教育类型：高等职业教育 学历层次：大专 三、
招生对象及学制
招生对象：普通高中毕业生或同等学历者 学制：三年 四、
就业范围及主要岗位
就业范围：
在各类企事业单位、机关以及IT行业从事大数据系统搭建、测试、管理、运维和大数据分析等相关工作。 主要岗位：
1、 大数据架构工程师
2、 大数据开发工程师 3、 大数据分析工程师 4、 售前工程师 5、 销售支持工程师 6、 运维工程师 7、 售后技术工程师 五、
培养目标及规格
（一） 人才培养目标
本专业以服务吕梁、山西省及周边省市经济社会发展为宗旨，面向大数据行业，培养德智体美全面发展和身心健康，践行社会主义核心价值观，具备良好职业道德和诚信品质，掌握计算机技术、Java开发、Mysql数据库、Linux操作系统、数量统计等基础知识、会部署和使用Hadoop及Spark身体系统的常用组件，会使用网络信息采集和页面数据抓取工具，会使用SPSS等数据分析软件，具备对大数据下信息采集、预处理、储存、处理、分析、可视化等技术。本专业毕业生能胜任、企事业单位、社会组织等部门的大数据系统测试、管理运维、大数据分析、数据可视化等技术工作。
（二人才培养规格
1、 工作岗位描述（见表1） 2、 能力结构与要求（见表2）
3、 职业能力证书（见表3）
表 1 大数据技术与应用专业面向的工作岗位
岗位类型 工作岗位 类型工作任务 1、大数据核心产品设计规划，包括系统架构、技术选型、关键技术研发； 2、精通 Linux 操作系统，至少熟练使用 2、大数据新计算框架的选型，技术难题攻关，系统重构优化，根据业务规划及技术制定设计方案 3、熟悉 Hadoop、 Hbase、 Spark 工作3、大数据监控、运维系统等的构大数据平台规则 大数据架构工程师 架设计，详细设计，核心功能代码编写，如Hadoop、Maperduce、Stirm等数据存储架构平台、计算框架、数据展示系统设计与搭建 4、精通常见的数据存储相关技术，包括 Hdfs、 HBase、 Hive、 MySQL、Redis、 Mongodb 等； 5、负责大数据平台的性能参数调整和优化； 6、根据业务需求，编制各类分析图表、撰写项目分析文档和报告。 1、基于 MySQL、 Redis、 Kafka、 1、熟悉 Linux 的 Shell 命令，灵活运Hadoop、 Hive 搭建开发 大数据分析平台的后台服务，支持数据接入、统计、分析 业务； 大数据部署 大数据平台开发工程师 有 SQL 优化的经验； 2、构建基于 Spark/Storm 的实时数据处理平台，支撑上层业务使用，如：数据监控、日报展现、统计分析、业务方调用等； 脚本语言中的一种，并具有海量数据 ETL 3、构建基于 Hive 的即席查询数据统计分析平台； 加工处理经验，从事分布式数据存储与计算平台应用开发； 4、熟练掌握 Golang、 Scala 语言，至少精通 Python、 Perl、 Bash shell 用 Shell 做文本处理和系统操作； 2、熟悉分布式计算各种范式，分布式算法实现，有较好的分布式架构设计能力； 3、能够使用 SQL 操作复杂的数据模型并原理，熟悉分布式计算实施过程中的问题； Python、 Scala、 C++等语言中的一种编程； 职业技能要求 1、具有严密的数学思维、突出的分析归纳能力和数据分析能力；
4、负责数据平台的设计、开发、维护与优化。 5、熟练搭建 Hadoop 集群环境，熟悉 Hdfs 文件系统，熟练编写MapReduce 程序； 6、熟悉 Hadoop、 Hbase、 Hive 的原理，并能够管理、配置、运维。 1、参与项目技术平台安装部署、日常运行维护与故障处理、大数据组件补丁升级管理； 1、具有较强的数据仓库模型设计和 ETL 设计能力； 2、熟悉 Hadoop 平台的运维、调优，保2、平台的自动化部署、运维、监控、告警处理，收集 Hadoop 大数据运维工程师 的各项 metrics 指标，确保集群的正常运行； 障线上集群的稳定可靠； 3、熟练编写 Linux 下的 Shell 脚本，能开发相关安全管理工具； 4、能够利用开源软件搭建云服务，并进3、针对 Hadoop 生态系统的批量部署场景进行运维调优； 4、负责任务调度平台配置及运维管理。 1、实现数据挖掘算法，并结合核心算法做程序开发； 行相关测试。 1、基于 Hadoop、 Spark 的大数据分析和处理； 2、 使用数据挖掘、统计分析工具，2、熟悉 Python、 Scala、 Java 中的一大数据分析工程师 了解； 3、熟练使用 SPSS、 SAS 或其它数据挖大数据分析处理 掘软件，具备数据建模和数据分析理论知识，熟悉常用数据结构和数据处理算法。 1、负责大数据系统设计和开发工作，如个性化推荐系统、 大数据可视化工程师 精准营销、用户画像等数据产品的设计和开发工作； 1、有较强编程能力，熟悉 C/C++和 Python，设计搭建大数据平台； 2、较强逻辑思维能力及软件、算法实现能力，进行抽取、清洗、加工等数据处理； 提供数据决策分析 门以上开发语言，熟悉 MySQL、Oralce 数据库，对主流分布式存储和运算有一定的2、配合需求人员，完成功能模块，3、能够设计基于云架构的数据仓库模型，支撑日常业务数据需求，负责系统基于大数据平台进行研发、运维、管理等；
优化、问题跟进并及时解决。 4、熟悉数据库、应用服务器和相关开发语言。良好的数据库设计能力和 SQL 编写能力。
表 2 大数据技术与应用专业人才能力结构与要求
职业能力项目 计算机基础 操作能力 职业能力要求 Windows操作系统、office办公软件应用能力 计算机基本软件应用能力。 理解网络的原理及基本组成；掌握如何构建 专业课程 《计算机应用基础》 计算机网络 组建能力 通识能力 基础程序 语言设计能力 简单的网络； 学会分析网络地址；了解现实生活中使用的 网络设备。 《计算机网络基础》 掌握 C 语言的基本语法。 《C 语言程序设计》 大数据 基础能力 新发展动态； 了解业内常用的大数据处理工具。 掌握 Java 程序设计的基本语法、 Java 面向面向对象 编程能力 序；熟悉 JSP， Servlet， JavaBean， JDBC 等 《Java web 应用开发技术。 数据库 岗位能力 管理能力 大数据平台综合部署，包括业务需求分析、 集群环境设置、框架选择、服务器环境部署 大数据系统 开发能力 等能力、性能测试、 Hadoop 与其他系统的集 成等； Spark 的部署，进行计算业务模块的开发； 大数据系统性能提升，包括数据读写优化、 使用 MySQL 创建、查询和管理数据库 应用》 实训》 《MySQL 数据库原理及对 《Java 程序设计》 《Java 程序设计实训》 《大数据基础》 了解大数据技术的理论知识、应用前景和最 象编程思想；运用 Java 平台开发 Web 应用程 《Java Web 程序设计》 《Linux 操作系统》 《云计算架构技术与实践》 《Hadoop 与大数据挖掘》 《Spark 大数据处理技
并发处理优化、数据存储优化、数据查询优 化等，以及大数据系统安全维护。 掌握数据采集、清洗、处理的原理和技能； 大数据分析 处理能力 熟练使用数据统计分析软件，进行数据分析 利用可视化工具建立数据可视化方案。
术》 《大数据系统开发实训》 《Python 网络爬虫实战》 《概率论与数理统计》 《数据可视化技术》 表 3 大数据技术与应用专业职业能力证书考核安排
序号 1 2 3 证书名称 全国计算机等级考试 相关职业能力证书 英语应用能力考试 备注 选试 选试 选试
六、 课程设置、时间分配、教学进程及实践性教学 （见表 4、表 5、
表6）
本专业总课时为 2840 节，其中理论课时 926 节，占总课时的 32.6%， 实践课时 1914 节，占总学时的 67.4%。
表 4 大数据技术与应用专业教学计划进程表
开课学期与课时 序课程类号 别 总课时 课程名称 学分 合计 理论 实践 第一学年 一 二 第二学年 三 四 第三学年 五 六 1 2 思想道德修养与法律基础 思想和中国特色社会主义理论体系概论 3 4 48 32 48 16 16 √ √ 3 4 5 6 7 8 9 10 11 高的数学 大学英语 体育 大学语文及应用文写作 大学生职业规划与就业指导 形势与（讲座形式） 大学生心理健康教育 安全教育 健康教育 公共必修课小计 3 8 8 2 2 1 1 1 1 34 6 4 4 6 4 4 60 124 126 32 38 80 16 16 16 620 90 60 60 96 60 94 16 22 80 16 16 384 90 36 36 32 32 30 126 16 16 16 236 30 24 24 32 32 32 √ √ √ √ √ √ √ √ √ √ √ √ √ √ √ √ √ √ √ √ √ √ √ √ √ √ √ √ √ √ √ √ √ 公共必修课 12 13 14 15 16 17 计算机应用基础 大数据基础 专业基础课 计算机网络基础 C语言程序设计 概率论与数理统计 Linux操作系统
专业基础课小计 18 19 20 21 22 23 24 25 MySQL数据库原理及应用 云计算架构技术与实践 Java程序设计 28 4 4 6 4 6 4 7 4 39 2 1 1 2 1 7 2 2 634 96 96 112 624 52 26 26 52 26 182 52 52 78 52 520 182 832 32 260 30 30 38 28 38 28 30 28 250 16 174 34 34 58 36 58 36 82 36 374 52 26 26 52 26 182 52 52 78 52 520 182 832 16 √ √ √ √ √ √ √ √ √ √ √ √ √ √ √ √ √ √ √ 专业核心课 Python网络爬虫实践 Java Web程序设计 Spark大数据处理技术 Hadoop与大数据挖掘 数据可视化技术 专业核心课小计 26 27 28 29 30 大数据系统开发实例 大数据分析挖掘实训 专业技大数据综合项目实训 能实训 Java程序设计实训 Java Web应用开发实例 专业技能实例小计 31 32 33 34 35 IT认证 IT认证 军事教育 3 2 10 7 22 2 综合实践 社会实践 顶岗实习 毕业设计 综合实践小计 36 素质拓拓展课一
37 38 展课程 拓展课二 拓展课三 素质拓展课程小计 合计
2 2 6 138 32 32 96 2840 16 32 926 16 32 1914 √ √ 150 578 484 538 608 182 表 5 大数据技术与应用专业全学程时间安排
学年 军事教育 教学 顶岗实习 复习考试 社会实践 学期周数合计 1 3 3 15 18 18 18 18 20 87 20 20 2 2 2 2 2 10 1 1 假期进行 20 20 20 20 20 120 一 2 3 二 4 5 三 6 总计
表 6 大数据主要实训课程教学环节一览表
序号 实训课程名称 主 要 内 容 及 要 求 本课程详细讲解了大数据生态体系的各个模块的功能和开发技术。包括大数据系统开发 Hadoop 体系中的HDFS，Hbase进行数据操作，MapReduce 进行数据开1 技术实训（上） 发，YARN进行资源配置，Hive完成数据仓库，Pig 进行数据分析，理解其基本原理，并通过实验掌握其操作和编程开发。 2 大数据系统开发 本课程详细讲解了大数据生态体系的各个模块的功能和开发技术。包括
技术实训（下） Oozie 完成工作流设计，Zookeeper 完成分布式进程协调，Sqoop完成数据传输，Flume 完成日志收集等模块，最后介绍 Spark 生态体系，及其 Scala 基础和 SparkSQL开发。理解其基本原理，并通过实验掌握其操作和编程开发。 课程包括网络爬虫基本理论知识的介绍，深入剖析网络爬虫进行数据采集的过程和策略，如何抓取不同类型的数据和文档内容，以及爬取过程3 大数据采集实训 中的优化。通过一种常见工具完成对指定任务的爬取，并存储本地系统中。 课程通过介绍数据 ETL 过程、数据汇总过程、关键绩效指标分析、报表与即席查询、OLAP分析、数据挖掘等方法，使学员学到数据处理的4 数据仓库实训 思路与能力方法；通过介绍数据质量及元数据管理，使学员了解数据应用的本质，并将其有效运用于数据集市及数据仓库解决方案中。 掌握分析推断的统计技术，熟练使用数据软件（Python）来分析数据，利5 数据统计及分析 用 Excel制作分析图表，具备良好的数据呈现技能。对数据分析报告的撰写有一定程度的掌握，便于在工作中实际操作。 本课程从数据可视化的发展，理解数据和可视化的作用入手，介绍可视化工具和设计的方法。具体结合 Tableau 和D3.js 的工具，让学生掌握6 数据可视化 可视化的组件，以及各种组合成为的可视化图表。并结合不同类型的数据和场景，介绍各中设计方法和最佳实践，学生如何产生的合适的可视化内容。最后结合案例，理解可视化在各个领域的实际应用。
课程全面讲解代表性大数据平台的产品，包括大数据计算服务企业大数据技术 MaxCompute，分析型数据库AnalyticDB，表格存储TableStore 和大数据7 实训 开发平台 DataIDE，以及典型的大数据应用产品。包括每个产品的使用场景，技术特点，以及实际操作实验。 提供电商大数据、通信大数据、农业大数据、交通大数据、电力大数据、大数据综合项目 8 实训 断更新引入新的实训案例。
政务大数据、金融大数据、医疗大数据等八个完整的项目案例。还会不七、课程主要内容简表
课程课程名称 课程性质 主要内容 1/1、掌握计算机网络概念，网络四层结构与协议、设备与操作系统 计算机网络技术 必修 2/2、掌握局域网组网方法，互联网法律法规应用 1、1、掌握C语言的和基本操作 C语言程序设计 必修 2、2、掌握C语言程序设计的基本方法和基本技能 1、掌握关系型数据库概论的和基本操作 关系型数据库概论 必修 2、掌握关系型数据库概论的基本方法和基本技能 1、掌握常用的基本数据结构 数据结构 必修 2、了解数据结构的逻辑思想和实现方法
3、掌握程序设计方法、程序设计风格 1、掌握运用Linux安装、环境的配置 Linux操作系统应用 必修 2、掌握Linux系统管理，Linux网络管理 /1、掌握Web网站的基本知识 必修 （HTML/CSS） 22、掌握HTML/CSS的相关知识，并运用 1、1、掌握 SQL Server 2005 的基本操作 必修 应用 2/2、运用 SQL 语言进行程序设计 1、掌握本课程主要讲解云存储基础知识 2、掌握云存储整体架构的设计与搭建，通过集群应用、网格技云存储技术 必修 术或分布式文件系统等功能，将网络中大量不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问 1、了解组建一个计算机网络的各个环节 必修 理 1、掌握组建网络和进行网络管理所需要的各种专业技术知识 1、掌握大数据平台综合技术的基础知识 大数据平台综合技必修 术 2、掌握大数据平台综合技术的传输介质、设计与施工、测试及标准等。 网页设计SQL Server数据库组网技术与网络管
1、掌握ASP.NET 语法、基本概念和基本知识 ASP.NET基础 必修 2、掌握ASP.NET 结构和功能 2、能使用ASP.NET制作动态网站项目开发技术 1、能够运用动态网站开发技术，完成像网上商城购物系统后台ASP.NET项目开发 必修 设计的开发； 3、2、能够完成完成比较综合的动态网站项目的开发 1、掌握PHP程序设计的理论知识 PHP程序设计 必修 2、掌握PHP程序设计的基本方法和基本技能 1/1、掌握软件工程的基础知识 软件工程 必修 2、能够把软件工程相关知识运用于项目开发中，生产相关的文档 1、掌握Javascript+Jquery的基本理论知识； 必修 Javascript+Jquery 2、运用Javascript+Jquery来设计出较综合的应用程序 1、了解大数据概念，掌握大数据产生和应用，大数据的作用 大数据分析与开发 必修 2、掌握大数据关键技术、处理模块；分布式编程、开发等 PHP企业级应用开必修 发
精通1、运用PHP语言来设计出较综合的应用程序
