-
SQL Error: select * from ***_ecms_student_job where checked=1 and istop=1 and study_course=59 order by obj_time DESC limit 6
随着信息技术和互联网技术发展,人们的一言一行,特别是在互联网的行为,都以数据的形式存储在计算机中,形式包括数字、声音、照片、视频等等。
人们对大数据还没有一个准确的定义,都是从其4V(数量Volume、多样性Variety、速度Velocity、价值Value)特征来 理解其内容,用一句话来概况:大数据是一种人类信息化的结果和现象,它不只是大规模的数据,还包括其相关的技术、领域 应用、社会学和道德法律等交叉内容。
医疗行业、能源行业、通信行业、零售业、金融行业、体育行业等各行业都可以从其数据的采集、传输、存储、分析等各个环节产生巨大的经济 价值,而提供大数据基础设施的企业、大数据软件技术服务的企业、行业大数据内容咨询服务的企业都将从大数据广泛应用而得到快速发展。
例如在未来的医疗行业:由“可穿戴设备”或其他终端收集到人体生理数据,自动传入云端,进行数据分析与处理,再将其结 果发给医生,后者给出诊断或康复建议。例如日常的健康监督、运动及饮食指导,或对高血压、糖尿病等慢性病进行日常管理,甚 至有望为每个人定制出自己的健康全纪录。
但是,目前市场上合格的大数据分析人才稀缺,所以大数据分析师的薪资非常高,入行越早的大数据分析师, 随着实践经验的增加,身价也随着更高。
大数据分析师主要是指采用高级的分析技术对数据进行分析,得到大量智能的、深入的、有价值的信息,对关键系统和核心业 务进行预测,支持企业快速发展,及时响应快速的市场变化。
本课程以大数据分析师为目标,从数据分析基础、JAVA语言 入门和linux操作系统入门知识学起,系统介绍Hadoop、HDFS、 MapReduce和Hbase等理论知识和hadoop的生态环境,以案例 的形式,重点讲解大数据分析。
区别于普通的JAVA程序员,本课程的重点是培养基于Hadoop 架构的大数据分析思想及架构设计,通过演示实际的大数据分析 案例,使学员能在较短的时间内理解大数据分析的真实价值,掌 握如何使用hadoop架构应用于大数据分析过程,使学员能快速 提升成为兼有理论和实战的大数据分析师,从而更好地适应当前 互联网经济背景下对大数据分析师需求的旺盛的就业形势。
资深软件架构师,高级技术专家,从事IT行业的平台研发15年,一直奋斗在 代码一线,专注于核心代码架构设计和开放平台研发。曾就职于阿里巴巴、 华为、中国移动,担任项目经理和大数据架构师。
9年DBA运维与开发从业经验,曾服务于国内国外多家通讯类公司,精通UXIN/AIX/LINUX操作系统原理,算法与数据结构。具备多年C和shell开发经验,Oracle数据库优化管理经验、大数据项目搭建与优化经验,擅长Hadoop、Hive、Mahout、Spark、Storm等大数据相关技术。
大数据分析师课程概述 |
||
大数据分析JAVA基础 |
||
课程目标 |
课程名称 |
主要技术点 |
JAVA语言入门 |
JAVA面向对象程序设计 |
|
J2EE框架实践 |
||
Hadoop大数据平台的架构分析 |
||
课程目标 |
课程名称 |
主要技术点 |
Hadoop是业界主流的云计算和大数据 分析处理平台,在业界得到广泛的应用,核 心模块包括:HDFS和MapReduce。本阶段 系统介绍Hadoop、HDFS、MapReduce和 Hadoop的生态环境。 初级和中级阶段完成后,学生可胜任 Hadoop工程师等工作。 |
HDFS原理分析 |
数据采集 数据存取 基础架构 |
MapReduce计算模型解析 |
||
YARN工作原理解析 |
||
Hbase工作原理解析 |
||
Zookeeper工作原理解析 |
||
Hive工具解析 |
||
Spark大数据平台的研发 |
||
课程目标 |
课程名称 |
主要技术点 |
Spark是现在公司趋势火热的一个快速和通用的大数据处理引擎,基于RDD,立足于内存计算,由于Spark在性能和扩展性上有快速、易用、通用等特点,是它正在加速称为一体化、多元化的大数据通用计算平台和库。 培养大数据思想及架构设计,掌握大数 据分析的五个基本方面:可视化分析、数据 挖掘算法、预测性分析能力、语义引擎、数 据质量和数据管理。本阶段目标是学习大数 据分析的理论核心:数据挖掘算法,各种数 据挖掘的算法基于不同的数据类型和格式才 能更加科学的呈现出数据本身具备的特点, 也正是因为这些被全世界统计学家所公认的 各种统计方法(可以称之为真理)才能深入 数据内部,挖掘出公认的价值。另外一个方 面也是因为有这些数据挖掘的算法才能更快 速的处理大数据。 高级阶段完成后,学生可胜任大数据分 析师、大数据开发工程师等岗位。 |
Spark大数据平台的研发 |
数据处理 统计分析 数据挖掘 模型预测 结果呈现 |
Spark大数据平台的数据整合 |
||
逻辑回归算法 |
||
贝叶斯分类算法 |
||
MLlib SVM算法 |
||
决策树算法 |
||
MLlib KMeans聚类算法 |
||
MLlib推荐算法 |
||
通过项目实战,深入掌握数据分析知识, 使用常用数据分析工具,使学员能快速提升 成为兼有理论和实战的大数据分析师。 | 大项目实战 |