当前位置:首页 > 公开课 > 职业技能 > Spark大数据处理与案例分析高级工程师实战培训

Spark大数据处理与案例分析高级工程师实战培训

关注度:389   编号:206687
举办时间:
  • 深圳 2017-10-14
Spark大数据处理与案例分析高级工程师实战培训
点击报名 添加到购物车
Spark大数据处理与案例分析高级工程师培训,首先讲解Spark系统基础知识,概念及架构,之后讲解Spark实战技巧,最后详尽地介绍Spark经典案例,使学员理解Spark、系统适用的场景;掌握Spark等初中级应用开发技能;搭建稳定可靠的Spark集群,满足生产环境的标准。
Spark大数据处理大数据高级工程师工程师

Spark大数据处理与案例分析高级工程师实战培训课程特色与背景

    课程目标
    本课程将为大家全面而又深入的介绍Spark
相关内容导读“Spark”
大数据实时处理-基于Spark的大数据实时处理及应用技术培训  北京 2016-4-20(3天)

Spark生态系统(BDAS项目)已经发展成一个,包含多个子项目的集合,包括Spark SQL、Spark Streaming、GraphX、MLlib等,基于Spark的大数据实时处理及应用技术课程从大数据实时处理技术以及Spark实战的角度,结合理论和实践,全方位地介绍Spark大数据实时处理工具的原理和内核,包括Spark大数据计算框架、运行架构、设计模型和数据管理策略,及Spark在业界的应用。

Spark大数据处理与案例分析高级工程师实战培训  上海 2016-4-21(3天)

Spark大数据处理与案例分析高级工程师培训,首先讲解Spark系统基础知识,概念及架构,之后讲解Spark实战技巧,最后详尽地介绍Spark经典案例,使学员理解Spark、系统适用的场景;掌握Spark等初中级应用开发技能;搭建稳定可靠的Spark集群,满足生产环境的标准。

大数据实战高手进阶之路:Machine Learning on spark彻底揭秘  杭州 2016-4-22(2天)

Machine Learning on spark彻底揭秘培训,内容有Spark编程模型,推荐算法及系统详解与实战,聚类算法详解与实战等,讲解了Machine Learning on Spark方方面面的内容,从算法解析与实现、到算法的使用、再到算法的源码解析,以及算法的性能优化等问题。

、Hadoop平台的构建流程,涉及Spark、系统基础知识,概念及架构, Spark实战技巧,Spark经典案例等。
    通过本课程实践,帮助学员对Spark生态系统有一个清晰明了的认识;理解Spark、系统适用的场景;掌握Spark等初中级应用开发技能;搭建稳定可靠的Spark集群,满足生产环境的标准;了解和清楚大数据
相关内容导读“大数据”
互联网金融与大数据实践  上海 2016-4-8(1天)

互联网金融与大数据实践课程,旨在帮助学员了解了其他行业的新游戏规则,开眼界,新视角,对互联网金融有了新的认识!

大数据时代的绩效管理—精细化人力资源  苏州 2016-4-10(2天)

精细化人力资源课程通过业务数据和人力资源实战流程分析,提高人力资源策略的制定和执行跟踪的能力,达到以业务数据分析和跟踪为依据的绩效指标设定和管理,使人力资源绩效管理真正成为战略和策略工具。

互联网+时代培训体系建立及工具运用—赠送培训系统软件  上海 2016-4-13(4天)

互联网+时代培训体系构建课程,为了配合互联网+时代大数据的要求,许老师将向所有学员免费赠送其自有知识版权且倍受业界好评的“摆渡人”培训管理系统,并教会所有学员安装、操作和维护这套系统,构建自己的培训管理信息化平台,解读相应的数据和报表……。

互联网+时代培训体系建立及工具运用—赠送培训系统软件(量培体系建立)  上海 2016-4-13(2天)

互联网+时代培训体系构建课程,为了配合互联网+时代大数据的要求,许老师将向所有学员免费赠送其自有知识版权且倍受业界好评的“摆渡人”培训管理系统,并教会所有学员安装、操作和维护这套系统,构建自己的培训管理信息化平台,解读相应的数据和报表……。

应用的几个行业中的经典案例,包括阿里巴巴等

培训特色

本课程将分别从理论基础知识,系统搭建以及应用案例三方面对spark进行介绍。
   采用循序渐进的课程讲授方法,首先讲解Spark系统基础知识,概念及架构,之后讲解Spark实战技巧,最后详尽地介绍Spark经典案例,使培训者从概念到实战,均会有收获和提高。

课程大纲

培训大纲(3天课程)

模块一Spark生态介绍 
Mapreduce、storm和spark模型的比较和使用场景介绍 
Spark产生背景 
Spark(内存计算框架) 
SparkSteaming(流式计算框架) 
Spark SQL(ad-hoc) 
Mllib(MachineLearning) 
GraphX(bagel将被代) 
DlinkDB介绍 
parkR介绍

模块二Spark安装部署 

Spark安装简介 
Spark的源码编译 
Spark Standalone安装 
Spark应用程序部署工具spark-submit 
Spark的高可用性部署

模块三Spark运行架构和解析 

Spark的运行架构
• 基本术语
• 运行架构
• Spark on Standalone运行过程
• Spark on YARN 运行过程 
Spark运行实例解析
• Spark on Standalone实例解析
• Spark on YARN实例解析

模块四Sparkscala编程

• Scala基本语法与高阶语法
• Scala基本语法
• Scala开发环境搭建
• Scala开发Spark应用程序
• 使用java编程
• 使用scala编程
• 使用python编程
• 比较 Standalone与YARN模式下的优缺点

模块五Spark编程模型和解析 

Spark的编程模型
• Spark编程模型解析
• RDD的特点、操作、依赖关系
• Spark应用程序的配置
Spark的架构
spark的容错机制
数据的本地性
缓存策略介绍
宽依赖与窄依赖

模块六Spark 数据挖掘

Mllib的介绍
graphX核心原理 
table operator和graph operator区别 
vertices、edges和triplets介绍 
构建一个graph 
SparkR原理 
SparkR实战

模块七Spark Streaming原理和实践

Spark Streaming与Strom的区别 
Kafka的部署 
Kafka与Spark Streaming的整合 
Spark Streaming原理
• Spark流式处理架构
• DStream的特点
• Dstream的操作和RDD的区别
• 带状态的transformation与无状态transformation
• Spark Streaming的优化 
Spark Streaming实例
Streaming的容错机制
streaming在yarn模式下的注意事项
对于需结合第三方存储机制的与流式处理方案
• 文本实例
• 网络数据处理
• Kafka+Spark Streaming实现日志的实时分析案例

模块八Spark的优化 

序列化优化——Kryo 
Spark参数优化实战 
Spark 任务的均匀分布策略 
Partition key倾斜的解决方案 
Spark任务的监控 
GC的优化 
Spark Streaming吞吐量优化 
Spark RDD使用内存的优化策略 
Spark在使用中的感想分享

模块九Spark的数据源 

Spark与HDFS的整合 
HDFS RDD原理和实现 
Spark与Hbase的整合 
Spark与Cassendera整合 
Hbase RDD的分区读取 
Hbase RDD的原理和实现 
Spark parallelism RDD的工作机制

模块十Spark Streaming应用及案例分析 

Spark Streaming产生动机 
Spark Streaming程序设计
(1)创建DStream
(2)基于DStream进行流式处理 
Spark Streaming容错与性能优化
(1)Spark Streaming容错机制
(2)如何对spark Streaming进行优化 
Spark Streaming案例分析基于Spark Streaming的用户标签系统,内容包括项目背景,项目架构以及实施方法

模块十一 典型项目案例实战 

基于spark日志分析 
个性化推荐系统:带你揭开其神秘面纱 
在线投放引擎 
揭开淘宝点击推荐系统的神秘面纱 
淘宝数据服务架构—实时计算平台

课程主讲

    张老师:

    阿里大数据高级专家,国内资深的Spark、Hadoop技术专家、虚拟化专家,对HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生态系统中的技术进行了多年的深入的研究,更主要的是这些技术在大量的实际项目中得到广泛的应用,因此在Hadoop开发和运维方面积累了丰富的项目实施经验。近年主要典型的项目有:某电信集团网络优化、中国移动某省移动公司请账单系统和某省移动详单实时查询系统、中国银联大数据数据票据详单平台、某大型银行大数据记录系统、某大型通信运营商全国用户上网记录、某省交通部门违章系统、某区域医疗大数据应用项目、互联网公共数据大云(DAAS)和构建游戏云(Web Game Daas)平台项目等。

课程对象

各地政府云计算物联网产业相关负责人,各类 IT/软件企业和研发机构的软件架构师、软件设计师、程序员。对于怀有设计疑问和问题,需要梳理解答的团队和个人
备  注
课程费用:6800元/人
参加过本课程的网友都关注过大数据分析应用培训专题

推荐课程
职业技能相关课程
相关专题推荐
相关文档下载
相关文章
  • 如何报名参加公开课?
  • 报名流程一:
  • 电话咨询、传真报名表 -> 书面确认并缴费 -> 参加培训 (下载报名表)
  • 报名流程二:
  • 网上填写报名表 -> 书面确认并缴费 -> 参加培训
  • 咨询热线:
  • 深圳 0755-26063246   26063236
  • 上海 021-51879301    北京 010-51651498
  • 报名传真:
  • 深圳 0755-61624059    上海 021-51686940    北京 010-58043505
  • 电子邮件:
  • kf#cnbm.net.cn    fy1288#vip.163.com(发邮件时请将#改为@)
课程主题:
Spark大数据处理与案例分析高级工程师实战培训
课程编号:206687 
*开课计划:
  • 深圳 2017-10-14
*姓  名:
*性  别:  
*职务:
*部门:
*电话:
*手机:
传真:
*E-Mail:
*参加人数:
其他人员:
   
   
   
   
   
   
   
*单位名称:
通信地址:
备注:
(如多人报名、需代订酒店等补充信息请填写到备注栏)
*验证码:
  看不清?点一下验证码换一组
 
(* 为必填项)
   
暂无评论,快来添加一条!
点击这里提交你的留言