当前位置:首页 > 公开课 > 项目管理 > Hadoop大数据处理高级工程师

Hadoop大数据处理高级工程师

关注度:522   编号:196168
举办时间:
  • 南京 2017-10-26
  • 福州 2017-11-16
  • 北京 2017-11-30
Hadoop大数据处理高级工程师
点击报名 添加到购物车
Hadoop大数据处理高级工程师培训,使学员深入理解Hadoop技术架构,对Hadoop运作机制有清晰全面的认识,掌握Hadoop基本运维思路和方法,对Hadoop集群进行管理和优化,全面掌握Hadoop的架构原理和使用场景,了解Hadoop的历史及目前发展的现状、以及Hadoop的技术特点,从而把握分布式计算框架及未来发展方向。
Hadoop大数据处理工程师大数据

Hadoop大数据处理高级工程师课程特色与背景

    为贯彻落实党中央国务院“十二五”规划指导精神,云计算作为战略重点项目新兴产业,政府和业界都表现出了极大的热情。日前发改委、工信部、财政部支持的云计算项目正式启动,云计算平台和云计算服务模式已成为今后IT服务的主流。云计算服务应用的种类不断增多,普及程度逐渐深入,使用者正向普通用户拓展。未来,云计算及其基础设施将是信息产业的核心平台,其所蕴含的技术变革和创新服务模式,将深刻影响全球产业技术创新的发展。
    目前,互联网正从数据爆炸进一步发展到海量数据分析和挖掘的时代,而基于Hadoop技术的解决方案为海量数据存储和处理提供了经济、高效、高安全性和高可靠性的保障,Apache Hadoop也因此成为大数据
相关内容导读“大数据”
大数据时代—探索智能客服如何重塑服务新生态  北京 2017/10/27(2天)

大数据时代—探索智能客服如何重塑服务新生态课程,旨在帮助学员了解人工智能在呼叫中心行业的发展与应用,帮助梳理呼叫中心的人工智能应用场景,帮助呼叫中心将人工智能的有效落地,帮助呼叫中心的有效提升体验满意度等。

大数据与企业财务管理控制高级研修课程  北京 2017/11/9(4天)

大数据与企业财务管理控制培训,从大数据云计算与企业财务变革、企业财务预算与投资管理、融资管理、资金管理、成本管理、战略业绩评价等分析企业财务战略如何才能落到实处并取得良好的效果,帮助企业了解最新的财务管控的发展趋势,系统掌握管理控制的操作方法和关键要素,有效指导企业建立基于财务战略的管理控制体系。

项目经理的五图二表(刘毛华经典课程)  上海 2017/11/10(2天)

项目经理的五图二表(刘毛华经典课程)课程,旨在帮助学员掌握如何把项目管理的工具和技巧以及实施中收集的大数据,应用到实际的项目中去,去解决项目管理过程中经常出现的范围不清、质量缺陷、进度拖期等具体问题。

EXCEL基于大数据的商业智能分析  广州 2017/11/11(2天)

如何利用Excel这一常见工具完成颇具挑战的大数据统计分析工作?通过科学分析与精准预测,为企业提供更优秀的决策建议?从茫茫如海的商业数据中挖掘出价值十足的商业信息?……为解决以上问题,特开设EXCEL基于大数据的商业智能分析课程。

行业发展背后的驱动力。由于Hadoop技术已成为当下最火热的云计算技术之一,各行业中希望深入了解并掌握这门技术的人也越来越多,决定开展“大数据处理
相关内容导读“大数据处理”
Spark大数据处理与案例分析高级工程师实战培训  北京 2017/12/2(5天)

Spark大数据处理与案例分析高级工程师培训,首先讲解Spark系统基础知识,概念及架构,之后讲解Spark实战技巧,最后详尽地介绍Spark经典案例,使学员理解Spark、系统适用的场景;掌握Spark等初中级应用开发技能;搭建稳定可靠的Spark集群,满足生产环境的标准。

Hadoop应用与开发”实战培训班。
    课程目标
    1、了解Hadoop的历史及目前发展的现状、以及Hadoop的技术特点,从而把握分布式计算框架及未来发展方向,在大数据时代能为企业的技术选型及架构设计提供决策参考。
    2、全面掌握Hadoop的架构原理和使用场景,并通过贯穿课程的项目进行实战锻炼,从而熟练使用Hadoop进行MapReduce程序开发。课程还涵盖了分布式计算领域的常用算法介绍,帮助学员为企业在利用大数据方面体现自身价值。
    3、深入理解Hadoop技术架构,对Hadoop运作机制有清晰全面的认识,可以独立规划及部署生产环境的Hadoop集群,掌握Hadoop基本运维思路和方法,对Hadoop集群进行管理和优化。
    培训特色
    注重应用:分析国内实际情况,结合国际、国内成功经验。Hadoop采用实战的项目,让学员在短时间内掌握Hadoop的搭建与配置。并进行高效的大数据清洗和分析。形式灵活:互动课堂、免费技术沙龙、提供云计算项目建设咨询、大数据Hadoop平台的搭建。

课程大纲

课程模块
课程主题
n  主要内容
n  案例和演示
模块一
Hadoop简介和生态系统介绍
传统大规模数据分析存在的问题
Hadoop概述
Hadoop与分布式文件系统                  
Hadoop生态系统
Hadoop的行业应用案例分析
Hadoop在云计算和大数据的位置和关系
Hadoop版本介绍
Hadoop与Google FS的关系
Hadoop在国内的使用情况和未来
Hadoop在推荐领域的使用案例介绍
模块二
大数据应用场景
离线计算架构、技术和应用场景
实时查询架构、技术和应用场景
流式计算架构、技术和应用场景
内存计算架构、技术和应用场景
海量数据的ETL
模块三
Hadoop组件介绍
Hadoop NameNode 介绍
Hadoop SecondaryNameNode 介绍
Hadoop DataNode 介绍
Hadoop JobTracker 介绍
Hadoop TaskTracker 介绍
模块四
Hadoop的HDFS模块
HDFS架构介绍
HDFS原理介绍
NameNode功能详解
DataNode功能详解
SecondaryNameNode功能详解
HSFD的fsimage和editslog详解
HDFS的block详解
HDFS的block的备份策略
Hadoop的机架感知配置
HDFS的shell命令介绍
HDFS的thrift server服务介绍
HDFS的API接口介绍
HDFS的权限详解
Hadoop的客服端接入案例
Hadoop的shell命令演示
Hadoop的API接口演示
Hadoop的客服端接入案例
模块五
Hadoop生态组件
集群管理工具—ambari
分布式存储—HDFS
分布式计算— MapReduce
noSQL数据库—Hbase
工作流工具—Oozie
数据的并行采集—Flume
MapReduce脚本工具—Pig
与关系型数据库之间的数据迁移—Sqoop
资源管理平台—Yarn
数据挖掘算法—Mahout
分布式统一服务—Zookeeper
Hadoop安全工具—Knox 
Ø
模块五
MapReducer入门
Mapreduce原理
MapReduce流程
剖析一个MapReduce程序
Mapper和Reducer抽象类详解
Mapreduce的最小驱动类
MapReduce自带的类型
自定义Writables和WritableComparables
Mapreduce的输入InputFormats
MapReduce的输出OutputFormats
Combiner详解
Partitioner详解
DistributeFileSystem详解
Hadoop Tools工具介绍
Counter计数器详解
自定义Counter计数器
基于Hadoop二次开发实战
MapReduce的优化
Map和Reduce的个数设置
Hadoop小文件优化
任务调度
默认的任务调度
公平任务调度
能力任务调度
使用 Hadoop MapReduce Streaming 编程
MapReduce的单元测试
MapReduce实现海量数据比较大小案例
自定义Hadoop类型案例
自定义Partitioner案例
实现在内存随机生成100个数,分成两个Map来比较大小
多文件输出和自动定义MapReduce的输出名
MapReduce实现Join算法案例
MapReduce实现海量文档相似度算法
自定义Counter案例实现
MapReduce实现Pangrank算法。
MapReduce单元测试:Map的单元测试测试、reduce单元测试和MapReduce整体的单元测试实战。
某公司使用MapReduce分析日志案例(10T数据以上)
配置公平调度器案例实战
模块六
Yarn资源控制
使用Cgroups支持CPU隔离
指定某个应用的资源使用策略;
根据指定策略实现 CPU 与内存的固定配额调度
根据指定策略实现 CPU 与内存百分比的配额调度
根据指定策略实现不同计算模型(mapreduce、spark)在各个计算节点的分布
 根据指定策略实现不同计算模型个对资源的限定
 根据指定策略实现不同计算模型在具体哪些节点上启动
 基于Yarn的公平调度(Fair Scheduler)和能力调度(Capacity Scheduler)
Yarn资源控制实战
模块七
Hive
Hive和Pig基础
Hive、Impala和presto的比较           
Hive的作用和原理说明
Hadoop仓库和传统数据仓库的协作关系
Hadoop/Hive仓库数据数据流
Hive 部署和安装
Hive Cli 的基本用法
Hive的server启动
HQL基本语法
Hive的加载数据本地加载和HDFS加载
Hive的partition详解
Hive的存储方式详解
RCFILE、TEXTFILE和SEQUEUEFILE
Hive的UDF和UDAF
Hive的transform详解
Hive的JDBC连接
使用JDBC 连接Hive进行查询和分析
使用正则表达式加载数据
编写UDF函数
编写UDAF自定义函数
Partition使用实战
Transform使用实战
某些大型公司使用hive分析日志案例详解和实战。
模块八
Hbase使用
Hbase原理
Hmaster详解
RegionServer详解
Zookeeper介绍
Hbase安装
Hbase逻辑视图介绍
Hbase物理视图介绍
Hbase的二级索引介绍
Hbase 的DDL和DML
Hbase表的设计案例
Hbase的import功能介绍
MapReduce操作Hbase
Hbase的 thrift Server介绍
Hbase 的API介绍
Hbase案例分析
Hbase安装实战
MapReduce操作Hbase实战
Hbase的API实战
Hbase表结构设计实战
模块九
Hadoop企业级别案例解析
Hadoop 结构化数据案例
Hadoop 非结构化案例
Hbase 数据库案例
Hadoop 视频分析案例
利用大数据分析改进交通管理
区域医疗大数据应用案例
银联大数据数据票据详单平台
广东移动省公司请账单系统
上海电信网络优化
某通信运营商全国用户上网记录
浙江台州市智能交通系统
移动广州详单实时查询系统
跨区域实时视频监控系统
模块十
RedHadoop 企业版本
运用RedHadoop快速构建服务集群
运用RedHadoop DW 构建数据仓库
基于RedHadoop Hive构建数据仓库平台
灵活运用 Hive 加速游戏数据仓库
基于Pig+OpenCV大规模图像人脸识别
模块十一
Spark介绍
内存计算—Spark
实时计算—Spark Streaming
SQL on Spark— Spark QL & Shark
基于spark的数据挖掘— Mllib
基于Spark的图计算—graphx
Spark on Yarn实战
Spark+Kafka+Spark Streaming+Hbase实时计算实战
模块十二
互联网大数据应用案例
阿里的ODPS大数据平台架构介绍
阿里的实时推荐架构
阿里的交叉营销系统
阿里支付宝交易监控系统
支付宝微贷案例分析(互联网征信系统)
京东打白条系统分析
百度预测大数据平台案例分析
联通大数据开放平台变现案例分析
Ø

课程主讲

    张老师:阿里大数据高级专家,国内资深的Spark、Hadoop技术专家、虚拟化专家,对HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生态系统中的技术进行了多年的深入的研究,更主要的是这些技术在大量的实际项目中得到广泛的应用,因此在Hadoop开发和运维方面积累了丰富的项目实施经验。近年主要典型的项目有:某电信集团网络优化、中国移动某省移动公司请账单系统和某省移动详单实时查询系统、中国银联大数据数据票据详单平台、某大型银行大数据记录系统、某大型通信运营商全国用户上网记录、某省交通部门违章系统、某区域医疗大数据应用项目、互联网公共数据大云(DAAS)和构建游戏云(Web Game Daas)平台项目等。

课程对象

    各地政府云计算物联网产业相关负责人,各企业CIO、信息中心负责人、技术总监,云计算中心负责人,云计算产业投资团队,云计算应用开发商,云计算硬件设备供应商,云服务提供商,高校、科研院所云计算项目负责人。
    各企业大数据架构师、技术总监、数据挖掘负责人、数据挖掘开发工程师
备  注
课程费用:5800元/人(含教材、培训费、以及学习用具等费用)
参加过本课程的网友都关注过大数据分析应用培训专题

推荐课程
项目管理相关课程
相关专题推荐
相关文档下载
相关文章
  • 如何报名参加公开课?
  • 报名流程一:
  • 电话咨询、传真报名表 -> 书面确认并缴费 -> 参加培训 (下载报名表)
  • 报名流程二:
  • 网上填写报名表 -> 书面确认并缴费 -> 参加培训
  • 咨询热线:
  • 深圳 0755-26063246   26063236
  • 上海 021-51879301    北京 010-51651498
  • 报名传真:
  • 深圳 0755-61624059    上海 021-51686940    北京 010-58043505
  • 电子邮件:
  • kf#cnbm.net.cn    fy1288#vip.163.com(发邮件时请将#改为@)
课程主题:
Hadoop大数据处理高级工程师
课程编号:196168 
*开课计划:
  • 南京 2017-10-26
  • 福州 2017-11-16
  • 北京 2017-11-30
*姓  名:
*性  别:  
*职务:
*部门:
*电话:
*手机:
传真:
*E-Mail:
*参加人数:
其他人员:
   
   
   
   
   
   
   
*单位名称:
通信地址:
备注:
(如多人报名、需代订酒店等补充信息请填写到备注栏)
*验证码:
  看不清?点一下验证码换一组
 
(* 为必填项)
   
暂无评论,快来添加一条!
点击这里提交你的留言