当前位置:首页 > 公开课 > 项目管理 > Hadoop应用与开发高级工程师

Hadoop应用与开发高级工程师

关注度:522   编号:196168
举办时间:
  • 杭州 2017-07-12
  • 北京 2017-07-19
  • 成都 2017-07-26
Hadoop应用与开发高级工程师
点击报名 添加到购物车
Hadoop应用与开发高级工程师培训,使学员深入理解Hadoop技术架构,对Hadoop运作机制有清晰全面的认识,掌握Hadoop基本运维思路和方法,对Hadoop集群进行管理和优化,全面掌握Hadoop的架构原理和使用场景,了解Hadoop的历史及目前发展的现状、以及Hadoop的技术特点,从而把握分布式计算框架及未来发展方向。
Hadoop大数据处理工程师大数据

Hadoop应用与开发高级工程师课程特色与背景

    为贯彻落实党中央国务院“十二五”规划指导精神,云计算作为战略重点项目新兴产业,政府和业界都表现出了极大的热情。日前发改委、工信部、财政部支持的云计算项目正式启动,云计算平台和云计算服务模式已成为今后IT服务的主流。云计算服务应用的种类不断增多,普及程度逐渐深入,使用者正向普通用户拓展。未来,云计算及其基础设施将是信息产业的核心平台,其所蕴含的技术变革和创新服务模式,将深刻影响全球产业技术创新的发展。
    目前,互联网正从数据爆炸进一步发展到海量数据分析和挖掘的时代,而基于Hadoop
相关内容导读“Hadoop”
Hadoop应用与开发高级工程师  其他 2017/7/12(5天)

Hadoop应用与开发高级工程师培训,使学员深入理解Hadoop技术架构,对Hadoop运作机制有清晰全面的认识,掌握Hadoop基本运维思路和方法,对Hadoop集群进行管理和优化,全面掌握Hadoop的架构原理和使用场景,了解Hadoop的历史及目前发展的现状、以及Hadoop的技术特点,从而把握分布式计算框架及未来发展方向。

技术的解决方案为海量数据存储和处理提供了经济、高效、高安全性和高可靠性的保障,Apache Hadoop也因此成为大数据
相关内容导读“大数据”
大数据时代下的小数据分析—呼叫中心数据分析与绩效管理  合肥 2017/6/24(2天)

大数据时代下的小数据分析—呼叫中心数据分析与绩效管理培训,使学员通过数据分析案例实战掌握运用数据指导运营的技能,掌握基本Excel操作及数据分析方法论,理解呼叫中心全面绩效及运营体系,厘清指标间逻辑促动关系。

大数据、云计算与物流供应链管理  上海 2017/6/29(2天)

大数据、云计算与物流供应链管理培训,旨在使学员探讨电子标签、看板及同步化物流方式的应用,提高配送的及时性和准确性,搞好外协物料管理,提高采购与跟催力度,确保物料供应准确、及时和配套,通过对工厂物流过程评审,使物流管理得到持续改进。

大数据征管背景下建筑房地产企业利益最大化的票据凭证处理技巧专题  成都 2017/7/6(2天)

大数据征管背景下建筑房地产企业利益最大化的票据凭证处理技巧专题课程,旨在帮助学员纠正过去对票据凭证管理的错误认识,了解营改增与金税三期联动背景下企业票据凭证管理的风险,掌握企业票据凭证风险的合同管控技巧,了解企业生产经营活动中存在票据凭证疑难问题的处理与风险规避等,学会利用涉税票据管理策略有效实施纳税筹划。

限购政策下的二三线城市互联网营销创新策略与精品案例解析  西安 2017/7/7(2天)

限购政策下的二三线城市互联网营销创新策略与精品案例解析课程,内容涉及到房地产市场状况与限购政策解读,近期房地产政策解读与市场走势分析,互联网时代的特征及对房产的影响,互联网时代房地产产品策略,互联网背景下产品营销策略,房地产营销的大数据应用,房地产微营销与O2O营销模式等。

行业发展背后的驱动力。由于Hadoop技术已成为当下最火热的云计算技术之一,各行业中希望深入了解并掌握这门技术的人也越来越多,决定开展“大数据处理
相关内容导读“大数据处理”
Hadoop应用与开发高级工程师  其他 2017/7/12(5天)

Hadoop应用与开发高级工程师培训,使学员深入理解Hadoop技术架构,对Hadoop运作机制有清晰全面的认识,掌握Hadoop基本运维思路和方法,对Hadoop集群进行管理和优化,全面掌握Hadoop的架构原理和使用场景,了解Hadoop的历史及目前发展的现状、以及Hadoop的技术特点,从而把握分布式计算框架及未来发展方向。

云计算与大数据处理技术培训  北京 2017/9/7(3天)

云计算提供了一种对资源“按需索取服务”的能力,确保了使用时间与需要时间的完全一致,从而建立了一种分布式、高效率、低成本的IT商业模式。正是这些特点,使云计算成为IT发展的潮流与趋势。为解决广大系统设计人员深入研究与开发云计算系统的需要,特举办云计算与大数据处理技术培训。

Hadoop应用与开发”实战培训班。
    课程目标
    1、了解Hadoop的历史及目前发展的现状、以及Hadoop的技术特点,从而把握分布式计算框架及未来发展方向,在大数据时代能为企业的技术选型及架构设计提供决策参考。
    2、全面掌握Hadoop的架构原理和使用场景,并通过贯穿课程的项目进行实战锻炼,从而熟练使用Hadoop进行MapReduce程序开发。课程还涵盖了分布式计算领域的常用算法介绍,帮助学员为企业在利用大数据方面体现自身价值。
    3、深入理解Hadoop技术架构,对Hadoop运作机制有清晰全面的认识,可以独立规划及部署生产环境的Hadoop集群,掌握Hadoop基本运维思路和方法,对Hadoop集群进行管理和优化。
    培训特色
    注重应用:分析国内实际情况,结合国际、国内成功经验。Hadoop采用实战的项目,让学员在短时间内掌握Hadoop的搭建与配置。并进行高效的大数据清洗和分析。形式灵活:互动课堂、免费技术沙龙、提供云计算项目建设咨询、大数据Hadoop平台的搭建。

课程大纲

课程模块
课程主题
主要内容
案例和演示
模块二
大数据介绍带来的机遇和挑战
1)大数据概念的发展与解析
 2)大数据在国内外发展现状
 3)大数据在互联网发展现状
 4)大数据四个特点分析
大数据带来的机遇和挑战
 1)大数据能带来什么 、引领社会进入“大数据时代”
 2)大数据对国家、社会的作用 、大数据将推动经济发展
 3)大数据将推动科技发展进程、开启商业智能新阶段
 4)数据分析的发展——从数据到知识 大数据如何让商业更智能、大数据应用案例
 5)带来数据处理新变革 、大数据的关键技术
 6)大数据与云计算 、大数据技术的发展趋势
   精彩案例
电信手机上网日志分析
移动 GPRS 上网日志查询系统
某省份联通网络不良信息检测系统
国土资源部门下属单位非结构离线网格分析平台
某银行海量数据统一分析平台
  某电信用户属性精分系统
  某银行实时计算平台
  某电力电台电视节目推荐系统
模块三
Hadoop在云计算技术的作用和地位
u  传统大规模系统存在的问题
u  Hadoop概述
u  Hadoop分布式文件系统      
u  MapReduce工作原理        
u  Hadoop集群剖析            
u   Hadoop生态系统对一种新的解决方案的需求
u  Hadoop的行业应用案例分析
u  Hadoop在云计算和大数据的位置和关系
u  数据开放,数据云服务平台(DAAS)时代
u  Hadoop平台在数据云平台(DAAS)上的天然优势。
u  数据云平台(DAAS 平台)组成部分
u  互联网公共数据大云(DAAS)案例
u  Hadoop构建构建游戏云(Web Game Daas)平台
模块四
Hadoop生态系统介绍和演示
u  Hadoop HDFS 和 MapReduce
u  Hadoop数据库之HBase
u  Hadoop数据仓库之Hive
u  Hadoop数据处理脚本Pig
u  Hadoop数据接口Sqoop和Flume,Scribe DataX
u  Hadoop工作流引擎 Oozie
u  运用Hadoop自下而上构建大规模企业数据仓库
u  暴风影音数据仓库实战解析
模块五
Hadoop组件详解
u  Hadoop HDFS 基本结构
u  Hadoop HDFS 副本存放策略
u  Hadoop NameNode 详解
u  Hadoop SecondaryNameNode 详解
u  Hadoop DataNode 详解
u  Hadoop JobTracker 详解
u  Hadoop TaskTracker 详解
u  Hadoop Mapper类核心代码
u  Hadoop Reduce类核心代码
u  Hadoop 核心代码
模块六
Hadoop安装和部署
u  Hadoop系统模块组件概述
u  Hadoop试验集群的部署结构
u  Hadoop 安装依赖关系
u  Hadoop 生产环境的部署结构
u  Hadoop集群部署
u  Hadoop 高可用配置方法
u  Hadoop 集群简单测试方法
u  Hadoop 集群异常Debug方法
u  Hadoop安装部署实验
u  Red hat Linux基础环境搭建
u  Hadoop 单机系统版本安装配置
u  Hadoop 集群系统版本安装和启动配置
u  使用 Hadoop MapReduce Streaming 快速测试系统
u  Hadoopcore-site,hdfs-site,mapred-site 配置详解
模块七
Hadoop集群规划
u  Hadoop 集群内存要求
u  Hadoop集群磁盘分区
u  集群和网络拓扑要求
u  集群软件的端口配置
u  针对NameNode Jobtracker DataNode TaskTracker Hiveserver 等不同组件需求推荐服务器配置
模块八
MapReduce 算法原理
u  Hadoop MapReduce 算法的原理和优化思想
u  灵活运用MapReduce 实现算法
u  运用MapReduce 构建数据库算法
u   Select Sort GrougBy Sum Count
u  Join 新进流失算法
u  使用 Y-Smart 快速转换SQL 为MapReduce 代码     
模块九
编写MapReduce高级程序
u  使用 Hadoop MapReduce Streaming 编程
u  MapReduce流程 
u  剖析一个MapReduce程序
u  基本MapReduceAPI概念
u  驱动代码 Mapper、Reducer
u  Hadoop流
u  API 使用Eclipse进行快速开发
u  新MapReduce API
u  MapReduce的优化
u  MapReduce的任务调度
u  MapReduce编程实战
u  如何利用其他Hadoop相关技术,包括Apache Hive, Apache Pig,Sqoop和Oozie等
u  满足解决实际数据分析问题的高级Hadoop API
u  Hadoop Streaming 和 Java MapReduce Api 差异。
u  MapReduce 实现数据库功能
u  利用Combiners来减少中间数据
u  编写Partitioner来优化负载平衡
u  直接访问Hadoop分布式文件系统(HDFS)
u  Hadoop的join操作
u  辅助排序在Reducer方的合并
u  定制Writables和WritableComparables
u  使用SequenceFiles和Avro文件保存二进制数据
u  创建InputFormats OutputFormats
u  Hadoop的二次排序
u  Hadoop的海量日志分析
u  在Map方的合并  
模块十
集成Hadoop到现有工作流
及Hadoop API深入探讨
u  存储系统
u  利用Sqoop从关系型数据库系统中导入数据到Hadoop
u  利用Flume导入实时数据到Hadoop
u  ToolRunner介绍、使用MRUnit进行测试
u  使用Configure和Close方法来进行Map/Reduce设置和关闭
u  使用FuseDFS和Hadoop访问HDFS
u  使用分布式缓存(Distributed Cache)
u  直接访问Hadoop分布式文件系统(HDFS)
u  利用Combiners来减少中间数据
u  编写Partitioner来优化负载平衡
模块十一
使用Hive和Pig开发及技巧
u  Hive和Pig基础          
u  Hive的作用和原理说明
u  Hadoop仓库和传统数据仓库的协作关系
u  Hadoop/Hive仓库数据数据流
u  Hive 部署和安装
u  Hive Cli 的基本用法
u  HQL基本语法
u  运用Pig 过滤用户数据 
u  使用JDBC 连接Hive进行查询和分析
u  使用正则表达式加载数据
u  HQL高级语法
u  编写UDF函数
u  编写UDAF自定义函数
u  基于Hive脚本内嵌Streaming 编程
模块十二
Hbase安装和使用
u  Hbase 安装部署
u  Hbase原理和结构
u  Hbase 运维和管理
u  使用Hbase+Hive 提供 OLAP SQL查询能力
u  使用Hbase+Phoenix提供 OLTP SQL能力
u  基于Hbase 的时间序列数据库 OpenTsDb 结构解析
模块十三
Hadoop2.0 集群探索
u  Hadoop2.0 HDFS 原理
u  Hadoop2.0 Yarn 原理
u  Hadoop2.0 生态系统
u  基于Hadoop2.0 构建分布式系统
模块十四
Hadoop企业级别案例解析
u  Hadoop 结构化数据案例
u  Hadoop 非结构化案例
u  Hbase 数据库案例
u  Hadoop 视频分析案例
u  利用大数据分析改进交通管理
u  区域医疗大数据应用案例
u  银联大数据数据票据详单平台
u  某银行大数据Spark应用案例详解
u  某证券公司大数据案例介绍
u  广东移动省公司请账单系统
u  上海电信网络优化
u  某通信运营商全国用户上网记录
u  浙江台州市智能交通系统
u  移动广州详单实时查询系统
u  跨区域实时视频监控系统
u  电信大数据案例介绍:
u  基于社交网络的精确营销和客户维系
u  基于信令分析用户的移动轨迹
u  基站规划和动态优化
u  智慧城市交通
u  流量分析
u  上海联通大数据开放变现的实现案例介绍
模块十五
RedHadoop 企业版本
u  运用RedHadoop快速构建服务集群
u  运用RedHadoop DW 构建数据仓库
u  基于RedHadoop Hive构建数据仓库平台
u  灵活运用 Hive 加速游戏数据仓库
u  基于Pig+OpenCV大规模图像人脸识别
模块十六
Spark原理和入门
u  Spark原理;Spark的架构图;Spark运行模式介绍
u  —local;—standalone;—messos;—yarn;Spark的RDD
u  什么是RDD;RDD的种类;—Tranformation;—Action
u  Spark的存储级别;Cache介绍;Spark的容错原理
u  Lineage容错;Checkpoint容错;RDD的创建
u  案例—统计单词的个数
模块十七
互联网大数据应用案例
ü  根阿里的ODPS大数据平台架构介绍
ü  阿里的实时推荐架构
ü  阿里的交叉营销系统
ü  阿里支付宝交易监控系统
ü  支付宝微贷案例分析(互联网征信系统)
ü  京东打白条系统分析
ü  百度预测大数据平台案例分析

课程主讲

    张老师:阿里大数据高级专家,国内资深的Spark、Hadoop技术专家、虚拟化专家,对HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生态系统中的技术进行了多年的深入的研究,更主要的是这些技术在大量的实际项目中得到广泛的应用,因此在Hadoop开发和运维方面积累了丰富的项目实施经验。近年主要典型的项目有:某电信集团网络优化、中国移动某省移动公司请账单系统和某省移动详单实时查询系统、中国银联大数据数据票据详单平台、某大型银行大数据记录系统、某大型通信运营商全国用户上网记录、某省交通部门违章系统、某区域医疗大数据应用项目、互联网公共数据大云(DAAS)和构建游戏云(Web Game Daas)平台项目等。

课程对象

    各地政府云计算物联网产业相关负责人,各企业CIO、信息中心负责人、技术总监,云计算中心负责人,云计算产业投资团队,云计算应用开发商,云计算硬件设备供应商,云服务提供商,高校、科研院所云计算项目负责人。
    各企业大数据架构师、技术总监、数据挖掘负责人、数据挖掘开发工程师
备  注
课程费用:5800元/人(含教材、培训费、以及学习用具等费用)
关注本课程网友还浏览了大数据分析应用培训专题

推荐课程
项目管理相关课程
相关专题推荐
相关文档下载
相关文章
  • 如何报名参加公开课?
  • 报名流程一:
  • 电话咨询、传真报名表 -> 书面确认并缴费 -> 参加培训 (下载报名表)
  • 报名流程二:
  • 网上填写报名表 -> 书面确认并缴费 -> 参加培训
  • 咨询热线:
  • 深圳 0755-26063246   26063236
  • 上海 021-51879301    北京 010-51651498
  • 报名传真:
  • 深圳 0755-61624059    上海 021-51686940    北京 010-58043505
  • 电子邮件:
  • kf#cnbm.net.cn    fy1288#vip.163.com(发邮件时请将#改为@)
课程主题:
Hadoop应用与开发高级工程师
课程编号:196168 
*开课计划:
  • 杭州 2017-07-12
  • 北京 2017-07-19
  • 成都 2017-07-26
*姓  名:
*性  别:  
*职务:
*部门:
*电话:
*手机:
传真:
*E-Mail:
*参加人数:
其他人员:
   
   
   
   
   
   
   
*单位名称:
通信地址:
备注:
(如多人报名、需代订酒店等补充信息请填写到备注栏)
*验证码:
  看不清?点一下验证码换一组
 
(* 为必填项)
   
暂无评论,快来添加一条!
点击这里提交你的留言