大數據存儲與處理培訓課件(PPT 84頁)

主要內容
Hadoop是什麼？
Hadoop起源
Hadoop的特點
Hadoop越來越火
誰在用Hadoop？
Hadoop應用案例
Yahoo Hadoop應用揭秘
中國移動
Hadoop生態係統
Hadoop基本架構——物理分布的Hadoop集群
Hadoop基本架構——物理部署
HDFS文件係統——設計目標
HDFS文件係統——設計基礎與目標
HDFS文件係統——能做什麼？
HDFS文件係統不適合做什麼？
HDFS文件係統——文件
HDFS文件係統——主要組件的功能
HDFS文件係統—— NameNode
HDFS文件係統—— DataNode
HDFS文件係統——係統架構
HDFS文件係統——保障可靠性的措施
HDFS如何寫文件？
HDFS如何讀文件？
讀文件流程
HDFS的可靠性——回顧
MapReduce設計目的——大規模數據處理
MapReduce——特性
MapReduce示例
MapReduce數據流
從Map到Reducer數據整體傳輸過程
MapReduce數據流——輸入
MapReduce數據流—— Map結果輸出
MapReduce數據流—— shuffle和sort
MapReduce數據流—— Partitons
MapReduce數據流—— combiner
MapReduce數據流—— map輸出結束
MapReduce數據流—— copy
MapReduce數據流—— Reduce
MapReduce數據流——輸出
單一Reduce處理
多Reduce處理
無Redue處理
MapReduce工作原理
Hadoop 中的 MapReduce
MapReduce 作業執行流程
作業調度機製
任務執行優化
錯誤處理機製——硬件故障
錯誤處理機製——任務失敗
大綱
實踐
必要條件
啟動係統
通過Web了解hadoop的狀況
Jobtracker
NameNode
HDFS文件操作
列出HDFS下的文件
上傳文件到HDFS
將HDFS文件複製到本地
查看HDFS基本統計信息
怎麼添加節點
舉例：單詞計數
Map函數
Reduce函數
程序運行
MapReduce的應用
練習一：使用Hadoop HDFS
練習二：maprduce

..............................