1. 首頁 > 生活百科 > >

云小課｜MRS基礎原理之MapReduce介紹

生活百科

閱識風云是華為云信息大咖，擅長將復雜信息多元化呈現，其出品的一張圖(云圖說)、深入淺出的博文(云小課)或短視頻(云視廳)總有一款能讓您快速上手華為云 。更多精彩內容請單擊此處 。

云小課｜MRS基礎原理之MapReduce介紹

文章插圖
摘要：MapReduce是Hadoop的核心，是Google提出的一個軟件架構 ， 用于大規模數據集（大于1TB）的并行運算 。概念“Map（映射）”和“Reduce（化簡）”，及他們的主要思想，都是從函數式編程語言借來的，還有從矢量編程語言借來的特性 。
本文分享自華為云社區《【云小課】EI第42課 MRS基礎原理之Mapreduce介紹》，作者：Hello EI
MapReduce是Hadoop的核心，是Google提出的一個軟件架構 ， 用于大規模數據集（大于1TB）的并行運算 。概念“Map（映射）”和“Reduce（化簡）” ， 及他們的主要思想 ， 都是從函數式編程語言借來的 ， 還有從矢量編程語言借來的特性 。
云小課｜MRS基礎原理之MapReduce介紹

文章插圖
MapReduce是面向大數據并行處理的計算模型、框架和平臺 。當前的軟件實現是指定一個Map（映射）函數，用來把一組鍵值對映射成一組新的鍵值對 ， 指定并發的Reduce（化簡）函數，用來保證所有映射的鍵值對中的每一個共享相同的鍵組 。
云小課｜MRS基礎原理之MapReduce介紹

文章插圖
MapReduce是用于并行處理大數據集的軟件框架 。MapReduce的根源是函數性編程中的map和reduce函數 。Map函數接受一組數據并將其轉換為一個鍵/值對列表，輸入域中的每個元素對應一個鍵/值對 。Reduce函數接受Map函數生成的列表，然后根據它們的鍵縮小鍵/值對列表 。MapReduce起到了將大事務分散到不同設備處理的能力 ， 這樣原本必須用單臺較強服務器才能運行的任務，在分布式環境下也能完成 。
MapReduce結構MapReduce通過實現YARN的Client和ApplicationMaster接口集成到YARN中，利用YARN申請計算所需資源 。
云小課｜MRS基礎原理之MapReduce介紹

文章插圖
HDFS是Hadoop分布式文件系統，具有高容錯和高吞吐量的特性 ， 可以部署在價格低廉的硬件上，存儲應用程序的數據，適合有超大數據集的應用程序 。
而MapReduce是一種編程模型，用于大數據集（大于1TB）的并行運算 。在MapReduce程序中計算的數據可以來自多個數據源，如Local FileSystem、HDFS、數據庫等 。最常用的是HDFS，可以利用HDFS的高吞吐性能讀取大規模的數據進行計算 。同時在計算完成后，也可以將數據存儲到HDFS 。
MapReduce是運行在YARN之上的一個批處理的計算框架 。MRv1是Hadoop 1.0中的MapReduce實現，它由編程模型（新舊編程接口）、運行時環境（由JobTracker和TaskTracker組成）和數據處理引擎（MapTask和ReduceTask）三部分組成 。該框架在擴展性、容錯性（JobTracker單點）和多框架支持（僅支持MapReduce一種計算框架）等方面存在不足 。MRv2是Hadoop 2.0中的MapReduce實現，它在源碼級重用了MRv1的編程模型和數據處理引擎實現，但運行時環境由YARN的ResourceManager和ApplicationMaster組成 。其中ResourceManager是一個全新的資源管理系統，而ApplicationMaster則負責MapReduce作業的數據切分、任務劃分、資源申請和任務調度與容錯等工作 。
如何在MRS集群中提交一個MapReduce分析作業應用開發完成后，用戶可通過MRS云服務管理控制臺直接提交Mapreduce作業 ， 也可以通過集群客戶端提交 。
首先參考MRS快速入門中的“創建集群”章節購買一個MRS集群 ， 例如購買MRS 3.1.0版本集群 ， 該集群已開啟Kerberos認證 。
通過界面提交MapReduce作業1、登錄MRS管理控制臺 。
2、選擇“集群列表 > 現有集群”，單擊集群名稱，進入集群信息頁面 。
3、在“概覽”頁簽的基本信息區域 ， 單擊“IAM用戶同步”右側的“同步”進行IAM用戶同步 。
4、單擊“作業管理” ， 進入“作業管理”頁簽 。
5、單擊“添加”，進入“添加作業”頁面 。在“添加作業”頁面配置以下信息 。
云小課｜MRS基礎原理之MapReduce介紹

文章插圖
作業類型：MapReduce作業名稱：test01
執行程序路徑：單擊“HDFS”，并選擇待執行的jar文件 。例如：hdfs://hacluster/tmp/hadoop-mapreduce-examples-

    推薦閱讀