1. 首頁 > 生活百科 > >

Linux 下搭建 Hadoop 環境

生活百科

Linux 下搭建 Hadoop 環境作者：Grey
原文地址：
博客園：Linux 下搭建 Hadoop 環境
CSDN：Linux 下搭建 Hadoop 環境
環境要求操作系統：CentOS 7
【Linux 下搭建 Hadoop 環境】下載地址
安裝說明
需要準備兩個節點，一個是 master 節點，另一個是 slave 節點 。
其中 master 節點的 IP：192.168.100.130
slave 節點的 IP：192.168.100.131
并且參考Linux 下配置 hosts 并設置免密登錄先配置好兩個免密登錄 。
JDK 版本：8u181
下載地址
Hadoop 版本：2.7.5
下載地址
如果使用的軟件版本不一致，請以官方搭建文檔為準 。
安裝步驟準備軟件目錄
mkdir /datalake上傳之前下載好的安裝包到 /datalake 目錄下
jdk-8u181-linux-x64.gz
hadoop-2.7.5.tar.gz
批量解壓這幾個安裝包
cd /datalakels * | xargs -n1 tar xzvf將解壓的軟件移動到 /usr/local 目錄
cd /datalakemv jdk1.8.0_181 /usr/local/jdkmv hadoop-2.7.5 /usr/local/hadoop配置環境變量
vi /usr/profile添加如下內容
export JAVA_HOME=/usr/local/jdkexport HADOOP_HOME=/usr/local/hadoopexport PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin應用環境變量
source /etc/profile關閉防火墻，在 master 和 slave 下分別執行
systemctl stop firewalld.service以下的配置 ， 在 master 和 slave 上都要做
vi $HADOOP_HOME/etc/hadoop/core-site.xml在<configuration></configuration>節點之間添加如下內容
<property>  <name>fs.default.name</name>  <value>hdfs://master:9000</value></property><property>  <name>hadoop.tmp.dir</name>  <value>/usr/local/hadoop/tmp</value></property>配置 hadoop 使用的 jdk，執行
vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh將 jdk 配置為
export JAVA_HOME=/usr/local/jdkvi $HADOOP_HOME/etc/hadoop/core-site.xml在<configuration></configuration>節點之間添加如下內容
<property>  <name>dfs.replication</name>  <value>1</value></property><property><name>dfs.permissions</name><value>false</value></property>執行
cd $HADOOP_HOME/etc/hadoop && cp mapred-site.xml.template mapred-site.xml然后執行
vi $HADOOP_HOME/etc/hadoop/mapred-site.xml在<configuration></configuration>節點之間添加如下內容
<property>  <name>mapred.job.tracker</name>  <value>master:9001</value></property>執行
vi $HADOOP_HOME/etc/hadoop/slaves替換為如下內容
masterslave在 master 上把 hadoop 的上述配置文件改好以后，可以執行
cd /usr/local && scp -r hadoop slave:/usr/local/將配置拷貝到 slave，就無需在 slave 上做同樣繁瑣的配置操作了 。
然后，在 master 節點上進行格式化，執行
hadoop namenode -format最后 ， 在 master 上啟動 hadoop
start-dfs.sh啟動成功后，在 master 和 slave 上分別執行 jps，可以看到 hadoop 相關的進程已經正常啟動
master 上
[root@master local]# jps13984 SecondaryNameNode1579 QuorumPeerMain14108 Jps13693 NameNode13821 DataNodeslave 上
[root@slave hadoop]# jps9478 Jps9401 DataNode在瀏覽器上訪問 : http://192.168.100.130:50070/
正常顯示

Linux 下搭建 Hadoop 環境

文章插圖
然后在 master 上啟動 yarn ， 執行
start-yarn.sh輸出如下日志，未報錯
[root@master local]# start-yarn.shstarting yarn daemonsstarting resourcemanager, logging to /usr/local/hadoop/logs/yarn-root-resourcemanager-master.outmaster: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-root-nodemanager-master.outslave: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-root-nodemanager-slave.out瀏覽器訪問：http://192.168.100.130:8088/
正常顯示相關信息
Linux 下搭建 Hadoop 環境

文章插圖

推薦閱讀