本文主要介紹hadoop集群安裝配置(hadoop集群下載)，下面一起看看hadoop集群安裝配置(hadoop集群下載)相關(guān)資訊。
一、虛擬機(jī)環(huán)境準(zhǔn)備
系統(tǒng)
主機(jī)
地址
hadoop版本
jdk版本
centos9
hadoop01
10.211.55.4
3.2.2
1.8.0_322
centos9
hadoop02
10.211.55.7
3.2.2
1.8.0_322
centos9
hadoop03
10.211.55.6
3.2.2
1.8.0_322
2.分別在三臺(tái)虛擬機(jī)中配置主機(jī)，配置內(nèi)容如下
10 . 211 . 55 . 4 hadoop 0110 . 211 . 55 . 7 hadoop 0210 . 211 . 55 . 6 hadoop 03三。在三臺(tái)虛擬機(jī)中分別設(shè)置用戶和無密登錄。
添加新用戶
group add hadoop useradd-d/home/hadoop-g hadoop-s/bin/bash-m hadoop visu do #在文本中的根行下添加hadoop行hadoop all=(all) all。
修改主機(jī)的主機(jī)名配置，然后重新啟動(dòng)。
#第一個(gè)注釋配置hostname ctl set-hostname hadoop 01 #重新啟動(dòng)reboot#查看更改是否成功hostname#第二個(gè)注釋配置hostname ctl set-hostname hadoop 01 #重新啟動(dòng)reboot#查看更改是否成功hostname#檢查更改是否成功username#第三個(gè)注釋配置hostname ctl set-hostname hadoop 01 #重新啟動(dòng)reboot#檢查更改是否成功hostname關(guān)閉防火墻。
關(guān)閉防火墻:systemctl停止防火墻d查看狀態(tài):systemctl狀態(tài)防火墻d引導(dǎo)禁止:systemctl禁用防火墻d秘密登錄配置。
#切換到hadoop用戶su hadoop# shengcheng的公鑰，先檢查本地密鑰是否已經(jīng)生成。如果是這樣的話，會(huì)影響之前已經(jīng)設(shè)定好的。使用以下命令來cat ~/。ssh/id_rsa.pub#如果沒有，請(qǐng)輸入以下命令在該機(jī)器上生成公鑰和私鑰ssh-keygen -t rsa#并將公鑰復(fù)制到遠(yuǎn)程主機(jī)。在這里，三臺(tái)虛擬機(jī)的公鑰相互復(fù)制，這樣三臺(tái)服務(wù)器就可以使用ssh和hadoop賬戶直接登錄ssh-cop。y-id -i ~/。ssh/id_rsa.pub root@ip地址
第四，集群規(guī)劃
注意1: namenode和secondarynamenode不應(yīng)該部署在同一個(gè)服務(wù)器上注意2:資源管理器消耗大量?jī)?nèi)存，所以不要使用。;不能與namenode和secondarynamenode部署在同一服務(wù)器上。
hadoop01
hadoop02
hadoop03
hdfs
datanode
datanode
datanode
namenode
次要名稱
故事
節(jié)點(diǎn)管理器
節(jié)點(diǎn)管理器
節(jié)點(diǎn)管理器
資源管理器
五、開始安裝
#下載并解壓midir-p/opt/module/opt/software cd/opt/softwar-3.3.2/. wget hadoop-3 . 3 . 2 . tar . gztar-xzvf hadoop-3 . 3 . 2 . tar . gz-c/opt/module cd/opt/modulemv hadoop-3.3.2.tar.gz hadoop編輯的hdfs-site.xml，內(nèi)容如下:
配置屬性namefs.defaultfs/name value 01 : 9000/value/property屬性namehadoop.tmp.dir/名稱value/opt/module/hadoop/data/tmp/value/property/configuration
hdfis-site.xml
配置屬性namedfs.replication/name value 3/value/property屬性named fs . namenode . secondary . http-address/name value hadoop 03 : 50090/value/property屬性namedfs.namenode.secondary.http值/本地文件系統(tǒng)上的opt/module/hadoop/dfs/name/value描述路徑，namenode在其中永久存儲(chǔ)命名空間和事務(wù)日志。/描述/屬性！-property namedfs.hosts/name value hadoop 01/value description如果需要，請(qǐng)使用這些文件來控制允許的datanodes列表。/description/property-property namedfs.datanode.data.dir/name值/opt/module/hadoop/dfs/data/value description datanode的localfilesystem上以逗號(hào)分隔的路徑列表，該文件系統(tǒng)應(yīng)存儲(chǔ)其塊。/描述/屬性/配置
yarn-site.xml
配置！-站點(diǎn)特定的紗線配置屬性-屬性nameyarn.resourcemanager.hostname/name值hadoop02/value / property屬性name yarn . node manager . aux-services/name value mapreduce _ shuffle/value/property/configuration
工人
hadoop01hadoop02hadoop03
hadoop-env.sh
導(dǎo)出hdfs _命名節(jié)點(diǎn)_用戶= hadoop導(dǎo)出hadoop _ log _ dir = $ { hadoop _ home }/logs導(dǎo)出hadoop _ conf _ dir = $ { hadoop _ home }/etc/hadoop導(dǎo)出hadoop _ home =/opt/module/hadoop export java _ home =/usr/lib/jvm/java-1 . 8 . 0-open jdk
標(biāo)簽:
重新開始評(píng)論
了解更多hadoop集群安裝配置(hadoop集群下載)相關(guān)內(nèi)容請(qǐng)關(guān)注本站點(diǎn)。