安装

　　原创：2018年01月05日13：44：01
　　来源：http：blog。csdn。netmawenwu1983articledetails78983275
　　标签：ambarihadoopCentOS集群搭建
　　目录（？）〔〕
　　1aclasstaghrefwiki10013IF2M96O。html安装a环境说明
　　21配置SSH免密码登录
　　22创建ambari系统用户和用户组
　　23开启NTP服务
　　24检查DNS和NSCD
　　25关闭防火墙
　　26关闭SELinux
　　3制作本地源
　　31相关准备工作
　　311安装ApacheHTTP服务器
　　312安装本地源制作相关工具
　　32下载安装资源
　　33配置ambariHDPHDPUTILS的本地源
　　34安装Mysql数据库
　　35安装JDK
　　4进行安装Ambari
　　41安装Ambari260
　　42安装安装HDP263配置集群
　　5Hadooop开启高可用现在安装好Hadoop是不支高可用的下面准备开启Hadoop高可用
　　1。安装环境说明
　　三台机器安装好CentOS7x8664Minimal1708。iso
　　下载地址：https：www。centos。orgdownload
　　最好在安装时设置好IP和HOSTNAME
　　三台机器的IP和HOSTNAME下载如下
　　主192。168。31。11SY001。hadoop
　　从192。168。31。12SY002。hadoop
　　从192。168。31。13SY003。hadoop
　　每个节点设置host
　　〔rootSY001〕vietchosts127。0。0。1localhostlocalhost。localdomainlocalhost4localhost4。localdomain4：：1localhostlocalhost。localdomainlocalhost6localhost6。localdomain6192。168。31。11SY001SY001。hadoop192。168。31。12SY002SY002。hadoop192。168。31。13SY003SY003。hadoop每个节点关闭DHCP设置为静态IP
　　〔rootSY001〕vietcsysconfignetworkscriptsifcfgens33TYPEEthernetPROXYMETHODnoneBROWSERONLYnoBOOTPROTOstaticDEFROUTEyesIPV4FAILUREFATALnoIPV6INITyesIPV6AUTOCONFyesIPV6DEFROUTEyesIPV6FAILUREFATALnoIPV6ADDRGENMODEstableprivacyNAMEens33UUID87a7a2870360476a996ca60012f7b087DEVICEens33ONBOOTyesIPADDR192。168。31。11PREFIX24GATEWAY192。168。31。1DNS1192。168。31。1IPV6PRIVACYno2。操作系统环境准备
　　2。1配置SSH免密码登录
　　主节点里root用户登录执行如下步骤
　　〔rootSY001〕sshkeygen〔rootSY001〕cd。ssh〔rootSY001〕catidrsa。authorizedkeys〔rootSY001〕chmod600。ssh〔rootSY001〕chmod600。sshauthorizedkeys先在从节点登录root执行命令
　　〔rootSY002〕mkdir。ssh〔rootSY003〕mkdir。ssh分发主节点里配置好的authorizedkeys到各从节点
　　〔rootSY001〕scproot。sshauthorizedkeysroot192。168。31。12：root。sshauthorizedkeys〔rootSY001〕scproot。sshauthorizedkeysroot192。168。31。13：root。sshauthorizedkeys2。2创建ambari系统用户和用户组
　　只在主节点操作
　　添加ambari安装、运行用户和用户组，也可以不创建新用户，直接使用root，我是直接用的root
　　〔rootSY001〕adduserambari〔rootSY001〕passwdambari2。3开启NTP服务
　　所有节点都需要操作
　　〔rootSY001〕yuminstallntp〔rootSY001〕systemctlisenabledntpd〔rootSY001〕systemctlenablentpd〔rootSY001〕systemctlstartntpd2。4检查DNS和NSCD
　　所有节点都要设置
　　ambari在安装时需要配置全域名，所以需要检查DNS。为了减轻DNS的负担，建议在节点里用NameServiceCachingDaemon（NSCD）
　　〔rootSY001〕vietchosts192。168。131。11SY001SY001。hadoop192。168。131。12SY002SY002。hadoop192。168。131。13SY003SY003。hadoop每台节点里配置FQDN，如下以主节点为例
　　〔rootSY001〕vietcsysconfignetworkNETWORKINGyesHOSTNAMESY001。hadoop2。5关闭防火墙
　　所有节点都要设置
　　〔rootSY001〕systemctldisablefirewalld〔rootSY001〕systemctlstopfirewalld2。6关闭SELinux
　　所有节点都要设置
　　查看SELinux状态：
　　〔rootSY001〕sestatusSELinuxstatus：enabled〔rootSY001〕sestatusSELinuxstatus：disabled临时关闭，不用重启机器：
　　〔rootSY001〕setenforce0修改配置文件需要重启机器：
　　〔rootSY001〕vietcsysconfigselinuxSELINUXdisabled3。制作本地源
　　制作本地源只需在主节点上进行即可
　　3。1相关准备工作
　　3。1。1安装ApacheHTTP服务器
　　安装HTTP服务器，允许http服务通过防火墙（永久）
　　〔rootSY001〕yuminstallhttpd〔rootSY001〕firewallcmdaddservicehttp〔rootSY001〕firewallcmdpermanentaddservicehttp添加Apache服务到系统层使其随系统自动启动
　　〔rootSY001〕systemctlstarthttpd。service〔rootSY001〕systemctlenablehttpd。service3。1。2安装本地源制作相关工具
　　〔rootSY001〕yuminstallyumutilscreaterepo3。2下载安装资源
　　下载Ambari2。6。0，HDP2。6。3的安装资源，本次安装是在CentOS7上，只列出CentOS7的资源，其他系统的请现在对用系统的资源
　　Ambari2。6。0下载资源
　　RedHat7
　　CentOS7
　　OracleLinux7
　　BaseURLhttp：publicrepo1。hortonworks。comambaricentos72。xupdates2。6。0。0
　　RepoFilehttp：publicrepo1。hortonworks。comambaricentos72。xupdates2。6。0。0ambari。repo
　　Tarballhttp：publicrepo1。hortonworks。comambaricentos72。xupdates2。6。0。0ambari2。6。0。0centos7。tar。gz
　　HDP2。6。3下载资源
　　RedHat7
　　CentOS7
　　OracleLinux7
　　HDP2。6。3。0HDPVersionDefinitionFile（VDF）http：publicrepo1。hortonworks。comHDPcentos72。xupdates2。6。3。0HDP2。6。3。0235。xml
　　BaseURLhttp：publicrepo1。hortonworks。comHDPcentos72。xupdates2。6。3。0
　　RepoFilehttp：publicrepo1。hortonworks。comHDPcentos72。xupdates2。6。3。0hdp。repo
　　Tarballhttp：publicrepo1。hortonworks。comHDPcentos72。xupdates2。6。3。0HDP2。6。3。0centos7rpm。tar。gz
　　HDPUTILSBaseURLhttp：publicrepo1。hortonworks。comHDPUTILS1。1。0。21reposcentos7
　　Tarballhttp：publicrepo1。hortonworks。comHDPUTILS1。1。0。21reposcentos7HDPUTILS1。1。0。21centos7。tar。gz
　　下载上面列表的中的压缩包，
　　需要下载的压缩包如下：
　　Ambari2。6。0http：publicrepo1。hortonworks。comambaricentos72。xupdates2。6。0。0ambari2。6。0。0centos7。tar。gzHDP2。6。3http：publicrepo1。hortonworks。comHDPcentos72。xupdates2。6。3。0HDP2。6。3。0centos7rpm。tar。gzHDPUTILS1。1。0。21http：publicrepo1。hortonworks。comHDPUTILS1。1。0。21reposcentos7HDPUTILS1。1。0。21centos7。tar。gz在httpd网站根目录，默认是即varwwwhtml，创建目录ambari，
　　并且将下载的压缩包解压到varwwwhtmlambari目录
　　HDPUTILS需要先建立一个HDPUTILS文件夹并将HDPUTILS1。1。0。21centos7。tar。gz放到HDPUTILS目录下再解压
　　〔rootSY001〕cdvarwwwhtml〔rootSY001html〕mkdirambari〔rootSY001html〕cdvarwwwhtmlambari〔rootSY001ambari〕wgethttp：publicrepo1。hortonworks。comambaricentos72。xupdates2。6。0。0ambari2。6。0。0centos7。tar。gz〔rootSY001ambari〕wgethttp：publicrepo1。hortonworks。comHDPcentos72。xupdates2。6。3。0HDP2。6。3。0centos7rpm。tar。gz〔rootSY001ambari〕wgethttp：publicrepo1。hortonworks。comHDPUTILS1。1。0。21reposcentos7HDPUTILS1。1。0。21centos7。tar。gz〔rootSY001ambari〕tarzxvfambari2。6。0。0centos7。tar。gz〔rootSY001ambari〕tarzxvfHDP2。6。3。0centos7rpm。tar。gz〔rootSY001ambari〕mkdirHDPUTILS〔rootSY001ambari〕mvHDPUTILS1。1。0。21centos7。tar。gzvarwwwhtmlambariHDPUTILS〔rootSY001ambari〕tarzxvfHDPUTILS1。1。0。21centos7。tar。gz验证httpd网站是否可用，用浏览器直接访问下面的地址，如果能看到目录列表就表示成功：
　　http：192。168。31。1ambari3。3配置ambari、HDP、HDPUTILS的本地源
　　首先下载上面资源列表中的相应repo文件，修改其中的URL为本地的地址，相关配置如下：
　　ambari。repo
　　〔rootSY001yum。repos。d〕viambari。repoVERSIONNUMBER2。6。0。0267〔ambari2。6。0。0〕nameambariVersionambari2。6。0。0baseurlhttp：192。168。31。11ambariambaricentos72。6。0。0267gpgcheck1gpgkeyhttp：192。168。31。11ambariambaricentos72。6。0。0267RPMGPGKEYRPMGPGKEYJenkinsenabled1priority1hdp。repo
　　〔rootSY001yum。repos。d〕vihdp。repoVERSIONNUMBER2。6。3。0235〔HDP2。6。3。0〕nameHDPVersionHDP2。6。3。0baseurlhttp：192。168。31。11ambariHDPcentos72。6。3。0235gpgcheck1gpgkeyhttp：192。168。31。11ambariHDPcentos72。6。3。0235RPMGPGKEYRPMGPGKEYJenkinsenabled1priority1〔HDPUTILS1。1。0。21〕nameHDPUtilsVersionHDPUTILS1。1。0。21baseurlhttp：192。168。31。11ambariHDPUTILSgpgcheck1gpgkeyhttp：192。168。31。11ambariHDPUTILSRPMGPGKEYRPMGPGKEYJenkinsenabled1priority1将上面的修改过的源放到etcyum。repos。d下面
　　〔rootSY001yum。repos。d〕yumcleanall〔rootSY001yum。repos。d〕yumlistupdate〔rootSY001yum。repos。d〕yummakecache〔rootSY001yum。repos。d〕yumrepolist3。4安装Mysql数据库
　　Ambari安装会将安装等信息写入数据库，建议使用MariaDB数据库，也可以不安装而使用默认数据库PostgreSQL
　　〔rootSY001〕yuminstallmariadbserver〔rootSY001〕systemctlstartmariadb〔rootSY001〕systemctlenablemariadb数据库初始化设置〔rootSY001〕mysqlsecureinstallation首先是设置密码，会提示先输入密码Entercurrentpasswordforroot（enterfornone）：初次运行直接回车设置密码Setrootpassword？〔Yn〕是否设置root用户密码，输入y并回车或直接回车Newpassword：设置root用户的密码Reenternewpassword：再输入一次你设置的密码其他配置Removeanonymoususers？〔Yn〕是否删除匿名用户，回车Disallowrootloginremotely？〔Yn〕是否禁止root远程登录，回车，Removetestdatabaseandaccesstoit？〔Yn〕是否删除test数据库，回车Reloadprivilegetablesnow？〔Yn〕是否重新加载权限表，回车初始化MariaDB完成，接下来测试登录，输入密码能正常登陆就完成了〔rootSY001〕mysqlurootp安装完成后创建ambari数据库及用户，登录数据库root用户执行下面语句：
　　〔rootSY001〕mysqlurootpcreatedatabaseambaricharactersetutf8；CREATEUSERambariIDENTIFIEDBYAmbari123；GRANTALLPRIVILEGESON。TOFLUSHPRIVILEGES；如果要安装Hive，再创建Hive数据库和用户再执行下面的语句：
　　createdatabasehivecharactersetutf8；CREATEUSERhiveIDENTIFIEDBYHive123；GRANTALLPRIVILEGESON。TOFLUSHPRIVILEGES；如果要安装Oozie，再创建Oozie数据库和用户再执行下面的语句：
　　createdatabaseooziecharactersetutf8；CREATEUSERoozieIDENTIFIEDBYOozie123；GRANTALLPRIVILEGESON。TOFLUSHPRIVILEGES；安装mysqljdbc驱动
　　〔rootSY001〕yuminstallmysqlconnectorjava3。5安装JDK
　　JavaSEDevelopmentKit8u152下载地址：http：www。oracle。comtechnetworkcnjavajavasedownloadsjdk8downloads2133151zhs。html
　　下载解压版jdk8u152linuxx64。tar。gz，再执行下面命令：
　　〔rootSY001〕tarzxvfjdk8u152linuxx64。tar。gzCoptjava〔rootSY001〕vietcprofileexportJAVAHOMEoptjavajdk1。8。0152exportCLASSPATH。：JAVAHOMElibdt。jar：JAVAHOMElibtools。jarPATHPATH：HOMEbin：JAVAHOMEbinsourceetcprofile4。进行安装Ambari
　　4。1安装Ambari2。6。0
　　4。1。1安装Ambari
　　〔rootSY001〕yuminstallambariserver4。1。2配置Ambari
　　〔rootSY001〕ambariserversetup下面是配置执行流程，按照提示操作
　　1。检查SELinux是否关闭，如果关闭不用操作
　　UsingpythonusrbinpythonSetupambariserverCheckingSELinux。。。SELinuxstatusisdisabled2。提示是否自定义设置。输入：y
　　Customizeuseraccountforambariserverdaemon〔yn〕（n）？y3。ambariserver账号。输入：ambari
　　Enteruseraccountforambariserverdaemon（root）：ambariAdjustingambariserverpermissionsandownership。。。4。检查防火墙，如果关闭则不用操作
　　Checkingfirewallstatus。。。Redirectingtobinsystemctlstatusiptables。service5。设置JDK。输入：3
　　CheckingJDK。。。DoyouwanttochangeOracleJDK〔yn〕（n）？y〔〕OracleJDK1。8JavaCryptographyExtension（JCE）PolicyFiles8〔〕OracleJDK1。7JavaCryptographyExtension（JCE）PolicyFiles7〔〕CustomJDKEnterchoice（1）：36。如果上面选择3自定义JDK，则需要设置JAVAHOME。输入：optjavajdk1。8。0152
　　WARNING：JDKmustbeinstalledonallhostsandJAVAHOMEmustbevalidonallhosts。WARNING：JCEPolicyfilesarerequiredforconfiguringKerberossecurity。IfyouplantouseKerberos，pleasemakesureJCEUnlimitedStrengthJurisdictionPolicyFilesarevalidonallhosts。PathtoJAVAHOME：optjavajdk1。8。0152ValidatingJDKonAmbariServer。。。done。Completingsetup。。。7。数据库配置。选择：y
　　Configuringdatabase。。。Enteradvanceddatabaseconfiguration〔yn〕（n）？y8。选择数据库类型。输入：3
　　Configuringdatabase。。。Chooseoneofthefollowingoptions：〔1〕PostgreSQL（Embedded）〔2〕Oracle〔3〕MySQL〔4〕PostgreSQL〔5〕MicrosoftSQLServer（TechPreview）〔6〕SQLAnywhereEnterchoice（3）：39。设置数据库的具体配置信息，根据实际情况输入，如果和括号内相同，则可以直接回车。
　　Hostname（localhost）：Port（3306）：Databasename（ambari）：Username（ambari）：EnterDatabasePassword（Ambari123）：10。提示必须安装MySQLJDBC，回车结束ambari配置
　　WARNING：BeforestartingAmbariServer，youmustcopytheMySQLJDBCdriverJARfiletousrsharejava。Ptocontinue。11。将Ambari数据库脚本导入到数据库
　　如果使用自己定义的数据库，必须在启动Ambari服务之前导入Ambari的sql脚本
　　用Ambari用户（上面设置的用户）登录sourcevarlibambariserverresourcesAmbariDDLMySQLCREATE。sql4。1。3启动Amabri
　　执行启动命令，启动Ambari服务
　　〔rootSY001〕ambariserverstart成功启动后在浏览器输入Ambari地址：
　　http：192。168。31。1：8080出现登录界面，默认管理员账户登录，账户：admin密码：admin
　　以下图片用的别人的图片，版本较低，仅供参考
　　登录成功后出现下面的界面，至此Ambari的安装成功
　　4。2安装安装HDP2。6。3配置集群
　　点击上面登录成功页面的LaunchInstallWizard按钮进行集群配置
　　4。2。1设置集群名称
　　4。2。2设置HDP安装源
　　选择HDP2。6，并且设置AdvancedRepositoryOptions的信息，本次使用本地源，所以修改对用系统的安装源为本地源地址。
　　4。2。3设置集群机器
　　4。2。4Host确认
　　确认前面配置集群中hosts列表中的机器是否都可用，也可以移除相关机器，集群中机器Success后进行下一步操作。
　　4。2。5选择要安装的服务
　　4。2。6各个服务Master配置
　　4。2。6服务的Slaves和Clients节配置
　　4。2。7服务的客制化配置
　　4。2。8显示配置信息
　　4。2。9开始安装
　　安装各个服务，并且完成安装后会启动相关服务，安装过程比较长，如果中途出现错误，请根据具体提示或者log进行操作。
　　安装过程可以随时查看每个节点的安装进度及日志
　　全部安装成功界面如下
　　4。2。10安装完成
　　5、Hadooop开启高可用（现在安装好Hadoop是不支高可用的，下面准备开启Hadoop高可用）
　　1、开启高可用开关
　　2、设置高可用名称（如果hbase是启动的话请关闭在开启HA高可用）
　　3、选择服务安装在那台主机上
　　4、按照提示操作，最后显示如下表示HA安装成功
　　5、Hbase高可用会显示如下图
　　参考资料：