技术分享|其他|虚拟机Ubutnu安装hadoop|虚拟机备份专家云祺科技

关于我们

技术分享

技术分享虚拟机Ubutnu安装hadoop

虚拟机Ubutnu安装hadoop

2021-05-04

具体需要的有(默认在Ubuntu中能链接网络)： vim编辑器、java 环境、hadoop环境。

1、刚安装完成系统后，root用户默认是被锁定的，需要初始化root用户，否则在接下来的安装过程中有些操作没有权限

   sudo passwd    Password: <--- 输入安装时那个用户的密码
    Enter new UNIX password:  <--- 新的Root用户密码
    Retype new UNIX password:  <--- 重复新的Root用户密码
    passwd：已成功更新密码

2、安装vim编辑器，vim编辑器系统可能会自带，先检查系统是否已安装，否则安装VIM

sudo apt-get install vim

3、安装JAVA环境，须选择jdk 1.6版本以上环境

在命令行中输入javac，系统会自动提示有哪些版本可供安装。

sudo apt-get install java-7-openjdk

等待系统自动下载安装，安装完成后，输入javac，有java的相关信息提示后，表示安装成功，但此时还需要配置java的环境变量(默认安装目录：/usr/lib/jvm):

~$ vi /etc/profile

打开配置文件后，在末尾处添加下述环境设置

   export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386
    export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
    export PATH=$JAVA_HOME/bin:$/JAVA_HOME/jre/bin:$PATH

可选操作：讲安装的jdk设置为系统默认的jdk

sudo update-alternatives --install "/usr/bin/java" "java" "/usr/lib/java/jdk1.6.0_45/bin/java" 300
sudo update-alternatives --install "/usr/bin/javac" "javac" "/usr/lib/java/jdk1.6.0_45/bin//javac" 300
sudo update-alternatives --config javasudo update-alternatives --config javac

输入~$ source /etc/profile 使更新的配置文件生效，输入javac -version进行验证.

4、安装hadoop

创建下hadoop目录：mkdir /opt/hadoop

下载hadoop安装文件包： $ wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

解压hadoop文件:tar -zxvf hadoop-1.2.1.tar.gz

进入/opt/hadoop/hadoop-1.2.1/conf，在该目录下有hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml四个文件需要进行配置

vi hadoop-env.sh 设置JAVA_HOME

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk

vi /etc/profile 配置hadoop

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386
export HADOOP_HOME=/usr/hadoop/hadoop-0.20.0
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$/JAVA_HOME/jre/bin:$HADOOP_HOME/bin:$PATH

vi core-site.xml

<configuration>
<property>
   <name>fs.default.name</name>
   <value>hdfs://localhost:9000</value>
</property>
</configuration>

vi hdfs-site.xml

<configuration>
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
</configuration>

vi mapred-site.xml

<configuration>
<property>
  <name>mapred.job.tracker</name>
  <value>localhost:9001</value>
</property>
</configuration>

完成之后输入命令

安装sudo apt-get install ssh

　　ssh localhost

　　如果没有提示错误则安装成功（默认的.ssh文件夹在 /home/用户名/ 这个路径下，它是隐藏文件，快捷键Ctrl+H可以显示隐藏文件），然后需要为ssh设置免密码登录和设置权限，依次输入下面几条命令：

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
chmod 700 ~/.ssh
chmod 644 ~/.ssh/authorized_keys

　　完成之后再输入ssh localhost如果不需要输入密码的话则配置ssh免密码登录成功。