Hive? Hadoop의 리포팅 및 분석을 위한 Database라고 보면 됩니다. Hive는 Hadoop 상에 있으며 데이터는 HDFS에 저장됩니다. 그리고, 사용자가 작성한 Hive QL(SQL Query)을 Compile 하여 Hadoop Cluster에 MR(Map Reduce) 작업을 실행 하도록 합니다. 더 자세한건.. 검색 하길 권장. – Hive Architecture 당연한거지만.. Hive를 설치 하기 전에 hadoop이 설치 되어 있어야 합니다. 1. Hive 설치 아래 주소에서 Hive를 다운로드 합니다. http://www.apache.org/dyn/closer.cgi/hive/ # cd /usr/local # wget http://mirror.apache-kr.org/hive/stable/hive-0.11.0.tar.gz # tar xzvf hive-0.11.0.tar.gz # mv hive-0.11.0 hive 2. Hive 환경 변수 등록 # echo ‘export HIVE_HOME=/usr/local/hive’ >> ~/.bash_profile # echo ‘export PATH=$HIVE_HOME/bin:$PATH’ >> ~/.bash_profile 설정 적용 # source ~/.bash_profile 3. Hive 실행 Hadoop을 실행 합니다. # start-all.sh Hive에서 사용할 HDFS의 디렉토리를 생성
Hadoop을 비정상적으로 종료 했을때 발생 합니다. # hadoop fs -mkdir /tmp mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /tmp. Name node is in safe mode. Safe Mode를 OFF 해주면 해결 됩니다. # hadoop dfsadmin -safemode leave Safe mode is OFF
필자 기준으로 리눅스 배포판에 상관 없이 copy&paste로만 설치가 가능 하도록 문서를 작성했습니다. (까먹지 않기 위함) (JDK, hadoop의 설치 경로는 /usr/local) – JDK 설치 아래 주소에서 다운로드 받습니다. http://www.oracle.com/technetwork/java/javase/downloads/index.html root@yongbok:~# cd /usr/local/src root@yongbok:/usr/local/src# tar xzvf jdk-7u25-linux-x64.tar.gz root@yongbok:/usr/local/src# mv jdk1.7.0_25 /usr/local – hadoop 설치 root@yongbok:/usr/local/src# wget http://mirror.yongbok.net/apache/hadoop/common/hadoop-1.2.0/hadoop-1.2.0.tar.gz root@yongbok:/usr/local/src# tar xzvf hadoop-1.2.0.tar.gz root@yongbok:/usr/local/src# mv hadoop-1.2.0 /usr/local – JDK, hadoop PATH 설정 root@yongbok:~# echo ‘export JAVA_HOME=/usr/local/jdk1.7.0_25’ >> ~/.profile root@yongbok:~# echo ‘export HADOOP_INSTALL=/usr/local/hadoop-1.2.0’ >> ~/.profile root@yongbok:~# echo ‘export PATH=$PATH:$HADOOP_INSTALL/bin’ >> ~/.profile – SSH key 생성 root@yongbok:~# ssh-keygen -t rsa root@yongbok:~# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys root@yongbok:~# ssh localhost 만약 sshd 포트가 22번이 아닌 경우 아래와 같이
Ubuntu linux에서 hadoop을 Pseudo-Distributed 방식으로 설치하는 방법입니다. 설치법은 생각보다 간단합니다. 우선 아래 패키지들을 설치합니다. root@ruo91:~# apt-get -y install ssh rsync java7-jdk hadoop 계정을 생성합니다. root@ruo91:~# adduser hadoop hadoop 계정으로 로그인합니다. root@ruo91:~# su -l hadoop 로컬호스트에서 ssh로 암호입력 없이 연결이 되나 시도 해봅니다. (이런.. 암호를 입력해야 되는군요!) hadoop@ruo91:~$ ssh localhost The authenticity of host ‘localhost (127.0.0.1)’ can’t be established. ECDSA key fingerprint is bb:91:c8:60:3c:09:86:75:4e:db:e7:c1:77:47:1b:a4. Are you sure you want to continue connecting (yes/no)? yes Warning: Permanently added ‘localhost’ (ECDSA) to the list of known hosts. hadoop@localhost’s password: 그럼 로컬호스트에서 암호없이 로그인 되도록 공개키를 생성합니다. hadoop@ruo91:~$ ssh-keygen -t