HttpFS는 HDFSProxy를 대체하기 위해서 클라우데라(Cloudera)에서 만들었으며 HTTP REST API로 구현 되어 손쉽게 HDFS로 접근을 할수 있습니다.

이 글에서는 HttpFS와 Red Gate사의 HDFS Explorer 툴을 가지고 HDFS에 접근 하는 방법에 대해서 다룰것입니다.
(Tested : Apache Hadoop 2.2.0)

하둡이 설치 되어있다는 가정하에 진행합니다.

1. hadoop 관련 설정
– core-site.xml
아래의 userid 부분에는 시스템에 존재하는 실제 계정을 넣으시면 됩니다. 예제에서는 hadoop을 실행하는 사용자인 hadoop 을 넣었습니다.

hadoop.proxyuser.[userid].hosts
hadoop.proxyuser.[userid].groups

 

– hdfs-site.xml

webhdfs를 활성화 시켜 줍니다. 이것을 활성화 하지 않으면 HDFS로 접근을 할수 없게 됩니다.

 

2. HttpFS 설정 관련

– httpfs-site.xml

hadoop의 설정 파일이 위치해 있는 경로를 지정합니다.

 

3. Hadoop 및 HttpFS 실행

Hadoop을 실행하고

 

HttpFS를 실행 합니다.

 

잘 작동하는지 테스트 해봅니다.

 

4. Red Gate – HDFS Explorer

다운로드는 http://bigdata.red-gate.com/hdfs-explorer.html 에서 받아 설치 합니다.
설치 완료후 실행되면 Cluster address와 core-site.xml에서 지정한 사용자 ID를 입력후 접속하면

hadoop_httpfs_hdfs-explorer_add_an_HDFS_connection

아래와 같은 그림으로 접속이 가능하며 drag&drop으로 파일을 저장/다운로드 할수 있으며, 프로그램 내에서 삭제도 가능합니다.

hadoop_httpfs_hdfs-explorer