Please assign a menu to the primary menu location under menu

Yongbok Blog

All of the operating system

How to configure DRBD on CentOS

DRBD? DRBD(Distributed Replicated Block Device)는 HA(High Availability) Cluster를 구축하기 위해 만들어 졌으며, 네트워크를 통해 디스크 복제(동기화)가 가능 하도록 해주어 Raid-1(Mirroring)과 같은 환경을 구축할수 있게 도와줍니다. DRBD Overview (http://www.drbd.org/)   테스트 환경 및 서버 구성 CentOS 6.5 (2.6.32-431.5.1.el6) Host Name           Type                      IP                 Storage ruo91-node1     Primary        192.168.0.10     10G SSD ruo91-node2    Secondary    192.168.0.11      10G SSD   1. Host Name 별칭 설정 (Both) /etc/hosts 파일에 서버의 별칭을 설정 합니다. #

Hadoop HDFS over HTTP (HttpFS)

HttpFS는 HDFSProxy를 대체하기 위해서 클라우데라(Cloudera)에서 만들었으며 HTTP REST API로 구현 되어 손쉽게 HDFS로 접근을 할수 있습니다. 이 글에서는 HttpFS와 Red Gate사의 HDFS Explorer 툴을 가지고 HDFS에 접근 하는 방법에 대해서 다룰것입니다. (Tested : Apache Hadoop 2.2.0) 하둡이 설치 되어있다는 가정하에 진행합니다. 1. hadoop 관련 설정 – core-site.xml 아래의 userid 부분에는 시스템에 존재하는 실제 계정을 넣으시면 됩니다. 예제에서는 hadoop을 실행하는 사용자인 hadoop 을 넣었습니다. hadoop.proxyuser..hosts hadoop.proxyuser..groups <?xml version=”1.0″ encoding=”UTF-8″?> <?xml-stylesheet type=”text/xsl” href=”configuration.xsl”?> <!– Licensed under the Apache License, Version 2.0 (the “License”); you may not use this file except in compliance with the License. You may obtain a copy of the

Linux – How to use Logical Volume Management

Logical Volume Management LVM은 물리적 하드디스크를 논리 볼륨으로 관리 할수 있도록 해주는 녀석입니다. 기존의 데이터를 보존하면서 더 큰 용량을 확보 하고자 할 경우에 사용 합니다. 아래 예제에서는 용량 2TB의 하드디스크 2개를 가지고 LVM을 만들어 보았습니다. 1. Linux LVM 파티션 생성 fdisk로 새로 추가한 하드디스크 디바이스명 /dev/sdb, /dev/sdc에 LVM 파티션을 생성 합니다. (fdisk -l 명령어로 미리 디바이스명을 찾아 주시길 바랍니다.) # fdisk /dev/sdc 첫번째 파티션을 생성 하기 위해 n을 누르고 첫번째 파티션에 모든 용량을 할당 하도록 합니다. Command (m for help): n Command action e extended p primary partition (1-4) p Partition number (1-4): 1 First cylinder (1-267349, default 1): Using

Hadoop – DFS Block size

Hadoop의 DFS 블록 사이즈 변경 방법입니다. conf/hdfs-site.xml 설정 파일에 <configuration>..</configuration> 구문 사이에 아래 예제 처럼 넣으면 됩니다. Block size 단위는 Byte 입니다. 64MB : 67108864 128MB : 134217728 256MB : 268435456 <?xml version=”1.0″?> <?xml-stylesheet type=”text/xsl” href=”configuration.xsl”?> <!– Put site-specific property overrides in this file. –> <configuration> <property> <name>dfs.data.dir</name> <value>/opt/hadoop/dfs/name/data</value> <final>true</final> </property> <property> <name>dfs.name.dir</name> <value>/opt/hadoop/dfs/name</value> <final>true</final> </property> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.block.size</name> <value>134217728</value> </property> </configuration>

Flume – java.net.ConnectException

HDFS에 연결을 하지 못하는 문제점을 발견. 아래와 같은 에러가 난다면 호스트네임(hostname) 문제일 가능성이 있다. /etc/hosts 를 확인 하기 바란다. 2013-10-24 21:56:51,681 (agent-shutdown-hook) Exception while closing /logs/FlumeData. Exception follows. java.net.ConnectException: Call From dev.yongbok.net/127.0.0.1 to localhost:9000 failed on connection exception: java.net.ConnectException: 연결이 거부됨; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57) at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) at java.lang.reflect.Constructor.newInstance(Constructor.java:526) at org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:783) at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:730) at org.apache.hadoop.ipc.Client.call(Client.java:1351) at org.apache.hadoop.ipc.Client.call(Client.java:1300) at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206) at com.sun.proxy.$Proxy11.getFileInfo(Unknown Source) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:606) at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:186) at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102) at com.sun.proxy.$Proxy11.getFileInfo(Unknown Source) at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getFileInfo(ClientNamenodeProtocolTranslatorPB.java:651) at org.apache.hadoop.hdfs.DFSClient.getFileInfo(DFSClient.java:1679) at org.apache.hadoop.hdfs.DistributedFileSystem$17.doCall(DistributedFileSystem.java:1106) at org.apache.hadoop.hdfs.DistributedFileSystem$17.doCall(DistributedFileSystem.java:1102) at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81) at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:1102) at org.apache.hadoop.fs.FileSystem.exists(FileSystem.java:1397) at org.apache.flume.sink.hdfs.BucketWriter$7.call(BucketWriter.java:486)

1 3 4 5 44