Nutch의 크롤링 결과값을 최신의 ElasticSearch를 이용해 사용하고자 할경우에 ivy/ivy.xml 파일에 아래 버전을 0.90.10를 변경하고 <dependency org=”org.elasticsearch” name=”elasticsearch” rev=”0.19.4″ conf=”*->default”/> ant로 빌드시 아래와 같은 에러가 나는 경우가 있습니다. resolve-default: :: Ivy 2.2.0 – 20100923230623 :: http://ant.apache.org/ivy/ :: :: loading settings :: file = /opt/apache-nutch-2.2.1/ivy/ivysettings.xml Could not load definitions from resource org/sonar/ant/antlib.xml. It could not be found. copy-libs: compile-core: Compiling 180 source files to /opt/apache-nutch-2.2.1/build/classes warning: bootstrap class path not set in conjunction with -source 1.6 /opt/apache-nutch-2.2.1/src/java/org/apache/nutch/indexer/elastic/ElasticWriter.java:104: error: cannot find symbol if (item.failed()) { ^ symbol: method failed() location: variable item of type BulkItemResponse 1 error 1 warning BUILD FAILED /opt/apache-nutch-2.2.1/build.xml:101: Compile
Apache2에서 PHP 4.x 버전과 연동시 undefined symbol: unixd_config 에러가 나는 경우가 있습니다. root@ruo91:~# /usr/local/apache2/bin/apachectl httpd: Syntax error on line 132 of /usr/local/apache2/conf/httpd.conf: Cannot load modules/libphp4.so into server: /usr/local/apache2/modules/libphp4.so: undefined symbol: unixd_config 이 문제는 Apache가 버전업을 하면서 unixd_config 심볼을 ap_unixd_config 로 변경하였기 때문에 문제가 발생 된겁니다. 해당 php 소스 디렉토리에 sapi/apache2handler/php_functions.c 을 열어 unixd_config 를 ap_unixd_config로 수정 하고, php를 재컴파일 하여 연동 하면 됩니다. – php-4.4.9 버전 기준 /* static char *php_apache_get_version() { return (char *) ap_get_server_version(); } */ static char *php_apache_get_version() { #if MODULE_MAGIC_NUMBER_MAJOR >= 20060905 return (char *) ap_get_server_banner(); #else return (char *) ap_get_server_version(); #endif } PHP_MINFO_FUNCTION(apache) { char
Logstash, ElasticSearch, Kibana 이것들은 무엇인가? 문서 업데이트 (2014-08-27) – Logstash 각종 로그를 가져오는 용도로 사용 됩니다. – ElasticSearch Lucene을 바탕으로 개발한 분산 검색 엔진입니다. – Kibana ElasticSearch의 저장 된 데이터를 Dashboard 형태로 보여줍니다. 실시간 로그 분석 시스템의 구성도는 어떻게 되는가? Logstash에서 1.2.2 기준으로 추천하는 구성도 입니다. 이전 버전에서는 Redis 대신 RabbitMQ를 사용했었는데 복잡성 때문에 Redis를 사용하기 시작 했다고 합니다. Redis를 사용하는 이유는 Logstash에서 가져온 데이터를 디스크 I/O를 거치지 않고 Memory로 처리 하도록 사용됩니다. 실시간 로그 분석 시스템을 실제로 만들어 보자. 본 글은 CentOS 6.4(x86_64)에서 테스트 되었고 테스트 용도로 구축한 것이기 때문에 한 서버에 모든 프로그램이 동작하게 됩니다. 따라서, 실서버에 적용시
젠킨스는 지속적 통합(Continuous Integration), 빌드 자동화(Build Automation)을 구현하기 위해 자바(Java)로 작성된 웹 어플리케이션의 형태로 제작된 도구입니다. 1. JDK 설치 및 설정 JDK (Java Development Kit)을 적절한 곳에 설치 합니다. http://www.oracle.com/technetwork/java/javase/downloads/index.html # tar xzvf jdk-7u45-linux-x64.tar.gz # mv jdk-7u45 /usr/local/jdk # nano ~/.bash_profile # JDK export JAVA_HOME=/usr/local/jdk export JDK_HOME=$JAVA_HOME export PATH=$PATH:$JAVA_HOME/bin # source ~/.bash_profile 2. Jenkins 설치 LTS(Long-Term Support)를 기준으로 받습니다. http://jenkins-ci.org/ # mkdir /opt/jenkins # wget -P /opt/jenkins http://mirrors.jenkins-ci.org/war-stable/latest/jenkins.war 3. Jenkins 실행 Jenkins를 실행합니다. # java -jar /opt/jenkins/jenkins.war Running from: /opt/jenkins/jenkins.war webroot: $user.home/.jenkins 11월 04, 2013 5:42:21 오전 winstone.Logger logInternal INFO: Beginning extraction from war file Jenkins home directory: /root/.jenkins found at:
Flume? 간단하게 설명 드리자면 Flume은 로그 수집기입니다. 수많은 서버에 분산되어 있는 많은 양의 로그 데이터를 Flume을 통해서 HDFS(hadoop distributed file system)으로 저장할수 있도록 해줍니다. – Flume-based architecture. Flume은 크게 Source, Channel, Sink 모듈로 구성되어 있습니다. – Source 데이터를 수집하는 Logical node를 말합니다. log data, stream, socket, database, avro, irc, file 등등의 데이터 – Channel source로 부터 받은 데이터를 sink(target)으로 넘기기전에 데이터를 쌓아두는 곳입니다. 간단하게 말하자면 트랜잭션의 보장을 위한 저장 공간입니다. – Sink 데이터를 보내는 것을 말합니다. 예를들면 log data, stream, socket, database, avro, irc, file 등등을 HDFS로 저장 본 글은 CentOS 6.4 (x86_64)에서 테스트 되었으며 Hadoop이 설치 되어있다는 가정하에 진행하였습니다.