전체 글85 elasticsearch 2.0 Getting Started elasticsearch 2.0으로 정식 릴리즈 되었고 필요에 의해서 2.0으로 설정해서 사용하기로... elasticsearchhttps://www.elastic.co/products/elasticsearch Download$ wget https://download.elasticsearch.org/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.0.0/elasticsearch-2.0.0.tar.gz$ tar zxvf elasticsearch-2.0.0.tar.gz Setup elastic search# ---------------------------------- Cluster ------------------------.. 2015. 11. 4. Kafka cluster Getting Started kafka는 분산 메시징 시스템으로 높은 성능을 자랑한다.A high-throughput distributed messaging system. 분산 시스템을 구성 위해서 3개 노드에 zookeeper, kafka를 모두 설치한다. Downloadhttp://kafka.apache.org/downloads.html Setup ZooKeeper $ vi ${KAFKA_HOME}/config/zookeeper.propertieszookeeper.properties 파일에 아래 설정들을 추가해준다. # the directory where the snapshot is stored.dataDir=${data_dir} # The number of milliseconds of each tick tickTime=2000.. 2015. 11. 2. elasticsearch Getting Started 서비스 로그를 모아서 실시간으로 검색하고 분석할 수 있는 시스템이 필요해서 검색중로그를 수집하고(fluentd), 검색(elasticsearch) 가능한 시스템이 있어서 우리 시스템이 도입하려고 한다. elasticsearchhttp://www.elasticsearch.org/ download$ wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.4.2.tar.gz$ tar zxvf elasticsearch-1.4.2.tar.gz start $ ./bin/elasticsearch -Xmx1g -Xms1g [2015-01-30 16:30:55,456][WARN ][common.jna ] Unable to lo.. 2015. 1. 30. Mysql InnoDB 성능 개선(innodb_flush_log_at_trx_commit) 서비스 성능테스트를 진행하다보면 Mysql 성능이 전체 시스템 성능을 결정하는 경우가 있다.mysql 때문에 성능이 나오지 않는다면 성능을 위해 redis와 같은 다른 솔루션을 선택할 수 있지만 운영중인 서비스에서 쉽게 솔루션을 변경하기는 쉽지 않다. mysql 성능을 향상시키는 방법은 여러개가 있지만. 간단하게 설정을 변경하여 성능을 개선할 방법이 있다. innodb_flush_log_at_trx_commit 는 요약하자면 커밋 로그에 대하여 디스크 플러시가 언제 발생할지 설정할 수 있다.기본으로 1로 설정이 되어있고 1은 트랜젝션이 발생할 때마다 디스크에 플러시가 발생한다. 2로 설정하면 1초마다 디스크로 플러시가 발생하게되고, 그만큼 io가 줄어들기때문에 성능 향상을 기대할 수 있다.(단 장애시 1.. 2014. 6. 11. Steps to install Distributed HBase HBaseDownload$ wget http://mirror.apache-kr.org/hbase/hbase-0.98.0/hbase-0.98.0-hadoop2-bin.tar.gz$ tar zxvf hbase-0.98.0-hadoop2-bin.tar.gz Configurationhbase-env.shexport JAVA_HOME=/usr/lib/jvm/java-7-oracle # Tell HBase whether it should manage it's own instance of Zookeeper or not.export HBASE_MANAGES_ZK=false hbase-site.xml hbase.rootdir hdfs://master:9000/hbase hbase.cluster.distributed tr.. 2014. 5. 9. Steps to install Replicated ZooKeeper ZooKeeperdownload http://www.apache.org/dyn/closer.cgi/zookeeper/$ wget http://apache.mirror.cdnetworks.com/zookeeper/stable/zookeeper-3.4.6.tar.gz$ tar zxvf zookeeper-3.4.6.tar.gz Configurationzoo.cfg# the basic time unit in milliseconds used by ZooKeeper. It is used to do heartbeats and the minimum session timeout will be twice the tickTime.tickTime=2000#the location to store the in-memory dat.. 2014. 5. 9. Steps to install Hadoop 2.2.0 release on multi-node cluster HBase 를 위해서 hadoop, zookeeper를 설치하고 HBase 연동까지 테스트한다. EnvironmentOS : Ubuntu 12.04Hadoop : Hadoop 2.2.0ZooKeeper : ZooKeeper 3.4.5HBase : HBase 0.98.0Java : oracle java 7버전은 아래 문서를 참고하여 설치하려는 HBase 지원여부에 따라 선택하였다. http://hbase.apache.org/book/configuration.html#hadoop java$ sudo add-apt-repository ppa:webupd8team/java$ sudo apt-get update$ sudo apt-get install oracle-java[6-8]-installer $ java -.. 2014. 5. 9. ZooKeeper Getting Started 주키퍼는 상호조정에 필요한 다양한 데이터 구조체와 프로토콜 구축을 위한 풍부한 프리미티브를 제공한다.Coordinating Distributed Applications with ZooKeeper Downloadhttp://www.apache.org/dyn/closer.cgi/zookeeper/ Setup Running Replicated ZooKeeper$ vi ${ZOOKEEPER_HOME}/conf/zoo.cfgzoo.cfg 설정파일을 생성하여 아래 설정들을 추가해준다. # The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take in.. 2014. 4. 30. Hadoop 2.4.0 Installation on Untuntu Fully-Distributed Purpose개발 테스트를 위해 ubuntu에 hadoop을 설치한다. Prerequisitesubuntu 12.04$ sudo apt-get install openjdk-7-jdk$ sudo apt-get install ssh hadoop 구동을 위해서 자바 설치hadoop 서버간 통신을 위해서 ssh 키를 공유한다.hosts 파일에 서버간 host 설정 Oracle JDK Installation$ sudo add-apt-repository ppa:webupd8team/java$ sudo apt-get update$ sudo apt-get install oracle-java[6-8]-installer $ java -versionjava version "1.7.0_55" Java(TM) SE Runtim.. 2014. 4. 28. 이전 1 ··· 3 4 5 6 7 8 9 10 다음