본문 바로가기

분류 전체보기85

Mysql InnoDB 성능 개선(innodb_flush_log_at_trx_commit) 서비스 성능테스트를 진행하다보면 Mysql 성능이 전체 시스템 성능을 결정하는 경우가 있다.mysql 때문에 성능이 나오지 않는다면 성능을 위해 redis와 같은 다른 솔루션을 선택할 수 있지만 운영중인 서비스에서 쉽게 솔루션을 변경하기는 쉽지 않다. mysql 성능을 향상시키는 방법은 여러개가 있지만. 간단하게 설정을 변경하여 성능을 개선할 방법이 있다. innodb_flush_log_at_trx_commit 는 요약하자면 커밋 로그에 대하여 디스크 플러시가 언제 발생할지 설정할 수 있다.기본으로 1로 설정이 되어있고 1은 트랜젝션이 발생할 때마다 디스크에 플러시가 발생한다. 2로 설정하면 1초마다 디스크로 플러시가 발생하게되고, 그만큼 io가 줄어들기때문에 성능 향상을 기대할 수 있다.(단 장애시 1.. 2014. 6. 11.
Steps to install Distributed HBase HBaseDownload$ wget http://mirror.apache-kr.org/hbase/hbase-0.98.0/hbase-0.98.0-hadoop2-bin.tar.gz$ tar zxvf hbase-0.98.0-hadoop2-bin.tar.gz Configurationhbase-env.shexport JAVA_HOME=/usr/lib/jvm/java-7-oracle # Tell HBase whether it should manage it's own instance of Zookeeper or not.export HBASE_MANAGES_ZK=false hbase-site.xml hbase.rootdir hdfs://master:9000/hbase hbase.cluster.distributed tr.. 2014. 5. 9.
Steps to install Replicated ZooKeeper ZooKeeperdownload http://www.apache.org/dyn/closer.cgi/zookeeper/$ wget http://apache.mirror.cdnetworks.com/zookeeper/stable/zookeeper-3.4.6.tar.gz$ tar zxvf zookeeper-3.4.6.tar.gz Configurationzoo.cfg# the basic time unit in milliseconds used by ZooKeeper. It is used to do heartbeats and the minimum session timeout will be twice the tickTime.tickTime=2000#the location to store the in-memory dat.. 2014. 5. 9.
Steps to install Hadoop 2.2.0 release on multi-node cluster HBase 를 위해서 hadoop, zookeeper를 설치하고 HBase 연동까지 테스트한다. EnvironmentOS : Ubuntu 12.04Hadoop : Hadoop 2.2.0ZooKeeper : ZooKeeper 3.4.5HBase : HBase 0.98.0Java : oracle java 7버전은 아래 문서를 참고하여 설치하려는 HBase 지원여부에 따라 선택하였다. http://hbase.apache.org/book/configuration.html#hadoop java$ sudo add-apt-repository ppa:webupd8team/java$ sudo apt-get update$ sudo apt-get install oracle-java[6-8]-installer $ java -.. 2014. 5. 9.
ZooKeeper Getting Started 주키퍼는 상호조정에 필요한 다양한 데이터 구조체와 프로토콜 구축을 위한 풍부한 프리미티브를 제공한다.Coordinating Distributed Applications with ZooKeeper Downloadhttp://www.apache.org/dyn/closer.cgi/zookeeper/ Setup Running Replicated ZooKeeper$ vi ${ZOOKEEPER_HOME}/conf/zoo.cfgzoo.cfg 설정파일을 생성하여 아래 설정들을 추가해준다. # The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take in.. 2014. 4. 30.
Hadoop 2.4.0 Installation on Untuntu Fully-Distributed Purpose개발 테스트를 위해 ubuntu에 hadoop을 설치한다. Prerequisitesubuntu 12.04$ sudo apt-get install openjdk-7-jdk$ sudo apt-get install ssh hadoop 구동을 위해서 자바 설치hadoop 서버간 통신을 위해서 ssh 키를 공유한다.hosts 파일에 서버간 host 설정 Oracle JDK Installation$ sudo add-apt-repository ppa:webupd8team/java$ sudo apt-get update$ sudo apt-get install oracle-java[6-8]-installer $ java -versionjava version "1.7.0_55" Java(TM) SE Runtim.. 2014. 4. 28.

티스토리툴바