Monday, September 09, 2013

요구사항

1. oracle java : 6에서 최적화됨(2013년 9월 8일 기준)
2. ssh client, sshd 가 각 node 에 설정되어 있고 각 node 들간의 passwordless login 이 가능해야 함
3. dns : hbase.regionserver.dns.interface, 각 hostname 으로 인식, 그러나 없다면,,, 저거 이용,,,
4. 127.0.0.1 : loopback ip
5. ntp 로 time sync 맞춰야 함
6. ulimit 1024 보다 크게

      2010-04-06 03:04:37,542 INFO org.apache.hadoop.hdfs.DFSClient: Exception increateBlockOutputStream java.io.EOFException
      2010-04-06 03:04:37,542 INFO org.apache.hadoop.hdfs.DFSClient: Abandoning block blk_-6935524980745310745_1391901
      
7. hbase 를 실행시키는 user 에 대한 nproc 상향. OutOfMemory 발생할 수 있음
8. hbase version 마다 hadoop 버젼이 다름. 바꿔 말하면 hadoop 버젼마다 지원하는 hbase 버젼이 다름. (S=supported, X=not supported, NT=run, but not tested enough)

able 2.1. Hadoop version support matrix
HBase-0.92.xHBase-0.94.xHBase-0.95
Hadoop-0.20.205SXX
Hadoop-0.22.xSXX
Hadoop-1.0.0-1.0.2[a]SSX
Hadoop-1.0.3+SSS
Hadoop-1.1.xNTSS
Hadoop-0.23.xXSNT
Hadoop-2.xXSS
[aHBase requires hadoop 1.0.3 at a minimum; there is an issue where we cannot find KerberosUtil compiling against earlier versions of Hadoop.

만약 지원하지 않는 hadoop 을 사용하면 hang 이 걸릴 뿐 원인을 알 수 없는 상황이 되어 버릴 수 있음. 주의!!! 또 주의!!!!(standalone 버젼의 경우 내부에 포함된 jar 를 쓰지만 분산된 경우 주의 하지 않으면 안됨. 버젼에 맞게 바꿔줘야함)
9. 각종 버젼에 대한 명시 잘 살펴봐야함. 관련속성도!!
10. 보안접속 : http://hbase.apache.org/book/security.html#hbase.secure.configuration
11.  파일 오픈 개수 제한 dfs.datanode.max.xcievers : 설정 바꿀 경우 반드시 restart(hdfs) : 이 제한이 설정되어 있지 않는 경우 오류(missing block 등)가 발생 할 수 있음

About Me

Hostway Korea R&D Center