이미지 텍스트분류

이미지 

https://colab.research.google.com/drive/1CMBPsoMLf3TxpeoitZQol5_oRBWKrZ_1?usp=sharing

텍스트

https://colab.research.google.com/drive/1aJYTkiKm5FBLL_P56ExApYB1nu5Arshk?usp=sharing#scrollTo=m4IfXI_9H-Va

요구사항

1. oracle java : 6에서 최적화됨(2013년 9월 8일 기준)
2. ssh client, sshd 가 각 node 에 설정되어 있고 각 node 들간의 passwordless login 이 가능해야 함
3. dns : hbase.regionserver.dns.interface, 각 hostname 으로 인식, 그러나 없다면,,, 저거 이용,,,
4. 127.0.0.1 : loopback ip
5. ntp 로 time sync 맞춰야 함
6. ulimit 1024 보다 크게

      2010-04-06 03:04:37,542 INFO org.apache.hadoop.hdfs.DFSClient: Exception increateBlockOutputStream java.io.EOFException
      2010-04-06 03:04:37,542 INFO org.apache.hadoop.hdfs.DFSClient: Abandoning block blk_-6935524980745310745_1391901
      

7. hbase 를 실행시키는 user 에 대한 nproc 상향. OutOfMemory 발생할 수 있음
8. hbase version 마다 hadoop 버젼이 다름. 바꿔 말하면 hadoop 버젼마다 지원하는 hbase 버젼이 다름. (S=supported, X=not supported, NT=run, but not tested enough)

able 2.1. Hadoop version support matrix

	HBase-0.92.x	HBase-0.94.x	HBase-0.95
Hadoop-0.20.205	S	X	X
Hadoop-0.22.x	S	X	X
Hadoop-1.0.0-1.0.2[a]	S	S	X
Hadoop-1.0.3+	S	S	S
Hadoop-1.1.x	NT	S	S
Hadoop-0.23.x	X	S	NT
Hadoop-2.x	X	S	S
[a] HBase requires hadoop 1.0.3 at a minimum; there is an issue where we cannot find KerberosUtil compiling against earlier versions of Hadoop.

만약 지원하지 않는 hadoop 을 사용하면 hang 이 걸릴 뿐 원인을 알 수 없는 상황이 되어 버릴 수 있음. 주의!!! 또 주의!!!!(standalone 버젼의 경우 내부에 포함된 jar 를 쓰지만 분산된 경우 주의 하지 않으면 안됨. 버젼에 맞게 바꿔줘야함)
9. 각종 버젼에 대한 명시 잘 살펴봐야함. 관련속성도!!
10. 보안접속 : http://hbase.apache.org/book/security.html#hbase.secure.configuration
11.  파일 오픈 개수 제한 dfs.datanode.max.xcievers : 설정 바꿀 경우 반드시 restart(hdfs) : 이 제한이 설정되어 있지 않는 경우 오류(missing block 등)가 발생 할 수 있음

An error occured during integration mod_wsgi to django

Django + Apache 이용 설정하면서 기존에 Django 에서 제공되는 테스트 웹서버로 테스트 하던 소스가 제대로 돌아가지 않음을 발견. 에러 로그는 아래와 같다.

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] mod_wsgi (pid=549): Exception occurred processing WSGI script '/Users/heedaepoem/Documents/NoticeTmp/eee.wsgi'.

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] Traceback (most recent call last):

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] File "/Library/Python/2.6/site-packages/django/core/handlers/wsgi.py", line 250, in __call__

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] self.load_middleware()

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] File "/Library/Python/2.6/site-packages/django/core/handlers/base.py", line 45, in load_middleware

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] mod = import_module(mw_module)

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] File "/Library/Python/2.6/site-packages/django/utils/importlib.py", line 35, in import_module

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] __import__(name)

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] File "/Library/Python/2.6/site-packages/django/middleware/transaction.py", line 1, in

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] from django.db import transaction

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] File "/Library/Python/2.6/site-packages/django/db/__init__.py", line 78, in

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] connection = connections[DEFAULT_DB_ALIAS]

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] File "/Library/Python/2.6/site-packages/django/db/utils.py", line 93, in __getitem__

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] backend = load_backend(db['ENGINE'])

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] File "/Library/Python/2.6/site-packages/django/db/utils.py", line 33, in load_backend

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] return import_module('.base', backend_name)

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] File "/Library/Python/2.6/site-packages/django/utils/importlib.py", line 35, in import_module

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] __import__(name)

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] File "/Library/Python/2.6/site-packages/django/db/backends/mysql/base.py", line 11, in

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] import MySQLdb as Database

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] File "/Library/Python/2.6/site-packages/MySQL_python-1.2.3-py2.6-macosx-10.6-universal.egg/MySQLdb/__init__.py", line 19, in

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] File "/Library/Python/2.6/site-packages/MySQL_python-1.2.3-py2.6-macosx-10.6-universal.egg/_mysql.py", line 7, in

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] File "/Library/Python/2.6/site-packages/MySQL_python-1.2.3-py2.6-macosx-10.6-universal.egg/_mysql.py", line 4, in __bootstrap__

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] File "/System/Library/Frameworks/Python.framework/Versions/2.6/Extras/lib/python/pkg_resources.py", line 835, in resource_filename

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] self, resource_name

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] File "/System/Library/Frameworks/Python.framework/Versions/2.6/Extras/lib/python/pkg_resources.py", line 1304, in get_resource_filename

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] self._extract_resource(manager, self._eager_to_zip(name))

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] File "/System/Library/Frameworks/Python.framework/Versions/2.6/Extras/lib/python/pkg_resources.py", line 1326, in _extract_resource

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] self.egg_name, self._parts(zip_path)

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] File "/System/Library/Frameworks/Python.framework/Versions/2.6/Extras/lib/python/pkg_resources.py", line 915, in get_cache_path

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] self.extraction_error()

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] File "/System/Library/Frameworks/Python.framework/Versions/2.6/Extras/lib/python/pkg_resources.py", line 881, in extraction_error

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] raise err

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] ExtractionError: Can't extract file(s) to egg cache

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1]

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] The following error occurred while trying to extract file(s) to the Python egg

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] cache:

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1]

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] [Errno 13] Permission denied: '/Library/WebServer/.python-eggs'

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1]

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] The Python egg cache directory is currently set to:

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1]

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] /Library/WebServer/.python-eggs

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1]

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] Perhaps your account does not have write access to this directory? You can

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] change the cache directory by setting the PYTHON_EGG_CACHE environment

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1] variable to point to an accessible directory.

[Tue May 31 21:57:32 2011] [error] [client 127.0.0.1]

문제해결----------------------------------------------------->

http://forum.webfaction.com/viewtopic.php?id=571

In a nutshell, MySQLdb module 이 connection 시에 egg 파일의 압축을 푸는데 사용되는 디렉토리가 웹서버의 권한으로는 접근 불가인 곳으로 설정되어 있다고 함. 이 디렉토리는 PYTHON_EGG_CACHE 로 설정할 수 있다고 하여 이 디렉토리를 /tmp/ 로 설정함,,

Installation and configuration Django+Apache

https://docs.djangoproject.com/en/1.3/howto/deployment/modwsgi/

http://code.google.com/p/modwsgi/wiki/QuickConfigurationGuide

It's easy to use django with apache thanks to the documentation of django and modwsgi!!

CentOS 를 사용해 봅시다

CentOS 공식페이지

http://www.centos.org/

red hat linux 계열의 오픈소스 프로젝트.
"최근 레드헷의 업데이트는 중단되었고, 레드헷 엔터프라이즈의 경우 유료 고객지원을 받아야 하기 때문에 레드헷 사용이 쉽지 않습니다" 라고...( 출처 : http://centos.pe.kr/owiki/index.php?url=centos )

데비안의 apt 처럼 yum 이라는 software management tool 을 제공한다.

http://www.howtoforge.com/dhcp_server_linux_debian_sarge : dynamic ip 설정 하도록

논문표절과 저작권법

아주 짧아서 눈 깜짝할 사이에 들여다 볼 수 있을 정도의
그네들의 속내는 이번 청문회 때도 드러난다.

논문표절은 능력과는 무관한, 옥의 티라고 말하는 정권이 만들어놓은 법이 저작권법이다.

꼬마 아이가 손담비 춤을 따라 하는 영상을 인터넷에 올린건 법에 저촉될 엄청난 잘못이지만,

지식을 도둑질한 논문표절은 그리 큰 잘못이 아니란다.

권력의 차이 때문인가?
논문을 개제하는 사람은 이 사회의 기득권을 형성하고 있는 지식인층이고, 인터넷에 음악이나 영상 따위를 올리는 우리들은 권력과는 일촌파도타기로 찾아봐도 한달 걸릴 일개 국민이니깐,

아니면 전문인이 자신의 전문영역에서 도둑질을 한것은 잘못은 잘못이 아니고,
비전문인이 주제도 모르고 자기 전문 영역도 아닌 곳을 넘본 것은 잘못이라는 동물들의 영역싸움 같은 건가?

혹은,
.....

지금까지 그들이 계속해서 추구해오던 자본의 논리이던가... 논문은 돈이랑 관련없으므로 무효!음악 및 영상물 취급은 돈이랑 관련있으므로 유효!
(뭐 이것 역시 그네들 생각이지, 큰 시각에서 바라보는 진짜 보수라면 논문의 가치를 우습게 보지는 않겠지만...)

어쨌든,, 아마도 마지막이 가장 확률이 높을 듯.
천박한 것들...

쌍용차 사태에 대한 반응들, 누군지 정말 얼굴 한 번 보고 싶다...