mecab-ko-lucene-analyzer는 mecab-ko-dic을 사용한 lucene/solr용 한국어 형태소분석기입니다.
다음과 같은 기능들을 제공합니다.
- 명사추출
- 합성명사 분해
- 원어절 추출
- '무궁화꽃이피었습니다.'와 같이 띄어 쓰기가 잘못된 오류를 교정하여 형태소 분석이 가능합니다.
- Standard[Index|Query]Tokenizer의 경우, 명사뿐 아니라 품사가 결합된 어절도 Token으로 뽑아냅니다. 철수가 학교에 간다. -> 철수가, 철수, 학교에, 학교, 간다
- 문장의 끝에 문장의 끝을 알리는 기호 "
.!?
"가 있으면 더 자연스럽게 형태소 분석이 됩니다. - Apache Lucene/Solr 4.0 버전 기준으로 작성되었습니다.
여기 (MeCab-0.996) 에서 MeCab의 소스를 다운 받고 설치합니다.
$ tar zxfv mecab-XX.tar.gz
$ cd mecab-XX
$ ./configure
$ make
$ make check
$ su
# make install
MeCab 설치의 자세한 내용은 MeCab 홈페이지를 참조하시기 바랍니다.
Solr example(Solr with Jetty)의 사용을 기준으로 설명합니다.
mecab-java-XX.tar.gz 를 다운받아 설치합니다.
주의: Makefile에서 INCLUDE 값을 자신의 환경에 맞게 변경해야 합니다.
주의: OpenJDK를 사용하시는 경우, 최적화 옵션을 -O나 -O1로 고쳐야 합니다. mecab-ko-lucene-analyzer OpenJDK에서 사용하기 참조
$ tar zxvf mecab-java-XX.tar.gz
$ mv mecab-java-XX.tar.gz mecab-XX/java
$ cd mecab-XX/java
$ make
$ cp MeCab.jar [solr 디렉터리]/example/lib/ext # JNI 클래스는 System classpath에 위치해야 합니다. Jetty는 기본값으로 $jetty.home/lib/ext에 추가적인 jar를 넣을 수 있습니다.
$ su
# cp libMeCab.so /usr/local/lib
mecab-ko-dic 다운로드 페이지 에서 mecab-ko-dic
의 최신 버전을 다운 받습니다. 반드시 mecab-ko-dic-1.1.0-XXXX 이상의 버전을 사용하여야 합니다.
tar.gz를 압축 해제하시고 일반적인 자유 소프트웨어와 같은 순서로 설치할 수 있습니다.
기본으로 /usr/local/lib/mecab/dic/mecab-ko-dic
에 설치됩니다.
$ tar zxfv mecab-ko-dic-XX.tar.gz
$ cd mecab-ko-dic-XX
$ ./configure
$ make
$ su
# make install
mecab-ko-lucene-analyzer 다운로드 페이지에서 mecab-ko-lucene-analyze-XX.tar.gz
의 최신 버전을 다운 받아 압축을 풀면 두개의 jar파일이 있습니다.
- mecab-ko-mecab-loader-XX.jar: System classpath에 복사합니다. (ex:
[solr 디렉터리]/example/lib/ext
) - mecab-ko-lucene-analyzer-XX.jar: Solr 라이브러리 디렉터리에 설치합니다. (ex:
[solr 디렉터리]/example/solr/lib
)
solrconfig.xml
에 mecab-ko-lucene-analyzer-XX.jar
가 있는 경로를 설정합니다.
<lib dir="../lib" regex=".*\.jar" />
schema.xml
에 fieldType
을 설정합니다.
<!-- Korean -->
<fieldType name="text_ko" class="solr.TextField" positionIncrementGap="100">
<analyzer type="index">
<tokenizer class="com.github.bibreen.mecab_ko_lucene_analyzer.StandardIndexTokenizerFactory"/>
</analyzer>
<analyzer type="query">
<tokenizer class="com.github.bibreen.mecab_ko_lucene_analyzer.StandardQueryTokenizerFactory"/>
</analyzer>
</fieldType>
libMeCab.so
파일이 있는 라이브러리 경로를 지정해 주면서 solr를 실행합니다.
$ java -Djava.library.path="/usr/local/lib" -jar start.jar
input:
mecab-ko-lucene-analyzer를 사용하여 한글 검색서버를 개발하세요.
output:
mecab | ko | lucene | analyzer를 | analyzer | 사용하여 | 사용 | 한글 | 검색 | 서버를 | 서버 | 개발하세요 | 개발
Copyright 2013 Yongwoon Lee, Yungho Yu.
mecab-ko-lucene-analyzer
는 아파치 라이센스 2.0에 따라 소프트웨어를 사용, 재배포 할 수 있습니다. 더 자세한 사항은 Apache License Version 2.0을 참조하시기 바랍니다.