組み込み型全文検索ｴﾝｼﾞﾝ｢Senna｣のｲﾝｽﾄｰﾙ - WEB制作者の苦悩

WEB制作者の苦悩[=>]
WEBｻｲﾄ制作におけるTIPSなどをちまちまと書いてます｡ Home[=>]
Archives[=>]
CakePHP[=>]
Home[=>]
> MySQL[=>]
> 組み込み型全文検索ｴﾝｼﾞﾝ｢Senna｣のｲﾝｽﾄｰﾙ Newer[=>]
Older[=>]

組み込み型全文検索ｴﾝｼﾞﾝ｢Senna｣のｲﾝｽﾄｰﾙ

Posted by: ｴｶﾞｼﾗﾘｭｳｼﾞ 2006年8月26日 16:06 MySQL[=>]
うちのｻｰﾊﾞｰに組み込み型の全文検索ｴﾝｼﾞﾝである｢Senna[=>]
｣をｲﾝｽﾄｰﾙした｡ﾃﾞｰﾀﾍﾞｰｽｻｰﾊﾞｰとしてMySQLを入れているんが､ﾃﾞｰﾀ数が多くなってくると､あいまい検索がｱﾎみたいに遅い｡
何が最速のDBｴﾝｼﾞﾝですか?と言いたくなるほど遅い｡
たとえば､14万件のﾃﾞｰﾀで､LIKE '%検索語句%'で検索すると､1分ｵｰﾊﾞｰ｡
この状況で､検索ｴﾝｼﾞﾝを作ったところで誰がこんなｻｰﾋﾞｽ使うかっていう話で｡ MySQLの仕様として､char型､varchar型､text型にもｲﾝﾃﾞｯｸｽをつける事ができるが､検索語句の頭に｢%｣を付加した場合､ｲﾝﾃﾞｯｸｽは利用されないとの事｡
という事は､検索ごとに14万件を頭から総ﾅﾒしているわけだ｡ただこれは､私が｢ﾌﾙﾃｷｽﾄｲﾝﾃﾞｯｸｽ(全文検索)｣って言葉を知らなかっただけで､通常､検索ｴﾝｼﾞﾝなんかはこの｢ﾌﾙﾃｷｽﾄｲﾝﾃﾞｯｸｽ(全文検索)｣というものを使うらしい｡
この機能を使うとﾃﾞｰﾀを単語ごとに区切った状態でｲﾝﾃﾞｯｸｽを作成する為､検索速度も通常のｲﾝﾃﾞｯｸｽ検索並になる｡
MySQLも､3.23より｢ﾌﾙﾃｷｽﾄｲﾝﾃﾞｯｸｽ｣をｻﾎﾟｰﾄしている｡が､いまだに(現時点で､5.0.24)日本語は対応していないとの事｡英語の文章は最初から単語で区切られている為､ｲﾝﾃﾞｯｸｽも正常に作成されるが､日本語は単語の区切りにｽﾍﾟｰｽなどを入れない為､ｲﾝﾃﾞｯｸｽが正常に作成されない｡
となると､検索しても､目的のﾃﾞｰﾀがひっかからないという事だ｡
じゃあ､どうするか｡日本語の単語ﾃﾞｰﾀﾍﾞｰｽを作り､ﾃﾞｰﾀを格納する際に単語で区切るか｡｡んｰ｡｡無理｡
必死でGoogleさんに問い合わせをかけたところ｢Senna｣という組み込み型の全文検索ｴﾝｼﾞﾝのｻｲﾄにたどり着いた｡
この｢Senna｣は名前のとおり､日本語の全文検索を可能にするようだ｡また､MySQLに組み込む事ができるとの事｡
ただし､既にMySQLを導入済の場合は､ｿｰｽから再ｺﾝﾊﾟｲﾙする必要がある｡｡
MySQLのｺﾝﾊﾟｲﾙ時にはいつも手こずっているんで､辛い｡｡が､それをする以外ない｡
以下｢Senna｣の導入手順｡

Mecabのｲﾝｽﾄｰﾙ

まず､形態素解析ｴﾝｼﾞﾝである｢Mecab｣をｲﾝｽﾄｰﾙする｡
形態素解析ｴﾝｼﾞﾝというのは､日本語の単語ﾃﾞｰﾀﾍﾞｰｽのようなもの｡以下のｻｲﾄより｢Mecab｣をﾀﾞｳﾝﾛｰﾄﾞ｡
http://mecab.sourceforge.jp/#download[=>]
そして､ｿｰｽｺﾝﾊﾟｲﾙ｡ $ tar zxfv mecab-0.93.tar.gz
$ cd mecab-0.93
$ ./configure
$ make
$ make check
# make instal

IPA辞書のｲﾝｽﾄｰﾙ

次に､Mecab用の辞書をｲﾝｽﾄｰする｡以下のｻｲﾄより｢IPA辞書｣をﾀﾞｳﾝﾛｰﾄﾞ｡
http://mecab.sourceforge.jp/#download[=>]
そして､ｿｰｽｺﾝﾊﾟｲﾙ｡ $ tar zxfv mecab-ipadic-2.7.0-20060707.tar.gz
$ cd mecab-ipadic-2.7.0-20060707
$ ./configure
$ make
# make instal

Sennaのｲﾝｽﾄｰﾙ

そしていよいよ｢Senna｣のｲﾝｽﾄｰﾙ｡以下のｻｲﾄより｢Senna｣をﾀﾞｳﾝﾛｰﾄﾞ｡
http://qwik.jp/senna/Download.html[=>]
そして､ｿｰｽｺﾝﾊﾟｲﾙ｡ふｰ｡ $ tar xvfz senna-0.8.0.tar.gz
$ mv senna-0.8.0 senna
$ cd senna
$ ./configure --prefix=/usr
$ make
$ make instal そして､半日ぐらいﾊﾏる｡ makeを行った場合､ほ

■Next Page

･Full Browser

ja.abc-yoga.podzone.org | Contact