Windowsで動く茶筌には2通りがあります。一つはコマンドプロンプト上で動くもので,もう一つはGUIを持ったWinChaです。バッチ処理には前者が向いていますが,対話的に解析をするには後者がいいでしょう。前者はインストールパスを環境変数のpathに設定することを忘れないように。
茶筌を使った形態素解析のテスト
以下の「子宮内膜症」に関する説明文書を茶筌を使って形態素解析を行った。基本的な症状は「痛み」です。 内膜症のある場所、大きさ、癒着の程度などによって症状はさまざまですが、主に生理痛や下腹部痛、腰痛、性交痛、排便痛、慢性骨盤痛などが現れます。 痛み以外では、不正出血が見られたり、経血量が多かったり、レバー状の塊が出ることもあります。(https://192abc.com/21595)形態素解析の結果は以下のとおりである。
1 | 基本 | キホン | 基本 | 名詞-一般 |
2 | 的 | テキ | 的 | 名詞-接尾-形容動詞語幹 |
3 | な | ナ | だ | 助動詞 |
4 | 症状 | ショウジョウ | 症状 | 名詞-一般 |
5 | は | ハ | は | 助詞-係助詞 |
6 | 「 | 「 | 「 | 記号-括弧開 |
7 | 痛み | イタミ | 痛み | 名詞-一般 |
8 | 」 | 」 | 」 | 記号-括弧閉 |
9 | です | デス | です | 助動詞 |
10 | 。 | 。 | 。 | 記号-句点 |
11 | 内 | ウチ | 内 | 接頭詞-名詞接続 |
12 | 膜 | マク | 膜 | 名詞-一般 |
13 | 症 | ショウ | 症 | 名詞-接尾-一般 |
14 | の | ノ | の | 助詞-格助詞-一般 |
15 | ある | アル | ある | 動詞-自立 |
16 | 場所 | バショ | 場所 | 名詞-一般 |
17 | 、 | 、 | 、 | 記号-読点 |
18 | 大き | オオキ | 大きい | 形容詞-自立 |
19 | さ | サ | さ | 名詞-接尾-特殊 |
20 | 、 | 、 | 、 | 記号-読点 |
21 | 癒着 | ユチャク | 癒着 | 名詞-サ変接続 |
22 | の | ノ | の | 助詞-連体化 |
23 | 程度 | テイド | 程度 | 名詞-一般 |
24 | など | ナド | など | 助詞-副助詞 |
25 | によって | ニヨッテ | によって | 助詞-格助詞-連語 |
26 | 症状 | ショウジョウ | 症状 | 名詞-一般 |
27 | は | ハ | は | 助詞-係助詞 |
28 | さまざま | サマザマ | さまざま | 名詞-形容動詞語幹 |
29 | です | デス | です | 助動詞 |
30 | が | ガ | が | 助詞-接続助詞 |
31 | 、 | 、 | 、 | 記号-読点 |
32 | 主 | オモ | 主 | 名詞-形容動詞語幹 |
33 | に | ニ | に | 助詞-副詞化 |
34 | 生理 | セイリ | 生理 | 名詞-一般 |
35 | 痛 | ツウ | 痛 | 名詞-接尾-一般 |
36 | や | ヤ | や | 助詞-並立助詞 |
37 | 下腹部 | カフクブ | 下腹部 | 名詞-一般 |
38 | 痛 | ツウ | 痛 | 名詞-接尾-一般 |
39 | 、 | 、 | 、 | 記号-読点 |
40 | 腰痛 | ヨウツウ | 腰痛 | 名詞-一般 |
41 | 、 | 、 | 、 | 記号-読点 |
42 | 性交 | セイコウ | 性交 | 名詞-サ変接続 |
43 | 痛 | ツウ | 痛 | 名詞-接尾-一般 |
44 | 、 | 、 | 、 | 記号-読点 |
45 | 排便 | ハイベン | 排便 | 名詞-サ変接続 |
46 | 痛 | ツウ | 痛 | 名詞-接尾-一般 |
47 | 、 | 、 | 、 | 記号-読点 |
48 | 慢性 | マンセイ | 慢性 | 名詞-一般 |
49 | 骨盤 | コツバン | 骨盤 | 名詞-一般 |
50 | 痛 | ツウ | 痛 | 名詞-接尾-一般 |
51 | など | ナド | など | 助詞-副助詞 |
52 | が | ガ | が | 助詞-格助詞-一般 |
53 | 現れ | アラワレ | 現れる | 動詞-自立 |
54 | ます | マス | ます | 助動詞 |
55 | 。 | 。 | 。 | 記号-句点 |
56 | 痛み | イタミ | 痛み | 名詞-一般 |
57 | 以外 | イガイ | 以外 | 名詞-非自立-副詞可能 |
58 | で | デ | で | 助詞-格助詞-一般 |
59 | は | ハ | は | 助詞-係助詞 |
60 | 、 | 、 | 、 | 記号-読点 |
61 | 不正 | フセイ | 不正 | 名詞-形容動詞語幹 |
62 | 出血 | シュッケツ | 出血 | 名詞-サ変接続 |
63 | が | ガ | が | 助詞-格助詞-一般 |
64 | 見 | ミ | 見る | 動詞-自立 |
65 | られ | ラレ | られる | 動詞-接尾 |
66 | たり | タリ | たり | 助詞-並立助詞 |
67 | 、 | 、 | 、 | 記号-読点 |
68 | 経 | ケイ | 経 | 名詞-一般 |
69 | 血 | チ | 血 | 名詞-一般 |
70 | 量 | リョウ | 量 | 名詞-接尾-一般 |
71 | が | ガ | が | 助詞-格助詞-一般 |
72 | 多かっ | オオカッ | 多い | 形容詞-自立 |
73 | たり | タリ | たり | 助詞-並立助詞 |
74 | 、 | 、 | 、 | 記号-読点 |
75 | レバー | レバー | レバー | 名詞-一般 |
76 | 状 | ジョウ | 状 | 名詞-接尾-一般 |
77 | の | ノ | の | 助詞-連体化 |
78 | 塊 | カタマリ | 塊 | 名詞-一般 |
79 | が | ガ | が | 助詞-格助詞-一般 |
80 | 出る | デル | 出る | 動詞-自立 |
81 | こと | コト | こと | 名詞-非自立-一般 |
82 | も | モ | も | 助詞-係助詞 |
83 | あり | アリ | ある | 動詞-自立 |
84 | ます | マス | ます | 助動詞 |
85 | 。 | 。 | 。 | 記号-句点 |
86 | EOS |
この結果から「症状」を抽出しなければならないが,例えば34~35行目のように「生理痛」が「生理」と「痛」に分かれている。同様に,37~38行目の「下腹部痛」,42~43行目の「性交痛」,45~46行目の「排便通」,48~50行目の「慢性骨盤痛」,・・・と本来一塊の用語として抽出したい単語が分離されてしまっている。これは,茶筌の辞書にそのような症状を表す単語が登録されていないからである。
そこで,茶筌のユーザ辞書を作ってこの問題を解決することにする。茶筌の辞書の作り方についてはこのサイトに書かれてある。 また,辞書定義ファイルのフォーマットはこのサイトにある。
下記は,それに従って作成した辞書ファイルである。
(品詞 (名詞 一般)) ((見出し語 (月経痛 100)) (読み 【症状】ゲッケイツウ)) |
(品詞 (名詞 一般)) ((見出し語 (下腹部痛 100)) (読み 【症状】カフクブツウ)) |
(品詞 (名詞 一般)) ((見出し語 (生理痛 100)) (読み 【症状】セイリツウ)) |
(品詞 (名詞 一般)) ((見出し語 (性交痛 100)) (読み 【症状】セイコウツウ)) |
(品詞 (名詞 一般)) ((見出し語 (排便痛 100)) (読み 【症状】ハイベンツウ)) |
(品詞 (名詞 一般)) ((見出し語 (慢性骨盤痛 100)) (読み 【症状】マンセイコツバンツウ)) |
(品詞 (名詞 一般)) ((見出し語 (不正出血 100)) (読み 【症状】フセイシュッケツ)) |
(品詞 (名詞 一般)) ((見出し語 (レバー状の塊 100)) (読み 【症状】レバージョウノカタマリ)) |
(品詞 (名詞 一般)) ((見出し語 (経血量が多 100)) (読み 【症状】ケイケツリョウガタ)) |
(品詞 (名詞 一般)) ((見出し語 (気分不快 100)) (読み 【症状】キブンフカイ)) |
(品詞 (名詞 一般)) ((見出し語 (子宮内膜症 100)) (読み 【疾患】シキュウナイマクショウ)) |
(品詞 (名詞 一般)) ((見出し語 (子宮内膜 110)) (読み 【部位】シキュウナイマク)) |
この辞書ファイルをinput1.dicという名前で茶筌のインストールフォルダ(C:\Program Files (x86)\ChaSen\dic)内にあるdicフォルダ内に保存(メモ帳を管理者権限で起動して名前を付けて保存する)し,以下のようにして辞書ファイルをコンパイルする(コマンドプロンプトは管理者権限で起動する必要がある)。
C:\Program Files (x86)\ChaSen\dic>makeda user input1.dic parsing grammar.cha parsing cforms.cha parsing table.cha parsing dictionaries... input1.dic 12 entries 12 keys
また,設定ファイル(C:\Program Files (x86)\ChaSen\dic\chasenrc)の14行目を以下のように書き換える。
(DADIC chadic user)こうして形態素解析を行うと以下の結果を得る。
1 | 基本 | キホン | 基本 | 名詞-一般 |
2 | 的 | テキ | 的 | 名詞-接尾-形容動詞語幹 |
3 | な | ナ | だ | 助動詞 |
4 | 症状 | ショウジョウ | 症状 | 名詞-一般 |
5 | は | ハ | は | 助詞-係助詞 |
6 | 「 | 「 | 「 | 記号-括弧開 |
7 | 痛み | イタミ | 痛み | 名詞-一般 |
8 | 」 | 」 | 」 | 記号-括弧閉 |
9 | です | デス | です | 助動詞 |
10 | 。 | 。 | 。 | 記号-句点 |
11 | 内 | ウチ | 内 | 接頭詞-名詞接続 |
12 | 膜 | マク | 膜 | 名詞-一般 |
13 | 症 | ショウ | 症 | 名詞-接尾-一般 |
14 | の | ノ | の | 助詞-格助詞-一般 |
15 | ある | アル | ある | 動詞-自立 |
16 | 場所 | バショ | 場所 | 名詞-一般 |
17 | 、 | 、 | 、 | 記号-読点 |
18 | 大き | オオキ | 大きい | 形容詞-自立 |
19 | さ | サ | さ | 名詞-接尾-特殊 |
20 | 、 | 、 | 、 | 記号-読点 |
21 | 癒着 | ユチャク | 癒着 | 名詞-サ変接続 |
22 | の | ノ | の | 助詞-連体化 |
23 | 程度 | テイド | 程度 | 名詞-一般 |
24 | など | ナド | など | 助詞-副助詞 |
25 | によって | ニヨッテ | によって | 助詞-格助詞-連語 |
26 | 症状 | ショウジョウ | 症状 | 名詞-一般 |
27 | は | ハ | は | 助詞-係助詞 |
28 | さまざま | サマザマ | さまざま | 名詞-形容動詞語幹 |
29 | です | デス | です | 助動詞 |
30 | が | ガ | が | 助詞-接続助詞 |
31 | 、 | 、 | 、 | 記号-読点 |
32 | 主 | オモ | 主 | 名詞-形容動詞語幹 |
33 | に | ニ | に | 助詞-副詞化 |
34 | 生理痛 | 【症状】セイリツウ | 生理痛 | 名詞-一般 |
35 | や | ヤ | や | 助詞-並立助詞 |
36 | 下腹部痛 | 【症状】カフクブツウ | 下腹部痛 | 名詞-一般 |
37 | 、 | 、 | 、 | 記号-読点 |
38 | 腰痛 | ヨウツウ | 腰痛 | 名詞-一般 |
39 | 、 | 、 | 、 | 記号-読点 |
40 | 性交痛 | 【症状】セイコウツウ | 性交痛 | 名詞-一般 |
41 | 、 | 、 | 、 | 記号-読点 |
42 | 排便痛 | 【症状】ハイベンツウ | 排便痛 | 名詞-一般 |
43 | 、 | 、 | 、 | 記号-読点 |
44 | 慢性骨盤痛 | 【症状】マンセイコツバンツウ | 慢性骨盤痛 | 名詞-一般 |
45 | など | ナド | など | 助詞-副助詞 |
46 | が | ガ | が | 助詞-格助詞-一般 |
47 | 現れ | アラワレ | 現れる | 動詞-自立 |
48 | ます | マス | ます | 助動詞 |
49 | 。 | 。 | 。 | 記号-句点 |
50 | 痛み | イタミ | 痛み | 名詞-一般 |
51 | 以外 | イガイ | 以外 | 名詞-非自立-副詞可能 |
52 | で | デ | で | 助詞-格助詞-一般 |
53 | は | ハ | は | 助詞-係助詞 |
54 | 、 | 、 | 、 | 記号-読点 |
55 | 不正出血 | 【症状】フセイシュッケツ | 不正出血 | 名詞-一般 |
56 | が | ガ | が | 助詞-格助詞-一般 |
57 | 見 | ミ | 見る | 動詞-自立 |
58 | られ | ラレ | られる | 動詞-接尾 |
59 | たり | タリ | たり | 助詞-並立助詞 |
60 | 、 | 、 | 、 | 記号-読点 |
61 | 経血量が多 | 【症状】ケイケツリョウガタ | 経血量が多 | 名詞-一般 |
62 | かっ | カッ | かう | 動詞-自立 |
63 | たり | タリ | たり | 助詞-並立助詞 |
64 | 、 | 、 | 、 | 記号-読点 |
65 | レバー状の塊 | 【症状】レバージョウノカタマリ | レバー状の塊 | 名詞-一般 |
66 | が | ガ | が | 助詞-格助詞-一般 |
67 | 出る | デル | 出る | 動詞-自立 |
68 | こと | コト | こと | 名詞-非自立-一般 |
69 | も | モ | も | 助詞-係助詞 |
70 | あり | アリ | ある | 動詞-自立 |
71 | ます | マス | ます | 助動詞 |
72 | 。 | 。 | 。 | 記号-句点 |
この結果が示すように,34行目は「生理痛」と分離されずに抽出され,また読み仮名も辞書に設定したように「【症状】セイリツウ」とその用語が何を表しているか(この場合は「症状」)を示すことができたので,容易に症状を抽出できる。
しかし,この方法にも問題がある。たとえば次のような説明文書を考える(http://www.sofy.jp/library/21-1.html)。
子宮内膜症のおもな症状これを形態素解析すると,「下腹部が痛む」及び「排便時に肛門が痛む」や「レバー状のかたまり」が先ほどの辞書では抽出されない。前者は「下腹部痛」及び「排便痛」と同義だし,後者は「レバー状の塊」との表記の揺れである。こうした問題を解決する必要がある。たとえばこういうのはどうだろう。「読み」には必ずしも読み仮名を書く必要はないので,ここに正規化した表現を書いて標記の揺れを除去する。たとえば
- 以前よりも月経痛が強くなった
- 月経時以外でも下腹部が痛む
- 経血量が多く、夜用のナプキンを重ねても下着が汚れたり、タンポンとナプキンを併用しても間に合わないほど多い
- 経血にレバー状のかたまりが混じる
- 生理のとき以外にも出血がある
- 性交痛がある
- 排便時に肛門が痛むことが多い
- 月経をはさんで、前後1週間ずつくらいの間、おなかが張る
- 赤ちゃんが欲しいのに妊娠しない
(品詞 (名詞 一般)) ((見出し語 (レバー状のかたまり 100)) (読み 【症状】レバー状の塊))といった辞書ファイルを作成する。
(品詞 (名詞 一般)) ((見出し語 (排便時に肛門が痛む 100)) (読み 【症状】排便痛))
0 件のコメント:
コメントを投稿