41dots
OCRアーカイブのあいまい検索:完全一致・表記揺れ・行末分割を分けて数える
日本語のOCRアーカイブを検索するとき、完全一致・表記揺れ・行末で分かれた語をどう分けて数え、結果をどう提示するかを、実行できる例で確かめます。
「海運業」で検索した利用者に、OCRが「毎運業」と読み取ったページを返すべきか。返すのはよいが、その結果を「海運業が3回出現」と数えるのは誤りだ。「毎運業」は別の字面であり、同じ語として数えるには、利用者がその候補を受け入れるかどうかの判断が要る。
日本語のOCRアーカイブ検索で難しいのは、この数え方と、語の切れ目が見えないことだ。日本語には空白で区切られた語がないため、英語の全文検索で使う単語トークナイザーをそのまま使うと、文全体が1つの語として扱われるか、1文字ずつに分かれる。さらにOCRは字を置き換え、行末では語を分断する。この記事では、完全一致、表記揺れ候補、行末分割を別々に扱い、それぞれの件数をどう提示するかを、小さな日本語コーパスで確かめる。
日本語のコーパスを用意する
次の6件を1件ずつ検索対象として扱う。ページ単位のアーカイブでは、1件が1ページに相当する。
| 記録 | 索引対象のテキスト |
|---|---|
| A | 海運業は明治時代に始まった。海運業は石炭を運んだ。 |
| B | 毎運業は石炭を運んだ。 |
| C | かいうんぎょうは石炭を運んだ。 |
| D | 海苔業の養殖が盛んになった。 |
| E | 海-(行末)/運業は石炭を運んだ。 |
| F | 石炭は海運業で運ばれた。 |
A: 正しい字面で2回出現する。文書数は1だが出現数は2なので、文書数と出現数が一致しない例になる。
B: OCRが「海」を「毎」に置き換えたもの。字形が近いため、実際の読み取りでも起こりやすい。
C: 同じ語をひらがなで書いた表記揺れ。字面は「海運業」と一致しない。
D: 「海苔業」という別の語。字形は近いが意味は異なる。
E: 行末のハイフンと改行で「海」と「運業」に分断された語。
F: 正しい字面で1回出現する。
このコーパスは動作を説明するために作ったもので、実際のクライアント資料ではない。どの記録が何を試すためのものかは、検証の期待値として後で使う。
日本語をどうトークン化するか
SQLite FTS5のunicode61トークナイザーは、空白と句読点で語を区切る。日本語の文には空白がないため、このトークナイザーでは「海運業は石炭を運んだ。」のような文が、1つの語か1文字ずつの語に分かれてしまう。単語検索には使えない。
日本語の検索インデックスには、大きく2つの方針がある。
形態素解析で語に分ける。 Apache Solr / Luceneの
JapaneseTokenizerは、Kuromojiの形態素解析で文を語に分け、品詞・基本形・読みを付与する。既定のsearchモードは、複合語を構成要素に分割しつつ、元の複合語も同義語として残す。JapaneseBaseFormFilterで語を基本形に置き換えられるため、「運んだ」と「運ぶ」のような活用の揺れを吸収できる。専門用語や人名で辞書が不足する場合は、ユーザー辞書を追加し、その語が実際に1つの語として検索できるかを確認する。Solrの日本語解析の詳細はLanguage Analysisにある。部分文字列で索引する。 SQLite FTS5の
trigramトークナイザーは、連続する3文字をトークンとして索引し、単語境界に依存しない部分一致を可能にする。3文字未満の部分文字列は全文検索ではどの行にも一致しないため、2文字の語を扱うなら形態素解析か別の索引が必要になる。詳しくはFTS5のtrigramトークナイザーを参照。
この記事の例は2番目の方針を使う。海運業は3文字なのでtrigramで検索でき、日本語の文を空白で区切る必要もない。ただしtrigramの索引は3文字の窓ごとに作られるため、語の切れ目を理解しているわけではない。「完全一致」という言葉は、ここでは索引された文字列にその語がそのまま含まれることを指す。形態素解析の索引では、完全一致は「同じ語」ではなく「同じ基本形」の一致を指すことがある。どちらの方式でも、検索結果に表示する「一致」の意味を先に決めておく。
表記揺れの正規化を分けて考える
表記揺れには、機械的に畳み込めるものと、意味を確認しないと畳み込めないものがある。
全角・半角の揺れ: UnicodeのNFKC正規化で、全角英数字を半角に、半角カタカナを全角に揃えられる。Solrには
CJKWidthFilterがあり、全角ASCIIを基本ラテン文字に、半角カタカナを全角カタカナに揃える。正規化の一般論はUnicode Normalization Formsにある。カタカナの長音:
カタカナの末尾の長音「ー」は、表記によって付いたり付かなかったりする。SolrのJapaneseKatakanaStemFilterはこの長音を除去する。半角カタカナを先にCJKWidthFilterで揃えてから適用する。踊り字: 「いすゞ」「ところゞゝ」のような繰り返し記号は、展開しないと検索語と一致しない。Solrの
JapaneseIterationMarkCharFilterは横書きの踊り字を展開する。縦書きの踊り字は対象外。ひらがな・カタカナ・漢字の揺れ: 「かいうんぎょう」「カイウンギョウ」「海運業」は同じ語だが、NFKCでは揃わない。漢字の異体字も同様で、これらは正規化フィルタでは解決できない。語彙の対応表か、レビュー済みの正規化規則が必要になる。
この例では、ひらがなの「かいうんぎょう」を明示的な別名として扱う。全角・半角、長音、踊り字の処理は、実際の資料でどれがどれだけ出るかを数えてから選ぶ。この例の正規化は行末のハイフンと改行だけを連結し、全角・半角や長音、踊り字の畳み込みは行わない。実際に正規化したテキストで索引する場合も、元の翻刻は別の列に残し、各ヒットをページ画像へリンクする。利用者が正規化前の字面を確認できないと、引用の根拠が失われる。
完全一致・候補・行末分割を分けて数える
ダウンロードできるPythonの例は、メモリ上のSQLite FTS5にtrigram索引を2つ作る。1つは元の翻刻、1つは行末のハイフンと改行を連結した正規化テキストである。追加パッケージは不要で、ファイルも書き出さない。保存してから実行する。
python3 archive-search-ja.py
出力の主要部分は次のとおり。
Raw exact 海運業: documents=A,F occurrences=3
Normalized exact 海運業: documents=A,E,F occurrences=4
Fuzzy candidates: 毎運業, 海苔業, かいうんぎょう
Candidate-only: documents=B,C,D occurrences=3
Expanded: documents=A,B,C,D,E,F occurrences=7
Hits A: 海運業×2
Hits B: 毎運業×1
Hits C: かいうんぎょう×1
Hits D: 海苔業×1
Hits E: 海運業×1
Hits F: 海運業×1
Aは2回出現するが文書数は1なので、文書数の合計では出現数を答えられない。この例は出現数を、索引対象テキスト内の部分文字列の出現回数として数える。trigram索引の一致は部分文字列なので、語境界を意識した数え方ではない点に注意する。形態素解析の索引なら、トークン位置を数える方が語の出現数に近くなる。
完全一致: AとFで「海運業」が3回出現する。Bの「毎運業」、Cの「かいうんぎょう」、Dの「海苔業」は含まれない。Eは元の翻刻では「海」と「運業」に分かれているため、完全一致では見つからない。
行末分割の回復: 正規化テキストではEが「海運業」を含むようになり、完全一致の件数は4回、文書はA・E・Fになる。この正規化は行末のハイフンと改行だけを対象にした小さな規則である。正当な複合語のハイフンまで連結すると意味が変わるため、分断語と正当なハイフン語の両方を例に加えてから規則を決める。元の翻刻は残し、Eのヒットには「正規化後に一致」と表示する。
表記揺れ候補: 「毎運業」「海苔業」「かいうんぎょう」を候補として検索する。Bは目的のOCR回復、Cは同じ語の別表記、Dは字形が近い別の語である。3件とも候補として返るが、候補の件数は「海運業の出現数」ではない。「毎運業×1」「海苔業×1」「かいうんぎょう×1」のように、一致した語と回数を各結果に表示する。Dは利用者が受け入れかどうかを判断する。
例では候補を明示的なリストで与え、編集距離で「海運業」との距離が1以下のものを選ぶ。実際のアーカイブでは、この方法で全語彙を走査するのは現実的でない。OCRの字の置き換えは字形の近さに由来するので、距離の閾値は語ごとに調整し、名前や短い語では特に厳しくする。候補集合はレビューして保存し、索引を変更したら同じ期待値を再確認する。
結果をどう提示するか
利用者が引用できる検索結果には、次の情報を持たせる。
検索モード: 完全一致、候補、正規化後の一致のどれか。
一致した語: 「海運業」ではなく「毎運業」に一致したなら、その語を表示する。
出現数の範囲: 完全一致の出現数か、候補を含む展開後の出現数か。候補を含む場合は「展開後の7回」のように、何を数えたかを書く。
抜粋の出所: 元の翻刻か正規化テキストか。
ページ画像へのリンク: 各ヒットから画像を開けるようにし、正規化した箇所は元の翻刻と並べて見せる。
展開後の件数を単に「海運業 7件」と表示すると、別の語や行末分割の回復まで「海運業」の出現として数えてしまう。完全一致と候補を別のモードとして保ち、件数と一致語を対応づけて表示する。
期待値を固定して回帰を防ぐ
例は14個の期待値を検査する。OCRの置き換えBが候補として回復すること、別の語Dが候補として残り確認が必要なこと、行末分割Eが元の翻刻では見つからず正規化後には回復すること、ひらがな表記Cが別名として回復すること。トークナイザー、ユーザー辞書、正規化規則を変えたら、この期待値を先に確認する。期待値が変わった場合は、変更が意図どおりかをレビューし、意図しない変化を回帰として記録する。
この例はSQLiteで数え方の判断をローカルに再現するためのもので、Solrのクエリ設定を再現するものではない。Solrで実装する場合は、実際のanalyzerとパーサーを確認する。標準クエリパーサーのfuzzy検索は、用語ごとの編集距離を既定2まで許すDamerau-Levenshtein距離で照合する。ここで使った「候補リストから距離1以下を選ぶ」規則とは対象の取り方が違うため、同じ件数にはならない。
私たちの書誌プラットフォームの事例では、Apache Solrを使ったあいまい検索と出現数の集計を扱った。1万ページ以上を1秒未満で検索でき、30日で使える状態になった。この例の結果が、そのプロジェクトのクエリ設定や日本語解析を示すものではない。