ラオス語RAG構築前のデータクリーニング入門 — テキスト正規化の進め方

リード文
ラオス語の文書を RAG に投入する前には、文字コードの統一、表記揺れの除去、分かち書き、検証という自然言語処理の前処理を一続きの手順で行う必要があり、どの工程を省くかによって検索精度が変わります。本記事は、ラオス語の社内文書や顧客データを扱う AI 導入担当者を対象に、エンコーディング検出から辞書による異表記統一、言語固有のセグメンテーション、recall@10 などの指標を使った検証までを具体的な手順で示します。読み終えれば、自社のデータセットに対してテキスト正規化の各ステップを実際に適用し、処理の質を自分で確かめられるようになります。
文字コードの乱れと表記の揺れを見落としたまま正規化やセグメンテーションに進むと、後工程で何度も手戻りが発生します。文書のスクリプトとエンコーディング、方言・世代差による綴りのばらつきの有無を、作業前に必ず切り分けて把握しておく必要があります。
対象文書の文字コードと入力方式を確認する
文書に宣言済みのエンコーディングが残っているかを最初に確認します。ファイルのメタ情報やメール添付時のヘッダーに記載がない場合、送付元のシステムやOS設定によってエンコーディングが暗黙に決まっているため、見た目だけでは判断できません。
宣言がない場合は、バイト列から推定するツールを使います。Python であれば chardet を使ってサンプルファイルを読み込み、推定結果と確信度を確認します。
1import chardet
2
3with open("sample.txt", "rb") as f:
4 raw = f.read()
5result = chardet.detect(raw)
6print(result) # {'encoding': 'UTF-8', 'confidence': 0.99, ...}確信度が低い場合や、推定結果が UTF-8 以外(Windows 系ツールで作成された文書にありがちな別のコードページなど)になった場合は、自動判定だけで先に進まないようにします。推定結果を信じてデコードした後、ラオス文字が正しく表示されるかを数件のサンプルで目視確認してください。1 ファイルだけでなく、取得元の異なる複数ファイルから抽出してサンプル集合を作ると、取得経路ごとのエンコーディングの偏りが見えやすくなります。
入力方式(OCR 由来かキーボード入力かコピー&ペースト経由か)も合わせて確認します。OCR で変換された文書は文字の誤認識や余分な記号が混入しやすく、キーボード入力された文書とは異なるノイズの種類を持つため、文書ごとに出自を一覧化しておくと、後続のノイズ除去やセグメンテーションでどのルールを優先すべきかの判断材料になります。スキャン画質が低い OCR 文書は、他の入力方式の文書よりも目視確認の件数を増やす方が安全です。
ラオス語特有の表記揺れのパターンを把握する
一般的に、1975 年の拼字改革によってラオス語の綴り体系は音韻的な規則に整理されたと言われていますが、改革前の表記を残す古い文書や、世代によって綴りが異なる文書は今でも存在します。社内に蓄積された古い契約書や議事録を RAG に投入する場合、改革前後どちらの表記体系が混在しているかを文書の作成時期から推測し、サンプルで確認しておく必要があります。
借用語の表記ゆれも見落としやすい点です。フランス語由来の語彙など、同じ単語でも複数の綴りで表記される借用語があり、これを正規化せずに埋め込みに通すと、同一の語が別のベクトルとして扱われ検索漏れの原因になります。地名・人名・専門用語も同様に複数表記が併存しやすいため、文書群ごとにどの語彙が揺れやすいかを洗い出しておくと、後工程の辞書構築で漏れを減らせます。
もう一つ注意すべきなのが、語間のスペースが必ずしも語の境界と一致しない点です。ラオス語の文章では文節や句の区切りにスペースが使われることがあり、単語単位の区切りとして機能していない場合があります。この性質は後続の分かち書き処理に直接影響するため、スペースの入り方だけでは語境界を判断できないことを、この段階で把握しておく必要があります。
これらのパターンは文書ごとに頻度が異なります。契約書・議事録・顧客問い合わせなど文書種別ごとに、改革前表記・方言・借用語の表記ゆれがどの程度混在するかを件数ベースで一覧化しておくと、後工程の辞書構築やルール設計で優先順位をつけやすくなります。
Step1: 文字コードとエンコーディングを統一するには?

文字コードの統一は、検出・デコード・mojibake修正・正規化という決まった順序で進めることで再現性が保てます。順序を飛ばして辞書統一やセグメンテーションに進むと、同じ語が別の文字列として扱われたまま下流に残ります。
Unicode正規化(NFC/NFD)を適用する手順
見た目が同じラオス文字でも、内部的には合成済みの 1 文字で表現される場合と、基底文字と結合記号の組み合わせで表現される場合があり、符号点の並びが異なれば文字列としては別物として扱われます。デコード後にこの表現の揺れを統一しないと、同じ語でも異なるベクトルに変換され、埋め込み検索で取りこぼしが発生します。この統一に使うのが Unicode 正規化で、実務では合成済み表現に揃える NFC(Normalization Form Canonical Composition)を基本方針とします。
Python では標準ライブラリの unicodedata.normalize を使い、デコード済みの文字列に対して NFC を適用します。
1import unicodedata
2
3text = unicodedata.normalize("NFC", decoded_text)大規模データや多言語混在のコーパスを扱う場合は、ICU の Normalizer2 を使う方法もあります。旧来の Normalizer API は非推奨化されているため、新規にコードを書く場合は Normalizer2 系の API を選んでください。どちらを採用するかはプロジェクトで事前に 1 つに決め、途中で混在させないことが重要です。
適用順序にも注意が必要です。正規化は mojibake 修正の後、辞書による異表記統一の前に実施してください。mojibake が残った状態で正規化をかけると、崩れた符号点の並びをそのまま正規化してしまい、修正不能な文字列を作り込む恐れがあります。逆に辞書統一より後に回すと、正規化前の表現違いが辞書のマッチングから漏れ、統一し損ねた異表記が残ってしまいます。
混在した文字コードの検出と変換
1 つのファイルの中に、正しくデコードされた文字列と、別のエンコーディングのまま読み込まれて崩れた文字列(mojibake)が混在することがあります。複数のシステムから収集した文書を結合した場合や、一度誤ったエンコーディングでデコードしたテキストを再度別のエンコーディングで保存し直した場合に発生しやすく、chardet による検出だけでは候補の確信度が割れて判断がつかないことがあります。
この場合は、chardet でエンコーディングの候補を複数挙げたうえで、ftfy を使って崩れた符号点の並びを復元する方法が実務的です。ftfy は、本来あるべき文字列が別のエンコーディングを経由して壊れたパターンを検出し、元の文字列に近い形へ戻す処理を行います。
1import ftfy
2
3fixed_text = ftfy.fix_text(mojibake_text)ただし ftfy の修正結果も完全ではないため、復元後の文字列にラオス文字として不自然な符号点の並びが残っていないかを、エッジケースを含むサンプルで目視確認してください。修正しきれない行はファイル単位で切り出し、元データの入手経路を遡って手動で確認する方が安全です。
判断の基準としては、ftfy 適用後にラオス文字の符号点がまとまった範囲に収まっているか、文字化けの典型である断片的な記号や制御文字が残っていないかを確認します。復元できない行数が一定の割合を超えるファイルは、自動処理に頼らず元システムの出力設定を確認したうえで再取得する方が、後工程での手戻りを防げます。入手経路ごとに復元の成功率を記録しておくと、同じ取得元から継続して文書が届く場合の判断材料になります。
Step2: 表記揺れとノイズをどう除去するか?

制御文字や空白の揺れ、同一語の異表記は、別々の原因で埋め込みを分散させます。除去ルールと辞書統一は順序と優先度を決めて適用し、意味を保ったまま表記を一つに揃える必要があります。
空白・改行・制御文字の除去ルールを決める
半角スペース・全角スペース・改行・タブ・制御文字は、それぞれ用途が異なるため一律に削除すると文書構造が崩れます。Unicode の White_Space プロパティを基準に、どの空白を保持し、どれを縮約するかを文書種別ごとに決めておく必要があります。
行末の改行は段落や項目の境界を示す情報なので、原則として保持します。一方で、文中に連続して入る半角スペースはコピー処理やレイアウト調整の残骸であることが多く、1 文字に縮約して問題ありません。制御文字(U+0000〜U+001F、U+007F〜U+009F)は本文に意味を持たないため、原則として除去します。OCR 由来の文書では、認識エラーによる不可視の制御文字が混入しやすく、これを放置すると同じ語でも符号点の並びが変わり、埋め込み検索で別語として扱われる原因になります。
1import re
2
3text = re.sub(r"[\x00-\x1f\x7f-\x9f]", "", text)
4text = re.sub(r" +", " ", text) # 全角スペース(\u3000)は縮約対象から除外し、別処理で判定する
5text = re.sub(r"\n{3,}", "\n\n", text)箇条書きの見出し記号や表のセル区切りに使われる全角スペースは、連続空白と同じ扱いで縮約すると文書の構造情報が失われる場合があります。こうしたレイアウト依存の空白は、縮約ルールを適用する前に文書種別ごとに抽出し、別扱いにするかどうかを判断してください。
除去ルールは一度決めたら文書全体に固定で適用し、途中で判断基準を変えないことが重要です。ルールを変更した場合は、適用済みファイルをすべて再処理し、新旧ルールが混在した状態を残さないようにしてください。
同一語の異表記を辞書で統一する
正規化辞書は、1 つの正規形に対して複数の異表記をマッピングする単純な構造で作成します。地名・人名・専門用語・借用語など、文書種別ごとに洗い出した揺れやすい語彙から着手し、公開済みの語彙リストがあれば土台として使い、自社コーパスから抽出した異表記を追加していきます。
1normalization_dict = {
2 "異表記A": "正規形",
3 "異表記B": "正規形",
4}
5for 異表記, 正規形 in normalization_dict.items():
6 text = text.replace(異表記, 正規形)適用順序にも注意が必要です。この処理は文字コード統一と Unicode 正規化が終わった後、分かち書きの前に行います。そのため上記のように、まだ語単位に分割されていない文字列全体に対して部分文字列マッチングで異表記を統一します。正規化されていない符号点の並びに辞書を当てると、見た目が同じでも符号点が異なる異表記を拾えず、統一漏れが残ります。
辞書の曖昧さは優先度ルールで解消します。1 つの異表記が複数の正規形候補を持つ場合、文書の出自や文脈から優先度を決め、どの変換を適用したかの履歴を残してください。履歴がないと、後から方言差を誤って統一していないかを検証できなくなります。
辞書の網羅性は一度の作業で完成しません。目視チェックで見つかった未収録の異表記は都度辞書に追加し、過去に処理済みのファイルがあれば更新後の辞書で再適用します。追加のたびに既存エントリと矛盾する変換が増えていないかを見直す運用にしておくと、辞書が大きくなっても変換結果の一貫性を保てます。借用語は綴りの候補が複数併存しやすいため、新しい文書群を取り込むタイミングで辞書の見直しを定期的に行う前提で運用設計してください。
Step3: 分かち書き(セグメンテーション)をどう処理するか?

語間のスペースが語境界と一致しないラオス語では、単純な空白分割やサブワード器だけでは単語単位の区切りを復元できません。辞書ベースや学習済みモデルを用いる言語固有のセグメンターを選び、分割精度を数値で検証する工程が欠かせません。
ラオス語トークナイザーの選定と設定
言語固有のセグメンターとして候補に挙がるのが LaoNLP です。辞書ベースの分割機能を持つオープンソースのツールキットで、ラオス語の語境界を単純な空白分割より精密に復元できます。
1from laonlp.tokenize import word_tokenize
2
3tokens = word_tokenize(text)SentencePiece のような汎用サブワード器も選択肢に入りますが、これは語の内部を頻度ベースで分割する仕組みであり、語境界そのものを復元する目的には向いていません。埋め込み生成の直前でサブワード化が必要な場合でも、まず LaoNLP などの言語固有セグメンターで語単位に分割し、その結果をサブワード器に渡す順序にすると、語境界の崩れを引き継がずに済みます。
選定時の判断基準として、辞書ベースの分割器が未知語(新しい借用語や専門用語)にどこまで対応できるかを事前に確かめておきます。正規化辞書で統一した専門用語を分割器側の辞書に追加登録できるかどうかはツールごとに仕組みが異なり、登録できない場合は分割結果を後段のルールで補正する運用を前提に設計することになります。
文書量が大きく、辞書ベースの分割では誤りが目立つ場合は、CRF やトランスフォーマーを微調整した言語固有のセグメンテーションモデルを研究実装から導入する選択肢も検討対象になります。ただし運用負荷が上がるため、まずは LaoNLP の分割結果を少量のサンプルで確認し、業務に使う文書種別で実用的な精度が出るかを見極めてから採用範囲を広げる進め方が現実的です。
分かち書き結果の検証方法
分割結果が実用的な精度に達しているかどうかは、目視だけでは判断がつきません。境界レベルでの評価用にゴールド標注データを作り、分割器の出力と照らし合わせて Precision・Recall・F1 を計測する方法で確認します。
ゴールド標注データは、文書種別ごとにサンプルを抽出し、人手で正しい語境界を区切り直して作成します。件数は小規模でも構成でき、プロジェクトの規模や文書の多様性によって異なりますが、分割器同士の比較に使える検証セットとしては、1,000 件程度のサンプルを最小目安として確保することが望まれます。契約書・議事録・顧客問い合わせなど文書種別が混在する場合は、種別ごとに標注データを分けて作成し、種別によって分割精度が落ちていないかを個別に確認してください。
検証の進め方は次の手順で行います。
- 文書種別ごとにサンプルを抽出し、正しい語境界を人手で区切ったゴールド標注データを作る
- LaoNLP などの分割器にサンプルを通し、出力結果とゴールド標注を境界単位で突き合わせる
- Precision・Recall・F1 を文書種別ごとに算出する
- 精度が低い文書種別を特定し、未知語の多さや方言差など原因を洗い出す
- 辞書への語彙追加や後段の補正ルールで対応し、再評価する
精度が低い種別が見つかった場合は、正規化辞書で統一した専門用語を分割器の辞書に追加登録できるかを確認し、登録できない仕組みのツールでは後段の補正ルールで誤分割を吸収する運用に切り替えます。
Step4: クリーニング後のデータをどう検証するか?

分割精度が数値で確認できても、それだけでは検索時に適切な文書が拾えるかは分かりません。目視でノイズの残存を確認したうえで、実際のリトリーバー設定で検索性能を測り、処理の質と検索結果の関係を数値で結びつけておく段階が残っています。
サンプル抽出による目視チェックの進め方
ランダムサンプルとエッジケースを混ぜて抽出することが、目視チェックの精度を左右します。全件から等間隔や乱数で抜き出すランダムサンプルだけでは、低頻度の不具合を見逃します。OCR 由来で画質が低い文書、非標準の借用語表記、方言差が強い顧客問い合わせなど、エラーが集中しやすいエッジケースを意図的に加えて抽出セットを作ります。
チェック対象は 3 種類に分けて見ます。
| 確認項目 | 典型的な不具合 | 対応先 |
|---|---|---|
| mojibake の残存 | 断片的な記号、不自然な符号点の並び | エンコーディング検出・ftfy の再適用 |
| 正規化の不正 | 同じ語が別の符号点列で残る | NFC 適用漏れの確認 |
| 誤トークナイズ | 語境界が文節や句の区切りで切れている | 分割器の辞書・補正ルールの見直し |
人手で見つかった不具合は、その場で直すだけで終わらせず、原因を辞書やルールに反映します。正規化辞書に異表記を追加した場合は、既存エントリと矛盾しないかを合わせて確認し、分割器の誤りであれば補正ルール側に反映します。チェックと辞書更新を往復させる運用にしておくと、同じ入手経路から届く次の文書群でも同種の不具合を早期に拾えます。抽出件数は文書種別ごとに決め、不具合の検出率を自社の抽出結果から確認し、検出率が高い種別ではサンプル数を増やして基準を厳しくする調整も検討してください。
RAGの検索精度への影響を小規模テストで確認する
ゴールド質問とその正解文書のペアを用意し、クリーニング前後のデータそれぞれでリトリーバーに通し、recall@10・MRR・nDCG を比較すると、前処理の変更が検索結果にどう影響したかを数値で確認できます。質問は実際に顧客や社員が尋ねる形に近いものを使い、正解となる文書やチャンクをあらかじめ人手で特定しておきます。
比較対象として、チャンクサイズ・埋め込みモデル・正規化の有無など、設定を 1 つずつ変えて測定します。チャンクサイズは 256〜512 トークン程度を出発点にし、分割前後の文脈が失われていないかを検索結果の中身で確かめます。
| 比較条件 | 確認する指標 | 読み取れること |
|---|---|---|
| 正規化辞書適用前/後 | recall@10 | 異表記統一が検索漏れを減らしたか |
| NFC 適用前/後 | MRR | 符号点の揺れが順位に影響したか |
| 分割器の違い | nDCG | 語境界の精度が上位結果に反映されたか |
数値が改善しない設定変更は、検証セットの質自体を見直す対象にします。目視チェックで見つけた不具合の修正が、実際に検索指標の改善として表れるかを確認する段階まで進めると、前処理の優先順位を次の文書群にも適用しやすくなります。
データクリーニングでよくある失敗は何か?

正規化辞書やノイズ除去のルールは、適用しすぎても適用しなさすぎても検索結果を損ないます。どちらの失敗も作業後にすぐ気づけるとは限らず、検索テストで初めて表面化することが多いため、ルール設計時点で境界線を明確にしておく必要があります。
過剰なノイズ除去で意味を損なうケース
制御文字や空白の除去ルールを、ダイアクリティカルマークや結合記号にまで広げて適用すると、語の意味や発音の区別そのものが失われます。ラオス文字には基底文字に声調や母音の情報を付与する結合記号があり、これを見た目上のノイズと誤認して除去対象に含めると、別の語に変換されてしまう符号点の並びが生まれます。
空白・改行・制御文字の除去ルールを決める段階で定義した除去対象の範囲を、ダイアクリティカルマークや結合記号には広げないようにしてください。適用前に符号点の一覧を確認する作業が欠かせません。
ゼロ幅記号も同様に注意が必要です。ゼロ幅結合子のような見えない記号は、文書作成時に意図的に挿入されている場合があり、該当する語の表示や分割結果に関わっていることがあります。これを一律に除去対象へ入れると、Unicode 正規化で表現を統一したはずの語が、別の符号点列として残ってしまう結果になります。
判断基準として、除去対象に加える記号は 1 つずつ、影響範囲を特定したうえで追加します。
- 結合記号を含む語と含まない語を並べて比較する
- 除去後に別語として読めてしまわないかを確認する
- この確認作業を記号の種類ごとに行う
複数の記号を一度にまとめて除去ルールに加えると、どの記号が意味の欠落を招いたのかを後から特定できなくなります。
除去ルールを広げる判断は、個別の記号ごとに目視サンプルで影響を確認してから決めます。一度除去したファイルを後から復元するのは難しいため、ルールを本番データ全体に適用する前に、小規模なサンプルで除去前後の文字列を並べて差分を確認する工程を挟んでください。この工程を挟むことで、意味を損なう変更を本番適用前に把握できます。
方言・口語表現を誤って統一してしまうケース
方言や世代差による綴りの違いを、単なる表記揺れとみなして正規形に一括変換すると、文書が持つ語義や地域性の情報が消えてしまいます。顧客問い合わせに含まれる地域特有の言い回しを、社内文書で使われる標準的な綴りに寄せてしまうと、検索時に方言を含む元の質問文と正規化後の文書表現がかみ合わず、むしろ検索漏れを招く場合があります。借用語の綴り候補が複数併存している場合も同様で、優先度ルールを設けずに最初に見つかった表記へ機械的に統一すると、別の文脈では正しい表記だったものを誤って書き換えてしまうことがあります。
辞書統一の判断は、語の意味が変わらない異表記(単純な綴りの揺れ)と、方言や世代差を反映した別表現を分けて扱います。判断基準としては、文書の出自(どの地域・顧客層から収集したか)と、変換後に語義や文脈上の自然さが保たれるかを、文書種別ごとに個別確認します。正規化辞書に変換履歴と優先度の根拠を残しておけば、後から特定の変換が方言差を誤って統一したものかどうかを文書種別ごとに洗い出せます。
疑わしい変換が見つかった場合は、辞書エントリをその場で削除せず、優先度を見直したうえで文書種別ごとの適用範囲を絞り込む対応が現実的です。顧客対応文書と社内文書で別の辞書セットを用意し、統一範囲を分ける運用も選択肢になります。
よくある質問

ツール選定、データ量による対応範囲、社内対応と外部委託の判断について、導入担当者が確認すべき点をまとめます。
Q1: ラオス語の自動クリーニングツールはあるか?
工程ごとに個別のツールは存在しますが、すべてを一括処理する単一ツールはありません。エンコーディング修正には chardet と ftfy、符号点の統一には unicodedata や ICU の Normalizer2、分かち書きには LaoNLP が対応範囲です。チャンク分割の段階では Hugging Face や LangChain のテキストスプリッタを組み合わせて使えます。いずれも自動処理の出力をそのまま採用せず、サンプルによる目視確認と辞書の継続更新を組み合わせる運用が前提になります。
Q2: 少量のデータでもクリーニングは必要か?
必要です。件数が少なくても、文字コードの揺れや異表記がそのまま埋め込みに反映され、検索漏れの原因になります。小規模なデータでまず正規化辞書とルールの骨格を作り、文書が増えた段階で同じ辞書・ルールを適用する進め方が、後から全件を見直す手間を避けられます。
Q3: クリーニング作業は社内で対応できるか外部委託すべきか?
データ量とリスクの大きさで判断が分かれます。
社内対応で足りるケース: 対象文書が単一フォーマット中心で、OCR 由来の低品質文書が少なく、文書種別も契約書・議事録など数種に絞られる場合です。chardet・ftfy・LaoNLP を組み合わせたスクリプトと、サンプル抽出による目視チェックを担当者 1〜2 名で回せる規模であれば、辞書とルールを社内で育てていく進め方が適しています。
外部との協業を検討するケース: 複数フォーマットの文書が混在し、OCR 変換の量が多く、方言や借用語の揺れが文書種別ごとに大きく異なる場合です。言語リソース構築の経験を持つ外部や研究機関と組むと、ゴールド標注データの作成やセグメンテーションモデルの評価を半自動と人手検証を組み合わせて進められます。判断に迷う規模であれば、まず小規模データで社内処理を試し、分かち書き結果に対する Precision・Recall・F1 が安定しない文書種別が見つかった時点で、外部協業の範囲を検討するのが妥当です。
まとめ

ラオス語の文書を RAG に投入する前の処理は、エンコーディング検出から検証まで一続きの流れで考えると手戻りが減ります。文字コードと入力方式、方言や借用語の表記ゆれを確認したうえで、chardetの一般的な使い方に従ったエンコーディング検出とデコード、ftfyによる mojibake 修正、NFC正規化(Unicodeの正規化形式の一つ)という順序で文字コードを揺れのない状態に揃えます。続いて制御文字と空白の除去ルールを定義し、正規化辞書で異表記を統一した後、LaoNLP など言語固有のセグメンターで分かち書きを行い、ゴールド標注データで Precision・Recall・F1 を測って分割精度を確かめます。最後に、目視でのサンプルチェックと recall@10・MRR・nDCG による小規模検索テストを組み合わせ、処理の変更が検索結果にどう反映されるかを数値で確認します。ダイアクリティカルマークの除去や方言の一括統一のような、意味を損なう方向への行き過ぎにも注意しながら進めてください。まずは手元の文書数件を対象に、エンコーディング検出から検証までの流れを一度小さく試し、自社データで同じ手順を回せるかを確かめることから始めてください。
参考文献
- docs.databricks.com/aws/en/ai-search/retrieval-quality閲覧日 2026年11月20日
- ebooklao.gov.la/wp-content/uploads/2024/03/ລາວສຶກສາ.pdf閲覧日 2026年11月20日
- learn.microsoft.com/azure/ai-studio/concepts/retrieval-augmented-generation閲覧日 2026年11月20日
- trec.nist.gov/pubs/trec25/papers/DUTH-CX.pdf閲覧日 2026年11月20日
著者・監修者
Chi
ラオス国立大学で情報科学を専攻し、在学中は統計ソフトウェアの開発に従事。データ分析とプログラミングの基礎を実践的に培った。2021 年より Web・アプリケーション開発の道に進み、2023 年からはフロントエンドとバックエンドの両領域で本格的な開発経験を積む。当社では AI を活用した Web サービスの設計・開発を担当し、自然言語処理(NLP)、機械学習、生成 AI・大規模言語モデル(LLM)を業務システムに統合するプロジェクトに携わる。最新技術のキャッチアップに貪欲で、技術検証から本番実装までのスピード感を大切にしている。


