การค้นหาด้วยการฝังแบบข้ามภาษา (Cross-lingual embedding search) คือเทคโนโลยีที่ช่วยให้สามารถค้นหาเอกสารในภาษาหนึ่งด้วยคำค้น (Query) ของอีกภาษาหนึ่งได้ โดยอาศัยเพียงความใกล้เคียงทางความหมายโดยไม่ต้องผ่านการแปล โมเดลการฝังแบบหลายภาษา (Multilingual embedding model) ถูกคาดหวังว่าจะทำให้สิ่งนี้เกิดขึ้นได้ในพื้นที่เวกเตอร์เดียวที่ครอบคลุมทุกภาษา อย่างไรก็ตาม จากการวัดผลจริงบนโครงสร้างพื้นฐานการค้นหาความรู้ (RAG) ของบริษัทเราซึ่งรองรับภาษาญี่ปุ่น อังกฤษ ไทย และลาว พบว่าภาษาลาวซึ่งเป็นภาษาที่มีทรัพยากรต่ำ (Low-resource language) นั้นแทบจะไม่สามารถทำการค้นหาข้ามภาษาได้เลย บทความนี้ได้รวบรวมข้อมูลปฐมภูมิที่วัดประสิทธิภาพการแยกแยะตามภาษา คำอธิบายเชิงโครงสร้างถึงสาเหตุของปัญหา และแนวทางแก้ไขที่ใช้งานได้จริงอย่าง "ดัชนีแยกตามภาษา" (Language-specific index) ผู้อ่านเป้าหมายคือวิศวกรที่ออกแบบระบบค้นหาความรู้แบบหลายภาษาหรือ RAG โดยเมื่ออ่านจบ คุณจะสามารถทบทวนสมมติฐานที่ว่า "การรองรับแบบข้ามภาษาจะใช้ได้กับทุกภาษา" ใหม่ และได้รับขั้นตอนการวัดประสิทธิภาพการแยกแยะของแต่ละภาษาที่คุณต้องการใช้งานจริงกลับไป

มักมีสมมติฐานว่า RAG หลายภาษา (Multilingual RAG) คือ "การนำทุกภาษาใส่ลงในโมเดล Embedding เดียวกัน เพื่อให้สามารถเชื่อมโยงความหมายข้ามภาษาได้" สมมติฐานนี้มักเป็นจริงสำหรับภาษาที่มีทรัพยากรสูงและปานกลาง แต่จะใช้ไม่ได้กับภาษาที่มีทรัพยากรต่ำ ในบทนี้ เราจะมาสรุปกลไกของการค้นหาแบบข้ามภาษา (Cross-lingual search) และประเด็นที่สมมติฐานดังกล่าวอาจมีความเสี่ยง

การค้นหาแบบข้ามภาษา (Cross-lingual search) คือกลไกที่ใช้ตัดสินความเกี่ยวข้องโดยการฝัง (Embedding) ทั้งคำค้นหาและเอกสารลงในปริภูมิเวกเตอร์ (Vector space) เดียวกัน แม้ว่าทั้งสองจะมีภาษาที่ต่างกันก็ตาม ตัวอย่างเช่น การที่พิมพ์คำถามเป็นภาษาไทยแล้วพบคู่มือภาษาญี่ปุ่น ก็เป็นเพราะ "ประโยคภาษาไทย" และ "ประโยคภาษาญี่ปุ่นที่มีความหมายเดียวกัน" ถูกจัดวางให้อยู่ในพิกัดที่ใกล้กันในปริภูมินั้น หากสิ่งนี้เกิดขึ้นได้จริง เราก็ไม่จำเป็นต้องเตรียมองค์ความรู้แยกตามภาษา แต่สามารถใช้ดัชนี (Index) เดียวเพื่อรองรับผู้ใช้ได้หลายภาษา ซึ่งช่วยลดต้นทุนในการรองรับหลายภาษาลงได้อย่างมาก ระบบ RAG แบบหลายภาษาจำนวนมากจึงใช้สมมติฐานนี้ แนวคิดนี้น่าสนใจตรงที่ไม่จำเป็นต้องเพิ่มดัชนีแม้จะเพิ่มภาษาที่รองรับก็ตาม หากคู่มือภายในบริษัทที่เขียนด้วยภาษาญี่ปุ่นเพียงฉบับเดียวสามารถค้นหาได้ทั้งภาษาอังกฤษและภาษาไทย การจัดการองค์ความรู้ก็จะจบลงได้ในระบบเดียว อย่างไรก็ตาม ความสะดวกสบายนี้ตั้งอยู่บนสมมติฐานที่ว่า "ทุกภาษาถูกจัดเรียงไว้อย่างเป็นระเบียบในปริภูมิเดียวกัน" หากสมมติฐานดังกล่าวพังทลายลงในบางภาษา การค้นหาก็จะเริ่มล้มเหลวโดยที่ไม่มีใครสังเกตเห็น

เดิมทีแพลตฟอร์มแชทและฐานความรู้ (Knowledge Base) ของเราใช้เวกเตอร์สเปซ (Vector Space) เดียวในการรองรับการค้นหาทุกภาษา เนื่องจากระบบทำงานได้ตามที่คาดหวังในภาษาญี่ปุ่น ภาษาอังกฤษ และภาษาไทย เราจึงไม่มีเหตุผลที่จะสงสัยในสมมติฐานนี้ แต่ปัญหาเริ่มปรากฏชัดเมื่อเราเริ่มทดสอบการค้นหาความรู้ในภาษาลาว เมื่อตั้งคำถามเป็นภาษาลาว กลับไม่พบเอกสารที่ควรจะตรงกันเลยแม้แต่น้อย ในตอนแรกเราสงสัยว่าอาจเป็นเพราะความบกพร่องของดัชนี (Index) หรือบั๊กในการประมวลผลล่วงหน้า (Preprocessing) แต่สาเหตุที่แท้จริงนั้นลึกซึ้งกว่านั้น คือโมเดลการฝัง (Embedding Model) ไม่สามารถจัดตำแหน่งภาษาลาวให้สอดคล้องกับภาษาอื่นในพื้นที่เดียวกันได้ จากจุดนี้เราจึงเริ่มตรวจสอบประสิทธิภาพการแยกภาษาใหม่อีกครั้ง เมื่อมองย้อนกลับไป สัญญาณเตือนภัยกลับซ่อนอยู่ในฝั่งของ "ภาษาที่ใช้งานได้ปกติ" เราด่วนสรุปไปเองว่าการรองรับหลายภาษา (Multilingual) นั้นเพียงพอแล้ว เพียงเพราะเห็นว่าประโยคที่มีความหมายเหมือนกันในภาษาญี่ปุ่น ภาษาอังกฤษ และภาษาไทยถูกจัดอยู่ในอันดับต้นๆ ทั้งที่ในความเป็นจริง สมมติฐานดังกล่าวพังทลายลงอย่างสิ้นเชิงในภาษาลาวที่เราไม่ได้ตรวจสอบ การสรุปเอาเองว่า "ถ้าใช้งานได้ในภาษาหลัก ก็ต้องใช้งานได้ในทุกภาษา" คืออคติที่เราควรทิ้งไปตั้งแต่แรกเริ่ม

ผลการวัดมีความชัดเจน ภาษาญี่ปุ่น ภาษาอังกฤษ และภาษาไทยทำงานแบบข้ามภาษา (cross-lingual) ได้ ในขณะที่ภาษาลาวให้ค่าความคล้ายคลึงต่ำกว่าประโยคที่ไม่เกี่ยวข้องกัน ซึ่งในทางปฏิบัติถือว่าตั้งฉาก (orthogonal) กับภาษาอื่น ต่อไปนี้คือค่าทั้งหมดที่บริษัทของเราวัดโดยใช้โมเดลการฝังแบบหลายภาษา (multilingual embedding model) ตัวเดียวกัน (ยิ่งประโยคที่มีความหมายเหมือนกันมีค่าความคล้ายคลึงสูงเท่าไร ยิ่งดี)

เราได้กำหนดให้เอกสารเป็นภาษาญี่ปุ่น และวัดค่าความคล้ายคลึงจากคำค้นหา (Query) ในแต่ละภาษาไปยังเอกสารที่มีความหมายเดียวกัน ค่าความคล้ายคลึงของเอกสารที่ไม่เกี่ยวข้องกันอยู่ที่ประมาณ 0.21 หากต่ำกว่านี้จะถือว่า "ไม่มีความเชื่อมโยงทางความหมาย"

สรุป: ภาษาญี่ปุ่น ภาษาอังกฤษ และภาษาไทย มีค่าสูงกว่าเกณฑ์สัญญาณรบกวน (ประมาณ 0.21) อย่างชัดเจน แต่ภาษาลาวมีค่าเพียง 0.03 ซึ่งต่ำกว่าสัญญาณรบกวนและแทบจะเป็นอิสระต่อกัน (Orthogonal)

ประเด็นสำคัญคือภาษาไทยสามารถใช้งานได้ที่ค่า 0.45 แม้ว่าภาษาไทยและภาษาลาวจะมีระบบตัวอักษรและคำศัพท์ที่ใกล้เคียงกัน แต่ประสิทธิภาพในการข้ามภาษา (Cross-lingual performance) กลับแตกต่างกันอย่างสิ้นเชิง สัญชาตญาณที่ว่า "เป็นภาษาที่ใกล้เคียงกันจึงควรทำงานได้เหมือนกัน" นั้นไม่สามารถนำมาใช้ได้จริง

ถัดมา เราได้วัดค่าความคล้ายคลึงจากคิวรีภาษาลาวไปยังเอกสารที่มีความหมายเหมือนกันในแต่ละภาษา หากภาษาลาวมีการเชื่อมโยงกับภาษาอื่นไม่ว่าจะทางตรงหรือทางอ้อมผ่านภาษาอังกฤษ ก็ควรจะมีภาษาใดภาษาหนึ่งที่แสดงค่าออกมาสูง

ผลลัพธ์ที่ได้คือ มีเพียงเอกสารภาษาลาวซึ่งเป็นภาษาเดียวกันเท่านั้นที่แสดงค่าสูงถึง 0.80 ในขณะที่ภาษาอื่นแทบจะไม่มีค่าความคล้ายคลึงเลย อีกทั้งยังไม่พบการเชื่อมโยงทางอ้อมผ่านภาษาอังกฤษอีกด้วย เวกเตอร์ของภาษาลาวนั้นกระจุกตัวอยู่ในพื้นที่ที่แยกออกจากภาษาอื่น ในทางกลับกัน นี่หมายความว่าการสืบค้นภายในภาษาลาวด้วยกันเองนั้นมีประสิทธิภาพสูงมาก ซึ่งถือเป็นเบาะแสในการแก้ไขปัญหาดังกล่าว

การที่กล่าวว่า "ภาษาลาวพัง" ไม่ได้หมายความว่าภาษาลาวทั้งหมดใช้ไม่ได้ หากวัดว่าภายในภาษาเดียวกันสามารถแยกแยะประโยคที่มีความหมายเหมือนกันออกจากประโยคที่ไม่เกี่ยวข้องกันได้มากน้อยเพียงใด (ความสามารถในการแยกแยะ = ความคล้ายคลึงกันของประโยคที่มีความหมายเหมือนกัน - ความคล้ายคลึงกันของประโยคที่ไม่เกี่ยวข้องกัน) จะพบว่าภาษาลาวก็ยังคงทำงานได้

แม้ค่า 0.34 ของภาษาลาวจะต่ำกว่าภาษาอื่น แต่ก็ยังสามารถแยกแยะออกจากประโยคที่ไม่เกี่ยวข้องกันได้ ค่าที่ค่อนข้างน้อยนี้เป็นเพราะประโยคที่ไม่เกี่ยวข้องกันก็มีค่าความคล้ายคลึงที่ค่อนข้างสูง (พื้นที่เวกเตอร์ค่อนข้างถูกบีบอัด) นอกจากนี้ เมื่อเปรียบเทียบกับโมเดลการฝังแบบทั่วไปอื่น (โมเดลเก่า) จะพบว่าการแปลข้ามภาษา (Cross-lingual) ของภาษาลาวในโมเดลเก่าก็ล้มเหลวเช่นกัน (ความหมายเหมือนกัน 0.14 < ไม่เกี่ยวข้องกัน 0.25) ในทางกลับกัน ความสามารถในการแยกแยะภายในภาษาลาวเองได้ปรับปรุงจาก 0.18 ในโมเดลเก่า มาเป็น 0.34 ในโมเดลปัจจุบัน กล่าวคือ ความล้มเหลวของการแปลข้ามภาษาไม่ใช่บั๊กเฉพาะของโมเดลใดโมเดลหนึ่ง แต่เป็นข้อจำกัดเชิงโครงสร้างที่พบได้ทั่วไปในภาษาที่มีทรัพยากรน้อย (Low-resource language)

กุญแจสำคัญอยู่ที่การที่ "ความสามารถในการเข้าใจความหมายที่ใกล้เคียงกันภายในภาษาเดียวกัน" กับ "ความสามารถในการปรับความหมายให้ตรงกันในพิกัดเดียวกันข้ามภาษา" นั้นเป็นคนละเรื่องกัน และมีเพียงอย่างหลังเท่านั้นที่ขึ้นอยู่กับปริมาณทรัพยากรในการเรียนรู้อย่างมาก เราจะมาดูไปทีละประเด็น

การที่โมเดล Embedding สามารถทำคะแนนได้ 0.80 ในการค้นหาภาษาลาวด้วยกันเองนั้น เป็นเพราะโมเดลได้เรียนรู้ว่า "ข้อความภาษาลาวแต่ละข้อความมีความหมายใกล้เคียงกันเพียงใด" ซึ่งสิ่งนี้สามารถทำได้หากมีการกระจายตัวของข้อมูลภายในภาษาเดียวที่เพียงพอ ในทางกลับกัน การค้นหาแบบข้ามภาษา (Cross-lingual search) ต้องการความสามารถในการจัดตำแหน่ง (Alignment) เพื่อ "แมปแนวคิดของภาษาลาวไปยังพื้นที่ย่อย (Subspace) เดียวกันกับแนวคิดเดียวกันในภาษาอื่น" ซึ่งจำเป็นต้องอาศัยเบาะแสจากการแปลจำนวนมาก (เช่น Parallel Corpus หรือการปรากฏร่วมกันข้ามภาษา) แม้ว่าความคล้ายคลึงภายในภาษาเดียวกันจะทำงานได้ดี แต่หากขาดการจัดตำแหน่งระหว่างภาษา การค้นหาแบบข้ามภาษาก็จะล้มเหลวก่อน สิ่งที่พบในภาษาลาวครั้งนี้คือสภาวะที่ "ทำงานได้เพียงด้านเดียว" เปรียบได้กับแผนที่ภาษาลาวที่วาดขึ้นอย่างแม่นยำภายในโลกของภาษาลาว แต่กลับไม่มีระบบพิกัดที่จะนำแผนที่นั้นไปวางซ้อนทับในตำแหน่งที่ถูกต้องบนแผนที่โลก ความแม่นยำของตัวแผนที่เอง (ความคล้ายคลึงภายในภาษาเดียวกัน) และความสามารถในการนำแผนที่ไปวางบนพิกัดร่วม (การจัดตำแหน่งระหว่างภาษา) จึงเป็นปัญหาที่แยกจากกันโดยสิ้นเชิง

Embedding models are trained on web-scale multilingual data, but their distribution is heavily biased toward high- and medium-resource languages. Thai, as a medium-resource language, has a sufficient amount of training data and has achieved alignment with other languages. This is why Japanese documents can be found using Thai queries. In contrast, Lao is a low-resource language with weak cross-lingual alignment training. As a result, Lao vectors cluster in an isolated region and fail to hit any other languages. The compression phenomenon, where even unrelated sentences show high similarity, is also a symptom of poor alignment and a "sparse" vector space. Generally speaking, cross-lingual capability is the first thing to be lost in low-resource languages. This bias cannot be bridged no matter how carefully the low-resource language data is preprocessed, because the total volume of training data determines the ceiling for cross-lingual alignment. This is why, even when replacing models, the cross-lingual performance of low-resource languages hits a plateau first. The fact that the same symptoms were reproduced in both the old and new models this time confirms this structural issue.

เมื่อพบว่าการค้นหาแบบข้ามภาษา (Cross-lingual) มีปัญหา สิ่งแรกที่มักจะอยากเข้าไปแก้ไขคือการประมวลผลล่วงหน้า (Preprocessing) เช่น Tokenizer, การทำ Text Normalization หรือการจัดการ Stop words แต่ความล้มเหลวในครั้งนี้ไม่ใช่ปัญหาที่ชั้นการประมวลผลล่วงหน้า ข้อเท็จจริงที่ว่าการค้นหาภายในภาษาลาวด้วยกันเองได้ผลลัพธ์ที่ดีที่ 0.80 เป็นสิ่งที่บ่งชี้ว่าการประมวลผลล่วงหน้าทำงานได้อย่างถูกต้อง สิ่งที่พังคือความสอดคล้องระหว่างภาษาที่โมเดล Embedding ได้เรียนรู้มา ซึ่งไม่ว่าคุณจะปรับแต่งวิธีการเตรียมข้อมูลนำเข้าให้เหมาะสมเพียงใด เวกเตอร์ภาษาลาวก็จะไม่ขยับเข้าไปใกล้พื้นที่ของภาษาอื่น ก่อนที่จะเสียเวลาไปกับการปรับปรุงการประมวลผลล่วงหน้า ควรแยกแยะให้ชัดเจนก่อนว่าปัญหาคือ "ภาษาเดียวกันยังทำงานได้ปกติแต่ข้ามภาษาพัง" หรือ "พังทั้งคู่" หากเป็นกรณีแรก สาเหตุคือการขาดความสามารถในการสร้างความสอดคล้อง (Alignment) และวิธีแก้ไขไม่ได้อยู่ที่การประมวลผลล่วงหน้า แต่อยู่ที่สถาปัตยกรรมการค้นหา (Search Architecture)

สมมติฐานที่ว่า "โมเดลการฝังแบบหลายภาษา (Multilingual Embedding Model) สามารถจับคู่คำค้นหาในภาษาใดก็ได้กับเอกสารในภาษาใดก็ได้" เป็นเพียงการประมาณการที่ใช้ได้เฉพาะกับภาษาที่มีทรัพยากรสูงและปานกลางเท่านั้น สำหรับผู้ใช้ภาษาที่มีทรัพยากรต่ำ (Low-resource languages) เราไม่ควรพึ่งพาการสืบค้นข้ามภาษา (Cross-lingual search) สิ่งที่น่าหนักใจคือความล้มเหลวนี้เกิดขึ้นอย่างเงียบเชียบโดยไม่มีการแจ้งเตือนหรือบันทึก Log ใดๆ ระบบจะเพียงแค่ส่งคืนเอกสารที่ไม่เกี่ยวข้องออกมาอย่างราบเรียบเนื่องจากค่าความคล้ายคลึง (Similarity) ต่ำ หรือส่งผลลัพธ์เป็นศูนย์ขึ้นอยู่กับค่า Threshold สำหรับผู้ใช้จะดูเหมือนว่า "ไม่มีคำตอบ" ในขณะที่ฝ่ายปฏิบัติการจะเห็นว่า "ระบบค้นหายังทำงานปกติ" ดังนั้น หากมีการตรวจสอบเพียงแค่ภาษาที่มีทรัพยากรสูงและไม่พบปัญหา ก็จะไม่มีใครสังเกตเห็นเลยว่าผู้ใช้ภาษาที่มีทรัพยากรต่ำกำลังใช้งานระบบค้นหาที่ไร้ประสิทธิภาพ หากต้องการเฝ้าระวัง ควรแสดงอัตราการค้นพบ (Hit rate) หรือค่าความคล้ายคลึงเฉลี่ยแยกตามภาษาบนแดชบอร์ด เพื่อดูว่ามีภาษาใดที่มีค่าต่ำผิดปกติอย่างต่อเนื่องหรือไม่ จากประเด็นดังกล่าว มีข้อเสนอแนะสองประการที่เป็นประโยชน์ต่อการออกแบบระบบ:

ข้อมูลเชิงลึกในครั้งนี้ไม่ได้จำกัดอยู่แค่ภาษาลาวเท่านั้น เนื่องจากสาเหตุเกิดจาก "การขาดแคลนทรัพยากรการเรียนรู้สำหรับการปรับให้สอดคล้องกันระหว่างภาษา" (cross-lingual alignment) ดังนั้นภาษาที่มีข้อมูลการเรียนรู้เบาบางโดยทั่วไปจึงมีความเสี่ยงเดียวกัน ไม่ว่าจะเป็นภาษาเขมร ภาษาพม่า หรือภาษาท้องถิ่นต่าง ๆ ที่มีปริมาณข้อความบนเว็บจำกัด ก็ควรตั้งข้อสงสัยว่าจะเกิดความล้มเหลวในลักษณะเดียวกัน ในทางกลับกัน หากเป็นภาษาที่มีทรัพยากรสูง เช่น ภาษาอังกฤษ ภาษาจีน หรือภาษาหลักในยุโรป การทำ Cross-lingual มักจะมีความน่าเชื่อถือ สิ่งสำคัญคือต้องตระหนักว่า "ภาษานี้เป็นภาษาที่มีทรัพยากรสูง ปานกลาง หรือต่ำ" และยิ่งเป็นภาษาที่อยู่ในกลุ่มทรัพยากรต่ำ ยิ่งต้องเพิ่มความเข้มข้นในการตรวจสอบเฉพาะจุดให้มากขึ้น ทุกครั้งที่มีการเพิ่มภาษาใหม่ การวัดประสิทธิภาพการแยกแยะแบบ Cross-lingual ของภาษานั้น ๆ คือวิธีที่แน่นอนที่สุดในการป้องกันความล้มเหลวของการค้นหาที่เกิดขึ้นอย่างเงียบเชียบ

ไม่จำเป็นต้องใช้เกณฑ์มาตรฐาน (benchmark) พิเศษใดๆ เพียงแค่เตรียม (1) คู่ของคำถามและเอกสารที่มีความหมายเหมือนกัน (คู่ที่มีความหมายเหมือนกัน) และ (2) คู่ของคำถามและเอกสารที่ไม่เกี่ยวข้องกัน (คู่ที่ไม่เกี่ยวข้องกัน) อย่างละหลายสิบชุดสำหรับแต่ละภาษา แล้วนำการกระจายตัวของค่าความคล้ายคลึง (similarity) ของแต่ละกลุ่มมาเปรียบเทียบกันก็เพียงพอแล้ว หากค่าความคล้ายคลึงของคู่ที่มีความหมายเหมือนกันสูงกว่าคู่ที่ไม่เกี่ยวข้องกันอย่างชัดเจน แสดงว่าระบบทำงานได้ตามปกติ แต่หากค่าเท่ากันหรือต่ำกว่า แสดงว่าระบบล้มเหลว หากต้องการวัดผลแบบข้ามภาษา (cross-lingual) ให้เตรียมคู่ที่คำถามและเอกสารใช้ภาษาต่างกัน หากตัวอย่างน้อยเกินไป การกระจายตัวจะไม่เสถียร จึงควรมีอย่างน้อยหลายสิบชุดในแต่ละเงื่อนไข การรวมคำศัพท์หรือวลีที่พบบ่อยในการใช้งานจริงจะช่วยให้การประเมินใกล้เคียงกับสถานการณ์จริงมากขึ้น

นอกจากนี้ ควรใช้การกระจายตัวนี้ในการกำหนดค่าเกณฑ์มาตรฐาน (threshold) สำหรับการตัดสินใจ หากทราบว่าค่าความคล้ายคลึงของคู่ที่ไม่เกี่ยวข้องกันสูงขึ้นได้ถึงระดับใด ก็จะสามารถปรับค่าตัดออก (cutoff) สำหรับการยอมรับผลการค้นหาในแต่ละภาษาได้ ควรระวังการใช้ค่าเกณฑ์มาตรฐานเดียวกับทุกภาษา เพราะอาจทำให้ภาษาที่มีการบีบอัดพื้นที่ (space) มากเกินไปหยิบเอาประโยคที่ไม่เกี่ยวข้องกันมาได้ง่าย การตรวจสอบในครั้งนี้ก็สามารถระบุความล้มเหลวของภาษาลาวได้อย่างชัดเจนด้วยการเปรียบเทียบแบบง่ายๆ ระหว่าง "ความหมายเหมือน vs ไม่เกี่ยวข้องกัน" นี้เท่านั้น

แม้ว่าการข้ามภาษา (Cross-lingual) จะทำงานได้ไม่สมบูรณ์ แต่การทำงานภายในภาษาเดียวกัน (ภาษาลาว ↔ ภาษาลาว = 0.80) ยังคงทำได้ดี การใช้ประโยชน์จากจุดนี้โดยการแปลความรู้เป็นภาษาของผู้ใช้แล้วจัดเก็บและทำ Embedding เพื่อนำไปสู่การค้นหาแบบเปรียบเทียบภายในภาษาเดียวกัน คือสิ่งที่เรียกว่า ดัชนีแยกตามภาษา (Language-specific index)

การออกแบบสรุปได้เป็น 3 ประเด็นหลัก ดังนี้:

ประการแรก คือการแปลเอกสารความรู้เป็นภาษาของผู้ใช้แล้วจัดเก็บและทำ Embedding เพื่อให้มีแถว Embedding แยกตามแต่ละภาษา ประการที่สอง คือในขั้นตอนการสืบค้น ระบบจะทำการเปรียบเทียบกับ Embedding ในภาษาของผู้ใช้ (นั่นคือ การเปรียบเทียบภายในภาษาเดียวกัน) หากยังไม่มีคำแปลเตรียมไว้ ระบบจะย้อนกลับ (Fallback) ไปใช้ Embedding ของต้นฉบับแทน ประการที่สาม คือการให้ความสำคัญกับโมเดลภาษาที่เชี่ยวชาญด้านคู่ภาษาที่มีทรัพยากรต่ำ (Low-resource language pairs) ในการแปล และหากล้มเหลวจะให้ย้อนกลับไปใช้ระบบอื่นแทน

กล่าวโดยสรุปคือ เป็นแนวคิดที่หลีกเลี่ยงการเปรียบเทียบข้ามภาษา (Cross-lingual comparison) ที่มักเกิดข้อผิดพลาด และหันมาใช้การเปรียบเทียบภายในภาษาเดียวกัน (Same-language comparison) ที่ทำงานได้จริงเพียงอย่างเดียว การออกแบบระบบ Fallback นี้ส่งผลดีทั้งในด้านคุณภาพและความปลอดภัย ความรู้ที่ยังไม่มีคำแปลจะถูกสืบค้นชั่วคราวด้วย Embedding ของต้นฉบับ และเมื่อเตรียมคำแปลเสร็จสิ้น ระบบจะสลับไปใช้การเปรียบเทียบภายในภาษาเดียวกันโดยอัตโนมัติ ส่งผลให้การสืบค้นสามารถทำงานได้อย่างต่อเนื่องโดยไม่ขึ้นอยู่กับความคืบหน้าของชุดงานการแปล (Translation batch) นอกจากนี้ การมีระบบการแปลหลายชุดยังช่วยป้องกันไม่ให้คุณภาพการสืบค้นลดลงอย่างกะทันหันในกรณีที่โมเดลใดโมเดลหนึ่งล้มเหลวกับคู่ภาษาที่มีทรัพยากรต่ำอีกด้วย

เราได้ทำการสืบค้นคำถามภาษาลาว (คำถามเกี่ยวกับการตั้งค่า LMS, การสร้าง Tenant และการลงทะเบียนผู้ใช้งาน) เทียบกับความรู้ (Knowledge) ที่เกี่ยวข้อง และเปรียบเทียบค่าความคล้ายคลึง (Similarity) ในแต่ละเส้นทางการสืบค้น

สรุปผล: การสืบค้นผ่านดัชนีแยกตามภาษา (Language-specific index) ที่แปลเป็นภาษาลาวได้ค่าความคล้ายคลึงอยู่ที่ 0.64 ซึ่งสูงกว่าการสืบค้นข้ามภาษา (Cross-lingual search) ไปยังต้นฉบับภาษาญี่ปุ่นที่ได้ 0.42 อย่างชัดเจน

หมายเหตุเพิ่มเติม: ในตัวอย่างนี้ที่การสืบค้นข้ามภาษาไปยังต้นฉบับได้ค่า 0.42 เป็นเพราะอิทธิพลของโทเค็นร่วมที่เป็นอักษรละติน เช่น "LMS" หรือ "tenant" ที่อยู่ในคำถาม หากเป็นคำถามที่เป็นภาษาลาวล้วน ค่าความคล้ายคลึงของเส้นทางต้นฉบับจะลดลงเหลือประมาณ 0 กล่าวคือ ในการใช้งานจริงทางธุรกิจ ช่องว่างระหว่างดัชนีแยกตามภาษากับวิธีอื่นจะยิ่งกว้างขึ้นไปอีก

ดัชนีแยกตามภาษา (Language-specific index) ไม่ใช่ทางออกครอบจักรวาล เนื่องจากมีต้นทุนในการแปล (การเรียกใช้โมเดลภาษา) และการสร้าง Embedding เพิ่มเติม อีกทั้งยังต้องใช้พื้นที่จัดเก็บข้อมูลเพิ่มขึ้นตามจำนวนภาษาที่รองรับ อย่างไรก็ตาม ไม่จำเป็นต้องนำไปใช้กับทุกภาษาอย่างเท่าเทียมกัน การเลือกนำไปใช้กับภาษาที่ระบบ Cross-lingual ทำงานได้ดี (เช่น ภาษาอังกฤษ หรือภาษาไทย) เป็นทางเลือกเสริม แต่หากให้ความสำคัญกับภาษาที่ระบบเดิมทำงานได้ไม่ดี (เช่น ภาษาลาว) จะมีความคุ้มค่ามากกว่า นอกจากนี้ หากออกแบบให้ระบบกลับไปใช้ข้อความต้นฉบับ (Fallback) ในกรณีที่ไม่มีการแปล ก็จะช่วยให้สามารถทยอยนำไปใช้กับบางภาษาหรือบางส่วนของคลังความรู้ได้โดยไม่กระทบต่อประสิทธิภาพการค้นหาโดยรวม การเพิ่มขึ้นของพื้นที่จัดเก็บข้อมูลจะอยู่ในระดับที่จัดการได้หากจำกัดเฉพาะภาษาที่จำเป็น หากมีการเพิ่มแถวข้อมูลการแปลเฉพาะ 1-2 ภาษาที่มีปัญหา ก็ไม่จำเป็นต้องคัดลอกคลังความรู้ทั้งหมดไปยังทุกภาษา แนวทางที่มั่นคงที่สุดคือการเริ่มจากคลังความรู้ที่มีการเข้าถึงสูงและภาษาที่มีปัญหามากที่สุดก่อน แล้วค่อยๆ ขยายขอบเขตไปพร้อมกับการวัดผลลัพธ์ ต้นทุนไม่จำเป็นต้องแบกรับทั้งหมดในคราวเดียว แต่ควรทยอยลงทุนในส่วนที่เห็นการปรับปรุงคุณภาพการค้นหาได้อย่างชัดเจน

นี่คือคำถามที่พบบ่อยในการทำงานจริง เมื่อต้องจัดการกับภาษาที่มีทรัพยากรน้อย (low-resource language) อย่างภาษาลาวด้วยระบบ Multilingual RAG

โดยพื้นฐานแล้ว ให้วัด "ความคล้ายคลึงของประโยคที่มีความหมายเหมือนกัน" และ "ความคล้ายคลึงของประโยคที่ไม่เกี่ยวข้องกัน" ในแต่ละภาษาเป้าหมาย เพื่อดูว่าค่าทั้งสองมีความแตกต่างกันเพียงพอหรือไม่ หากภาษาใดมีค่าความคล้ายคลึงของประโยคที่มีความหมายเหมือนกันต่ำกว่าหรือใกล้เคียงกับประโยคที่ไม่เกี่ยวข้องกัน สามารถสรุปได้ว่าการค้นหาแบบข้ามภาษา (cross-lingual search) นั้นไม่สามารถใช้งานได้จริง เนื่องจากระบบจะไม่แสดงข้อผิดพลาด (error) จึงจำเป็นต้องตรวจสอบด้วยตัวเลขเสมอ ในทางปฏิบัติ ควรเริ่มจากการกำหนดค่ามาตรฐานด้วยภาษาที่มีทรัพยากรสูง เช่น ภาษาญี่ปุ่นหรือภาษาอังกฤษ แล้วเปรียบเทียบกับภาษาอื่นเพื่อดูว่ามีภาษาใดที่มีค่าต่ำผิดปกติหรือไม่ ซึ่งจะช่วยให้ระบุภาษาที่ใช้งานไม่ได้ได้อย่างรวดเร็ว หากมีการติดตามค่าความคล้ายคลึงเฉลี่ยและอัตราการค้นพบ (hit rate) แยกตามภาษาจากบันทึกการค้นหา (search log) อย่างต่อเนื่อง ก็จะช่วยให้ตรวจพบความเสื่อมถอยของประสิทธิภาพระหว่างการใช้งานจริงได้รวดเร็วยิ่งขึ้น

นั่นเป็นเพราะความใกล้เคียงของตัวอักษรและคำศัพท์ กับปริมาณความสอดคล้องระหว่างภาษาที่โมเดล Embedding ได้เรียนรู้นั้นเป็นคนละเรื่องกัน ภาษาไทยถือเป็นภาษาที่มีทรัพยากรระดับกลาง (mid-resource) ซึ่งมีปริมาณข้อมูลที่ใช้เรียนรู้เพียงพอและมีความสอดคล้องกับภาษาอื่น แต่ภาษาลาวเป็นภาษาที่มีทรัพยากรต่ำ (low-resource) ทำให้การเรียนรู้ความสอดคล้องยังน้อย จากการวัดผลจริงของบริษัทเราพบว่าค่าที่ได้แตกต่างกันอย่างมาก โดยภาษาไทยอยู่ที่ 0.45 ในขณะที่ภาษาลาวอยู่ที่ 0.03 ดังนั้น แม้จะเป็นภาษาที่ใกล้เคียงกันก็ควรวัดผลแยกกันเป็นรายภาษา

ดังนั้น การออกแบบที่ใช้โมเดลภาษาที่มีประสิทธิภาพสูงในคู่ภาษาทรัพยากรต่ำ (low-resource language pairs) สำหรับการแปล และมีการสำรองข้อมูล (fallback) ไปยังระบบอื่นเมื่อเกิดความล้มเหลว จึงมีความสำคัญ อย่างไรก็ตาม ดังที่การตรวจสอบของบริษัทเราแสดงให้เห็นว่าเส้นทางการแปล (0.64) มีประสิทธิภาพเหนือกว่าการแปลข้ามภาษาจากต้นฉบับ (0.42) ประโยชน์ที่ได้รับจากการเปรียบเทียบในภาษาเดียวกันนั้นมีนัยสำคัญเพียงพอแม้ในคุณภาพการแปลจริง

ความสามารถในการข้ามภาษา (cross-lingual) ของโมเดลการฝังแบบหลายภาษา (multilingual embedding model) ขึ้นอยู่กับปริมาณทรัพยากรของภาษานั้นๆ และมักจะล้มเหลวเป็นอันดับแรกในภาษาที่มีทรัพยากรต่ำ จากการวัดผลจริงของเราพบว่า ในขณะที่ภาษาไทยสามารถใช้งานข้ามภาษาได้ดี แต่ภาษาลาวซึ่งเป็นภาษาใกล้เคียงกันกลับให้ค่าความคล้ายคลึงต่ำกว่าประโยคที่ไม่เกี่ยวข้องกันเสียอีก หรือแทบจะเป็นอิสระต่อกัน (orthogonal) กับภาษาอื่นโดยสิ้นเชิง ในทางกลับกัน การค้นหาภายในภาษาเดียวกัน (intra-lingual) กลับทำงานได้ดี ด้วยเหตุนี้ จึงจำเป็นอย่างยิ่งที่จะต้องแยกการจัดการระหว่างการค้นหาภายในภาษาและการค้นหาข้ามภาษาออกจากกัน และต้องวัดประสิทธิภาพการแยกแยะของแต่ละภาษาแยกกัน สำหรับภาษาที่โมเดลทำงานได้ไม่ดี ควรใช้วิธีสร้างดัชนีแยกตามภาษาโดยการแปลข้อมูลให้เป็นภาษาเดียวกันเพื่อเปรียบเทียบ และใช้การสำรองข้อมูลเป็นภาษาต้นฉบับ (original fallback) ควบคู่กันไปเพื่อให้สามารถนำไปใช้งานจริงได้อย่างปลอดภัย หากคุณกำลังออกแบบระบบค้นหาความรู้แบบหลายภาษา ควรเริ่มต้นจากการวัดค่า "ความหมายเหมือน vs ไม่เกี่ยวข้องกัน" ในทุกภาษาที่คุณต้องการใช้งานจริงเสียก่อน เราหวังว่าองค์ความรู้จากฐานความรู้หลายภาษาของเราจะเป็นประโยชน์ต่อการออกแบบระบบค้นหาที่ครอบคลุมถึงภาษาที่มีทรัพยากรต่ำได้