Natural Language Processing และ NLP ภาษาไทย

ทำไมภาษาไทยจึงยากกว่าภาษาอังกฤษจริง ๆ

ภาษาไทยเขียนติดกันโดยไม่มีการเว้นวรรคระหว่างคำ ระบบจึงต้องหาก่อนว่าคำแต่ละคำเริ่มตรงไหน ซึ่งเป็นขั้นตอนที่ภาษาอังกฤษไม่ต้องทำ ทั้งยังไม่มีตัวพิมพ์ใหญ่บอกชื่อเฉพาะ ไม่มีการผันคำบอกกาล และผสมศัพท์เทคนิคภาษาอังกฤษเข้าไปในประโยคไทยอย่างอิสระ เครื่องมือที่สร้างมาเพื่อภาษายุโรปล้มเหลวทั้งสี่ข้อ

นี่คือเหตุผลที่การค้นหาในเอกสารภาษาไทยมักน่าผิดหวัง การจับคู่คำสมมติว่าระบบระบุคำได้ และเมื่อการตัดคำไม่ถูกต้อง ผลลัพธ์ก็ไม่เจอที่ควรเจอหรือได้ผลที่ไม่เข้าท่า ธุรกิจมักสรุปว่าเครื่องมือค้นหาไม่ดี ทั้งที่จริงมันไม่เคยถูกออกแบบมาเพื่ออักษรไทยเลย

เรื่องเดียวกันนี้ใช้กับการวิเคราะห์อารมณ์ การดึงชื่อเฉพาะ และการจำแนกเอกสาร Pipeline ที่แปลไทยเป็นอังกฤษ ประมวลผล แล้วแปลกลับ จะสะสมความผิดพลาดในทุกขั้น และการแปลภาษาไทยแบบไม่เป็นทางการ ซึ่งเป็นสิ่งที่ลูกค้าเขียนจริง คือจุดที่แย่ที่สุด

เราสร้างอะไรด้วยเทคโนโลยีนี้

การค้นหาด้วยความหมายในคลังเอกสารภาษาไทย การดึงข้อมูลอัตโนมัติจากแบบฟอร์มและใบแจ้งหนี้ภาษาไทย การวิเคราะห์อารมณ์จากข้อความลูกค้า และการจำแนกกับส่งต่อคำถามที่เข้ามา ทั้งหมดทำงานร่วมกับระบบที่ท่านมีอยู่แล้ว ไม่ใช่มาแทนที่

งานที่ให้ผลตอบแทนสูงที่สุดสำหรับองค์กรไทยส่วนใหญ่คือการค้นหาเอกสาร ความรู้ขององค์กรอยู่ในไฟล์ภาษาไทยที่สะสมมาหลายปีซึ่งไม่มีใครหาอะไรเจอ การทำให้ค้นหาได้ด้วยความหมายแทนการพิมพ์ให้ตรงเป๊ะ ช่วยประหยัดเวลาได้ทันทีและวัดผลได้

• ค้นหาด้วยความหมายในสัญญา รายงาน และหนังสือโต้ตอบภาษาไทย
• ดึงข้อมูลจากใบแจ้งหนี้ แบบฟอร์ม และเอกสารราชการภาษาไทย
• วิเคราะห์อารมณ์และประเด็นจากข้อความบน LINE อีเมล และรีวิว
• จำแนกและส่งต่อคำถามที่เข้ามาโดยอัตโนมัติ
• สรุปเอกสารภาษาไทยที่ยาวเพื่อการตรวจทาน

ติดตั้งแบบ On-premise เมื่อข้อมูลออกไปไม่ได้

สำหรับหน่วยงานรัฐไทยและภาคที่มีกฎกำกับ การส่งเอกสารออกไปยัง API ภายนอกมักทำไม่ได้ เราติดตั้งโมเดลภาษาไทยบนโครงสร้างพื้นฐานของท่านเอง ซึ่งเป็นเหตุผลที่ VG-X มีอยู่ในรูปแพลตฟอร์ม On-premise ไม่ใช่บริการแบบโฮสต์

ในกรณีที่ติดตั้งบนคลาวด์ได้ มักจะถูกกว่าและเร็วกว่า และเราจะบอกตรง ๆ แต่ในกรณีที่กฎการจัดซื้อจัดจ้างหรือ PDPA กำหนดให้ข้อมูลต้องอยู่ในองค์กร ข้อกำหนดนั้นเป็นตัวตัดสินสถาปัตยกรรม ไม่ใช่สิ่งที่จะโต้แย้งด้วยการตั้งค่า Cloud Region ให้ดี

ไม่ว่าทางไหน การนำเอกสารของท่านไปปรับจูนโมเดลถือเป็นการประมวลผลตาม PDPA และต้องมีฐานทางกฎหมาย เราจัดการเรื่องนี้ก่อนแตะข้อมูลใด ๆ เพราะการย้อนกลับไปทำทีหลังนั้นแพงและบางครั้งทำไม่ได้