AI Infrastructure และ GPU Compute ในประเทศไทย

GPU แบบ On-premise และกรณีที่เป็นทางเลือกเดียว

การจัดซื้อจัดจ้างภาครัฐไทยและภาคที่มีกฎกำกับ มักกำหนดว่าข้อมูลต้องไม่ออกจากองค์กร ในกรณีนั้น GPU บนคลาวด์ไม่ใช่ตัวเลือกที่จะเอามาปรับให้ดีขึ้น แต่ถูกตัดออกไปเลย และสถาปัตยกรรมก็ตามมาจากข้อจำกัดนั้น ไม่ใช่จากเรื่องราคาหรือประสิทธิภาพ

ในกรณีที่ใช้คลาวด์ได้ มักถูกกว่าในการเริ่มต้น และเราจะบอกตรง ๆ โดยเฉพาะงานฝึกโมเดลที่ทำเป็นครั้งคราว ซึ่งการจ่ายค่าฮาร์ดแวร์ที่นั่งว่างไม่สมเหตุสมผล การเป็นเจ้าของ GPU คุ้มเมื่อการใช้งานสูงและต่อเนื่องจริง

การเปรียบเทียบที่คนมักทำผิดคือการไม่คิดถึงอัตราการใช้งาน เซิร์ฟเวอร์ GPU ที่ทำงานอยู่ 15% มีต้นทุนต่อชั่วโมงที่ใช้ประโยชน์ได้แพงกว่าคลาวด์แบบ On-demand มาก และการประมาณครั้งแรกว่าฮาร์ดแวร์จะยุ่งแค่ไหน มักมองโลกในแง่ดีเกินจริง

จัดขนาดให้ตรงกับงานที่มีอยู่จริง

การฝึกโมเดลกับการให้บริการโมเดลมีรูปแบบต่างกัน การฝึกเป็นแบบพุ่งเป็นช่วงและกินหน่วยความจำ ส่วนการให้บริการเป็นแบบคงที่ ไวต่อ Latency และมักทำงานได้ดีกว่าบนฮาร์ดแวร์ที่เล็กและถูกกว่า การจัดเครื่องเดียวให้ทำทั้งสองอย่างมักได้ของแพงที่ไม่เหมาะกับอะไรเลย

เราจัดขนาดตามภาระงานที่วัดได้จริง ไม่ใช่ตามสเปกที่ประกาศของโมเดล ความผิดพลาดที่พบบ่อยและแพงที่สุดคือการซื้อเผื่อจุดพีคที่เกิดปีละสองครั้ง ทั้งที่ระบบถาวรขนาดเล็กกว่าบวกกำลังสำรองชั่วคราวรองรับความต้องการเดียวกันได้ด้วยต้นทุนเศษเสี้ยว

MLOps ส่วนที่ทำให้ใช้งานได้จริง

ฮาร์ดแวร์อย่างเดียวไม่ใช่แพลตฟอร์ม สิ่งที่เปลี่ยนเซิร์ฟเวอร์ GPU ให้เป็นระบบที่ทีมทำงานร่วมกันได้โดยไม่ชนกัน คือ Pipeline การฝึกที่ทำซ้ำได้ การทำ Version ของโมเดลและชุดข้อมูล การติดตามการทดลอง และการให้บริการโมเดลที่มีการเฝ้าระวัง

หากไม่ทำ Version ทั้งข้อมูลและโมเดล ผลลัพธ์จะทำซ้ำไม่ได้ และคำถามว่า "ทำไมถึงทำนายแบบนั้น" ก็ตอบไม่ได้ ซึ่งสำคัญทั้งเชิงธุรกิจ และสำคัญตาม PDPA ในกรณีที่การตัดสินใจกระทบตัวบุคคล

เราส่งมอบการกำหนดแพลตฟอร์มในรูปโค้ด เพื่อให้สร้างสภาพแวดล้อมใหม่ได้ ไม่ต้องประกอบจากความทรงจำ และเพื่อให้ทีมถัดไปของท่านรับช่วงสิ่งที่อ่านเข้าใจได้