AI Bootcamp: LLM Finetuning & Deployment

AI Bootcamp: LLM Finetuning & Deployment

เมื่อวันศุกร์ที่ 4 กรกฎาคม 2025 ที่ผ่านมา Float16 ร่วมกับทีม Typhoon SCB 10X จัดงาน AI Bootcamp: LLM Finetuning & Deployment ขึ้นที่ DistrictX ตึก FYI ซึ่งถือเป็นก้าวสำคัญในการส่งเสริมการพัฒนาเทคโนโลยี AI ในประเทศไทย งานนี้ได้รับความสนใจอย่างล้นหลาม และสำเร็จลุล่วงไปด้วยดีเกินคาดหวัง

ภาพรวมงาน

AI Bootcamp เป็นงานอบรมเชิงปฏิบัติการแบบเต็มวันที่ออกแบบมาเพื่อนำผู้เข้าร่วมจากการเข้าใจพื้นฐานไปสู่การใช้งาน Large Language Models (LLMs) จริง ผ่านกระบวนการ finetuning และ deployment โดยใช้เครื่องมือและ GPU

Highlight

🔧 ช่วงเช้า: How to Finetune Typhoon Open-Source LLMs

วิทยากร: คุณสุรพล โนนสูง (Surapon Nonesung), Research Scientist at SCB10x

👉Key Takeaway จากทีม Typhoon: 5 Tips ในการ Fine Tune ให้ได้โมเดลที่มีประสิทธิภาพ

  1. ใช้เวลากว่า 80% ไปกับ การเตรียมข้อมูล (เพราะคุณภาพของข้อมูล คือรากฐานของโมเดลที่ดี)
  2. สร้างชุดข้อมูลสำหรับประเมินผลอย่างน้อย 2 ชุด โดยต้องมีอย่างน้อย 1 ชุดที่เป็นข้อมูลที่ไม่เคยถูกเทรนมาก่อน
  3. ระหว่าง Fine-Tuning ใช้ train set และ eval set เพื่อตรวจสอบการเกิด overfitting
  4. ควรประเมินโมเดล ก่อนและหลัง Fine-Tuning เพื่อดูว่าโมเดลพัฒนาขึ้นจริงหรือไม่
  5. ตรวจสอบและปรับ Chat Template ที่ใช้ เช่น system prompt, instruction format ฯลฯ Template ที่ดีช่วยให้โมเดลตอบได้แม่นยำและ performance ดีมากขึ้น

🚀 ช่วงบ่าย: How to Deploy Your Finetuned Typhoon Model on Float16 ServerlessGPU

วิทยากร: คุณมติชน มณีกาศ (Matichon Maneegard), Founder at Float16

👉Key Takeaway  จากทีม Float16: แนะนำ 3 เทคนิคการปรับปรุง LLM ให้นำไปใช้ในงาน Software Development ได้จริง

  1. เลือกใช้ LLM file formats ให้ถูกจุดประสงค์ ได้แก่
    1. .safetensors → สำหรับ HuggingFace, แยกไฟล์ model-weight, tokenizer, architecture
    2. .gguf → สำหรับ llama-cpp, Ollama, LM-studio ใช้งานง่าย
  2. เลือกฟอร์แมตให้เหมาะกับงาน 
    1. safetensors สำหรับ fine-tuning
    2. gguf สำหรับ inference
    3. ทำให้รองรับ OpenAI API Compatibility 
    4. ทำให้โค้ดเดิมใช้ได้ โดยไม่ต้องเขียนใหม่
    5. เปลี่ยน endpoint จาก OpenAI มาใช้โมเดลของเราเอง
    6. ประหยัดค่าใช้จ่าย และควบคุมได้เต็มที่
  3. Structured Output (Grammar) ทำให้คำตอบดีขึ้น
    1. ใช้ xgrammar, outlines, guidance ควบคุมรูปแบบคำตอบ
    2. JSON mode สำหรับ function calling ที่แม่นยำ
    3. กำหนด grammar rules สำหรับ SQL, การเลือกตัวเลือก, หรือฟอร์แมตเฉพาะ

ผลตอบรับที่ยอดเยี่ยม

จากการประเมินผลหลังงาน เราได้รับผลตอบรับที่ดีเกินคาดหวัง:

💬 ส่วนหนึ่งของความคิดเห็นที่น่าประทับใจ

"ประทับใจกับภาพรวมกิจกรรมนะครับ ถือเป็นการออกมาเรียนรู้จากคนที่ทำงานจริง" - ผู้เข้าร่วม
"ทีมงาน SCB10X และ Float16 ใส่ใจในการให้ความรู้ดีมาก การบริหารจัดการดีแล้ว คุณเค มติชน Float16 จัดรูปแบบ Lecture & Workshop ได้ดีมาก" - ผู้เข้าร่วม
"I really enjoyed the event. Especially how smooth and well-streamlined the event was." - ผู้เข้าร่วม

สิ่งที่ผู้เข้าร่วมได้รับ

🎯 ความรู้เชิงปฏิบัติ

  • ประสบการณ์ hands-on ในการ fine-tune และ deploy LLMs
  • การใช้งาน Typhoon open-source models
  • เทคนิคการปรับปรุง LLM ให้เหมาะกับงาน Software Development

💰 สิทธิประโยชน์

  • ฟรี 100% ไม่มีค่าใช้จ่าย
  • GPU Credits จาก Float16 มูลค่า 1,000 บาท
  • ใบประกาศนียบัตร ดิจิทัล
  • Free Lunch

🤝 เครือข่าย

ได้พบปะและแลกเปลี่ยนประสบการณ์กับ:

  • อาจารย์ นักศึกษา นักวิจัย และ Data Scientists
  • Engineers และ Developers
  • Startup founders และผู้ประกอบการ

ขอขอบคุณทุกท่านที่มาร่วมงาน รวมถึง:

  • ทีมงาน SCB 10X และ NVIDIA ที่ให้การสนับสนุนอย่างเต็มที่
  • DistrictX ที่ให้สถานที่จัดงาน
  • ผู้เข้าร่วมทุกท่านที่ให้ feedback และแนวคิดดีๆ

Float16 มุ่งมั่นที่จะเป็นส่วนหนึ่งในการผลักดันให้ประเทศไทยเป็นผู้นำด้าน AI ในภูมิภาค งานนี้เป็นเพียงจุดเริ่มต้นของการสร้างชุมชน AI practitioners ที่แข็งแกร่งและยั่งยืน

#AIBootcamp #LLMFinetuning #Float16 #SCB10X #NVIDIA #MachineLearning #AIThailand

Read more

LLM Arena: No More Guessing Games When Choosing AI Models

LLM Arena: No More Guessing Games When Choosing AI Models

หลายคนคงเจอปัญหาเดียวกับเรา ตอนที่ต้องเลือก LLM model มาใช้งาน ไม่รู้ว่าควรเลือก model ไหนดี อ่านสเปคก็ดูเหมือนจะดีทุกตัว แต่พอไปใช้งานจริงไม่ตอบโจทย์งานนั้น ๆ เลยคิดว่าทำไมเราไม่สร้างตัวช่วยขึ้นมาล่ะ เอาโมเดลหลายๆ ตัวมาเปรียบเทียบกันแบบเห็

By Namfon Khaminlao
GPU monitoring dashboard

GPU monitoring dashboard

บทความนี้ผมจะพาทุกคนมาเรียนรู้การทำ monitoring dashboard ของ GPU ด้วย grafana กันนะครับ โดยจะเริ่มกันตั้งแต่วิธีการติดตั้ง grafana จนไปถึงการตั้งค่าให้รับค่าการทำงานจาก gpu โดยใช้ dcgm-exporter ผ่าน prometheous จนสามารถสร้างเป็น dashboard ที่ดูการทำงานต่างๆของ GPU ได้ และทั้งหมดเราจะทำการ

By matichon maneegard
ทำ E2E Test ด้วย AI โดยใช้ Midscene.js ร่วมกับ Playwright

ทำ E2E Test ด้วย AI โดยใช้ Midscene.js ร่วมกับ Playwright

E2E testing แบบที่ไม่ต้องเขียน selector ในโพสต์นี้เราจะมาลองใช้ Midscene.js สำหรับควบคุบ UI แบบที่สั่งด้วย Natural language ร่วมกับ Playwright ซึ่งเป็น framework ยอดนิยมสำหรับการทำ automated browser test Midscene.js คืออะไร? Midscene.js เป็น JavaScript SDK ที่ใช้โมเดล

By matichon maneegard, Thanawat Kittichaikarn
Nvidia GPU Driver Setup: Essential Steps for LLM Developers

Nvidia GPU Driver Setup: Essential Steps for LLM Developers

ยุคนี้ที่ AI มาแรงแบบสุดๆ LLM น่าจะเป็นสิ่งที่ทุกบริษัทพูดถึงกัน หลายๆที่อยากให้ LLM Solution เข้ามามีบทบาทในบริษัทมากขึ้น ไม่ว่าจะเป็นการทำ Chatbot, RAG เป็นต้น สิ่งที่ตามมาก็คือ Solution เหล่านั้นต้องอยู่ใน Infrastructure ของบริ

By matichon maneegard