1st Thailand LLM Bootcamp

1st Thailand LLM Bootcamp

Float16.cloud has been a part of hosting the Bootcamp with OpenACC, NVIDIA, Siam.ai, and AIEI.

The Thailand LLM Bootcamp will take place over 2 days. Day 1 (February 28) will be held online, and Day 2 will be held in person at Central World, Thailand.


https://www.openhackathons.org/s/siteevent/a0CUP00001Yalpp2AB/se000400

Participants will receive dedicated access to an H100, with one instance per person, provided by Siam.ai (NCP).

Agenda

This bootcamp will provide hands-on experience with an end-to-end LLM project. It is divided into 3 parts

1.Continue Fine-Tuning LLM Models

Learn how to continue fine-tuning LLM models, such as the Llama model, with NVIDIA NeMo while leveraging PEFT techniques like QLoRA.

2.Optimize LLM Models

The second part will help you reduce inference resources for LLM models. We will focus on reducing and balancing the model's ability with performance (model intelligence vs. tokens per second). We will explore quantization using NVIDIA TensorRT-LLM (TRT-LLM).

3.Serving the LLM Model

The final part will guide you in deploying the model in a production environment using best practices from the NVIDIA team. We will leverage the serving engine with Triton Inference Server and use advanced techniques like inflight batching, context caching, and paged KV cache.


Float16 teams

Our Float16 team is responsible for setting up the resources and providing Jupyter notebooks to the participants. In addition to setting up the resources, we will also serve as instructors and TAs for the event.

Lastly, this bootcamp is the first LLM bootcamp in Thailand. Float16 plans to localize and improve the bootcamp throughout the year and to continue holding LLM bootcamps across Southeast Asia (SEA), not limited to Thailand.


Contact Float16

Read more

GPU monitoring dashboard

GPU monitoring dashboard

บทความนี้ผมจะพาทุกคนมาเรียนรู้การทำ monitoring dashboard ของ GPU ด้วย grafana กันนะครับ โดยจะเริ่มกันตั้งแต่วิธีการติดตั้ง grafana จนไปถึงการตั้งค่าให้รับค่าการทำงานจาก gpu โดยใช้ dcgm-exporter ผ่าน prometheous จนสามารถสร้างเป็น dashboard ที่ดูการทำงานต่างๆของ GPU ได้ และทั้งหมดเราจะทำการ

By matichon maneegard
ทำ E2E Test ด้วย AI โดยใช้ Midscene.js ร่วมกับ Playwright

ทำ E2E Test ด้วย AI โดยใช้ Midscene.js ร่วมกับ Playwright

E2E testing แบบที่ไม่ต้องเขียน selector ในโพสต์นี้เราจะมาลองใช้ Midscene.js สำหรับควบคุบ UI แบบที่สั่งด้วย Natural language ร่วมกับ Playwright ซึ่งเป็น framework ยอดนิยมสำหรับการทำ automated browser test Midscene.js คืออะไร? Midscene.js เป็น JavaScript SDK ที่ใช้โมเดล

By matichon maneegard
Nvidia GPU Driver Setup: Essential Steps for LLM Developers

Nvidia GPU Driver Setup: Essential Steps for LLM Developers

ยุคนี้ที่ AI มาแรงแบบสุดๆ LLM น่าจะเป็นสิ่งที่ทุกบริษัทพูดถึงกัน หลายๆที่อยากให้ LLM Solution เข้ามามีบทบาทในบริษัทมากขึ้น ไม่ว่าจะเป็นการทำ Chatbot, RAG เป็นต้น สิ่งที่ตามมาก็คือ Solution เหล่านั้นต้องอยู่ใน Infrastructure ของบริ

By matichon maneegard
ทำ Data Extraction จาก image โดยใช้ LLM Multimodal

ทำ Data Extraction จาก image โดยใช้ LLM Multimodal

ในการทำ Data Extraction จากรูปภาพ เช่น สลิปใบเสร็จ, บัตรประชาชน, หรือแบบฟอร์มกระดาษ วิธีดั้งเดิมมักใช้ OCR (Optical Character Recognition) ร่วมกับการเขียน rule หรือ regex เพื่อแยกข้อมูลออกมา ซึ่งยุ่งยากหรือเมื่อรูปแบบข้อมูลเปลี่ยน ซึ่งจริงๆแล้วเรามี

By matichon maneegard