บทความนี้ผมจะพาทุกคนมาเรียนรู้การทำ monitoring dashboard ของ GPU ด้วย grafana กันนะครับ โดยจะเริ่มกันตั้งแต่วิธีการติดตั้ง grafana จนไปถึงการตั้งค่าให้รับค่าการทำงานจาก gpu โดยใช้ dcgm-exporter ผ่าน prometheous จนสามารถสร้างเป็น dashboard ที่ดูการทำงานต่างๆของ GPU ได้ และทั้งหมดเราจะทำการ
E2E testing แบบที่ไม่ต้องเขียน selector ในโพสต์นี้เราจะมาลองใช้ Midscene.js สำหรับควบคุบ UI แบบที่สั่งด้วย Natural language ร่วมกับ Playwright ซึ่งเป็น framework ยอดนิยมสำหรับการทำ automated browser test Midscene.js คืออะไร? Midscene.js เป็น JavaScript SDK ที่ใช้โมเดล
ยุคนี้ที่ AI มาแรงแบบสุดๆ LLM น่าจะเป็นสิ่งที่ทุกบริษัทพูดถึงกัน หลายๆที่อยากให้ LLM Solution เข้ามามีบทบาทในบริษัทมากขึ้น ไม่ว่าจะเป็นการทำ Chatbot, RAG เป็นต้น สิ่งที่ตามมาก็คือ Solution เหล่านั้นต้องอยู่ใน Infrastructure ของบริ
ในการทำ Data Extraction จากรูปภาพ เช่น สลิปใบเสร็จ, บัตรประชาชน, หรือแบบฟอร์มกระดาษ วิธีดั้งเดิมมักใช้ OCR (Optical Character Recognition) ร่วมกับการเขียน rule หรือ regex เพื่อแยกข้อมูลออกมา ซึ่งยุ่งยากหรือเมื่อรูปแบบข้อมูลเปลี่ยน ซึ่งจริงๆแล้วเรามี
ตอนสุดท้ายแล้วนะครับ สำหรับการ deploy llm model ใช้งานเอง หลังจากที่แล้ว Setup ตัว service และ tools ต่างๆที่ต้องการครบถ้วนแล้ว เรามาลุยกันต่อเลยครับในการ download model และทำ API Endpoint สำหรับใครที่เพิ่งเข้ามาอ่านตอนนี้เป็นตอนแรก สามารถติดตามตอนก่อนหน้าได้
สำหรับใครที่เพิ่งเข้ามาเจอตอนนี้สามารถย้อนกลับไปอ่าน 2 ตอนก่อนหน้าได้ที่ https://blog.float16.cloud/self-hosted-llms-for-enterprise-1/ https://blog.float16.cloud/self-hosted-llms-for-enterprise-2/ 2 ตอนที่ผ่านมา เราได้ติดตั้ง GPU Driver และเชื่อม GPU เข้ากับ Docker ได้เรียบร้อยแล้ว บทนี้เราจะมาติดตั้งเครื
ในตอนที่แล้ว เราได้ติดตั้ง NVIDIA GPU Driver ให้พร้อมใช้งานบนเครื่อง EC2 (g5g.xlarge) ที่ใช้ Ubuntu 24.04 LTS บทนี้เราจะทำให้ GPU ที่ติดตั้งไว้สามารถใช้งานได้ภายใน Docker container เพื่อเตรียมต่อยอดไปยังการสร้าง LLM API ด้วย llama.cpp อ่านตอนแรกได้
ในยุคที่ Generative AI กลายเป็นผู้ช่วยประจำวันของใครหลายคน ไม่ว่าจะเขียนโค้ด ตอบคำถาม หรือสรุปรายงาน หลายองค์กรเริ่มสนใจจะ ติดตั้งและใช้งาน LLM ภายในเอง เพื่อความเป็นส่วนตัว ความยืดหยุ่น และควบคุมต้นทุน ซีรีส์นี้จะพาไปตั้งค่าระบบทีละขั้น ตั้งแต่
We are pleased to announce our latest partnership between Float16 and the Typhoon team (SCB 10X). Our collaboration Regarding our partnership, we both agree to increase AI adoption in Thailand through developer activities such as bootcamps, developer materials, and advanced use cases. Float16 will take part in supporting and empowering
Hi Everyone. Mati is Here 👋👋 It have been a while since latest update. (One-click deployment) Today, I have a very big update about Float16.cloud. Serverless GPU Firstly, we are proud to announce our "Serverless GPU" service, powered by H100. Key Features * Zero code changes required—say goodbye
Float16.cloud has been a part of hosting the Bootcamp with OpenACC, NVIDIA, Siam.ai, and AIEI. The Thailand LLM Bootcamp will take place over 2 days. Day 1 (February 28) will be held online, and Day 2 will be held in person at Central World, Thailand. Registration link (Close
It has been almost 2 months (46 days) since the last update (v0.2.x) and the v0.3.x update. This update is a major one, adding platform capability and a new service. V0.3 * One-click deployment * Quantized inference speed leaderboard One-Click Deployment In this version, we are introducing
English
Hello everyone, welcome to ACL 2024 and welcome to Bangkok! I'm Mati, the founder of Float16.cloud. I'm Thai and based in Bangkok. The upcoming ACL 2024 will be held from August 11th to 16th, 2024, at Centara Grand and Bangkok Convention Centre. I want to
English
Hello, Everyone. I am happy to announce that the Float16 platform has been updated to version 0.2.1. Version 0.2.x is going to be a core interface supporting upcoming main features like one-click deployment, serverless GPU, and one-click training. We have also added features to improve the
English
5 AI Startups launch AI Startup Alliance and AI Developer Group. 5 AI Startups included AThenaAI, Perceptra, Gowajee, Eidy and Float16 Launch AI Startup Alliance and AI Developer Group. The AI Startup Alliance is a collaboration between 5 startups, formed in response to the current landscape of the AI industry
English
Hi everyone, I’m Mati, founder of Float16.cloud. I built Float16.cloud, starting 9 months ago in October 2023 to develop the platform, and launched it for the first time in January 2024. After launching the first version of Float16, I received several pieces of feedback and I want
English
Float16 have selected to present at SuperAI 2024 event @ Marina Bay Sands, June 5-6 2024. for startup Genesis. Join Us at SuperAI Event for an Insightful Pitch Session with Float16! We are excited to announce that Float16 will be participating in the upcoming SuperAI event. The pitch session scheduled for
![[Preview] Southeast Asia LLM Function call benchmark.](/content/images/size/w600/2025/06/Function_Call_Benchmark.png)
Benchmark
What is function call Function call capability is crucial for creating agent-based systems. Function calls allow LLMs to use 'the tools' when 'the tools' are functions (methods) or APIs. This capability increases the reliability of LLM applications when LLM applications MUST interact with non-LLM systems. Method
How to
Faster, Smaller, The best Text-to-SQL LLM model. Overview SQLCoder is a Text-to-SQL LLM family from Defog.ai (YC W23): a human-level AI analyst for every enterprise user. Text-to-SQL is a crucial task. This task can convert text (natural language) into SQL statements based on the table schema. Text-to-SQL enables end
English
OpenThaiGPT is a volunteer group that has created an open-source model named OpenThaiGPT (OTG). They have continued training a large language model (LLM) from an open-source model, and the resulting model has scored nearly as high as Claude Sonnet on certain benchmarks. Launch date On April 8, 2024, they published
![Float16.Cloud Update [02/2024]](/content/images/size/w600/2025/06/Float16.Cloud-Update--02-2024-.png)
English
Float16.Cloud has released a Generative AI service for Southeast Asian languages that is better than ChatGPT (GPT-3.5). Float16.Cloud supports three new models: one for SEA languages and two for the Thai language. The pricing is 95% cheaper than ChatGPT (GPT-3.5). The models are named: 1. SeaLLM-7b-v2
Llamaindex
Sa-Wad-Dee, Hello from Thailand. Introduce RAG is like this cool AI tool designed for developers and teams who want to bring LLMs into new features. But gotta admit, there's a small hiccup - we don't really have a ton of tutorial projects and this leads to