Thai language RAG with Llamaindex + Weaviate + SeaLLM

Thai language RAG with Llamaindex + Weaviate + SeaLLM

Sa-Wad-Dee, Hello from Thailand.

Introduce

RAG is like this cool AI tool designed for developers and teams who want to bring LLMs into new features. But gotta admit, there's a small hiccup - we don't really have a ton of tutorial projects and this leads to a couple of big issues.

  1. Everything's pretty much in English. So for those who aren't native English speakers, they have to tweak their solutions and spend that extra time getting acquainted with stuff like Tokenizers or Text splitters.
  2. Everything's pretty much geared for OpenAI's API, which is the easiest and most efficient to use. But on the flip side, this makes other AI providers and embedding models feel left out. And let's not forget those developers who, trying to save some bucks, want to use other AI and embeddings - they're hit with crazy high switching costs.

These issues end up slowing the AI adoption process and bumping up costs, especially for firms not primarily using English.

So, the idea to create use cases with examples came about. It's pretty much a way to help developers learn faster and get AI applications up and running quicker, whether to boost existing features or whip up new ones.

Challenge

  • Tiktoken counts each character in the Thai language as one token, whereas a local AI model could consider each word as one token.
  • Thai language doesn't complete sentences with a "full stop".
  • Integrate Huggingface Embedding and an OpenAI API-like with LlamaIndex.
  • Highly customize the vector search using Weaviate.

Environment

The notebook

Float16-example/llamaindex/RAG at main · vultureprime/Float16-example
Contribute to vultureprime/Float16-example development by creating an account on GitHub.

Warning. I have commented the code in Thai language.

Read more

ทำ E2E Test ด้วย AI โดยใช้ Midscene.js ร่วมกับ Playwright

ทำ E2E Test ด้วย AI โดยใช้ Midscene.js ร่วมกับ Playwright

E2E testing แบบที่ไม่ต้องเขียน selector ในโพสต์นี้เราจะมาลองใช้ Midscene.js สำหรับควบคุบ UI แบบที่สั่งด้วย Natural language ร่วมกับ Playwright ซึ่งเป็น framework ยอดนิยมสำหรับการทำ automated browser test Midscene.js คืออะไร? Midscene.js เป็น JavaScript SDK ที่ใช้โมเดล

By matichon maneegard
Nvidia GPU Driver Setup: Essential Steps for LLM Developers

Nvidia GPU Driver Setup: Essential Steps for LLM Developers

ยุคนี้ที่ AI มาแรงแบบสุดๆ LLM น่าจะเป็นสิ่งที่ทุกบริษัทพูดถึงกัน หลายๆที่อยากให้ LLM Solution เข้ามามีบทบาทในบริษัทมากขึ้น ไม่ว่าจะเป็นการทำ Chatbot, RAG เป็นต้น สิ่งที่ตามมาก็คือ Solution เหล่านั้นต้องอยู่ใน Infrastructure ของบริ

By matichon maneegard
ทำ Data Extraction จาก image โดยใช้ LLM Multimodal

ทำ Data Extraction จาก image โดยใช้ LLM Multimodal

ในการทำ Data Extraction จากรูปภาพ เช่น สลิปใบเสร็จ, บัตรประชาชน, หรือแบบฟอร์มกระดาษ วิธีดั้งเดิมมักใช้ OCR (Optical Character Recognition) ร่วมกับการเขียน rule หรือ regex เพื่อแยกข้อมูลออกมา ซึ่งยุ่งยากหรือเมื่อรูปแบบข้อมูลเปลี่ยน ซึ่งจริงๆแล้วเรามี

By matichon maneegard
Self-Hosted LLMs for Enterprise #4

Self-Hosted LLMs for Enterprise #4

ตอนสุดท้ายแล้วนะครับ สำหรับการ deploy llm model ใช้งานเอง หลังจากที่แล้ว Setup ตัว service และ tools ต่างๆที่ต้องการครบถ้วนแล้ว เรามาลุยกันต่อเลยครับในการ download model และทำ API Endpoint สำหรับใครที่เพิ่งเข้ามาอ่านตอนนี้เป็นตอนแรก สามารถติดตามตอนก่อนหน้าได้

By matichon maneegard