Float16.Cloud Update [02/2024]

Float16.Cloud Update [02/2024]

Float16.Cloud has released a Generative AI service for Southeast Asian languages that is better than ChatGPT (GPT-3.5).

Float16.Cloud supports three new models: one for SEA languages and two for the Thai language. The pricing is 95% cheaper than ChatGPT (GPT-3.5). The models are named:

  1. SeaLLM-7b-v2 (Alibaba)
  2. Typhoon-7b (SCB10X)
  3. OpenThaiGPT-13b (OpenThaiGPT).

The highlight is SeaLLM-7b-v2, developed by DAMO (Alibaba), which supports a total of 10 languages in SEA, including English and Chinese. 

SeaLLM-7b-v2 had an evaluation score that was slightly behind ChatGPT by around 1-2% on the M3Exam (M3e) datasets, which included English, Chinese, Vietnamese, Indonesian, and Thai. 

However, SeaLLM-7b-v2 performed at the same level as ChatGPT on the Sea-bench datasets, which included English, Chinese, Vietnamese, Indonesian, Thai, Burmese, Khmer, Lao, Tagalog, and Malay, and outperformed ChatGPT in the Burmese, Khmer, and Lao languages. [1]

Inference speed performance is another significant improvement. For example, SeaLLM-7b-v2 has a base speed of 100 tokens per second, and the inference demo video can be viewed via this YouTube link.

The use case of Generative AI for SeaLLM-7b-v2 could help us localize into the Southeast Asian region in efficient ways, including helping us draft emails in Vietnamese, generate post captions in Indonesian, find keywords in blog posts in Tagalog, provide text summarization, chatbot services, sentiment analysis, and translation.

You can try SeaLLM-7b-v2 for 'FREE' via https://float16.cloud.

Service

Float16.cloud offers Generative AI services in several options, such as API, API with custom SLA, enterprise subscription for on-premise and on-cloud, and hosting fine-tuned AI models (Bring Your Own Model).

About Float16.cloud 

Float16.cloud is a new product from VulturePrime, and VulturePrime is a startup in the Nvidia Inception Program.

[1] https://huggingface.co/SeaLLMs/SeaLLM-7B-v2

Facebook: VulturePrime

Twitter: @VutlurePrime

Website : https://www.vultureprime.com

Email: business@vultureprime.com

Read more

GPU monitoring dashboard

GPU monitoring dashboard

บทความนี้ผมจะพาทุกคนมาเรียนรู้การทำ monitoring dashboard ของ GPU ด้วย grafana กันนะครับ โดยจะเริ่มกันตั้งแต่วิธีการติดตั้ง grafana จนไปถึงการตั้งค่าให้รับค่าการทำงานจาก gpu โดยใช้ dcgm-exporter ผ่าน prometheous จนสามารถสร้างเป็น dashboard ที่ดูการทำงานต่างๆของ GPU ได้ และทั้งหมดเราจะทำการ

By matichon maneegard
ทำ E2E Test ด้วย AI โดยใช้ Midscene.js ร่วมกับ Playwright

ทำ E2E Test ด้วย AI โดยใช้ Midscene.js ร่วมกับ Playwright

E2E testing แบบที่ไม่ต้องเขียน selector ในโพสต์นี้เราจะมาลองใช้ Midscene.js สำหรับควบคุบ UI แบบที่สั่งด้วย Natural language ร่วมกับ Playwright ซึ่งเป็น framework ยอดนิยมสำหรับการทำ automated browser test Midscene.js คืออะไร? Midscene.js เป็น JavaScript SDK ที่ใช้โมเดล

By matichon maneegard, Thanawat Kittichaikarn
Nvidia GPU Driver Setup: Essential Steps for LLM Developers

Nvidia GPU Driver Setup: Essential Steps for LLM Developers

ยุคนี้ที่ AI มาแรงแบบสุดๆ LLM น่าจะเป็นสิ่งที่ทุกบริษัทพูดถึงกัน หลายๆที่อยากให้ LLM Solution เข้ามามีบทบาทในบริษัทมากขึ้น ไม่ว่าจะเป็นการทำ Chatbot, RAG เป็นต้น สิ่งที่ตามมาก็คือ Solution เหล่านั้นต้องอยู่ใน Infrastructure ของบริ

By matichon maneegard
ทำ Data Extraction จาก image โดยใช้ LLM Multimodal

ทำ Data Extraction จาก image โดยใช้ LLM Multimodal

ในการทำ Data Extraction จากรูปภาพ เช่น สลิปใบเสร็จ, บัตรประชาชน, หรือแบบฟอร์มกระดาษ วิธีดั้งเดิมมักใช้ OCR (Optical Character Recognition) ร่วมกับการเขียน rule หรือ regex เพื่อแยกข้อมูลออกมา ซึ่งยุ่งยากหรือเมื่อรูปแบบข้อมูลเปลี่ยน ซึ่งจริงๆแล้วเรามี

By matichon maneegard