
Self-Host LLM ใช้การ์ดจอใบไหนดี
ทีม Float16 ได้ทำการ Benchmark ตัวเลขออกมาและสรุปอย่างรวดเร็วได้ดังนี้ GPT-OSS 120B GPU Model Card Max Conccurent Min Concurrent H100 1 32 2 H100 2 128 16 B200 1 64 4 B200 2 256 32 PRO 6000 Blackwell 1 24 2 PRO 6000 Blackwell 2 96 16