Hacker News·
Beam เปิดตัวแพลตฟอร์ม AI Serverless รองรับ GPU 4090s พร้อมตัวอย่างใช้งาน
Beam ผู้ให้บริการแพลตฟอร์ม AI ประกาศเปิดตัวแพลตฟอร์ม Serverless ที่รองรับ GPU 4090s และ H100s พร้อมตัวอย่างโค้ดสำหรับใช้งานโมเดล LLM ผ่าน API ที่รองรับการประมวลผลแบบ Parallelization ถึง 100 คอนเทนเนอร์ แพลตฟอร์มใช้ Beta9 เป็นเครื่องมือ Open-source ที่ให้ผู้ใช้ตั้งค่าเองได้ฟรี หรือเลือกใช้บริการ Managed ผ่าน Beam ผู้ใช้สามารถสร้างคอนเทนเนอร์แยกต่างหากเพื่อวิ่งโค้ดที่สร้างโดย LLM หรือตั้งค่าอัตโนมัติสำหรับโมเดลที่กำหนดเองได้ พร้อมระบบ Task Queue ที่รองรับการส่งงานแบบ Background ด้วยการตั้งค่าเพียงไม่กี่บรรทัด แพลตฟอร์มยังมีฟีเจอร์ Scale-to-Zero ที่ทำงานแบบ Serverless ตั้งแต่เริ่มต้น
AIServerlessGPU
อ่านต่อ →