เปิดตัว DiffusionGemma-Jev บน Cloud Run ด้วย GPU NVIDIA รองรับการประมวลผลแบบ real-time

นักพัฒนาเผยแพร่การตั้งค่าใช้งาน DiffusionGemma-Jev (djev) บน API TypeSafe AI ผ่าน Cloud Run พร้อม GPU NVIDIA RTX PRO 6000 Blackwell หรือ L4 รองรับการประมวลผลภาพแบบ real-time ผ่าน API /v1/systemone พร้อมตัวอย่างแอปพลิเคชันที่ใช้งานได้ทันที เช่น /snake, /dino, /tetris และ /vision ซึ่งเป็นไฟล์ HTML ที่ไม่ต้องพึ่งพาข้อมูลภายนอก ระบบใช้ GPU 80Gi พร้อม vLLM และ FlashInfer เพื่อเพิ่มประสิทธิภาพการประมวลผล โมเดลขนาด 17.5 GB ถูกโหลดเข้า RAM ผ่าน /dev/shm แบบ asynchronous ขณะที่ Python กำลัง import โมเดล

สรุปด้วย MAF Local AI · เนื้อหาต้นฉบับเป็นของแหล่งข่าว