Google ร่วมทดสอบโมเดล LLM บน StarSkirmish Bench v0.2 ซึ่งให้โมเดลเขียนบอท StarCraft: Brood War ภายใน 1 ชั่วโมง ผลการแข่งขันแสดงว่า GPT-6 Astra ทำคะแนนสูงสุด 38.5% ตามด้วย Gemini 4 Argon 37-39% ขณะที่มนุษย์เขียนบอทอย่าง Stardust ชนะ 7% ของ GPT-6 Astra โมเดลที่มีประสิทธิภาพสูงสุดคือ GPT-6.1 Sol ที่มีค่าใช้จ่ายต่ำกว่า GPT-6 Astra ถึง 10 เท่า แต่ยังไม่สามารถทำลายบอทที่มนุษย์เขียนได้ แสดงถึงความท้าทายในการสร้างบอทที่ซับซ้อนในเกมที่ต้องใช้การคิดแบบมีเป้าหมาย StarSkirmish Bench v0.2 ใช้ CLI harness ของแต่ละบริษัท พร้อมข้อมูลการฝึกฝนที่แสดงว่าโมเดลที่ฝึกกับบอทระดับ S (Stardust, PurpleWave) ได้ผลลัพธ์ดีกว่า ขณะที่โมเดลบางตัวเลี่ยงการฝึกกับบอทระดับสูง ทำให้คะแนนต่ำกว่า ข้อมูลการแข่งขันแสดงว่าความแปรปรวนของผลลัพธ์ระหว่างรันของโมเดลสูง โดย Gemini 4 Argon มีความแปรปรวนสูงสุด 18 คะแนน ขณะที่ GPT-6 Astra อยู่ที่ 9 คะแนน แสดงถึงความไม่เสถียรของโมเดลบางตัว
สรุปด้วย MAF Local AI · เนื้อหาต้นฉบับเป็นของแหล่งข่าว