ผู้พัฒนาสร้างภาษาโปรแกรม KillSwitch ซึ่งออกแบบมาเพื่อทดสอบความสามารถของ LLM ในการเขียนและเข้าใจโค้ด โดยใช้คุณสมบัติเช่น ข้อมูลปลอมในเอกสารคำอธิบาย กฎเกณฑ์นับตัวอักษร และการกระตุ้นระบบป้องกันความปลอดภัย ภาษาดังกล่าวเปิดตัวพร้อมตัวแปลและเอกสารที่เก็บไว้บน GitHub ผลการทดสอบพบว่า Claude Opus ทำได้ดีที่สุด ขณะที่โมเดลบางตัวเช่น Fable 5.1 และ Gemini 4 Argon ทำได้แย่เนื่องจากระบบป้องกันความปลอดภัยที่ไวเกินไป ผู้พัฒนาวางแผนสร้างโจทย์ท้าทายใหม่เพื่อทดสอบโมเดลในอนาคต KillSwitch เป็นภาษาที่ใช้การจัดการสแต็ก แต่ออกแบบมาให้ซับซ้อนด้วยการแทรกข้อมูลสุ่มและคำสั่งที่ไม่เกี่ยวข้อง ทำให้ LLM ต้องใช้ความเข้าใจลึกซึ้งกว่าที่เคยทำกับภาษาทั่วไป ตัวอย่างเช่น การเขียนโค้ดเพื่อส่งข้อความ 'Hello World' ต้องใช้การอ้างอิงค่าจากบรรทัดก่อนหน้า ซึ่งเป็นลักษณะเฉพาะของภาษาที่ทำให้โมเดล AI ต้องตีความข้อมูลอย่างซับซ้อน ตัวแปลและเอกสารของ KillSwitch เปิดเผยบน GitHub ผู้ใช้สามารถศึกษาวิธีการใช้งานได้โดยตรง ภาษาดังกล่าวมุ่งเน้นการทดสอบข้อจำกัดของ LLM ด้านการตีความข้อมูลที่ซับซ้อน รวมถึงการตอบสนองต่อคำสั่งที่ไม่ชัดเจน ซึ่งอาจเป็นส่วนสำคัญในการพัฒนาโมเดล AI ที่มีความเข้าใจลึกซึ้งยิ่งขึ้น
สรุปด้วย MAF Local AI · เนื้อหาต้นฉบับเป็นของแหล่งข่าว