ทีมวิจัยเปิดตัว ReviewBench ซึ่งเป็น benchmark สำหรับ AI ตรวจโค้ดที่ใช้ข้อมูล GitHub pull requests มากกว่า 103.9 ล้านรายการ พร้อมข้อมูลความจริงจากหลายแหล่งและระบบประเมินที่มาตรฐาน ช่วยให้ทีมวัดประสิทธิภาพ AI ตรวจโค้ดได้แม่นยำขึ้น โดยระบบได้รับการตรวจสอบจากวิศวกรระดับสูงและใช้ตัวชี้วัดที่ปรับได้ เช่น Fβ score เพื่อวัดความสมดุลระหว่างความแม่นยำและความครอบคลุม ReviewBench ถูกสร้างขึ้นโดยใช้ข้อมูลจริงจาก GitHub ที่มีขนาดและรูปแบบใกล้เคียงกับข้อมูลจริง พร้อมการตรวจสอบจากวิศวกรระดับสูง ช่วยให้ทีมวัดผลการปรับปรุงระบบได้อย่างมีน้ำหนักมากขึ้น ทีมวิจัยอธิบายว่าระบบนี้สะท้อนความหลากหลายของ pull requests จริง และสามารถวิเคราะห์ผลลัพธ์ของระบบต่างๆ ได้ทั้งในแง่ความแม่นยำ ความครอบคลุม และความเหมาะสมกับความต้องการเฉพาะ เช่น การเน้นปัญหาสำคัญหรือการตรวจหาข้อผิดพลาดเล็กน้อย
สรุปด้วย MAF Local AI · เนื้อหาต้นฉบับเป็นของแหล่งข่าว