Moritz Hardt นักวิทยาศาสตร์คอมพิวเตอร์ชี้ระบบวัด AI (benchmarking) ล้มเหลวตั้งแต่ปี 1987 หลังผลการทดสอบ AI แรกแสดงให้เห็นว่า AI ยังไม่สามารถทำได้ดีกว่าวิธีสถิติแบบง่าย ทำให้เกิดภาวะ AI winter 25 ปี แต่ปี 2012 ผลการทดสอบ ImageNet ช่วยฟื้นฟู AI ด้วยการใช้ neural network ที่ทำได้ดีกว่าอัลกอริทึมอื่น ปัจจุบันการทดสอบ LLM เช่น GPT-6 Astra สร้างความเชื่อวัดทักษะได้ทุกด้าน แต่ผู้เชี่ยวชาญเห็นว่าระบบวัดเสื่อมถอย เพราะผลการทดสอบเปลี่ยนแปลงเมื่อเปลี่ยน dataset ทำให้ไม่สามารถวัดศักยภาพ AI ได้แม่นยำ บริษัทอย่าง OpenAI ยังใช้คะแนนวัดเพื่อโฆษณา แต่ Hardt ชี้ว่าเป็นการใช้งานผิดวัตถุประสงค์ Hardt เสนอว่าระบบวัด AI ต้องเปลี่ยนวิธีการวัดให้เชื่อถือได้ โดยอ้างอิงกรณีที่ AI ทำได้ดีโดยไม่ต้องมีความรู้จริง แต่ยังคงมีการพัฒนาได้จากความบังเอิญ ปัจจุบันความน่าเชื่อถือของระบบวัดลดลงเพราะ LLM ทำได้ดีในทุก benchmark แต่ไม่ใช่เพราะมีความรู้จริง การทดสอบ AI ตั้งแต่ปี 1959 ใช้ punch card วัดการรู้จำตัวอักษร แล้วพัฒนาเป็นระบบ benchmarking ที่เป็นเครื่องมือหลักของ AI 60 ปี แต่ปัจจุบันระบบวัดนี้ไม่สามารถสะท้อนความรู้จริงของ AI ได้ ทำให้เกิดความขัดแย้งในวงการว่าจะปรับระบบวัดให้แม่นยำได้อย่างไร
สรุปด้วย MAF Local AI · เนื้อหาต้นฉบับเป็นของแหล่งข่าว