เครื่องมือ open-source ชื่อ claude-real-video ช่วยให้ LLM ดูวิดีโอได้แม่นยำโดยไม่ต้องอัปโหลดไฟล์ ผ่านการวิเคราะห์เฟรมสำคัญ (scene change) แทนการใช้ interval คงที่ พร้อมสร้าง transcript ท้องถิ่นด้วย ffmpeg และ whisper ต่างจาก ChatGPT หรือ Gemini ที่ใช้ interval คงที่ ตัวนี้ใช้การวิเคราะห์การเปลี่ยนแปลงของเฟรมเพื่อเลือกเฟรมสำคัญเท่านั้น รองรับแหล่งวิดีโอทั้ง YouTube, Instagram และไฟล์ทั่วไป ทำงานได้บนระบบปฏิบัติการหลัก พร้อมเปิดใช้งาน MIT license ผู้พัฒนาออกแบบให้ใช้งานผ่าน CLI โดยไม่ต้องพึ่ง API ของบริษัทใด ช่วยลดค่าใช้จ่ายในการใช้งาน LLM สำหรับงานวิเคราะห์วิดีโอ เครื่องมือทำงานโดยดึงเฟรมที่เกี่ยวข้องกับการเปลี่ยนฉาก (scene change) แทนการสุ่มเฟรมทุก 1 วินาที พร้อมตัดเฟรมซ้ำด้วยการเปรียบเทียบพิกเซลจริง ไม่ใช่ hash ภาพ ช่วยลดการส่งข้อมูลซ้ำให้ LLM ที่ไม่จำเป็น ใช้ ffmpeg ดึงวิดีโอและทำ transcript ด้วย whisper พร้อมสร้างไฟล์ MANIFEST.txt ให้ LLM ใช้งานได้โดยตรง ไม่ต้องพึ่ง API ของบริษัทใด รองรับทั้งระบบปฏิบัติการหลัก (Windows, macOS, Linux) และติดตั้งผ่าน pip ได้ทันที
สรุปด้วย MAF Local AI · เนื้อหาต้นฉบับเป็นของแหล่งข่าว