โมเดล TTT อาจเป็นดินแดนใหม่ใน AI ที่สามารถสร้างได้

Transformers ไม่มีประสิทธิภาพมากเท่าที่ประมาณการในการประมวลผลและวิเคราะห์ข้อมูลจำนวนมากอย่างน้อยกว่าที่ทำการทำงานบนฮาร์ดแวร์พร้อมในร้านและนั่นทำให้สิ่งที่เกิดขึ้นสู้วิกฤติเช่นการใช้พลังงานสูงเมื่อบริษัทสร้างและขยายๆโครงสร้างเพื่อเหมาะสมกับความต้องการของ Transformers

สถาปัตยกรรมที่มีความเป็นพรรณในเดือนนี้คือการฝึกระบบในเวลาทดสอบ (TTT) ซึ่งถูกพัฒนาช่วงหนึ่งปีครึ่งโดยนักวิจัยที่ Stanford UC San Diego UC Berkeley และ Meta ทีมนักวิจัยอ้างว่าโมเดล TTT สามารถประมวลผลข้อมูลมากกว่า Transformers และสามารถกระทำนั้นโดยไม่ต้องใช้พลังงานการคำนวณมากนัก

สถานะที่ซ่อนอยู่ใน Transformers

สิ่งประกอบอย่างพื้นฐานของ Transformers เป็น 'สถานะที่ซ่อนอยู่' ซึ่งเป็นในสารบาญยาวมากของข้อมูล ขณะที่ Transformer ประมวลผลบางอย่าง มันเพิ่มรายการลงตัวที่ซ่อนอยู่เพื่อ 'จำความที่มีการประมวลผลล่าสุดอยู่ได้ ตัวอย่างเช่นหากโมเดลกำลังทำงานผ่านหนังสือสถานะที่ซ่อนอยู่คือค่าอย่างข้อพิจารณาเกินไป (หรือ ชิ้นส่วนของคำ)

"ถ้าคุณคิดของ Transformers ในฐานะสิ่งมีความฉลาด ตัวอย่างเช่น ตารางค้นหา - สถานะที่ซ่อนอยู่ คือสมองของ Transformers " Yu Sun ผู้ช่วยวุฒิการหลังห่างผแถงที่ Stanford พูดกับ TechCrunch "สมองเฉพาะกันนี้ช่วยให้ Transformers มีสมรรภาคความสามรถ เช่นการเรียนรู้ในบริบท"

สถานะที่ซ่อนอยู่เป็นส่วนหนึ่งของเหตุผลที่ทำให้ Transformers ทำให้มีประสิทธิภาพสำหรับลดลง แต่ก็ทำให้ Transformers หยั่งสมองของตน เพื่อ 'พูด' และมีความต้องการเพียงคำเดียวเกี่ยวกับหนังสือที่ Transformers อ่านเพิ่ง ครั้ง โมเดลต้องสกรรมทั้งตารางค้นหาทั้งหมด - ภาระงานอย่างไร้ยความเมตตาที่โอนสู่การอ่านหนังสือทั้งเล่ม