-
เฟรมเวิร์ก BitNet LoRA ของ Tether ช่วยให้การฝึกโมเดล AI บนสมาร์ทโฟน GPU และอุปกรณ์ผู้บริโภคเป็นไปได้ง่ายขึ้น
-
ระบบลดการใช้หน่วยความจำและเพิ่มประสิทธิภาพ โดยความต้องการ VRAM ลดลงสูงสุดถึง 77.8%
-
ผู้ใช้สามารถปรับแต่งโมเดลที่มีพารามิเตอร์สูงสุด 13B บนอุปกรณ์มือถือ ขยายความสามารถของ AI ขอบเขต
Tether ประกาศเปิดตัวเฟรมเวิร์ก AI ใหม่ผ่านแพลตฟอร์ม QVAC Fabric ซึ่งรองรับการฝึก BitNet LoRA ข้ามแพลตฟอร์มบนอุปกรณ์ผู้บริโภค การอัปเดตนี้ทำให้โมเดลที่มีพารามิเตอร์พันล้านสามารถรันบนสมาร์ทโฟนและ GPU ได้ ผู้บริหาร Paolo Ardoino แบ่งปันความคืบหน้าโดยเน้นว่าช่วยลดต้นทุนและเปิดโอกาสให้เข้าถึงเครื่องมือ AI ได้มากขึ้น
การฝึก AI ข้ามแพลตฟอร์มขยายการเข้าถึง
การอัปเดต QVAC Fabric รองรับการปรับแต่ง BitNet LoRA ข้ามแพลตฟอร์ม ซึ่งอนุญาตให้โมเดล AI ทำงานบนฮาร์ดแวร์และระบบปฏิบัติการต่าง ๆ ได้
โดยเฉพาะอย่างยิ่ง ระบบรองรับ GPU จาก AMD, Intel และ Apple รวมถึงชิปมือถือ นอกจากนี้ยังใช้ Vulkan และ Metal เป็นแบ็กเอนด์เพื่อความเข้ากันได้
ตามคำกล่าวของ Tether นี่เป็นครั้งแรกที่ BitNet LoRA ทำงานได้บนอุปกรณ์หลากหลายเช่นนี้ ส่งผลให้ผู้ใช้สามารถฝึกโมเดลบนฮาร์ดแวร์ทั่วไปได้
ประสิทธิภาพดีขึ้นบนฮาร์ดแวร์ผู้บริโภค
ระบบลดความต้องการด้านหน่วยความจำและการคำนวณโดยการรวมเทคนิค BitNet และ LoRA เข้าด้วยกัน BitNet บีบอัดน้ำหนักโมเดลเป็นค่าที่เรียบง่าย ในขณะที่ LoRA จำกัดจำนวนพารามิเตอร์ที่สามารถฝึกได้
ร่วมกันแล้ว วิธีการเหล่านี้ลดความต้องการฮาร์ดแวร์อย่างมาก ตัวอย่างเช่น การ inference บน GPU ทำงานเร็วขึ้นสองถึงสิบเอ็ดเท่ากว่าบน CPU บนอุปกรณ์มือถือ
นอกจากนี้ การใช้หน่วยความจำลดลงอย่างมากเมื่อเทียบกับโมเดลความแม่นยำเต็ม Benchmark แสดงให้เห็นว่าการใช้ VRAM น้อยลงสูงสุดถึง 77.8% เมื่อเทียบกับระบบที่คล้ายกัน
Tether ยังแสดงให้เห็นว่าการปรับแต่งโมเดลบนสมาร์ทโฟนเป็นไปได้ ทดสอบพบว่าโมเดลที่มีพารามิเตอร์ 125 ล้านสามารถฝึกได้ภายในไม่กี่นาทีบนอุปกรณ์เช่น Samsung S25
อุปกรณ์มือถือและอุปกรณ์ขอบเขตจัดการโมเดลขนาดใหญ่ขึ้น
เฟรมเวิร์กนี้ช่วยให้โมเดลขนาดใหญ่สามารถทำงานบนอุปกรณ์ขอบเขตได้ Tether รายงานว่าการปรับแต่งโมเดลที่มีพารามิเตอร์สูงสุด 13 พันล้านบน iPhone 16 เป็นไปได้สำเร็จ
นอกจากนี้ ระบบยังรองรับ GPU มือถือเช่น Adreno, Mali และ Apple Bionic ซึ่งขยายขอบเขตการพัฒนา AI นอกเหนือจากฮาร์ดแวร์เฉพาะทาง
ตามคำกล่าวของ Paolo Ardoino การพัฒนา AI มักขึ้นอยู่กับโครงสร้างพื้นฐานราคาแพง เขากล่าวว่าเฟรมเวิร์กนี้เปลี่ยนความสามารถไปสู่การใช้งานบนอุปกรณ์ในท้องถิ่นมากขึ้น
Tether เสริมว่าระบบนี้ช่วยลดการพึ่งพาแพลตฟอร์มศูนย์กลาง และอนุญาตให้ผู้ใช้ฝึกและประมวลผลข้อมูลโดยตรงบนอุปกรณ์ของตนเอง
