vkhosla представляє 1-бітову модель Bonsai 8B, яка займає всього 1,15 ГБ пам’яті

Новини ME: Повідомлення, 1 квітня (UTC+8). Нещодавно автор vkhosla у соціальних мережах розповів про модель із 1-бітними вагами під назвою 1-bit Bonsai 8B. За його словами, використання пам’яті цієї моделі становить лише 1.15 GB, а її щільність інтелекту (intelligence density), як стверджується, перевищує відповідну модель із повною розрядністю щонайменше у 10 разів. У матеріалі зазначено, що на граничному обладнанні обсяг моделі зменшено у 14 разів, швидкість підвищено у 8 разів, а енергоефективність — у 5 разів, і водночас, порівняно з іншими моделями, вона все ще зберігає конкурентоспроможність. Повідомляється також, що ця модель має кращу стиснюваність, швидше працює, має менший обсяг і вищу енергоефективність, ніж модель, яку Google оголосила напередодні. У вихідному тексті не наведено конкретні бенчмарки порівняння продуктивності моделі, ініціатора випуску, деталей технічної реалізації або повних результатів оцінювання. (Джерело: InFoQ)