Зосереджений інтелект: нова сімейство моделей Bonsai AI дозволяє високопродуктивний штучний інтелект поза дата-центром

Коротко

PrismML вийшла з режиму прихованого запуску та запустила Bonsai — крихітну модель відкритого коду, яка демонструє сильний інтелект для своїх розмірів і здатна працювати на споживчому обладнанні.

PrismML, лабораторія дослідження ШІ зі штату Каліфорнія, представила нову родину моделей Bonsai на 1 біті, створених для того, щоб надавати передовий інтелект безпосередньо пристроям, де люди живуть і працюють, а не обмежувати ШІ великими дата-центрами

Діючи на основі досліджень, проведених у Caltech, PrismML заявила, що її робота зосереджена на максимізації «щільності інтелекту» — показника корисних можливостей, які модель може надати на одиницю розміру та займаного місця під час розгортання. Такий підхід контрастує із традиційною розробкою ШІ, яка зазвичай робить акцент на збільшенні розміру моделі та кількості параметрів ціною керованості розгортання та ефективності.

Флагманська модель лабораторії, 1-bit Bonsai 8B, має повноцінний 1-бітний дизайн у всіх компонентах, включно з embedding’ами, рівнями attention, рівнями MLP та вихідною «head»-частиною, без рівнів вищої точності як fallback. За 1,15 GB модель приблизно у 14 разів менша за порівнянні 16-бітні моделі в тому ж класі параметрів, однак PrismML повідомляє, що вона зберігає конкурентоздатну продуктивність на стандартних бенчмарках. Зменшений розмір дає змогу розгортати модель на пристроях на кшталт iPhone, iPad і Mac, а також на звичайних GPU, забезпечуючи швидше виконання висновків і менше споживання пам’яті, ніж традиційні великомасштабні моделі.

PrismML підкреслює, що прорив — це не лише про продуктивність, а й про те, де саме може працювати ШІ. Менші та ефективні моделі дозволяють застосунки з нижчою затримкою, покращену приватність завдяки обчисленням на пристрої та збереження працездатності в автономному режимі або в середовищах із обмеженою пропускною здатністю

Потенційні застосування включають постійні агенти на пристрої, робототехніку в реальному часі, корпоративних copilots і AI-орієнтовані інструменти, призначені для безпечних або ресурсно-обмежених середовищ. PrismML стверджує, що концентрований інтелект розширює простір для проєктування ШІ, роблячи системи більш чутливими, надійними та широко доступними для розгортання.

Розширюючи Bonsai: менші моделі на 1 біті розширюють ефективність і інтелект для edge-пристроїв

Окрім Bonsai 8B, PrismML представила менші моделі 1-bit Bonsai 4B і 1.7B, які переносять ті самі принципи ефективності та щільності інтелекту на зменшені розміри моделей. Ранні демонстрації показують високу пропускну здатність, енергоефективність і конкурентоздатну точність на бенчмарках у всій родині. Лабораторія також зазначила, що моделі ефективно працюють на наявному комерційному обладнанні, а майбутні пристрої, оптимізовані під інференс на 1 біті, можуть забезпечити ще більші виграші в ефективності.

Реліз PrismML відображає ширший зсув у розробці ШІ: акцент робиться на концентрованому інтелекті та переносимості, а не лише на масштабі. Лабораторія уявляє майбутнє, у якому передовий ШІ безперешкодно працюватиме як на хмарних, так і на edge-пристроях, роблячи розумні системи доступними там, де вони потрібні. Моделі 1-bit Bonsai доступні за ліцензією Apache 2.0, що підтримує розгортання на пристроях Apple, GPU NVIDIA та на різноманітних інших платформах.