Google выпустила открытый модель Gemma 4 12B, которая может работать локально на потребительском ноутбуке с 16 ГБ памяти

Google доповнив випуск сімейства Gemma 4 пропуском: нова модель з 12B параметрів потребує лише 16GB пам’яті для локального запуску на споживчому ноутбуці, офіційні бали близькі до майже вдвічі більшої версії 26B MoE.
(Передісторія: Google випустила новий AI-додаток Dreambeans! Зробіть своє повсякденне життя унікальною «кастомізованою» історією)
(Додатковий фон: Google активно інвестує у AI! Alphabet розширює капіталізацію до 85 мільярдів доларів, отримавши інвестиції від Berkshire на сотні мільярдів доларів)

3 червня Google випустила Gemma 4 12B, ця модель не вимагає високих апаратних характеристик — достатньо комп’ютера з 16GB системної пам’яті (RAM) або відеопам’яті (VRAM), щоб запускати її локально без дорогих AI-ускорювачів, що коштують десятки тисяч доларів.

Пропуск у сімействі Gemma 4

У квітні цього року Google вперше представила сімейство Gemma 4 з чотирьох моделей: оптимізовані для мобільних пристроїв E2B і E4B, а також серверні 26B MoE і 31B Dense. Це лінійка продуктів, що охоплює легкий край на периферії та важкий у хмарі, але між ними залишився явний пропуск: мобільна версія занадто легка, а версії понад 26B вимагають відповідного обладнання, тому для локальних ноутбуків майже немає варіантів.

12B саме для заповнення цієї прогалини.

Додатково: 26B MoE — це «гібридна модель експертів», де MoE означає: модель викликає окремих експертів за потребою, не залучаючи всі параметри під час кожного запиту. Простими словами, ця архітектура дозволяє активувати лише підмножину модулів під час обчислень, і кожен токен фактично використовує близько 4B параметрів. Але за це доводиться платити: всі 260 мільярдів параметрів мають бути попередньо завантажені у пам’ять для швидкої маршрутизації та обчислень, тому пам’ять займає майже стільки ж, скільки і відповідна щільна модель.

31B Dense — це «щільна модель», яка використовує всі параметри під час кожного запиту. Простими словами, тут немає економії — кожна відповідь виконується максимальною потужністю. У порівнянні, реальне споживання пам’яті Gemma 4 12B становить близько 8,1GB, що приблизно вдвічі менше, ніж у 26B MoE.

Одночасно, сімейство Gemma 4 використовує ліцензію Apache 2.0, яку цього року запровадили, — відкриту ліцензію, що дозволяє комерційне використання, модифікацію та повторне поширення. Розробники можуть безпосередньо запускати її у своїх продуктах без окремого дозволу.

«Майже так само потужний»

У своїй заяві Google стверджує, що Gemma 4 12B демонструє «майже таку ж потужність» у багатьох бенчмарках, порівняно з версією 26B MoE, що у два рази більша. Офіційні результати тестів охоплюють GPQA Diamond (наукове мислення для аспірантів), MMLU Pro (загальні знання з різних галузей), DocVQA (візуальні питання до документів) та інші показники, і цифри справді наближаються до 26B версії.

Однак кілька моментів у цих цифрах варті уваги.

По-перше, це офіційні бенчмарки Google, які ще не були незалежно повністю відтворені сторонніми організаціями. Результати — це стартова точка, а не фінішна, і реальні сценарії застосування можуть відрізнятися більшою або меншою мірою. По-друге, «16GB для запуску» — це технічна правда, але фактичне споживання пам’яті становить близько 8,1GB, що для звичайного ноутбука з відкритими браузером і офісними програмами є досить обмеженим запасом, і не кожен зможе без проблем запустити.

Gemma 4 12B — це також мультимодальна модель, яка використовує уніфіковану архітектуру без кодера, тобто одна й та сама модель може безпосередньо обробляти текст, зображення, аудіо та відео, без додаткових компонентів.