Штучний інтелект освоїв мову. Наступний — фізичний світ

Наступний великий прорив у штучному інтелекті не з’явиться завдяки кращим мовним моделям. Він виникне з машин, які розуміють, як працює фізичний світ і як його контролювати.

Рекомендоване відео

Я роками думав про це, спершу як імунолог в Оксфорді, вивчаючи, як імунні мережі навчаються через зворотній зв’язок, а не інструкції, потім як інвестор, який керував найбільшим посівним інвестицією Khosla Ventures з часу OpenAI, у світову лабораторію моделювання під назвою General Intuition.

Обмеження для тілесного ШІ — це не обчислювальні ресурси чи архітектура. Це специфічний тип даних, який майже не існує.

Відпустити Джинна

Раніше цього року Google запустила Project Genie і спричинила падіння всього ринку ігор. Ринок сприйняв це як загрозу Unity, TakeTwo Interactive, Roblox, усьому процесу створення контенту — штучний інтелект іде на знищення розробників ігор. Але зводити це до ігрових збоїв — все одно що дивитися презентацію першого iPhone і робити висновок, що Apple йде за Nokia. Справжня стратегія — володіння кожним просторовим навантаженням на планеті.

Що розкриває руку Google — це не те, що Genie робить добре, а те, на що він йде на компроміс: середовища, що тривають лише кілька хвилин, помітна затримка, фізика, яка поводиться дивно. На даний момент ці обмеження є прийнятними, коли справжня мета — не розваги. Google чітко сказав, що Genie 3 — «ключовий крок на шляху до AGI», інфраструктура для тренування SIMA, їхнього універсального агента, який потребує безліч різноманітних середовищ для навчання навігації, маніпуляцій з об’єктами та реальної фізики. Створення об’єктів під час сесії та зміна умов навколишнього середовища «на льоту» — не функція гри. Це генератор навчальної програми для підкріплювального навчання.

Що побудувала Google — це фабрика середовищ, система, яка зводить місяці ручного кодування, необхідного для створення тренувальних симуляцій, до кількох секунд текстового запиту.

Переходячи за межі екранів

Щоб зрозуміти, чому ця різниця важлива, потрібно віддалитися. Попри всі зміни цифрової революції, мало що змінилося у тому, як ми фізично взаємодіємо з реальністю. Перехід від ранніх настільних комп’ютерів до смартфона і архітектури трансформерів був величезним у плані потоку інформації. Але ми все ще здебільшого торкаємося скляних екранів.

Подумайте про білку за вашим вікном, яка стрибкає з гілки на гілку, коригуючи політ через вітер і гнучкість. Вона має надзвичайно складну внутрішню модель фізики: гравітацію, імпульс, тертя, і може планувати складні послідовності дій. Але у неї немає мови. Вона просто знає, так само, як знання існувало задовго до того, як його можна було описати.

Штучний інтелект майже повністю ігнорує цей тип знань. Сучасні великі мовні моделі можуть писати сонети і виправляти код. Але якщо попросити їх згорнути рушник, ви побачите різницю між знанням про світ і знанням, як діяти в ньому. Мова — це лише стиснення людського досвіду. Текст охоплює лише тонку частину того, що ми знаємо.

Моделі світу, нейронні мережі, навчені розуміти і передбачати фізичну реальність, обіцяють змінити цю рівновагу. Ян Лекун це розуміє і проголосив, що «LLMs — це в основному глухий кут у питанні суперінтелекту», перед тим як покинути Meta і заснувати власний стартап з моделювання світу. Fei-Fei Li’s World Labs нещодавно випустила Marble, що генерує 3D-середовища. Обидва розуміють, що просторовий інтелект — це наступна межа ШІ.

Але жоден з них не вирішив обмеження: у них немає даних для створення агентів.

Навчання агента вимагає даних, що залежать від дій. Не лише того, як виглядав світ, а й того, що зробив хтось і що сталося далі: спостереження, рішення, дія, наслідки. Повний цикл. Переходу до агентів потрібні мільйони годин людських рішень, зафіксованих з джерела, узгоджені з результатами змін стану, з вибором для крайніх випадків.

Руки — останнє обмеження

Можливо, відповідь — ігри. Вони забезпечують повні записи людської діяльності, кожен ввід зафіксований і позначений, у середовищах, що враховують фізику і прийняття рішень у умовах невизначеності. Мільйони годин людського судження вже оцифровані.

Найцінніше тут — не фізика. Це людська інтуїція. Фізичний двигун моделює, як рухається дрон; він не може змоделювати, як реагує досвідчений оператор, коли його здивують. У хірургії — це відчуття, як тканина реагує на скальпель. Навчання на людських рішеннях дозволяє зібрати експертизу, яку неможливо описати словами, лише показати і відчути.

Якщо зробити це правильно, наслідки будуть такими ж значущими, як і те, що програмне забезпечення зробило з інформацією.

Коли машина може навчитися маніпуляційній задачі за кілька годин демонстрації замість місяців програмування, економіка виробництва змінюється. Малі серії стають життєздатними. Індивідуальні товари коштують стільки ж, скільки масові товари сьогодні. Знання майстра-електрика можна застосувати у тисячах міст одночасно. Найкращий хірург може масштабувати свій досвід у сільські лікарні, де його зараз немає. Обмеженням ніколи не були скальпелі. Це були руки.

Сільське господарство, логістика, догляд за літніми — кожна сфера, де фізичні навички є дефіцитними, стає кандидатом на трансформацію. Спільна ідея: експертиза, закріплена у людському тілі, стає передаваною.

Цифрова революція зробила інформацію безкоштовною. Революція світової моделі зробить можливості безкоштовними. Не можу уявити більш важливу ставку.