Джерело: Yuanchuan Science and Technology Review
Масштабний серіал «Куди йде Ультрамен», який викликав фурор у всьому світі, підійшов до кінця, але на цьому неприємності OpenAI не закінчилися.
Відновлення Сема Альтмана за короткий проміжок часу невіддільне від напруженої роботи Microsoft. З початку цього року Microsoft допомагає Good Brother стати більшим і сильнішим. Він не тільки інвестував додаткові 10 мільярдів доларів, але й мобілізував робочу силу Microsoft Research у великих масштабах, вимагаючи від неї відкласти основні науково-дослідні проєкти та докласти всіх зусиль для впровадження GPT-4 та інших базових великих моделей у продукти, озброївшись OpenAI до зубів.
Але багато хто не знає, що у вересні цього року Пітер Лі, керівник Microsoft Research, отримав секретний проєкт – створити заміну OpenAI. **
Першим, хто «де-OpenAI» став перший масштабний модельний додаток Microsoft Bing Chat.
Як повідомляє The Information, Microsoft намагається поступово замінити модель OpenAI, спочатку інтегровану в Bing, на версію, розроблену самостійно. На конференції розробників Ignite у листопаді Microsoft оголосила, що Bing Chat змінив назву на Copilot, і що тепер він позиціонується на ринку, схожому на ChatGPT — і про це важко було не думати.
Абсолютно новий другий пілот
Однак початковий намір Microsoft полягав не в тому, що технічні можливості OpenAI були недосконалими, і вона не передбачала відмінностей в управлінні OpenAI, і справжня причина трохи смішна:
Тому що технічні можливості OpenAI занадто сильні. **
Доставляти їжу на Lamborghini
Можливість для Microsoft розробити власну велику модель стала провалом OpenAI.
ChatGPT викликає глобальний фурор у той час, коли комп’ютерні вчені OpenAI зайняті роботою над проєктом під кодовою назвою Arrakis для створення розрідженої моделі проти GPT-4.
Це особливий різновид дуже великої моделі: при обробці завдання активуються тільки певні частини моделі. Наприклад, коли користувачеві потрібно згенерувати резюме, модель автоматично активує ту частину, яка найкраще підходить для роботи, замість того, щоб щоразу мобілізувати всю модель.
У порівнянні з традиційними великими моделями, розріджені моделі мають більш високу швидкість спрацьовування і більш високу точність. Більше того, це може значно знизити вартість умовиводу.
У перекладі на людську мову вам більше не потрібно вбивати курку – і це те, що цінує Microsoft. **
Короткий огляд переваг розріджених моделей від Google
Коли громадська думка говорить про вартість великих моделей, вони завжди люблять говорити про 7- або 8-значні витрати на навчання, а також астрономічні витрати на GPU. Але для більшості технологічних компаній модельне навчання та будівництво дата-центрів є лише одноразовими капітальними витратами, і вони не є неприпустимими для того, щоб стиснути зуби. На противагу цьому, висока вартість висновків, необхідних для повсякденних операцій, є першим бар’єром для входу для технологічних компаній. **
Тому що за нормальних обставин велика модель не має такого очевидного ефекту масштабу, як Інтернет. **
Кожен запит користувача вимагає нового обчислення логічного висновку. Це означає, що чим більше користувачів використовують продукт, тим він серйозніший, і вартість обчислювальних потужностей для технологічних компаній також зростатиме в геометричній прогресії.
Раніше Microsoft оновила масштабну модельну програму GitHub Copilot на основі GPT-4, щоб допомогти програмістам у написанні коду за 10 доларів на місяць.
За даними Wall Street Journal, GitHub Copilot втрачає в середньому $20 на місяць через дорогі витрати на виведення, а активні користувачі можуть навіть втрачати $80 на місяць для Microsoft.
GitHub Copilot
Нездатність великих моделей зводити кінці з кінцями є основною причиною власної розробки великих моделей Microsoft. **
Велика модель OpenAI все ще далеко попереду з точки зору технологій, і вже давно займає перше місце в основних списках, але ціною дорогого використання.
Деякі дослідники штучного інтелекту підрахували, що теоретично ціна API GPT-3.5 майже в 3-4 рази вища, ніж у моделі Llama 2-70B з відкритим вихідним кодом, не кажучи вже про повністю оновлений GPT-4.
Однак, за винятком кількох сценаріїв, таких як генерація коду та вирішення складних математичних завдань, більшу частину роботи можна довірити зменшеним версіям та моделям з відкритим вихідним кодом.
Стартап-Summarize.tech є живим прикладом. Він займається наданням інструментів для узагальнення аудіо- та відеоконтенту, має близько 200 000 активних користувачів щомісяця та використовував GPT-3.5 для забезпечення своїх послуг у перші дні.
Пізніше компанія спробувала замінити базову модель на Mistral-7B-Instruct з відкритим вихідним кодом, і виявила, що користувачі не відчули різниці, але щомісячна вартість висновків була знижена з $2000 до менш ніж $1000.
Іншими словами, OpenAI надає клієнтам потужний Lamborghini, але більша частина бізнесу його клієнтів насправді полягає в доставці їжі, що становить «проблему далеко попереду» OpenAI. **
Таким чином, не тільки Microsoft, але і ранні великі клієнти OpenAI, такі як Salesforce і Wix, були замінені більш дешевими технічними рішеннями.
Зниження вартості висновків і те, що «водіння Audi дешевше, ніж Yadea» стало проблемою, яку має вирішити OpenAI, тому на світ з’явився згаданий вище розріджений модельний проект Arrakis.
Насправді не тільки OpenAI, але й Google займається суміжними дослідженнями, і вже досягла прогресу. На конференції Hot Chips в серпні Джефф Дін, головний науковий співробітник Google і колишній глава Google Brain, зазначив у своєму виступі, що витончення стане однією з найважливіших тенденцій в наступному десятилітті.
Джефф Дін також опублікував статті про розріджені моделі
Саме висока ціна того, що ми далеко попереду, змушує Microsoft задуматися про можливість «самозабезпечення», і OpenAI фактично помітила цю проблему:
На конференції розробників 6 листопада OpenAI запустила GPT-4 Turbo, який за один раз знизив ціну на 1/3, що вже нижче, ніж Claude 2, велика модель із закритим вихідним кодом, розроблена її найбільшим конкурентом Anthropic.
«Lamborghini» від OpenAI недостатньо дешевий, але, принаймні, він набагато доступніший за інші автомобілі.
На жаль, через 11 днів фарс, який може увійти в історію науки і техніки, значно зменшує ці зусилля. За повідомленнями іноземних ЗМІ, у вихідні, коли Ultraman вів переговори про повернення ради директорів OpenAI, понад 100 клієнтів зв’язалися з Anthropic.
Парадокс комерціалізації
Навіть без цих громадянських заворушень криза відтоку клієнтів OpenAI все ще може існувати.
Це починається з ідей дизайну моделей та продуктів OpenAI:
Не так давно OpenAI закинула GPT у спільноту розробників. Користувачі можуть скористатися природною мовою для налаштування чат-ботів з різними функціями. Станом на день відновлення Ultraman користувачі завантажили 19 000 чат-ботів GPT з різними функціями, із середньою щоденною продуктивністю 1 000+, що можна порівняти з великою спільнотою.
GPT з дуже різними функціями
Як ми всі знаємо, модель GPT не має відкритого вихідного коду, і існує «проблема далеко попереду». Але для індивідуальних розробників і малого бізнесу OpenAI має дві переваги, з якими моделі з відкритим вихідним кодом не можуть зрівнятися:
Одна з них – низький поріг розвитку «з коробки». **На закордонних форумах деякі невеликі команди, які використовують базову модель OpenAI для розробки, описують свої продукти як «обгортки». Через потужні універсальні можливості моделі GPT іноді потрібно лише розробити інтерфейс користувача для моделі, а потім знайти відповідний сценарій, щоб отримати замовлення.
Якщо розробникам потрібно додатково налаштувати свої моделі, OpenAI також пропонує легку технологію тонкого налаштування моделей під назвою LoRA (Low-rank Adaptive).
Простіше кажучи, загальний принцип LoRA полягає в тому, щоб спочатку «розібрати» велику модель, а потім провести адаптивне навчання під задану задачу, щоб поліпшити здатність великої моделі під завдання. LoRA в основному зосереджується на коригуванні внутрішньої структури моделі і не вимагає занадто багато галузевих даних для тонкого налаштування.
Однак при кастомізації моделей з відкритим вихідним кодом розробники іноді використовують повне тонке налаштування. Незважаючи на те, що він краще справляється з конкретними завданнями, повне тонке налаштування вимагає оновлення кожного параметра попередньо навченої великої моделі, що вимагає великої кількості даних.
На противагу цьому, модель OpenAI явно більш дружня до середньостатистичного розробника.
Принципова схема принципу LoRA
По-друге, як зазначалося раніше, велика модель не має ефекту масштабу, але це речення фактично має передумову - тобто коли запит на обчислення є достатнім. **
Тести показали, що чим менше обчислювальних запитів, що надсилаються на сервер за партію, тим менш ефективним є використання обчислювальних потужностей, що, у свою чергу, призводить до стрімкого зростання середньої вартості обчислень.
OpenAI може об’єднувати мільйони обчислювальних запитів від усіх клієнтів одночасно, але окремим розробникам і малим і середнім підприємствам важко це зробити, оскільки активних користувачів не так багато.
Простіше кажучи, це все одно, що відправити експрес-доставку, також з Шанхаю до Пекіна, у OpenAI багато клієнтів, і вони можуть відправити 100 штук за раз, а інші моделі не можуть скласти так багато.
Аналітики консалтингової компанії Omdia прокоментували, що OpenAI отримала набагато більше прибутку від економії на масштабі, ніж більшість стартапів, які розміщують невеликі моделі з відкритим вихідним кодом на AWS або Azure.
Тому, хоча феномен «ChatGPT знищить групу невеликих компаній, як тільки його оновлять» об’єктивно існує, все ще є багато розробників, які готові грати в азартні ігри.
Деймон Чен, засновник PDF.ai, став прямою жертвою, а основна функція PDF.ai полягає в тому, щоб змусити модель читати PDF-файли, і в результаті ChatGPT також оновив цю можливість наприкінці жовтня. Але Деймон Чен дуже байдужий: «Наша місія не в тому, щоб стати черговим єдинорогом, вистачить мільйонів доларів річного доходу».
Але для великих компаній, які так само багаті, як країна, всі ці переваги OpenAI стали недоліками. **
Наприклад, OpenAI має перевагу в легкій розробці, але оскільки підприємства продовжують заглиблюватися в сцену і потребують подальшої кастомізації, незабаром він знову зіткнеться з проблемою «далеко попереду»:
Оскільки GPT-4 настільки складний і великий, глибока кастомізація вимагає мінімум 2 мільйони доларів і місяців часу на розробку. На противагу цьому, вартість повного доопрацювання моделі з відкритим вихідним кодом в основному обчислюється сотнями тисяч доларів, що, очевидно, не є тим же порядком. **
Крім того, великі клієнти, такі як Microsoft і Salesforce, мають достатньо обчислювальних запитів самостійно, і немає необхідності працювати з іншими, щоб зменшити витрати, через що OpenAI не має переваги з боку витрат. Навіть для стартапів зі збільшенням кількості користувачів знижується економічна ефективність використання моделей OpenAI.
Стартап з 200 000 активних користувачів щомісяця, згаданий вище, Summarize.tech успішно знизив витрати більш ніж на 50% за допомогою Mistral-7B-Instruct з відкритим вихідним кодом.
Ви знаєте, невелика модель з відкритим вихідним кодом з параметрами 7B може працювати і на «старій» Nvidia V100 - графічний процесор був випущений в 2017 році і навіть не входить в список контролю експорту чіпів США.
Summarize.tech
З точки зору бізнесу, саме великі компанії з глибокими кишенями можуть підтримувати дохід компанії, і те, як захопити тих клієнтів, які «амбітні заробити мільйони доларів за кілька років» — це пропозиція, з якою OpenAI має зіткнутися.
Подія Flashpoint
Для OpenAI може здатися дивним «зіткнутися з проблемою комерціалізації», адже до початку 2023 року тема заробітку не стоїть на порядку денному OpenAI, не кажучи вже про проведення будь-якої конференції розробників.
У березні президент OpenAI Грег Брокман, старший брат, якого звільнили разом з Альтманом минулого тижня, дав інтерв’ю. Він визнає, що OpenAI насправді не замислювалася про створення інструментів загального призначення або великомасштабних модельних додатків у вертикалях. Хоча він намагався, це не відповідало ДНК OpenAI, і їхніх сердець там не було.
Після драми, що тривала чотири з половиною дні, Брокман повернувся
ДНК тут фактично відноситься до культури вчених, які є суто ідеалістичними і захищають людство від загрози суперінтелекту. Зрештою, заснування OpenAI багато в чому ґрунтується на «спільній декларації» Маска та Ультрамена у 2015 році – безпечніший шлях АІ**** буде в руках науково-дослідних установ, які не забруднюються мотивами прибутку. **
Під прапором ідеалізму OpenAI успішно набрала команду провідних вчених на чолі з Іллею Суцкевером, навіть незважаючи на те, що Альтман запропонував їм менше половини зарплати в Google.
Ключовим фактором, який дозволив OpenAI розпочати свою трансформацію, став саме реліз ChatGPT.
Спочатку керівники OpenAI не розглядали ChatGPT як комерційний продукт, але назвали його «стриманим попереднім переглядом дослідження», яке має на меті зібрати дані про те, як звичайні люди взаємодіють зі штучним інтелектом, щоб допомогти розробити GPT-4 у майбутньому. Іншими словами, ChatGPT може стати настільки популярним, що OpenAI цього не очікувала.
Несподіваний вибух все змінив і спонукав Альтмана і Брокмана звернутися до акселерації. **
Так званий акселератизм можна розуміти просто як необмежений ентузіазм щодо комерціалізації AGI та підготовку до четвертої промислової революції. З іншого боку, безпекізм виступає за обережний підхід до розробки ШІ і завжди зважує загрозу ШІ для людства.
Анонімний співробітник OpenAI сказав в інтерв’ю The Atlantic: «Після ChatGPT є чіткий шлях до доходу та прибутку. Ви більше не можете захищати свій статус «ідеалістичної дослідницької лабораторії». Там є клієнти, які чекають на обслуговування. "
ChatGPT також породив «найкраще братство в технологіях»
Цей зсув дозволив OpenAI вийти на незнайому територію, продовжуючи перетворювати R&D на популярні продукти.
Для вежі зі слонової кістки, яка колись вихвалялася ідеалізмом, робота, очевидно, була занадто «приземленою». Наприклад, Ілля, технологічний лідер, є комп’ютерником, а не продакт-менеджером, а також відповідав за теоретичні дослідження в Google, а відповідальність за реалізацію продукту лежить на команді Google Brain на чолі з Джеффом Діном.
До релізу ChatGPT OpenAI був більше схожий на невелику майстерню кількох заможних вчених та інженерів, але минув час, і вони стали серйозною бізнес-організацією.
За останній рік OpenAI додала сотні нових співробітників, щоб прискорити комерціалізацію. За даними The Information, загальна кількість співробітників OpenAI, ймовірно, перевищила 700 осіб. Навіть якщо ви не думаєте про те, щоб заробляти гроші, ви повинні знайти спосіб впоратися з операційними витратами – зрештою, вчені повинні виплачувати свої іпотечні кредити.
Короткий і жорстокий інцидент «де Ультрамен?» не вирішив проблему, а лише загострив її: що це за організація OpenAI?
В інтерв’ю CNBC Маск якось описав компанію, яку він заснував, а потім змести його: «Ми заснували організацію з порятунку тропічних лісів Амазонки, але потім вона запустила лісовий бізнес, вирубала ліс і продала його». "
Це протиріччя вивело OpenAI в довге лідерство, а також породило цей фарс, який приголомшив щелепи всіх.
На початку цього року репортери Wired брали інтерв’ю у Ультрамена протягом певного періоду часу і неодноразово піднімали це питання протягом цього часу, але Ультрамен наполягав на тому, що «наша місія не змінювалася» кожного разу. Але коли Ілля, який вірить у безпеку, сповзає на колінах, а Ультрамен повертається, стає зрозуміло, що OpenAI зробила свій вибір.
