OpenAI відкриває вихідний код Plant Talk: підключіть ChatGPT, і ваші кімнатні рослини заговорять.

OpenAI нещодавно відкрив вихідний код проекту під назвою Plant Talk, який дозволяє домашнім рослинам «говорити» через ChatGPT. Для мінімальної конфігурації потрібен лише комп’ютер з камерою та мікрофоном, а розширена версія може підключати датчики вологості ґрунту та освітленості Arduino для більш точних даних про здоров’я рослин. (Передісторія: OpenAI оголосив про план «Полагодити Землю», виправляючи помилки в 19 відомих проектах з відкритим кодом, таких як cURL, Python, PyPI.) (Додаткова інформація: витік першого апаратного продукту AI від OpenAI, розумний динамік розпізнає обличчя, спостерігає та купує речі для вас.)

Цього тижня OpenAI офіційно відкрив вихідний код проекту Plant Talk на GitHub під ліцензією Apache 2.0, який може використовувати будь-хто. Офіційне позиціонування — «кімнатна рослина, з якою ви можете спілкуватися за допомогою ChatGPT». Користувачі можуть запитати рослину: «Як ти останнім часом?», «Чи потрібна вода?», і рослина відповість голосом.

Мінімальна конфігурація vs Розширена конфігурація: різниця більша, ніж здається

Апаратний поріг Plant Talk розроблений дуже розумно, але він приховує важливу різницю.

Мінімальна конфігурація, тобто версія, яку, за словами компанії, «може зробити кожен», вимагає лише комп’ютера з веб-камерою та мікрофоном, а також ключа API OpenAI. Камера робить знімки стану рослини, система регулярно проводить структуровані «спостереження» для оцінки здоров’я рослини, а потім через Realtime API рослина «говорить».

Розширена конфігурація призначена для досвідчених збірників: додавання сумісного з Arduino мікроконтролера, ємнісного датчика вологості ґрунту, датчика освітленості LM393, перемичок і макетної плати дозволяє зчитувати реальні дані про вологість, освітленість, CO₂ тощо. Arduino збирає дані про рослину, передає їх ChatGPT, який генерує рекомендації по догляду, а потім зачитує їх за допомогою text-to-speech.

Ключове речення з офіційного README: без Arduino система покладається лише на камеру і точність «набагато нижча» (much less accurate).

Простіше кажучи, вгадувати, чи потребує рослина поливу, за допомогою камери і безпосередньо вимірювати значення датчиком ґрунту — це дві речі з абсолютно різною точністю. Перше більше схоже на демонстраційне демо, а друге — це конфігурація з реальною практичною цінністю.

Codex Desktop — справжній герой цієї демонстрації

Інтерфейс Plant Talk розроблений як «невелика кімната управління рослиною»: панель приладів показує стан рослини, Start camera запускає камеру, Observe now ініціює спостереження, Connect Arduino підключає датчики, Talk to plant починає голосову розмову, Open ambient mode відкриває повноекранний діалог. Більшість користувачів рекомендують увімкнути Ambient Mode, де екран і сама рослина створюють контекст.

Користувачеві потрібно лише відкрити додаток Codex Desktop, ввести один рядок: «Help me make Plant Talk https://github.com/openai/planttalk», а потім дозволити Codex прочитати весь репозиторій, провести вас через кожен крок налаштування, і ви зможете зібрати весь проект.

Рослина — обличчя, а Codex — продукт. Ось що цей проект з відкритим кодом OpenAI хоче продемонструвати.