Бывший исследователь OpenAI выпускает прототип Flipbook: прямое создание пикселей с помощью моделей видео ИИ

Согласно мониторингу Beating, бывший исследователь OpenAI Зайн Шах и его команда выпустили Flipbook, экспериментальный прототип, который напрямую генерирует пиксели экрана с помощью моделей ИИ, заменяя традиционные веб-технологии, такие как HTML и CSS. Каждый «страница», просматриваемая пользователями, является изображением, сгенерированным ИИ, а при клике по любой области изображения создается новое изображение для дальнейшего исследования. Весь интерфейс лишен HTML-кода, фиксированных ссылок и предопределенных кнопок, даже текст представлен в виде пикселей на изображении. Режим видео основан на открытой модели генерации видео DiT (Diffusion Transformer) от израильской компании Lightricks, оптимизированной для потоковой передачи в 1080p при 24fps на экраны пользователей через WebSocket, с бэкендом, работающим на безсерверных GPU Modal Labs. Шах отметил, что текущая функциональность Flipbook ограничена, и команда разрабатывает его вокруг визуальных объяснений, но это демонстрирует более широкое направление: по мере повышения точности и сохранения состояния моделей, он может расшириться до структурированных пользовательских интерфейсов, включая сценарии программирования. Шах ранее работал в области исследований ИИ и робототехники в OpenAI, позже выступал экспертом по креативным технологиям в Samsung, а также является выпускником YC S13. В команду входят бывшие инженеры Humane и Slack, Эдди Джиао и бывший инженер Apple Дрю О’Кэрр.