Character.AI Memperkenalkan Teknologi Video AI Waktu Nyata dengan TalkingMachines

Rebeca Moen

Jul 04, 2025 04:27

Character.AI memperkenalkan TalkingMachines, sebuah terobosan dalam pembuatan video AI real-time, memanfaatkan model difusi canggih untuk animasi karakter yang interaktif dan berbasis audio.

Character.AI telah mengumumkan kemajuan signifikan dalam generasi video waktu nyata dengan peluncuran TalkingMachines, sebuah model difusi autoregresif yang inovatif. Teknologi baru ini memungkinkan pembuatan video interaktif yang digerakkan oleh audio, mirip FaceTime, yang memungkinkan karakter untuk bercakap-cakap secara waktu nyata dalam berbagai gaya dan genre, seperti yang dilaporkan oleh Blog Character.AI.

Merevolusi Generasi Video

TalkingMachines dibangun di atas pekerjaan sebelumnya Character.AI, AvatarFX, yang mendukung pembuatan video di platform mereka. Model baru ini membuka jalan bagi interaksi visual yang imersif dan real-time yang didorong oleh AI serta karakter animasi. Dengan memanfaatkan hanya sebuah gambar dan sinyal suara, model ini dapat menghasilkan konten video dinamis, membuka kemungkinan baru untuk hiburan dan media interaktif.

Teknologi Di Balik TalkingMachines

Model ini memanfaatkan arsitektur Diffusion Transformer (DiT), menggunakan metode yang dikenal sebagai distilasi pengetahuan asimetris. Pendekatan ini mengubah model video berkualitas tinggi yang bersifat bidirectional menjadi generator cepat dan real-time. Fitur kunci meliputi:

• Difusi yang Sesuai Aliran: Dilatih sebelumnya untuk mengelola pola gerak yang kompleks, dari ekspresi halus hingga gerakan dinamis.
• Perhatian Silang Berbasis Audio: Modul audio dengan 1,2 miliar parameter yang menyelaraskan suara dan gerakan secara rumit.
• Perhatian Kausal Spars: Mengurangi memori dan latensi dengan fokus pada bingkai masa lalu yang relevan.
• Distilasi Asimetris: Menggunakan model difusi dua langkah yang cepat untuk generasi panjang tak terbatas tanpa kehilangan kualitas.

Implikasi untuk Masa Depan

Terobosan ini melampaui animasi wajah, membuka jalan bagi karakter AI audiovisual interaktif. Ini mendukung berbagai gaya, dari fotorealistik hingga anime dan avatar 3D, dan siap untuk meningkatkan streaming dengan fase berbicara dan mendengarkan yang alami. Teknologi ini meletakkan dasar untuk peran bermain, penceritaan, dan pembangunan dunia interaktif.

Meningkatkan Kemampuan AI

Penelitian Character.AI menandai beberapa kemajuan, termasuk generasi waktu nyata, distilasi yang efisien, dan skalabilitas tinggi, dengan operasi yang mampu berjalan hanya dengan dua GPU. Sistem ini juga mendukung interaksi multispeaker, memungkinkan dialog karakter yang mulus.

Prospek Masa Depan

Meskipun belum diluncurkan sebagai produk, pengembangan ini adalah tonggak penting dalam peta jalan Character.AI. Perusahaan sedang berupaya untuk mengintegrasikan teknologi ini ke dalam platform mereka, dengan tujuan untuk memungkinkan pengalaman seperti FaceTime, streaming karakter, dan pembuatan dunia visual. Tujuan akhirnya adalah untuk mendemokratisasi penciptaan dan interaksi dengan karakter audiovisual yang imersif.

Character.AI telah menginvestasikan banyak dalam infrastruktur pelatihan dan desain sistem, memanfaatkan lebih dari 1,5 juta klip video yang disusun dan jalur pelatihan tiga tahap. Pendekatan ini mencerminkan ketepatan dan tujuan penelitian terdepan dalam teknologi AI.

Sumber gambar: Shutterstock