ARC-AGI-3 mengumumkan pengujian manusia terbesar dalam sejarah: semua level telah ditembus manusia, AI masih memiliki kekurangan

Berita ME, 15 April (UTC+8), menurut pemantauan Beating, ARC Prize Foundation mengumumkan dataset kinerja manusia untuk ARC-AGI-3, yang merupakan studi pengujian manusia terbesar dalam seri ARC-AGI hingga saat ini, dengan 458 peserta. Dataset ini berisi 342 rekaman replay operasi manusia lengkap, mencakup 25 lingkungan publik, dan telah sepenuhnya dipublikasikan secara terbuka. ARC-AGI-3 mencakup 135 lingkungan inferensi abstrak, di mana peserta tidak menerima petunjuk permainan apa pun, harus mengeksplorasi, menyimpulkan aturan, dan merancang strategi sendiri. Pengujian dilakukan di pusat pengujian offline di San Francisco, setiap sesi berlangsung selama 90 menit, peserta mendapatkan gaji dasar sekitar 130 dolar AS ditambah 5 dolar AS untuk setiap lingkungan yang berhasil diselesaikan. Semua pengujian dilakukan dengan kondisi “pertama kali berhasil”, yaitu setiap peserta hanya melihat satu kali dan mencoba satu kali, menilai kemampuan belajar dan beradaptasi terhadap masalah baru. Manusia dan AI mendapatkan informasi yang sama persis, tanpa adanya perbedaan informasi. Kesimpulan utama: semua lingkungan dalam ARC-AGI-3 berhasil diselesaikan oleh manusia, setiap lingkungan minimal diselesaikan oleh dua peserta independen, dan sebagian besar lingkungan diselesaikan oleh lebih dari lima orang. ARC Prize Foundation menyatakan, “Kami belum mencapai AGI, dataset ini adalah buktinya.” Sejak pratinjau ARC-AGI-3, hampir 1 juta pengajuan evaluasi AI telah diterima dari lingkungan publik. Berdasarkan data ini, foundation juga mengumumkan dua penyesuaian aturan penilaian: pertama, mengganti standar manusia dari " pemain terbaik kedua" menjadi “pemain median”, untuk mengurangi pengaruh keberuntungan terhadap skor; kedua, meningkatkan batas skor per level dari 100% menjadi 115%, agar performa buruk di satu level tidak merusak total skor. Dampak bersih dari kedua penyesuaian ini adalah skor manusia dan AI sedikit meningkat sekitar 0,5 poin persentase. (Sumber: BlockBeats)