Baru saja mengalami sesuatu yang liar selama sesi pengujian model AI saya. Tidak bisa memberikan pertanyaan tepat yang saya gunakan, tapi inilah yang terjadi: mengajukan pertanyaan yang sengaja rumit tanpa jawaban yang benar kepada berbagai model.

Setiap yang telah saya uji sejauh ini? Mereka semua dengan percaya diri mengeluarkan sesuatu yang terdengar masuk akal. Anda tahu, jenis respons yang terlihat cerdas sampai Anda menyadari mereka sepenuhnya melewatkan jebakan.

Tapi model unggulan terbaru yang saya coba ini? Untuk pertama kalinya - ia benar-benar berhenti dan berkata "tunggu, pertanyaan ini tidak memiliki jawaban yang valid." Tidak mencoba untuk mengelak. Hanya mengakui ketidakmungkinan logis.

Jujur saja, saya terkesan. Mungkin akan menjalankan lebih banyak tes untuk melihat apakah ini tetap berlaku di berbagai jenis pertanyaan yang menipu. Kemampuan untuk mengenali pertanyaan yang tidak dapat dijawab kurang dihargai - menunjukkan penalaran yang sebenarnya dibandingkan dengan pencocokan pola.