Ketika model menghasilkan output yang terdengar meyakinkan tetapi secara faktual tidak benar, hal ini menimbulkan pertanyaan mendasar: Apakah hukuman RLHF benar-benar dapat mengesampingkan struktur interpretatif inti yang sedang kita coba pertahankan? Teka-teki sebenarnya di sini mungkin adalah apakah kita sedang mengejar target optimisasi yang salah sama sekali. Jadi inilah sudut pandang praktis—apakah fungsi kerugian yang mempertahankan integritas scaffold benar-benar memungkinkan dalam paradigma pelatihan saat ini, atau apakah kita menghadapi batasan keras yang belum sepenuhnya kita akui? Perlu dipikirkan mekanismenya sebelum memperbesar skala lebih jauh.