Когда модели генерируют правдоподобные, но фактически неправильные ответы, возникает фундаментальный вопрос: могут ли штрафы RLHF действительно переопределить основные интерпретативные структуры, которые мы пытаемся сохранить? Настояшая загадка может заключаться в том, что мы вообще преследуем неправильные цели оптимизации. Итак, практический аспект — возможны ли функции потерь, сохраняющие целостность каркаса, в текущей парадигме обучения, или мы сталкиваемся с жесткими ограничениями, которые еще полностью не осознали? Стоит обдумать механизмы, прежде чем масштабировать дальше.