Роффлі: Велика модель входить у епоху посттренувального навчання, співвідношення обчислювальної потужності для попереднього та посттренувального навчання провідних команд досягає 1:1

ME Новини повідомлення, 24 квітня (UTC+8), згідно з моніторингом Датчі Beating, керівник команди великих моделей Xiaomi Ло Фулі зазначив, що конкуренція великих моделей перейшла від епохи Chat, домінованої попереднім навчанням, до епохи агентів, керованої пост-навчанням (Post-train). Основним сучасним напрямком є «як ефективно масштабувати підсилене навчання (RL) на агентських моделях». Ця зміна парадигми безпосередньо спричиняє перебудову розподілу обчислювальних ресурсів. Ло Фулі повідомив, що в епоху Chat співвідношення обчислювальних ресурсів для досліджень, попереднього навчання та пост-навчання становило приблизно 3:5:1; у сучасну епоху агентів розумне співвідношення становить 3:1:1, тобто вклад у попереднє та пост-навчання майже однаковий, і провідні команди моделей вже вкладають у ці дві сфери у співвідношенні 1:1. Одночасно, вимоги до системної архітектури також зазнали значних змін. Раніше інфраструктура RL переважно базувалася на «двигуні моделі для виведення» для обробки чистого тексту; тепер інфраструктура повинна бути орієнтована на «агента», підтримувати розподілення гетерогенних кластерів і бути здатною витримувати невизначеність, коли агент переривається через різні неконтрольовані фактори у складних робочих потоках. (Джерело: BlockBeats)