Дані викривають, що «Claude знижає рівень» — це не міський міф; нестабільність AI-моделі є ризиком для компанії

Після того, як ШІ став стандартним інструментом для підприємств, на поверхню швидко виходить явище, яке раніше вважали «проблемою відчуттів»: LLM (великі мовні моделі) «стають тупішими». Користувач Wisely Chen зазначив, що так зване «LLM-«пониження розуму»» — це не міський міф, а те, що вже можна постійно відстежувати за допомогою даних, і воно вже спричиняє відчутний вплив на робочі процеси компаній.

Він наводить приклад зі власного досвіду: 15 квітня в сервісах лінійки Claude від Anthropic стався повсюдний downgrade, зокрема claude.ai, API та Claude Code — усі вони показували «Degraded Performance». Це не просто уповільнення або поодинокі помилки, а помітне падіння якості відповідей; навіть траплялися випадки, коли сервіс неможливо було нормально використовувати, через що того дня всі три його розробницькі завдання було повністю перенесено.

За таких сценаріїв для індивідуальних розробників це, можливо, лише зниження ефективності, але для команд IT підприємств вплив багаторазово посилюється. Коли в команді кілька інженерів одночасно покладаються на інструменти ШІ для програмування, написання документів і автоматизації процесів, один раз — і модель знижується в якості — означає, що загальна продуктивність в той самий час падає колективно, перетворюючись на відчутні втрати часу та витрат.

ШІ відчутно «стало гірше з розумом»? Дані підтверджують: це сталося «давно»

Wisely Chen зазначив, що фрази на кшталт «GPT став тупішим», «Claude не такий, як раніше» ходять у спільноті давно, але довго бракувало об’єктивних даних, які б це підтверджували. Лише нещодавно поява платформ із постійним моніторингом якості моделей дозволила вперше це кількісно оцінити.

Зокрема, StupidMeter проводить 24-годинні автоматизовані тести для популярних моделей, включно з OpenAI, Anthropic, Google тощо, відстежуючи такі показники, як точність, здатність до міркувань і стабільність. На відміну від традиційних разових benchmark-ів, такі системи ближчі до підходу до моніторингу API або доступності сервісів у компаніях: спостерігають, як модель «плаває» за продуктивністю в умовах реального використання.

Результати даних дуже показові: наразі більшість основних моделей перебувають у стані попередження або downgrade, і лише небагато моделей зберігають нормальний режим. Це означає, що нестабільність якості моделей — не проблема одного конкретного продукту, а поширене явище всієї індустрії.

LLM непомітно «деградує в інтелекті», впливаючи на стабільність бізнесу, який використовує AI-процеси

Для підприємств такі зміни означають, що ШІ з «інструмента для підвищення ефективності» перетворюється на «змінну, яка впливає на стабільність». Якщо щоденні робочі процеси компанії — від написання програм до code review, а також випуск документів і аналітичних звітів — уже значною мірою залежать від LLM, то коли модель в один день демонструє падіння здатності до міркувань або погіршення якості відповідей, ці проблеми не виникатимуть локально, як звичайні баги традиційного програмного забезпечення: вони проникатимуть одночасно в усі етапи, де використовують ШІ.

Ще важливіше те, що такі коливання часто важко прогнозувати і так само важко вчасно помітити. У більшості компаній немає механізмів постійного моніторингу якості моделей; зазвичай вони усвідомлюють, що проблема походить саме від моделі, лише після того, як результати стають аномальними або знижується ефективність команди. За такої ситуації «пониження розуму» вже не є лише суб’єктивним відчуттям користувачів — це системний ризик, який безпосередньо впливає на ритм роботи та функціонування підприємства.

Коли ШІ стає як вода й електрика, стабільність стає новим ключовим показником

Wisely Chen порівняв роль LLM із «водою й електрикою сучасної компанії». Коли ШІ глибоко вбудувався в щоденну діяльність і став незамінною базовою здатністю, значення стабільності зростає ще більше.

Раніше, оцінюючи інструменти ШІ, компанії більше фокусувалися на можливостях моделі, ціні та функціях, але коли на поверхню спливає явище «пониження розуму», з’являється інший, ще важливіший показник — стабільність. Якщо якість моделі може змінюватися без попередження, компанії більше не просто «використовують ШІ» — їм доводиться брати на себе новий тип ризику для базової інфраструктури. І ще безнадійніше те, що якщо дивитися лише на передові великі мовні моделі, то майже напевно, доки не буде вирішено проблеми з обчислювальними ресурсами, це може продовжуватися.

Ця стаття «Дані: “Claude став тупішим” — це не міський міф, а нестабільність AI-моделей є ризиком для підприємств» вперше з’явилася на «Ланцюжкових новинах ABMedia».