Помітив цікаву тенденцію — епоха дешевих токенів офіційно закінчилася. Раніше, коли великі компанії субсидували API, ми всі жили як королі. Кидали в промпти тисячі слів, змушували GPT-4 робити абсурдні дрібниці типу «зробити першу букву великою». Чому? Бо було дешево. Але вітер змінив напрямок.

Тепер рахунки за обчислювальну потужність стали реальністю. NVIDIA H100 — це геополітичний конфлікт, а не просто комерційна конкуренція. Кожен виклик API коштує реальних грошей. Токен — це вже не просто одиниця, це дійсно як золото.

Справа в тому, що більшість команд не розуміють, де насправді витікають гроші. Люди дивляться на рахунок наприкінці місяця і впадають у шок. Втрати приховані в найменш очевидних місцях. Ви ввічливо спілкуєтесь з моделлю — привіт, дякую, будь ласка. Але кожне слово, кожен пробіл — це токен, який ви платите. Система промптів накопичується, повторюється в кожній сесії, і ви платите за те, що вже платили вчора.

RAG часто стає катастрофою. Ідеально — витягнути три релевантні речення. На практиці — користувач запитує, і система кидає в модель десять PDF-документів по 10 тисяч слів кожен. Розробник думає: нехай сама знайде. Це не лінь, це злочин проти обчислювальної потужності. Невідповідна контекстна інформація не лише збиває з пантелику механізм уваги, але й призводить до астрономічного споживання токенів.

Неконтрольовані агенти — це вже крайність. Коли AI потрапляє в цикл помилок, вона крутиться там нескінченно, витрачаючи дорогі вихідні токени. Без правильного механізму аварійної зупинки це може спорожнити вашу кредитну карту за ніч.

Але є рішення. Семантичний кеш — найпростіший спосіб. Запити користувачів часто однотипні. Замість того щоб щоразу викликати GPT-4, перевіряєте схожість з кешем. Якщо хтось уже задавав подібне — беретесь готову відповідь. Нулі токенів витрачено. Затримка з секунд переходить у мілісекунди.

Стиснення промптів — це другий рівень. Алгоритми на основі інформаційної ентропії аналізують, які слова критичні, а які зайві. Можна стиснути текст з тисячі токенів до трьохсот, зберігши зміст. Дайте машинам спілкуватися машинною мовою — то, що людям здається незграбним, для моделей цілком зрозуміло.

Маршрутизація моделей — найбільш випробування для архітекторів. Не кладіть всі завдання на найдорожчу модель. Для простої трансформації формату чи перекладу — маршрутизуйте до дешевих API або локально розгорнутих малих моделей. Витрати майже зникають. Складне логічне міркування — тоді беріть потужні інструменти. Як добре налагоджена компанія: рецепшн не передає запити генеральному директору.

Ось де справді цікаво — подивіться на OpenClaw та Hermes. Це агенти, які розуміють реальність обмежених ресурсів. OpenClaw майже до одержимості контролює токени. Замість вільного потоку текста — примусове виведення у JSON Schema. AI не спілкується, вона заповнює форми. На перший погляд — це про зручність парсингу, але насправді це хірургічна економія трафіку.

Hermes від Nous Research демонструє точність виконання інструкцій. Зробити правильно з першого разу — це найбільша економія. У багатокрокових взаємодіях вони не зберігають всю історію. Робоча пам'ять — останні 3–5 повідомлень. Коли переповнюється вікно, легка фонова модель робить резюме кількох ключових речень і зберігає у векторній базі. Старий діалог видаляється, але знання залишається. Це не вивіз сміття, це хірургічне видалення з пам'яттю.

Тепер ключовий момент — це не технічна проблема, це зміна мислення. Раніше ми ставилися до токенів як до споживачів у супермаркеті. Побачив знижку — кидай у кошик. Компанії сліпо підключали LLM до всього, навіть для меню їдальні. Зараз потрібно перейти на інвестиційне мислення. Кожен токен — це інвестиція. Питання: що він мені приніс? Чи підвищився відсоток закриття тікетів? Чи скоротився час виправлення багів?

Якщо функція на базі правил коштує 10 центів, а велика модель — 1 долар за токен, але підвищує конверсію лише на 2%, то виріжте її. Без коливань. Перестаньте гнатися за великими і всебічними AI-рішеннями. Шукайте малі і вдосконалені точні удари. Коли бізнес запитує: можна прочитати 100 тисяч звітів і дати резюме? Запитайте назад: чи покриють ваші доходи кілька мільйонів токенів на API?

Порахуйте. Економте. Лічіть токени як власник продуктового магазину. Звучить далеко не кіберпанково — скоріше, дуже сільськогосподарськи. Але це необхідний етап на шляху до зрілості AI. Епоха безлімітного freeuse закінчилася. Тепер виграють ті, хто розуміє архітектуру, маршрутизацію та вміє максимально використовувати кожну краплю обчислювальної потужності. Коли приплив відступає, видно, хто плаває голий. На цей раз відступає приплив дешевих токенів. Лише ті, хто виковує кожну каплю як золото, візьмуть справжню броню.