2,8 трильйона параметрів. 1 мільйон токенів контексту. Нативна мультимодальність.


Kimi Delta Attention забезпечує до 6,3x швидшого декодування в контексті мільйона токенів, одночасно зменшуючи пам’ять KV-cache до 75% у процесі.
Attention Residuals забезпечують приблизно на 25% вищу ефективність навчання за умови менш ніж на 2% додаткових витрат обчислень.
Створено для довгострокового агентного програмування та самоеволюціонуючих робочих процесів, підтримуючи тривалі інженерні сесії з мінімальним людським наглядом.
Переглянути оригінал
post-image
post-image
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріплено