DeepSeek відкриває TileKernels з відкритим кодом: бібліотека GPU-ядр для тренування й інференсу великих моделей

Повідомлення Gate News, 23 квітня — DeepSeek відкрив вихідний код TileKernels під ліцензією MIT: бібліотека GPU-ядр для обчислень, написана на TileLang для тренування та інференсу великих мовних моделей. TileLang — це предметно-орієнтована мова, розроблена командою tile-ai для вираження високопродуктивних GPU-ядр у Python. DeepSeek зазначив, що більшість ядер у цій бібліотеці вже наблизилися до граничних можливостей апаратного забезпечення за обчислювальною щільністю та пропускною здатністю пам’яті, причому частини коду вже розгорнуті у внутрішніх операціях тренування та інференсу.

Бібліотека містить шість категорій ядер: MoE (mixture of experts) gating і маршрутизація, включно з вибором експертів Top-k, відображенням токен—експерт і злитими операціями expand/shrink із нормалізацією ваг; квантування, що підтримує формати FP8, FP4 і E5M6 із квантуванням для кожного токена, для кожного блока та для кожного каналу, включно зі злитими операціями SwiGLU+квантування; batch transpose; Engram gating із злитим поширенням уперед/назад RMSNorm і зведенням градієнта ваг; Manifold HyperConnection із нормалізацією Sinkhorn і змішаним split/apply; а також високорівневі інтерфейси autograd, які обгортають низькорівневі ядра в навчальні шари.

Engram і Manifold HyperConnection є власницькими компонентами модельної архітектури DeepSeek, причому деталі реалізації вперше були розкриті публічно. Бібліотека вимагає GPU архітектури NVIDIA SM90 або SM100 (H100/H200 або серії Blackwell), CUDA Toolkit 13.1 або новішу версію, і PyTorch 2.10 або новішу версію.

Застереження: Інформація на цій сторінці може походити від третіх осіб і не відображає погляди або думки Gate. Вміст, що відображається на цій сторінці, є лише довідковим і не є фінансовою, інвестиційною або юридичною порадою. Gate не гарантує точність або повноту інформації і не несе відповідальності за будь-які збитки, що виникли в результаті використання цієї інформації. Інвестиції у віртуальні активи пов'язані з високим ризиком і піддаються значній ціновій волатильності. Ви можете втратити весь вкладений капітал. Будь ласка, повністю усвідомлюйте відповідні ризики та приймайте обережні рішення, виходячи з вашого фінансового становища та толерантності до ризику. Для отримання детальної інформації, будь ласка, зверніться до Застереження.

Пов'язані статті

Асоціація Morpho виконає серію переказів коштів із гаманця протягом найближчих тижнів для управління фондами

Повідомлення Gate News, 23 квітня — Асоціація Morpho проведе серію переказів із власного гаманця асоціації протягом найближчих тижнів у межах планових операцій з управління коштами.

GateNews40хв. тому

JPMorgan: інциденти безпеки в DeFi та застій TVL пригнічують інституційне впровадження

Повідомлення Gate News, 23 квітня — Гордон Ляо, головний економіст Circle, цього тижня запропонував підвищити параметри кредитування USDC на Aave v3 Ethereum Core після $292 мільйонного експлойту KelpDAO rsETH, який спричинив кризу ліквідності в усьому протоколі. У своєму Запиті на коментарі Ляо пропонує підвищити "Slope 2" до 40% із цільовим рівнем 50% і знизити оптимальне використання, щоб залучити свіжі депозити та послабити ринковий стрес. Пропозиція виникла через гострий тиск на пул USDC Aave, який уже чотири дні фактично був «прикований» до повного використання. За поточної ставки приблизно 14% Ляо стверджує, що погашення поглинаються майже повністю відкладеними викупами зі черги, а не відновлюють доступну ліквідність. Інцидент KelpDAO спричинив ланцюговий ефект у DeFi-ринках: загальна сума коштів у Aave, зафіксованих у протоколі (TVL), різко впала з понад мільярда до приблизно $15,3 млрд, тоді як відтік коштів і стійкий тиск використання зберігалися на ключових ринках. Зворотний зв’язок спільноти на форумі управління Aave швидко підняв питання щодо ризиків ліквідацій. Аналіз, оприлюднений у відповідь на пропозицію, показав, що крива цільової ставки може наблизити приблизно $70,1 млн матеріального боргу до ліквідації протягом 30 днів, при цьому один великий гаманець забезпечує більшість рівня підданості. Критики вважають, що вищі ставки змусять перекласти біль із кредиторів, які «застрягли» в чергах на відкликання, на позичальників, що працюють із тонкими запасами за health-factor. Крім того, деякі учасники спільноти запитували, чому Circle, як емітент USDC, прагне рішень на основі управління, а не надає пряму підтримку ліквідності. Ляо зазначив, що його допис відображає «лише особисті погляди, не представляючи позицію Circle». Тим часом ончейн-аналітик EmberCN повідомляє, що атакувальник KelpDAO обміняв майже всі 75,700 ETH, які досі перебувають під його контролем — приблизно мільйонів — на біткоїн приблизно за півтори доби, переважно через THORChain. Ця активність згенерувала приблизно мільйонів обсягу торгів у THORChain і приблизно $910,000 у вигляді комісій.

GateNews46хв. тому

ENS оголошує ENSv2: нова інфраструктура доменів для масштабної інтеграції та розширення піддоменів

Повідомлення Gate News, 23 квітня — ENS оголосила про майбутній запуск ENSv2, нової інфраструктури доменів, призначеної для масштабної інтеграції та розширення піддоменів. Оновлена система є наступним поколінням архітектури доменного іменування ENS, створеною для підтримки ширшого впровадження та підвищеної масштабованості в усьому екосистемі.

GateNews58хв. тому

MoonPay запускає віртуальні акаунти, що працюють на Iron, у Нью-Йорку, уможливлюючи регульовані платежі stablecoin для підприємств

Повідомлення Gate News, 23 квітня — MoonPay оголосила про запуск Віртуальних акаунтів, що працюють на технології Iron, у штаті Нью-Йорк, забезпечуючи регульовану інфраструктуру платежів fiat-to-stablecoin для компаній у сфері фінтеху, криптових платформ, необанків, брокерських компаній та фінансових установ. Послуга enable

GateNews2год тому

Співзасновник MetaMask Дан Фінлей залишає Consensys після 10 років, посилається на вигорання

Повідомлення Gate News, 23 квітня — Дан Фінлей, співзасновник і багаторічний розробник MetaMask, оголосив у середу, що залишає Consensys, посилаючись на вигорання після десятиліття створення криптогаманця. Фінлей сказав, що планує провести час із сім’єю, і побажав команді всього найкращого на їхньому подальшому шляху. Me

GateNews2год тому

Aurise Foundation запускає токен золотої дохідності XAUE з $76M початковим резервом

Повідомлення Gate News, 23 квітня — Aurise Foundation оголосила про запуск XAUE, токена золотої дохідності на базі Ethereum, позиціонованого як рівень сховища для Tether Gold (XAUT). Партнери екосистеми Aurelion і Antalpha спільно внесли 16,052 XAU, що становить приблизно $76 мільйон, як початковий резерв. XAUE

GateNews2год тому
Прокоментувати
0/400
Немає коментарів