DeepSeek disponibiliza código-fonte aberto do TileKernels, biblioteca de kernels de GPU para treinamento e inferência de modelos em larga escala

Mensagem do Gate News, 23 de abril — A DeepSeek disponibilizou o código-fonte aberto do TileKernels sob a licença MIT, uma biblioteca de kernels de GPU escrita em TileLang para treinamento e inferência de modelos de linguagem em larga escala. O TileLang é uma linguagem de domínio desenvolvida pela equipe tile-ai para expressar kernels de GPU de alto desempenho em Python. A DeepSeek afirmou que a maioria dos kernels da biblioteca já se aproximou dos limites de desempenho do hardware em densidade de computação e largura de banda de memória, com partes já implantadas em operações internas de treinamento e inferência.

A biblioteca compreende seis categorias de kernels: MoE (mistura de especialistas) com gating e roteamento, incluindo seleção de especialistas Top-k, mapeamento de token para especialista e expandir/reduzir fundidos com normalização de pesos; quantização que suporta formatos FP8, FP4 e E5M6 com quantização por token, por bloco e por canal, incluindo operações fundidas de SwiGLU+quantização; transposição em lote; gating Engram com propagação direta/reversa de RMSNorm fundida e redução de gradiente de pesos; Manifold HyperConnection com normalização Sinkhorn e split/aplicar mistos; e interfaces de autograd de alto nível que encapsulam kernels de baixo nível em camadas treináveis.

Engram e Manifold HyperConnection são componentes proprietários da arquitetura do modelo da DeepSeek, com detalhes de implementação divulgados publicamente pela primeira vez. A biblioteca exige GPUs das arquiteturas NVIDIA SM90 ou SM100 (H100/H200 ou série Blackwell), CUDA Toolkit 13.1 ou superior, e PyTorch 2.10 ou superior.

Aviso: As informações nesta página podem ser provenientes de terceiros e não representam as opiniões ou pontos de vista da Gate. O conteúdo exibido nesta página é apenas para referência e não constitui aconselhamento financeiro, de investimento ou jurídico. A Gate não garante a exatidão ou integridade das informações e não será responsável por quaisquer perdas decorrentes do uso dessas informações. Os investimentos em ativos virtuais apresentam altos riscos e estão sujeitos a uma volatilidade de preços significativa. Você pode perder todo o capital investido. Por favor, compreenda completamente os riscos envolvidos e tome decisões prudentes com base em sua própria situação financeira e tolerância ao risco. Para mais detalhes, consulte o Aviso Legal.

Related Articles

Mezo lança o Mezo Prime enquanto o Bullish aloca 250 BTC em cofres de rendimento

Mezo lançou um produto de nível institucional, projetado para ajudar tesourarias corporativas a obter rendimento e acessar empréstimos com suas holdings de bitcoin. Principais conclusões: Mezo e Anchorage Digital Bank lançaram o Mezo Prime para fornecer rendimento em bitcoin a tesourarias corporativas. Atualmente há mais de 1.000.000 de bitcoin si

Coinpedia31m atrás

Hyperliquid testa proposta de mercado de previsão HIP-4 com parceria da Kalshi em 21 de abril

De acordo com o pesquisador de dados on-chain Fleck, a Hyperliquid está testando publicamente o HIP-4, uma proposta para integrar mercados de previsão diretamente em sua plataforma de negociação ao lado de futuros perpétuos. A exchange descentralizada fez parceria com a Kalshi, que coautoria a proposta, formalizando a colaboração em

GateNews1h atrás

ArbMe Lança Plugin do Chrome para Solana, Oferecendo Cashback em SOL em 30 de Abril

De acordo com a BlockBeats, ArbMe, uma ferramenta de trading do ecossistema Solana, lançou uma extensão para o navegador Chrome em 30 de abril que permite aos usuários ganhar cashback em SOL durante operações normais. A extensão não custodial não exige depósitos de fundos nem mudanças nos hábitos de trading existentes. Os usuários podem operar na Solana suportada p

GateNews1h atrás

Fundador da Printr, Jason Ma, renuncia ao cargo de CEO e anuncia reembolso integral do financiamento comunitário

De acordo com a ChainCatcher, o fundador da Printr, Jason Ma, anunciou em 30 de abril que está deixando o cargo de CEO. O COO e líder de GTM, Lennon, assumirá a função de CEO a partir de agora, enquanto a cofundadora Lea continuará como CTO. Ma fará a transição para uma função consultiva. A plataforma também anunciou

GateNews1h atrás

O altcoin da Ripple, XRP, continua sendo negociado a preços baixos e estáveis, enquanto as realizações da blockchain superam

O altcoin da Ripple, XRP, continua sendo negociado a preços baixos e estáveis. As conquistas da blockchain continuam superando.  Essa atividade constante e a conclusão de marcos criam um clima de otimismo (bullish) para o preço do XRP. A comunidade cripto mais uma vez está de mau humor enquanto

CryptoNewsLand1h atrás

Cartão Shinhan leva pagamentos com stablecoin para 28 milhões de usuários na Solana em 30 de abril

De acordo com a Solana, a maior emissora de cartões de crédito da Coreia do Sul, Shinhan Card, assinou hoje (30 de abril) um memorando de entendimento com a Solana Foundation para levar pagamentos com stablecoin aos seus 28 milhões de titulares de cartões na blockchain Solana. A parceria se baseia em um protótipo preliminar de prova de conceito co

GateNews1h atrás
Comentário
0/400
Sem comentários