Google Merilis Algoritma TurboQuant: Kuantisasi KV Cache 3 bit Tanpa Kehilangan Presisi, Kecepatan Inferensi Meningkat Hingga 8 Kali Lipat

Berita Gate News, pada 25 Maret, Google Research merilis algoritma kompresi kuantitatif TurboQuant, yang dapat mengompresi cache KV dari model bahasa besar hingga 3 bit, mengurangi penggunaan memori setidaknya 6 kali lipat, tanpa perlu pelatihan atau penyesuaian ulang, dan tanpa kehilangan akurasi model. Dalam mode 4 bit, kecepatan perhitungan perhatian pada GPU Nvidia H100 meningkat hingga 8 kali dibandingkan baseline 32 bit yang tidak dikuantifikasi. Tim peneliti memverifikasi menggunakan model Gemma dan Mistral pada benchmark konteks panjang seperti LongBench, Needle In A Haystack, ZeroSCROLLS, dan TurboQuant menunjukkan performa terbaik di semua pengujian. Algoritma ini terdiri dari dua sub-algoritma: PolarQuant yang menghilangkan biaya memori dari metode kuantisasi tradisional melalui transformasi koordinat polar, dan QJL yang hanya menggunakan 1 bit untuk mengoreksi residual error. Penelitian ini dipimpin oleh Amir Zandieh dari Google Research dan Wakil Presiden sekaligus Google Fellow Vahab Mirrokni, bekerja sama dengan KAIST Korea dan New York University, dan akan dipresentasikan di ICLR 2026. Google menyatakan salah satu aplikasi utama teknologi ini adalah mengatasi bottleneck cache KV dari model seperti Gemini.

Penafian: Informasi di halaman ini dapat berasal dari pihak ketiga dan tidak mewakili pandangan atau opini Gate. Konten yang ditampilkan hanya untuk tujuan referensi dan bukan merupakan nasihat keuangan, investasi, atau hukum. Gate tidak menjamin keakuratan maupun kelengkapan informasi dan tidak bertanggung jawab atas kerugian apa pun yang timbul akibat penggunaan informasi ini. Investasi aset virtual memiliki risiko tinggi dan rentan terhadap volatilitas harga yang signifikan. Anda dapat kehilangan seluruh modal yang diinvestasikan. Harap pahami sepenuhnya risiko yang terkait dan buat keputusan secara bijak berdasarkan kondisi keuangan serta toleransi risiko Anda sendiri. Untuk detail lebih lanjut, silakan merujuk ke Penafian.

Artikel Terkait

Ethereum Foundation Mengumumkan Hasil Proyek ETH Rangers: Lebih dari $5.8M dalam Aset yang Dipulihkan atau Dibekukan

Proyek ETH Rangers dari Ethereum Foundation telah berhasil diselesaikan, dengan mendanai 17 peneliti untuk meningkatkan keamanan publik di ekosistem. Pencapaian mencakup pemulihan $5.8M dalam aset, mengidentifikasi lebih dari 785 kerentanan, dan mengembangkan beberapa alat keamanan.

GateNews23menit yang lalu

VC Kripto Teratas Mengalami Penurunan AUM yang Signifikan di Tengah Penurunan Pasar 2025

Saat penurunan pasar kripto pada 2025, firma modal ventura besar mengalami penurunan AUM yang signifikan, tetapi Haun Ventures tumbuh sebesar 30%. Paradigm dan a16z sedang menghimpun lebih dari $4,2 miliar untuk dana baru, menyoroti beragam kinerja di antara para firma.

GateNews3jam yang lalu

BitMine kerugian bersih kuartalan sebesar $3,81 miliar, porsi kerugian yang belum terealisasi ETH mencapai 99%

BitMine Immersion Technologies pada 15 April 2026 mengajukan laporan keuangan ke SEC, yang menunjukkan kerugian bersih kuartalan hingga 28 Februari sebesar 381 juta dolar AS, terutama berasal dari kerugian yang belum direalisasi atas kepemilikan Ethereum. Perusahaan memegang sekitar 4,87 juta ETH, dengan biaya pembelian rata-rata sebesar 3.794 dolar AS per koin, dan nilai pasar terbarunya telah melebihi 10,7 miliar dolar AS. Saham BMNR telah ditingkatkan ke Bursa Efek New York, dengan harga saat ini 21,69 dolar AS.

MarketWhisper7jam yang lalu

Hanya 4% Orang Denmark Memegang Kripto, Studi Bank Sentral Menunjukkan Mereka Tertinggal dari Negara-Negara Eropa Lain Seperti Norwegia dan Finlandia

Laporan Bank Nasional Denmark menunjukkan hanya 4% warga Denmark memiliki kripto, tidak berubah sejak 2023 dan berada di bawah negara-negara Eropa lainnya. Sebagian besar pemegang berinvestasi dalam jumlah kecil, sementara adopsi terhambat oleh bank yang berhati-hati dan kekhawatiran akan risiko, terutama pada kalangan yang lebih muda dan individu yang lebih kaya.

GateNews13jam yang lalu

World Silver Institute: Pasar Perak Global Menghadapi Defisit Pasokan Tahun Keenam Berturut-turut

Institut Perak Dunia memperkirakan kekurangan pasokan yang akan semakin melebar di pasar perak, dengan proyeksi defisit sebesar 46,3 juta ons pada tahun 2026. Meskipun permintaan untuk batangan dan koin perak akan meningkat, sektor lain akan menurun, sehingga menyebabkan penurunan konsumsi secara keseluruhan. Terlepas dari tantangan dalam jangka pendek, prospek positif untuk perak tetap ada.

GateNews04-15 13:01

Bitmine Immersion Technologies Melaporkan Kerugian Triwulanan $3,82B Meskipun Pendapatan Melonjak hingga $11M

Bitmine Immersion Technologies (BMNR) melaporkan rugi bersih sebesar $3,82 miliar untuk Q1 2026, terutama dari kerugian aset digital yang belum direalisasikan. Meskipun demikian, perusahaan terus menambah kepemilikan Ethereum, kini memegang 4,87 juta ETH senilai $10,7 miliar. Pendapatan kuartalan meningkat menjadi $11,04 juta, terutama berasal dari imbal hasil staking.

GateNews04-15 08:05
Komentar
0/400
Tidak ada komentar