Tidehunter: Basis Data Generasi Berikutnya dari Sui yang Dioptimalkan untuk Latensi Rendah dan Penguatan Tulis yang Berkurang

Secara Singkat

Sui telah memperkenalkan Tidehunter, mesin penyimpanan blockchain yang dirancang khusus untuk menggantikan RocksDB dengan mengurangi amplifikasi tulis dan memberikan throughput yang lebih tinggi, lebih stabil, serta latensi yang lebih rendah untuk beban kerja validator dan node penuh.

Sui, jaringan blockchain Layer 1, telah memperkenalkan Tidehunter, mesin penyimpanan baru yang dirancang untuk menyesuaikan dengan tuntutan kinerja, karakteristik akses data, dan kendala operasional yang umum ditemukan dalam infrastruktur blockchain kontemporer.

Sistem ini diposisikan sebagai calon pengganti lapisan basis data yang ada yang digunakan oleh validator dan node penuh, mencerminkan upaya yang lebih luas untuk memodernisasi infrastruktur inti sebagai respons terhadap skala dan profil beban kerja yang berkembang dari lingkungan blockchain produksi.

Sui awalnya mengandalkan RocksDB sebagai lapisan penyimpanan kunci-nilai utamanya, sebuah solusi yang banyak digunakan dan matang yang memungkinkan pengembangan protokol yang cepat. Seiring platform berkembang dan tuntutan operasional meningkat, keterbatasan mendasar dari basis data LSM-tree umum menjadi semakin jelas dalam lingkungan seperti produksi.

Penyetelan yang ekstensif dan keahlian internal yang mendalam tidak dapat sepenuhnya mengatasi ketidakefisienan struktural yang bertentangan dengan pola akses yang khas dari sistem blockchain. Hal ini memicu pergeseran strategis menuju perancangan mesin penyimpanan yang dioptimalkan secara khusus untuk beban kerja blockchain, yang menghasilkan pengembangan Tidehunter.

Faktor utama di balik keputusan ini adalah amplifikasi tulis yang terus-menerus. Pengukuran di bawah beban kerja Sui yang realistis menunjukkan tingkat amplifikasi sekitar sepuluh hingga dua belas kali, yang berarti bahwa volume data aplikasi yang relatif kecil menghasilkan lalu lintas disk yang secara tidak proporsional besar. Meskipun perilaku ini umum dalam sistem berbasis LSM, hal ini mengurangi bandwidth penyimpanan efektif dan memperbesar konflik antara kompresi latar belakang dan operasi baca. Dalam lingkungan yang intensif tulis atau seimbang baca-tulis, overhead ini menjadi semakin membatasi seiring peningkatan throughput.

Pengujian beban pada klaster berkinerja tinggi mengonfirmasi dampaknya, dengan pemanfaatan disk mendekati jenuh meskipun tingkat tulis aplikasi sedang, menyoroti ketidaksesuaian yang semakin besar antara arsitektur penyimpanan konvensional dan kebutuhan kinerja blockchain modern.

Arsitektur Tidehunter: Mesin Penyimpanan yang Dioptimalkan untuk Pola Akses Blockchain dan Beban Kerja Throughput Tinggi yang Berkelanjutan

Perilaku penyimpanan di Sui dan platform blockchain sejenis didominasi oleh sejumlah kecil pola akses data yang berulang, dan Tidehunter dirancang secara khusus berdasarkan karakteristik ini. Sebagian besar status diakses menggunakan kunci hash kriptografi yang tersebar merata dan biasanya memetakan ke catatan yang relatif besar, yang menghilangkan lokalitas tetapi menyederhanakan konsistensi dan kebenaran.

Pada saat yang sama, blockchain sangat bergantung pada struktur yang berorientasi pada penambahan, seperti log konsensus dan checkpoint, di mana data ditulis secara berurutan dan kemudian diambil kembali menggunakan pengenal yang meningkat secara monoton. Lingkungan ini juga secara inheren berat tulis, sambil tetap membutuhkan akses cepat pada jalur baca yang sensitif terhadap latensi, menjadikan amplifikasi tulis yang berlebihan sebagai ancaman langsung terhadap throughput dan responsivitas.

Di pusat Tidehunter adalah pipeline tulis dengan tingkat konkurensi tinggi yang dibangun untuk memanfaatkan kemampuan paralel dari penyimpanan solid-state modern. Tulis masuk dialirkan melalui log tulis ke depan yang bebas kunci dan mampu mempertahankan tingkat operasi yang sangat tinggi, dengan konflik terbatas pada langkah alokasi minimal.

Penyalinan data berlangsung secara paralel, dan sistem menghindari panggilan sistem per operasi dengan menggunakan file yang dapat ditulis dan dipetakan ke memori, sementara daya tahan data ditangani secara asinkron oleh layanan latar belakang. Desain ini menghasilkan jalur tulis yang dapat diprediksi dan sangat paralel yang dapat memenuhi bandwidth disk tanpa terhambat oleh overhead CPU.

Mengurangi amplifikasi tulis diperlakukan sebagai tujuan arsitektur utama daripada langkah optimisasi. Alih-alih menggunakan log sebagai area penampungan sementara, Tidehunter menyimpan data secara permanen dalam segmen log dan membangun indeks yang merujuk langsung ke offset, menghilangkan penulisan ulang nilai yang berulang.

Indeks sangat dibagi-bagi untuk menjaga rendahnya amplifikasi tulis dan meningkatkan paralelisme, menghilangkan kebutuhan akan struktur LSM-tree tradisional. Untuk dataset yang didominasi penambahan, seperti checkpoint dan catatan konsensus, strategi sharding khusus menjaga data terbaru tetap terkelompok rapat sehingga overhead tulis tetap stabil bahkan saat data historis bertambah.

Untuk tabel yang diakses menggunakan kunci hash yang tersebar merata, Tidehunter memperkenalkan indeks pencarian seragam yang dioptimalkan untuk akses yang dapat diprediksi dan latensi rendah. Daripada melakukan beberapa pembacaan kecil dan acak, indeks membaca wilayah berurutan yang sedikit lebih besar yang secara statistik berisi entri yang diinginkan, memungkinkan sebagian besar pencarian selesai dalam satu putaran disk.

Pendekatan ini secara sengaja mengorbankan sebagian throughput baca demi latensi yang lebih rendah dan lebih stabil, sebuah kompromi yang menjadi praktis karena pengurangan amplifikasi tulis membebaskan bandwidth disk yang besar untuk lalu lintas baca. Hasilnya adalah kinerja yang lebih konsisten pada operasi yang sensitif terhadap latensi seperti eksekusi transaksi dan validasi status.

Untuk mengendalikan latensi ekor secara lebih lanjut pada skala besar, Tidehunter menggabungkan I/O langsung dengan caching yang dikelola aplikasi. Pembacaan historis besar melewati cache halaman sistem operasi untuk mencegah polusi cache, sementara data terbaru dan sering diakses disimpan dalam cache ruang pengguna yang diinformasikan oleh pola akses tingkat aplikasi. Bersama dengan tata letak indeksnya, ini mengurangi perjalanan disk yang tidak perlu dan meningkatkan prediktabilitas di bawah beban yang berkelanjutan.

Manajemen siklus hidup data juga disederhanakan. Karena catatan disimpan langsung dalam segmen log, penghapusan data historis yang usang dapat dilakukan dengan menghapus seluruh file log setelah keluar dari jendela retensi. Ini menghindari mekanisme kompresi yang kompleks dan intensif I/O yang diperlukan oleh basis data berbasis LSM dan memungkinkan pemangkasan yang lebih cepat dan lebih dapat diprediksi bahkan saat dataset membesar.

Di seluruh beban kerja yang dirancang untuk mencerminkan penggunaan Sui yang nyata, Tidehunter menunjukkan throughput yang lebih tinggi dan latensi yang lebih rendah dibandingkan RocksDB sambil mengkonsumsi bandwidth tulis disk yang jauh lebih sedikit. Perbaikan paling terlihat berasal dari hampir hilangnya amplifikasi tulis, yang memungkinkan aktivitas disk lebih mendekati penulisan tingkat aplikasi dan menjaga kapasitas I/O untuk baca. Efek ini diamati baik dalam benchmark terkendali maupun dalam penerapan validator penuh, menunjukkan bahwa keuntungan ini melampaui pengujian sintetis.

Evaluasi dilakukan menggunakan kerangka benchmark yang tidak bergantung pada basis data tertentu yang memodelkan campuran realistis dari insert, hapus, pencarian titik, dan beban kerja iterasi. Pengujian diparameterisasi untuk mencerminkan distribusi kunci seperti Sui, ukuran nilai, dan rasio baca-tulis, dan dijalankan pada perangkat keras yang sesuai dengan spesifikasi validator yang direkomendasikan. Dalam kondisi ini, Tidehunter secara konsisten mempertahankan throughput yang lebih tinggi dan latensi yang lebih rendah dibandingkan RocksDB, dengan keuntungan terbesar muncul dalam skenario tulis berat dan seimbang.

Benchmark tingkat validator lebih lanjut mengonfirmasi hasil tersebut. Ketika diintegrasikan langsung ke dalam Sui dan dikenai beban transaksi yang berkelanjutan, sistem yang menggunakan Tidehunter mempertahankan throughput yang stabil dan latensi yang lebih rendah pada titik operasi di mana penerapan berbasis RocksDB mulai mengalami peningkatan pemanfaatan disk dan penurunan kinerja. Pengukuran menunjukkan tekanan disk yang berkurang, penggunaan CPU yang lebih stabil, dan latensi finalitas yang lebih baik, menyoroti perbedaan perilaku yang jelas di bawah beban yang sebanding.

Tidehunter merupakan respons praktis terhadap tuntutan operasional dari sistem blockchain berperforma tinggi dan berjalan lama. Seiring blockchain bergerak menuju beban kerja yang berkelanjutan daripada beban puncak, efisiensi penyimpanan menjadi kebutuhan dasar untuk kinerja protokol. Desain Tidehunter mencerminkan pergeseran menuju infrastruktur yang dibangun secara eksplisit untuk tahap skala berikutnya, dengan rincian teknis lebih lanjut dan rencana penerapan yang diharapkan akan menyusul.