概要Suiは、Validatorおよびフルノードのワークロードにおいて書き込み増幅を削減し、より高く安定したスループットと低遅延を実現するために設計された、目的別のブロックチェーンストレージエンジン「Tidehunter」を導入しました。Layer 1のブロックチェーンネットワークであるSuiは、現代のブロックチェーンインフラストラクチャに一般的に見られるパフォーマンス要求、データアクセス特性、運用制約に合わせて設計された新しいストレージエンジン「Tidehunter」を導入しました。このシステムは、検証者とフルノードの両方が使用する既存のデータベース層の後継候補として位置付けられ、運用規模やワークロードの変化に対応したコアインフラの近代化を目指す広範な取り組みの一環です。Suiは当初、広く採用され成熟したソリューションであるRocksDBを主要なキー–バリュー記憶層として採用しており、迅速なプロトコル開発を可能にしていました。しかし、プラットフォームの拡大と運用要求の増加に伴い、一般的なLSMツリー型データベースの根本的な制約が本番環境で次第に顕在化しました。広範なチューニングと深い内部知識だけでは、ブロックチェーンシステムのアクセスパターンと相容れない構造的非効率性を完全に解決できませんでした。これにより、ブロックチェーンのワークロードに最適化されたストレージエンジンの設計に戦略的にシフトし、「Tidehunter」の開発に至りました。この決定の背後にある主要な要因の一つは、持続的な書き込み増幅です。現実的なSuiのワークロード下での測定では、増幅レベルはおよそ10倍から12倍であり、比較的小さなアプリケーションデータ量が不釣り合いに大量のディスクトラフィックを生成していることを示しています。このような挙動はLSMベースのシステムでは一般的ですが、実効的なストレージ帯域幅を削減し、バックグラウンドの圧縮と読み取り操作間の競合を激化させます。書き込み集約型やバランスの取れた読み書き環境では、このオーバーヘッドはスループットの拡大に伴いますます制約となります。高性能クラスターでの負荷テストにより、その影響が確認されており、適度なアプリケーション書き込み速度にもかかわらずディスク使用率が飽和に近づくことから、従来のストレージアーキテクチャと現代のブロックチェーンのパフォーマンス要求との間に拡大するミスマッチが浮き彫りになっています。## Tidehunterアーキテクチャ：ブロックチェーンアクセスパターンと持続的な高スループットワークロードに最適化されたストレージエンジンSuiや類似のブロックチェーンプラットフォームにおけるストレージ動作は、繰り返し現れるデータアクセスパターンの小さなセットによって支配されており、Tidehunterはこれらの特性に特化して設計されています。状態の大部分は暗号ハッシュキーを用いてアドレスされ、これらは均等に分散され、比較的大きなレコードにマッピングされることが一般的であり、局所性を排除しつつ、一貫性と正確性を簡素化します。同時に、ブロックチェーンはコンセンサスログやチェックポイントなどの追記指向の構造に大きく依存しており、これらは順次書き込みが行われ、その後単調増加する識別子を用いて取得されます。これらの環境は本質的に書き込み負荷が高く、遅延に敏感な読み取りパスに高速アクセスを必要とし、過剰な書き込み増幅はスループットと応答性の両方に直接的な脅威となります。Tidehunterの中心には、最新のソリッドステートストレージの並列能力を活用するために構築された高並列性の書き込みパイプラインがあります。新規書き込みは、非常に高い操作速度を維持できるロックフリーの書き込み先行ログを通じて流れ、競合は最小限の割り当てステップに限定されます。データのコピーは並列に進行し、システムは書き込み可能なメモリマップドファイルを使用して操作ごとのシステムコールを回避しつつ、耐久性はバックグラウンドサービスによって非同期に処理されます。この設計により、ディスク帯域を飽和させつつもCPU負荷に制約されない、予測可能で高並列な書き込み経路が実現します。書き込み増幅の削減は、最適化の一環ではなく、主要なアーキテクチャの目標として扱われます。ログを一時的なステージングエリアとして使用するのではなく、Tidehunterはデータを永続的にログセグメントに格納し、オフセットを直接参照するインデックスを構築することで、値の繰り返し書き換えを排除しています。インデックスは、書き込み増幅を低く抑え、並列性を高めるために多くのシャードに分割されており、従来のLSMツリー構造の必要性を排除します。チェックポイントやコンセンサスレコードのような追記中心のデータセットには、最新データを密にグループ化する特殊なシャーディング戦略が採用されており、履歴データの増加に伴っても書き込みオーバーヘッドが安定したまま維持されます。均一に分散されたハッシュキーでアドレスされるテーブルには、予測可能で低遅延のアクセスに最適化された均一ルックアップインデックスが導入されています。複数の小さくランダムな読み取りを行うのではなく、インデックスは統計的に目的のエントリを含むと考えられるやや大きな連続領域を読み取り、多くのルックアップを単一のディスクラウンドトリップで完了させます。このアプローチは、読み取りスループットの一部を犠牲にして低遅延と安定性を優先するものであり、書き込み増幅の削減により読取トラフィックに対して大きなディスク帯域を解放できるため、実用的です。結果として、トランザクション実行や状態検証などの遅延に敏感な操作において、より一貫したパフォーマンスを実現します。スケール時のテールレイテンシをさらに制御するために、TidehunterはダイレクトI/Oとアプリケーション管理のキャッシュを組み合わせています。大規模な履歴読み取りはOSのページキャッシュをバイパスし、キャッシュ汚染を防止します。一方、最近頻繁にアクセスされるデータは、アプリケーションレベルのアクセスパターンに基づいて情報を得たユーザースペースキャッシュに保持されます。これにより、インデックスレイアウトと相まって、不必要なディスクラウンドトリップを削減し、持続的な負荷下での予測性を向上させます。データのライフサイクル管理も簡素化されています。レコードは直接ログセグメントに格納されているため、不要になった履歴データは保持期間を超えた段階でログファイル全体を削除するだけで済みます。これにより、LSMベースのデータベースが必要とする複雑でI/O負荷の高い圧縮メカニズムを回避し、データセットの拡大に伴うより高速で予測可能な剪定を可能にします。実際のSuiの使用状況を反映したワークロードにおいて、TidehunterはRocksDBよりも高いスループットと低遅延を示し、ディスク書き込み帯域も大幅に少なく抑えられています。最も顕著な改善は書き込み増幅のほぼ排除によるもので、ディスク活動がアプリケーションレベルの書き込みにより近づき、I/O容量を読み取りに振り向けることができる点にあります。これらの効果は、制御されたベンチマークだけでなく、完全な検証者展開においても観測されており、合成テストを超えた利点を示しています。評価は、挿入、削除、ポイントルックアップ、イテレーションの現実的な混合をモデル化したデータベース非依存のベンチマークフレームワークを用いて行われます。テストは、Suiに類似したキー分布、値のサイズ、読み書き比率を反映し、推奨される検証者仕様に合わせたハードウェア上で実行されます。これらの条件下で、Tidehunterは一貫してRocksDBよりも高いスループットと低い遅延を維持し、特に書き込み負荷やバランスの取れたシナリオで最大の優位性を示します。検証者レベルのベンチマークも結果を裏付けており、Suiに直接組み込まれ、持続的なトランザクション負荷にさらされた場合、Tidehunterを使用したシステムは、RocksDBを用いた展開がディスク使用率の上昇やパフォーマンス低下に苦しみ始める運用ポイントでも、安定したスループットと低遅延を維持します。測定結果は、ディスク負荷の低減、CPU使用率の安定化、最終性遅延の改善を示し、負荷が同等の条件下での挙動の明確な差異を浮き彫りにしています。Tidehunterは、長期運用と高スループットを求めるブロックチェーンシステムの運用要求に対する実用的な解答です。ブロックチェーンがバースト駆動型から持続的なワークロードへと移行するにつれ、ストレージ効率はプロトコルのパフォーマンスにとって基盤的な要件となります。Tidehunterの設計は、その次のスケール段階に向けて明確にインフラを構築する方向へとシフトしており、今後さらなる技術詳細や展開計画が発表される予定です。
Tidehunter: Suiの次世代データベースは、低遅延と書き込み増幅の削減を最適化した設計です。高速なデータ処理と効率的なストレージ管理を実現し、システムのパフォーマンス向上に貢献します。
この新しいアーキテクチャにより、企業はより迅速かつ信頼性の高いデータ処理を行うことが可能となります。
### 特徴
- 低遅延の応答時間
- 書き込み増幅の最小化
- 高いスケーラビリティ
これらの改善により、Suiの次世代データベースは、ビッグデータやリアルタイム分析のニーズに最適です。
概要
Suiは、Validatorおよびフルノードのワークロードにおいて書き込み増幅を削減し、より高く安定したスループットと低遅延を実現するために設計された、目的別のブロックチェーンストレージエンジン「Tidehunter」を導入しました。
Layer 1のブロックチェーンネットワークであるSuiは、現代のブロックチェーンインフラストラクチャに一般的に見られるパフォーマンス要求、データアクセス特性、運用制約に合わせて設計された新しいストレージエンジン「Tidehunter」を導入しました。
このシステムは、検証者とフルノードの両方が使用する既存のデータベース層の後継候補として位置付けられ、運用規模やワークロードの変化に対応したコアインフラの近代化を目指す広範な取り組みの一環です。
Suiは当初、広く採用され成熟したソリューションであるRocksDBを主要なキー–バリュー記憶層として採用しており、迅速なプロトコル開発を可能にしていました。しかし、プラットフォームの拡大と運用要求の増加に伴い、一般的なLSMツリー型データベースの根本的な制約が本番環境で次第に顕在化しました。
広範なチューニングと深い内部知識だけでは、ブロックチェーンシステムのアクセスパターンと相容れない構造的非効率性を完全に解決できませんでした。これにより、ブロックチェーンのワークロードに最適化されたストレージエンジンの設計に戦略的にシフトし、「Tidehunter」の開発に至りました。
この決定の背後にある主要な要因の一つは、持続的な書き込み増幅です。現実的なSuiのワークロード下での測定では、増幅レベルはおよそ10倍から12倍であり、比較的小さなアプリケーションデータ量が不釣り合いに大量のディスクトラフィックを生成していることを示しています。このような挙動はLSMベースのシステムでは一般的ですが、実効的なストレージ帯域幅を削減し、バックグラウンドの圧縮と読み取り操作間の競合を激化させます。書き込み集約型やバランスの取れた読み書き環境では、このオーバーヘッドはスループットの拡大に伴いますます制約となります。
Tidehunterアーキテクチャ：ブロックチェーンアクセスパターンと持続的な高スループットワークロードに最適化されたストレージエンジン
Suiや類似のブロックチェーンプラットフォームにおけるストレージ動作は、繰り返し現れるデータアクセスパターンの小さなセットによって支配されており、Tidehunterはこれらの特性に特化して設計されています。状態の大部分は暗号ハッシュキーを用いてアドレスされ、これらは均等に分散され、比較的大きなレコードにマッピングされることが一般的であり、局所性を排除しつつ、一貫性と正確性を簡素化します。
同時に、ブロックチェーンはコンセンサスログやチェックポイントなどの追記指向の構造に大きく依存しており、これらは順次書き込みが行われ、その後単調増加する識別子を用いて取得されます。これらの環境は本質的に書き込み負荷が高く、遅延に敏感な読み取りパスに高速アクセスを必要とし、過剰な書き込み増幅はスループットと応答性の両方に直接的な脅威となります。
Tidehunterの中心には、最新のソリッドステートストレージの並列能力を活用するために構築された高並列性の書き込みパイプラインがあります。新規書き込みは、非常に高い操作速度を維持できるロックフリーの書き込み先行ログを通じて流れ、競合は最小限の割り当てステップに限定されます。
データのコピーは並列に進行し、システムは書き込み可能なメモリマップドファイルを使用して操作ごとのシステムコールを回避しつつ、耐久性はバックグラウンドサービスによって非同期に処理されます。この設計により、ディスク帯域を飽和させつつもCPU負荷に制約されない、予測可能で高並列な書き込み経路が実現します。
書き込み増幅の削減は、最適化の一環ではなく、主要なアーキテクチャの目標として扱われます。ログを一時的なステージングエリアとして使用するのではなく、Tidehunterはデータを永続的にログセグメントに格納し、オフセットを直接参照するインデックスを構築することで、値の繰り返し書き換えを排除しています。
インデックスは、書き込み増幅を低く抑え、並列性を高めるために多くのシャードに分割されており、従来のLSMツリー構造の必要性を排除します。チェックポイントやコンセンサスレコードのような追記中心のデータセットには、最新データを密にグループ化する特殊なシャーディング戦略が採用されており、履歴データの増加に伴っても書き込みオーバーヘッドが安定したまま維持されます。
均一に分散されたハッシュキーでアドレスされるテーブルには、予測可能で低遅延のアクセスに最適化された均一ルックアップインデックスが導入されています。複数の小さくランダムな読み取りを行うのではなく、インデックスは統計的に目的のエントリを含むと考えられるやや大きな連続領域を読み取り、多くのルックアップを単一のディスクラウンドトリップで完了させます。
このアプローチは、読み取りスループットの一部を犠牲にして低遅延と安定性を優先するものであり、書き込み増幅の削減により読取トラフィックに対して大きなディスク帯域を解放できるため、実用的です。結果として、トランザクション実行や状態検証などの遅延に敏感な操作において、より一貫したパフォーマンスを実現します。
スケール時のテールレイテンシをさらに制御するために、TidehunterはダイレクトI/Oとアプリケーション管理のキャッシュを組み合わせています。大規模な履歴読み取りはOSのページキャッシュをバイパスし、キャッシュ汚染を防止します。一方、最近頻繁にアクセスされるデータは、アプリケーションレベルのアクセスパターンに基づいて情報を得たユーザースペースキャッシュに保持されます。これにより、インデックスレイアウトと相まって、不必要なディスクラウンドトリップを削減し、持続的な負荷下での予測性を向上させます。
データのライフサイクル管理も簡素化されています。レコードは直接ログセグメントに格納されているため、不要になった履歴データは保持期間を超えた段階でログファイル全体を削除するだけで済みます。これにより、LSMベースのデータベースが必要とする複雑でI/O負荷の高い圧縮メカニズムを回避し、データセットの拡大に伴うより高速で予測可能な剪定を可能にします。
実際のSuiの使用状況を反映したワークロードにおいて、TidehunterはRocksDBよりも高いスループットと低遅延を示し、ディスク書き込み帯域も大幅に少なく抑えられています。最も顕著な改善は書き込み増幅のほぼ排除によるもので、ディスク活動がアプリケーションレベルの書き込みにより近づき、I/O容量を読み取りに振り向けることができる点にあります。これらの効果は、制御されたベンチマークだけでなく、完全な検証者展開においても観測されており、合成テストを超えた利点を示しています。
評価は、挿入、削除、ポイントルックアップ、イテレーションの現実的な混合をモデル化したデータベース非依存のベンチマークフレームワークを用いて行われます。テストは、Suiに類似したキー分布、値のサイズ、読み書き比率を反映し、推奨される検証者仕様に合わせたハードウェア上で実行されます。これらの条件下で、Tidehunterは一貫してRocksDBよりも高いスループットと低い遅延を維持し、特に書き込み負荷やバランスの取れたシナリオで最大の優位性を示します。
検証者レベルのベンチマークも結果を裏付けており、Suiに直接組み込まれ、持続的なトランザクション負荷にさらされた場合、Tidehunterを使用したシステムは、RocksDBを用いた展開がディスク使用率の上昇やパフォーマンス低下に苦しみ始める運用ポイントでも、安定したスループットと低遅延を維持します。測定結果は、ディスク負荷の低減、CPU使用率の安定化、最終性遅延の改善を示し、負荷が同等の条件下での挙動の明確な差異を浮き彫りにしています。
Tidehunterは、長期運用と高スループットを求めるブロックチェーンシステムの運用要求に対する実用的な解答です。ブロックチェーンがバースト駆動型から持続的なワークロードへと移行するにつれ、ストレージ効率はプロトコルのパフォーマンスにとって基盤的な要件となります。Tidehunterの設計は、その次のスケール段階に向けて明確にインフラを構築する方向へとシフトしており、今後さらなる技術詳細や展開計画が発表される予定です。