Tidehunter: La base de datos de próxima generación de Sui optimizada para baja latencia y reducción de la amplificación de escritura

En Resumen

Sui ha presentado Tidehunter, un motor de almacenamiento en blockchain diseñado específicamente para reemplazar RocksDB al reducir la amplificación de escritura y ofrecer un mayor rendimiento, más estable, y menor latencia para cargas de trabajo de validadores y nodos completos.

Sui, una red de blockchain de Capa 1, ha introducido Tidehunter, un nuevo motor de almacenamiento diseñado para alinearse con las demandas de rendimiento, las características de acceso a datos y las restricciones operativas comúnmente encontradas en las infraestructuras blockchain contemporáneas.

El sistema se posiciona como un posible sucesor de la capa de base de datos existente utilizada tanto por validadores como por nodos completos, reflejando un esfuerzo más amplio por modernizar la infraestructura central en respuesta a la escala y perfiles de carga de trabajo en evolución en entornos blockchain de producción.

Originalmente, Sui dependía de RocksDB como su capa principal de almacenamiento clave-valor, una solución ampliamente adoptada y madura que permitía un desarrollo rápido del protocolo. A medida que la plataforma se expandió y aumentaron las demandas operativas, las limitaciones fundamentales de las bases de datos LSM-tree de propósito general se hicieron cada vez más evidentes en entornos similares a producción.

Una afinación exhaustiva y un profundo conocimiento interno no pudieron abordar completamente las ineficiencias estructurales que entraban en conflicto con los patrones de acceso típicos de los sistemas blockchain. Esto llevó a un cambio estratégico hacia el diseño de un motor de almacenamiento optimizado específicamente para cargas de trabajo blockchain, resultando en el desarrollo de Tidehunter.

Un factor central detrás de esta decisión fue la persistente amplificación de escritura. Las mediciones bajo cargas de trabajo realistas de Sui mostraron niveles de amplificación de aproximadamente diez a doce veces, lo que significa que volúmenes relativamente pequeños de datos de aplicación generaban cantidades desproporcionadas de tráfico en disco. Aunque este comportamiento es común en sistemas basados en LSM, reduce el ancho de banda efectivo de almacenamiento y aumenta la contención entre la compactación en segundo plano y las operaciones de lectura. En entornos con cargas intensivas de escritura o balanceadas entre lectura y escritura, esta sobrecarga se vuelve cada vez más restrictiva a medida que aumenta el rendimiento.

Las pruebas de carga en clústeres de alto rendimiento confirmaron el impacto, con la utilización del disco acercándose a la saturación a pesar de tasas moderadas de escritura de aplicaciones, destacando la creciente desconexión entre las arquitecturas de almacenamiento convencionales y los requisitos de rendimiento de blockchain modernos.

Arquitectura de Tidehunter: Un motor de almacenamiento optimizado para patrones de acceso blockchain y cargas de trabajo de alto rendimiento sostenido

El comportamiento del almacenamiento en Sui y plataformas blockchain comparables está dominado por un conjunto reducido de patrones de acceso a datos recurrentes, y Tidehunter está diseñado específicamente en torno a estas características. Una gran parte del estado se aborda mediante claves hash criptográficas que están distribuidas de manera uniforme y generalmente mapean a registros relativamente grandes, lo que elimina la localidad pero simplifica la consistencia y corrección.

Al mismo tiempo, las blockchains dependen en gran medida de estructuras orientadas a anexar, como registros de consenso y puntos de control, donde los datos se escriben en orden y luego se recuperan usando identificadores monotonicamente crecientes. Estos entornos también son inherentemente intensivos en escritura, mientras que aún requieren acceso rápido en rutas de lectura críticas en latencia, haciendo que la amplificación excesiva de escritura sea una amenaza directa tanto para el rendimiento como para la capacidad de respuesta.

En el centro de Tidehunter se encuentra un pipeline de escritura de alta concurrencia construido para explotar las capacidades paralelas del almacenamiento de estado sólido moderno. Las escrituras entrantes se canalizan a través de un registro de escritura sin bloqueo capaz de sostener tasas de operación extremadamente altas, con contención limitada a un paso de asignación mínimo.

La copia de datos procede en paralelo, y el sistema evita llamadas al sistema por operación mediante el uso de archivos mapeados en memoria que son modificables, mientras que la durabilidad se maneja de forma asíncrona mediante servicios en segundo plano. Este diseño produce una ruta de escritura predecible y altamente paralela que puede saturar el ancho de banda del disco sin verse limitada por la sobrecarga de CPU.

Reducir la amplificación de escritura se trata como un objetivo arquitectónico principal en lugar de una simple optimización. En lugar de usar el registro como una zona de preparación temporal, Tidehunter almacena los datos de forma permanente en segmentos de registro y construye índices que hacen referencia a desplazamientos directamente, eliminando reescrituras repetidas de valores.

Los índices están altamente fragmentados para mantener baja la amplificación de escritura y aumentar el paralelismo, eliminando la necesidad de estructuras tradicionales de árbol LSM. Para conjuntos de datos dominados por anexos, como puntos de control y registros de consenso, estrategias de fragmentación especializadas mantienen los datos recientes agrupados de manera estrecha, de modo que la sobrecarga de escritura permanezca estable incluso a medida que crecen los datos históricos.

Para tablas abordadas mediante claves hash distribuidas uniformemente, Tidehunter introduce un índice de búsqueda uniforme optimizado para accesos predictibles y de baja latencia. En lugar de realizar múltiples lecturas pequeñas y aleatorias, el índice lee una región contigua ligeramente mayor que estadísticamente contiene la entrada deseada, permitiendo que la mayoría de las búsquedas se completen en un solo viaje de disco.

Este enfoque sacrifica deliberadamente algo de rendimiento de lectura por una latencia más baja y estable, un compromiso que resulta práctico porque la reducción de la amplificación de escritura libera un ancho de banda sustancial en disco para el tráfico de lectura. El resultado es un rendimiento más consistente en operaciones sensibles a la latencia, como la ejecución de transacciones y la validación de estado.

Para controlar aún más la latencia en cola a gran escala, Tidehunter combina I/O directo con caché gestionado por la aplicación. Las lecturas históricas grandes evitan la caché de páginas del sistema operativo para prevenir la contaminación de caché, mientras que los datos recientes y de acceso frecuente se mantienen en cachés en espacio de usuario informados por patrones de acceso a nivel de aplicación. En conjunto con su disposición de índices, esto reduce viajes innecesarios al disco y mejora la previsibilidad bajo carga sostenida.

La gestión del ciclo de vida de los datos también se simplifica. Debido a que los registros se almacenan directamente en segmentos de registro, eliminar datos históricos obsoletos puede realizarse eliminando archivos de registro completos una vez que caen fuera de la ventana de retención. Esto evita los mecanismos complejos y I/O intensivos de compactación requeridos por bases de datos basadas en LSM y permite una poda más rápida y predecible incluso a medida que los conjuntos de datos crecen.

En cargas de trabajo diseñadas para reflejar el uso real de Sui, Tidehunter demuestra mayor rendimiento y menor latencia que RocksDB, consumiendo significativamente menos ancho de banda de escritura en disco. La mejora más visible proviene de la casi eliminación de la amplificación de escritura, lo que permite que la actividad en disco se asemeje más a las escrituras a nivel de aplicación y preserva la capacidad de I/O para las lecturas. Estos efectos se observan tanto en benchmarks controlados como en implementaciones completas de validadores, indicando que las ganancias van más allá de las pruebas sintéticas.

La evaluación se realiza mediante un marco de referencia independiente de la base de datos que modela mezclas realistas de inserciones, eliminaciones, búsquedas puntuales y cargas de trabajo de iteración. Las pruebas se parametrizan para reflejar distribuciones de claves similares a Sui, tamaños de valores y ratios de lectura-escritura, y se ejecutan en hardware alineado con las especificaciones recomendadas para validadores. Bajo estas condiciones, Tidehunter mantiene consistentemente un mayor rendimiento y menor latencia que RocksDB, con las mayores ventajas en escenarios de escritura intensiva y balanceados.

Las pruebas a nivel de validador confirman aún más los resultados. Cuando se integran directamente en Sui y se someten a cargas sostenidas de transacciones, los sistemas que usan Tidehunter mantienen un rendimiento estable y menor latencia en puntos de operación donde las implementaciones respaldadas por RocksDB comienzan a sufrir por el aumento en la utilización del disco y la degradación del rendimiento. Las mediciones muestran menor presión en el disco, un uso de CPU más estable y una latencia de finalización mejorada, destacando una divergencia clara en el comportamiento bajo cargas comparables.

Tidehunter representa una respuesta práctica a las demandas operativas de sistemas blockchain de alto rendimiento y larga duración. A medida que las blockchains avanzan hacia cargas de trabajo sostenidas en lugar de ráfagas, la eficiencia del almacenamiento se convierte en un requisito fundamental para el rendimiento del protocolo. El diseño de Tidehunter refleja un cambio hacia una infraestructura construida explícitamente para esa próxima etapa de escala, con más detalles técnicos y planes de despliegue que se darán a conocer próximamente.