He visto un movimiento bastante interesante. Parece que Moondream ha lanzado un nuevo servicio llamado "Lens" especializado en mejorar la precisión de los modelos de lenguaje visual. Fue la semana pasada, el 21 de abril.

Hasta ahora, los VLM eran excelentes en laboratorio, pero cuando se llevaban al mundo real, la precisión caía drásticamente. Lens es un servicio de ajuste fino para solucionar eso, compatible tanto con aprendizaje por refuerzo como con ajuste supervisado. Es una API de pago por uso, por lo que se puede usar solo lo necesario.

Lo que es impresionante es que se puede lograr una mejora significativa con una cantidad pequeña de datos. Como ejemplo, al usarlo para analizar videos en vivo de transmisiones de la NBA, el puntaje F1 subió del 28% al 79%. También se redujeron mucho los falsos positivos.

En tareas como identificar países a partir de imágenes de Street View o procesamiento de imágenes médicas, también han mostrado un rendimiento superior a los modelos existentes. Parece que la implementación práctica de los modelos de lenguaje visual ha avanzado un paso más.

PTZOptics, uno de los socios iniciales de Moondream, planea integrar Lens para mejorar la precisión en seguimiento de objetivos y detección de anomalías. Moondream ya había lanzado el motor de inferencia Photon, pero Lens complementa eso, permitiendo equilibrar velocidad y precisión en la operación de VLM.

Resolver los desafíos de aplicaciones en el mundo real con tecnología. Este tipo de mejoras constantes probablemente conducirá a una adopción más generalizada de los VLM.