Achei um movimento bastante interessante. Parece que a Moondream lançou um novo serviço chamado "Lens", especializado em melhorar a precisão de modelos de linguagem visual. Foi na semana passada, no dia 21 de abril.

Até agora, os VLMs eram excelentes em laboratório, mas quando levados para o mundo real, a precisão caía drasticamente. O Lens é um serviço de ajuste fino para corrigir isso, suportando tanto aprendizagem por reforço quanto ajuste supervisionado. É uma API de pagamento por uso, podendo ser utilizada conforme a necessidade.

O que é impressionante é que melhorias significativas podem ser alcançadas com uma quantidade pequena de dados. Como exemplo, ao usar na análise de vídeos de transmissões ao vivo da NBA, a pontuação F1 subiu de 28% para 79%. Além disso, as detecções incorretas também diminuíram bastante.

Dizem que, em tarefas como identificar o país a partir de imagens do Street View ou processamento de imagens médicas, o desempenho supera modelos existentes. Parece que um avanço na aplicação prática de modelos de linguagem visual foi alcançado.

A PTZOptics, um dos parceiros iniciais da Moondream, planeja incorporar o Lens para melhorar a precisão do rastreamento de alvo e detecção de anomalias. A Moondream já lançou anteriormente o motor de inferência Photon, mas o Lens complementa essa tecnologia, focando na combinação de velocidade e precisão na operação de VLMs.

Resolver os desafios de aplicação no mundo real com tecnologia. São melhorias assim, passo a passo, que provavelmente levarão à adoção mais ampla dos VLMs.