Las 30,000 millones de fotos de Pokémon Go están enseñando a los robots de reparto a orientarse

Autor: Will Douglas Heaven

Traducido por: 深潮 TechFlow

深潮导读： Niantic convirtió las 30 mil millones de fotos urbanas tomadas por jugadores de Pokémon Go en un nuevo negocio. Su subsidiaria de IA, Niantic Spatial, utilizó estos datos para entrenar un sistema de localización visual que alcanza una precisión de centímetros, mucho mejor que el GPS en entornos urbanos. Su primer gran cliente es la empresa de robots de reparto Coco Robotics. Desde capturar Pikachu hasta entregar pizzas, esta puede ser una de las rutas de comercialización de datos crowdsourcing más sorprendentes.

El artículo completo:

Pokémon Go es el primer juego de realidad aumentada (AR) de impacto mundial. Lanzado en 2016 por Niantic, una filial de Google, este juego basado en la IP de Pokémon y con realidad aumentada rápidamente conquistó el mundo. Desde Chicago hasta Oslo y Enoshima, los jugadores salieron a las calles con la esperanza de atrapar un Pikachu, un Squirtle o, con suerte, un Zapdos de Galar, flotando en el mundo real, casi alcanzable.

En pocas palabras, millones de personas toman fotos de edificios con sus teléfonos. “Cincocientos millones de personas instalaron esta app en 60 días”, dice Brian McClendon, CTO de Niantic Spatial. Niantic Spatial es la empresa de IA que se separó de Niantic en mayo del año pasado. Según datos de Scopely (que adquirió Pokémon Go en ese mismo período), el juego aún tiene más de 100 millones de jugadores activos en 2024, ocho años después de su lanzamiento.

Ahora, Niantic Spatial está aprovechando esta incomparable base de datos crowdsourcing — fotos de puntos de referencia urbanos tomadas por cientos de millones de jugadores en todo el mundo, con marcas de ubicación extremadamente precisas — para construir un modelo del mundo (World Model). Esta es una tendencia tecnológica actual, cuyo objetivo es anclar la inteligencia de los modelos de lenguaje grande (LLM) en entornos del mundo real.

Su producto más reciente es un modelo que, con solo unas pocas fotos de un edificio o un punto de referencia, puede determinar tu ubicación en el mapa con precisión de centímetros. Quieren usarlo para ayudar a robots a navegar con mayor precisión en lugares donde el GPS no funciona bien.

Como primera validación a gran escala de esta tecnología, Niantic Spatial acaba de colaborar con Coco Robotics. Coco es una startup que despliega robots de reparto de última milla en varias ciudades de EE. UU. y Europa. “Todos piensan que el AR es el futuro, que las gafas AR llegarán pronto”, dice McClendon, “pero los robots fueron los primeros en llegar a los usuarios”.

De Pikachu a entregar pizzas

Coco Robotics ha desplegado unos 1000 robots del tamaño de maletas en Los Ángeles, Chicago, Jersey City, Miami y Helsinki, capaces de transportar hasta 8 pizzas grandes o 4 bolsas de compras. Según su CEO, Zach Rash, estos robots han realizado más de 500,000 entregas, recorriendo millones de millas en diversas condiciones climáticas.

Pero para competir con humanos, los robots de Coco (que circulan por las aceras a unos 8 km/h) deben ser muy confiables. “Nuestro mejor método es llegar a tiempo, en el momento justo”, dice Rash. Eso significa que no pueden perderse.

El problema de Coco es que no puede depender del GPS. En las ciudades, las señales de radio rebotan entre edificios y se interferen, haciendo que la señal GPS sea débil. “Hacemos entregas en áreas densas con rascacielos, túneles subterráneos y puentes elevados, donde el GPS casi nunca funciona”, explica Rash.

“Los cañones urbanos son los peores lugares para el GPS en todo el mundo”, dice McClendon. “La mancha azul en tu teléfono, a menudo, se desplaza 50 metros, colocándote en otro barrio, en otra dirección, al otro lado de la calle”. Eso es lo que Niantic Spatial busca solucionar.

En los últimos años, Niantic Spatial ha estado procesando los datos generados por jugadores de Pokémon Go e Ingress (su anterior juego de AR lanzado en 2013), para construir un sistema de localización visual (Visual Positioning System) — determinar dónde estás solo con lo que ves. “Hacer que Pikachu corra por la calle en la vida real y que los robots de Coco naveguen con seguridad y precisión en la ciudad es, en esencia, el mismo problema”, dice John Hanke, CEO de Niantic Spatial.

“La localización visual no es una tecnología nueva”, dice Konrad Wenzel, de ESRI, una compañía de mapas digitales y análisis geoespacial, “pero está claro que cuanto más cámaras hay afuera, mejor funciona”.

Niantic Spatial entrenó su modelo con 30 mil millones de fotos tomadas en entornos urbanos. Estas imágenes están especialmente concentradas en “puntos calientes” — lugares importantes en Pokémon, como gimnasios de batalla. “Tenemos más de un millón de lugares en todo el mundo donde podemos localizarte con precisión”, dice McClendon, “sabemos dónde estás, con una precisión de unos centímetros. Y lo más importante, sabemos en qué dirección estás mirando”.

El resultado es que, para cada uno de estos 1 millón de lugares, Niantic Spatial tiene miles de fotos tomadas desde casi la misma posición, pero con diferentes ángulos, en distintos momentos y condiciones climáticas. Cada foto lleva metadatos detallados: la posición exacta del teléfono en el espacio, su orientación, postura, si está en movimiento, velocidad y dirección, etc.

La compañía entrena su modelo con este conjunto de datos para que pueda predecir con precisión su ubicación solo con “lo que ve”, incluso en áreas fuera de estos puntos calientes, donde las imágenes y los datos de ubicación son escasos.

Además del GPS, los robots de Coco (que llevan 4 cámaras) usan este modelo para determinar dónde están y a dónde deben ir. Las cámaras están colocadas a la altura de las caderas, mirando en todas las direcciones. Aunque el campo de visión y la orientación difieren de los jugadores de Pokémon Go, Rash dice que adaptar los datos no es complicado.

Sus competidores también usan sistemas de localización visual. Por ejemplo, Starship Technologies, fundada en Estonia en 2014, afirma que sus robots construyen mapas 3D del entorno usando sensores, marcando bordes de edificios y farolas.

Pero Rash apuesta a que la tecnología de Niantic Spatial dará a Coco una ventaja. Cree que permitirá a los robots detenerse con precisión frente a los restaurantes para recoger pedidos sin bloquear a nadie, y estacionarse en la puerta del cliente en lugar de a unos metros de distancia — algo que antes ocurría con frecuencia.

El auge de los robots

Cuando Niantic Spatial empezó a desarrollar sistemas de localización visual, su objetivo era usarlos en AR, dice Hanke. “Si usas gafas AR y quieres que el mundo virtual se fije en la dirección en que miras, necesitas un método para lograrlo. Pero ahora estamos presenciando un gran auge en el campo de los robots”.

Algunos robots necesitan compartir espacio con humanos, como en obras de construcción y aceras. “Para que los robots se integren sin molestar a las personas, deben tener una comprensión espacial similar a la humana”, dice Hanke. “Cuando los robots son empujados o chocan, podemos ayudarlos a recuperar su posición exacta”.

La colaboración con Coco Robotics es solo el comienzo. Hanke dice que Niantic Spatial está construyendo lo que llama un “Mapa Vivo” (Living Map): una simulación de mundo virtual de alta precisión que evoluciona con los cambios del mundo real. A medida que los robots de Coco y otros desplieguen en diferentes lugares, aportarán nuevas fuentes de datos cartográficos, haciendo que las réplicas digitales del mundo sean cada vez más detalladas.

Para Hanke y McClendon, los mapas no solo se están volviendo más precisos, sino que también se usan cada vez más por máquinas. Esto cambia el propósito de los mapas. Durante mucho tiempo, los mapas ayudaron a los humanos a ubicarse. De 2D a 3D y luego a 4D (como en las simulaciones en tiempo real de gemelos digitales), la idea básica no ha cambiado: cada punto en el mapa corresponde a un punto en el espacio o en el tiempo.

Pero los mapas para máquinas podrían necesitar parecer más a guías, llenos de información que los humanos consideran obvia. Niantic Spatial y empresas como ESRI quieren agregar descripciones a los mapas, para que las máquinas entiendan lo que ven, con atributos para cada objeto. “La tarea de esta era es construir descripciones útiles del mundo para las máquinas”, dice Hanke. “Los datos que tenemos son un excelente punto de partida para entender cómo funciona la organización y conexión del mundo”.

El modelo del mundo está en auge, y Niantic Spatial lo sabe. Los LLM parecen entenderlo todo, pero en la interpretación y la interacción con entornos cotidianos, carecen de sentido común. El modelo del mundo busca resolver esto. Algunas empresas, como Google DeepMind y World Labs, están desarrollando modelos que generan mundos virtuales instantáneamente, para usarlos como campo de entrenamiento para IA.

Niantic Spatial afirma que abordan este problema desde diferentes ángulos. Si haces mapas lo suficientemente detallados, eventualmente capturarás todo, dice McClendon: “Aún no estamos allí, pero estamos en camino. Mi enfoque ahora está en intentar reconstruir el mundo real”.