Los humanos generalmente pueden adivinar de qué se trata la caja al recogerla y sacudirla sin ver lo que hay dentro. Investigadores del MIT, Amazon Robotics y la Universidad de Columbia Británica enseñan a los robots a hacer cosas similares.

Desarrollaron una tecnología que permite a los robots usar solo sensores internos para comprender el peso, la suavidad o el contenido de un objeto recogiéndolo y sacudiéndolo suavemente. Con su método (no se requieren herramientas de medición externa o cámaras), el robot puede adivinar con precisión la calidad de un objeto en segundos.

Esta tecnología de bajo costo es especialmente útil en aplicaciones donde las cámaras pueden ser menos efectivas, como clasificar objetos en sótanos oscuros o eliminar grava en edificios parcialmente colapsados ​​después de terremotos.

La clave de su enfoque es un proceso de simulación que combina el modelo del robot con objetos que identifican rápidamente la característica del objeto cuando el robot interactúa con él.

Las técnicas de los investigadores son tan buenas para adivinar la masa de objetos como algunos de los métodos más complejos y costosos que incluyen la visión por computadora. Además, su enfoque de eficiencia de datos es lo suficientemente potente como para manejar muchos tipos de situaciones invisibles.

“La idea es general, y creo que estamos rascando lo que los robots pueden aprender de esta manera. Mi sueño es llevar a los robots al mundo, tocar cosas y mover cosas al medio ambiente, y descubrir las características de todo lo que interactúan solos”, dijo Peter Yichen Chen de MIT Postdoc.

Sus coautores incluyen a Liu, un becario postdoctoral en el MIT; Pingchuan MA PhD ’25; Jack Eastman Meng ’24; Dylan Randle y Yuri Ivanov de Amazon Robotics; Daniela Rus, profesora de ingeniería eléctrica e informática, que dirige el Laboratorio de Informática e Inteligencia Artificial (CSAIL) en el MIT; y Wojciech Matusik, quien lidera el equipo de diseño y fabricación informático dentro de CSAIL. El estudio se presentará en la Conferencia Internacional sobre Tecnología y Automatización de Robótica.

Señal de detección

El enfoque de los investigadores utiliza la propiocepción, la capacidad de los humanos o los robots para sentir su movimiento o posición en el espacio.

Por ejemplo, una persona que levanta pesas en el gimnasio puede sentir el peso de sus muñecas y bíceps en sus muñecas y bíceps, incluso si sostienen las pesas en sus manos. De la misma manera, el robot puede “sentir” el peso de un objeto a través de múltiples articulaciones de su brazo.

“No hay mediciones ultra precisas del ángulo de la articulación en un dedo humano o la cantidad exacta de torque que estamos aplicando a un objeto, pero el robot puede. Aprovechamos estas capacidades”, dijo Liu.

Cuando el robot levanta un objeto, el sistema de los investigadores recolecta señales del codificador articular del robot, un sensor que detecta la posición de rotación y la velocidad de sus articulaciones durante el movimiento.

Liu agregó que la mayoría de los robots han articulado codificadores en el motor para conducir sus piezas móviles. Esto hace que su tecnología sea más rentable que algunos métodos, ya que no requiere componentes adicionales como sensores táctiles o sistemas de seguimiento visual.

Para estimar las propiedades de un objeto durante la interacción del objeto robot, su sistema se basa en dos modelos: un modelo que simula el robot y su movimiento, y un modelo que simula la dinámica del objeto.

Chen agregó: “Tener gemelos digitales del mundo real es realmente importante para el éxito de nuestro enfoque”.

Su algoritmo “observa” robots y objetos para moverse durante las interacciones físicas y utiliza datos de codificadores conjuntos para trabajar hacia atrás e identificar las propiedades del objeto.

Por ejemplo, si el robot aplica la misma cantidad de fuerza, el objeto más pesado se moverá lentamente que la luz.

Simulación distinguible

Utilizan una técnica llamada simulación diferenciable, que permite que los algoritmos predecan pequeños cambios en las propiedades de los objetos, como la masa o la suavidad, que puede afectar la posición final del robot. Los investigadores construyeron la simulación utilizando la Biblioteca Warp de NVIDIA, una herramienta de desarrollador de código abierto que admite simulaciones distinguibles.

Una vez que la simulación distinguible coincide con la acción real del robot, el sistema determina los atributos correctos. El algoritmo puede hacer esto en segundos, y solo necesita ver una trayectoria del mundo real en el movimiento del robot para realizar el cálculo.

“Técnicamente, siempre que conozca el modelo del objeto y cómo el robot aplica fuerza a ese objeto, debería poder averiguar los parámetros que se identificarán”, dijo Liu.

Los investigadores usan sus métodos para aprender sobre la masa y la suavidad de los objetos, pero su técnica también puede determinar características tales como momentos de inercia o la viscosidad de los fluidos en los contenedores.

Además, dado que sus algoritmos no requieren grandes conjuntos de datos para ser entrenados como algunos métodos que dependen de la visión por computadora o los sensores externos, no falla fácilmente cuando se enfrenta a un entorno invisible o nuevos objetos.

En el futuro, los investigadores esperan tratar de combinar su enfoque con la visión por computadora para crear una tecnología de detección multimodal más potente.

“Este trabajo no es un intento de reemplazar la visión por computadora. Ambos enfoques tienen sus ventajas y desventajas. Pero aquí demostramos que sin una cámara, ya podemos descubrir algunas de estas propiedades”, dijo Chen.

También quieren explorar aplicaciones que usan sistemas de robots más complejos, como robots blandos, así como objetos más complejos, incluidos líquidos de ancho o medios de partículas, como la arena.

A la larga, esperan aplicar esta tecnología para mejorar el aprendizaje de los robots, lo que permite a los futuros robots desarrollar rápidamente nuevas técnicas de manipulación y adaptarse a los cambios en su entorno.

“Determinar las propiedades físicas de los objetos de los datos ha sido durante mucho tiempo un desafío para la robótica, especialmente cuando solo hay mediciones limitadas o ruidosas disponibles. Este trabajo es importante porque muestra que los robots solo pueden usar sus sensores conjuntos internos para inferir la masa y la flexibilidad sin depender de cámaras externas o herramientas de medidas profesionales”, dijo Miles Macklin, director senior senior de Miles Macklin at Nvidia, que no se involucra en las cámaras externas de las herramientas de medidas profesionales.

Este trabajo está en parte financiado por los programas de investigación de Amazon y GIST-CSAIL.