Flash Lidar Sensor Tiempo de Vuelo (ToF) en los drones y 10 usos estupendos

Sensores de tiempo de vuelo Flash Lidar para drones
Un flash lidar también conocido como sensor de cámara ToF en un avión no tripulado o en un sistema basado en tierra tiene numerosos usos poderosos.

Estos sensores de cámara de tiempo de vuelo con flash se pueden utilizar para escanear objetos, medir la distancia, navegación interior, evitar obstáculos, reconocimiento de gestos, seguimiento de objetos, medición de volúmenes, altímetros reactivos, fotografía 3D, juegos de realidad aumentada y mucho más.

Este artículo explica qué es la tecnología de sensores de cámara de alcance de profundidad Time of Flight 3D, cómo funciona y qué sectores se están beneficiando de ella.

También, miramos a los varios fabricantes de sensores Lidar ToF de flash y a los proveedores de la solución completa de ToF. Hay un montón de información adicional a continuación sobre todas las ventajas y beneficios de usar cámaras Lidar ToF con flash a través de un montón de sectores.

Los drones están causando un gran impacto en múltiples sectores y puedes leer más en este artículo sobre los mejores usos de los drones. Las verdaderas ventajas de los drones son cuando se montan los diferentes sensores para crear nuevas soluciones.

La información proporcionada aquí, que incluye videos de ToF, cubre tanto el ToF basado en tierra como el aéreo.

Qué es  la tecnología Flash Lidar ToF

La tecnología de sensor de cámara 3D lidar con flash de tiempo de vuelo es todavía relativamente joven, por lo que todavía hay una gran cantidad de innovaciones por venir.
Time of Flight (ToF) es una tecnología de mapeo de distancia e imágenes 3D de alta precisión. Los sensores de profundidad 3D de tiempo de vuelo emiten un pulso de luz infrarroja muy corto y cada píxel del sensor de la cámara mide el tiempo de retorno.

Las cámaras Lidar de tiempo de vuelo con flash tienen una gran ventaja sobre otras tecnologías, ya que son capaces de medir las distancias dentro de una escena completa en una sola toma.

ToF es una de las pocas técnicas conocidas como Range Imaging. El dispositivo sensor, que se utiliza para producir la imagen de rango, se denomina a veces cámara de rango. Otras técnicas de alcance son la triangulación estereoscópica, la triangulación de láminas de luz, la luz estructurada, la interferometría y la apertura codificada.

Las cámaras de tiempo de vuelo son sistemas LiDar altamente avanzados, que sustituyen los haces láser punto por punto estándar por un solo pulso de luz o flash para lograr una completa conciencia espacial.

La cámara puede sentir el tiempo que necesita la luz para regresar de cualquier objeto circundante, combinarlo con datos de vídeo y crear imágenes 3D en tiempo real.
Puede utilizarse para realizar un seguimiento de los movimientos faciales o de las manos, trazar un mapa de una habitación, eliminar el fondo de una imagen o incluso superponer objetos en 3D en una imagen. Y mucho más, como verás a continuación.

Principio de la tecnología del sensor de vuelo del flash Lidar Time of Flight Sensor

El Tiempo de Vuelo (ToF) es un método para medir la distancia entre un sensor y un objeto, basado en la diferencia de tiempo entre la emisión de una señal y su retorno al sensor, después de ser reflejado por un objeto.

El lidar del flash ToF no tiene escáner, lo que significa que toda la escena se captura con un solo pulso de luz (flash), en lugar de punto a punto con un rayo láser giratorio. Las cámaras de tiempo de vuelo capturan una escena completa en tres dimensiones con un sensor de imagen dedicado y, por lo tanto, no necesitan piezas móviles.

Cómo funcionan los sensores de cámara Lidar ToF con flash

Un radar láser 3D de tiempo de vuelo con una cámara CCD intensificada de compuerta rápida logra una resolución de profundidad submilimétrica. Con esta técnica, un corto pulso de láser ilumina una escena, y la cámara CCD intensificada abre su obturador de alta velocidad sólo durante unos pocos cientos de picosegundos.

La información 3D ToF se calcula a partir de la serie de imágenes 2D que se han recogido con un retraso creciente entre el pulso del láser y la apertura del obturador.

He aquí un excelente video que explica muy fácilmente lo que es la tecnología de Tiempo de Vuelo.

Tiempo de Vuelo LiDAR o Flash LiDAR Versus Lidar

Las cámaras de tiempo de vuelo también se denominan Flash LiDAR o Tiempo de vuelo LiDAR. Hay una gran diferencia en la tecnología entre el lidar de flash de Tiempo de Vuelo y el lidar. Para explicar todas las diferencias, aquí está un excelente video llamado “LiDAR y detección de tiempo de vuelo“. Este video también explica sobre la visión por ordenador para los efectos visuales.

También puede leer nuestro artículo sobre sensores Lidar titulado “Sensores lidar para UAVs y otros grandes usos“.

Nuevas soluciones con cámaras 3D ToF

Esta nueva tecnología de sensor 3D de tiempo de vuelo proporciona información precisa de la profundidad a altas velocidades de fotogramas en una cámara de estado sólido de bajo coste. La tercera dimensión adicional es llevar el procesamiento de imágenes estándar y la comprensión de imágenes a un nivel completamente nuevo. Está abriendo múltiples técnicas nuevas en inspección industrial, automatización y logística, así como aplicaciones médicas, incluida la interacción entre el hombre y la computadora.

Aplicaciones Gesture & Non-Gesture ToF

En términos generales, los usos del Tiempo de Vuelo en 3D se pueden categorizar en Gesture y Non-Gesture. Las aplicaciones Gesture enfatizan las interacciones humanas y la velocidad; mientras que las aplicaciones no Gesture enfatizan la precisión de la medición.

Las aplicaciones de gestos traducen los movimientos humanos (rostros, manos, dedos o cuerpo entero) en directivas simbólicas para comandar consolas de juego, televisores inteligentes o dispositivos informáticos portátiles.

Por ejemplo, la navegación por los canales se puede realizar agitando las manos y las presentaciones se pueden desplazar con el parpadeo de los dedos. Estas aplicaciones generalmente requieren un tiempo de respuesta rápido, un rango bajo a medio, una precisión de centímetros y un consumo de energía. El Microsoft Kinect 2 utiliza sensores de tiempo de vuelo para interactuar con gestos.

Los sensores de profundidad ToF 3D se utilizan en aplicaciones no gaseosas, que se destacan más adelante en este artículo. La industria automotriz es más avanzada que la industria de los drones en el uso de cámaras de alcance de profundidad ToF.

Por ejemplo, en el sector de la automoción, una cámara ToF puede aumentar la seguridad alertando al conductor cuando detecta personas y objetos en las inmediaciones del coche y en la conducción asistida por ordenador. En robótica y automatización, los sensores ToF pueden ayudar a detectar defectos en los productos y hacer cumplir las envolturas de seguridad necesarias para que las personas y los robots trabajen en estrecha proximidad.
Algunas de las aplicaciones ToF no gestuales son el escaneo de objetos, la navegación interior, la navegación exterior, la detección de obstáculos, la evitación de colisiones, el seguimiento de objetos, las mediciones volumétricas, los altímetros reactivos, la fotografía de imágenes en 3D, los juegos de realidad aumentada y mucho más.

Flash Lidar Tiempo de vuelo de los portadores de señales de vuelo

Varios tipos de señales (también llamadas portadoras) se utilizan con el ToF, siendo el sonido y la luz los más comunes.

Tiempo de vuelo de la portadora de luz

El uso de sensores de luz como portador es común, porque es capaz de combinar velocidad, alcance, bajo peso y seguridad ocular. La luz infrarroja garantiza una menor perturbación de la señal y una distinción más fácil de la luz ambiental natural, lo que resulta en sensores de muy alto rendimiento para su tamaño y peso dados.

Tiempo de vuelo de la portadora de sonido

Los sensores de ultrasonidos se utilizan para determinar la proximidad de objetos (reflectores) mientras el robot o el UAV está navegando. Para esta tarea, la implementación más convencional es el sensor de tiempo de vuelo, que calcula la distancia del reflector más cercano utilizando la velocidad del sonido en el aire y los tiempos de llegada de pulsos y ecos emitidos.

Ventajas del Lidar de flash del sensor de tiempo de vuelo

Como tecnología emergente, Time-of-Flight o 3D Flash LIDAR tiene una serie de ventajas sobre las cámaras de escáner de punto convencional (un píxel) y las cámaras estereoscópicas, incluyendo:

Simplicidad
A diferencia de los sistemas de visión estereoscópica o de triangulación, todo el sistema es muy compacto: la iluminación se coloca justo al lado de la lente, mientras que los demás sistemas necesitan una línea de base mínima.

A diferencia de los sistemas de escaneo láser, no se necesitan piezas mecánicas móviles.

Una gran ventaja de una cámara de Tiempo de Vuelo es poder componer una imagen 3D de una escena en una sola toma. Otros sistemas de visión 3D requieren más imágenes y movimiento.

Eficiente

Es un proceso directo para extraer la información de distancia de las señales de salida del sensor ToF. Como resultado, esta tarea utiliza sólo una pequeña cantidad de potencia de procesamiento, mientras que con la visión estereoscópica, se implementan complejos algoritmos de correlación que requieren mucha más potencia de procesamiento con más energía.

Una vez extraídos los datos de distancia, la detección de objetos también es un proceso sencillo de llevar a cabo, ya que los algoritmos no se ven perturbados por los patrones del objeto.

Velocidad

Las cámaras 3D de tiempo de vuelo son capaces de medir las distancias dentro de una escena completa con un solo disparo. Como las cámaras alcanzan hasta 160 imágenes por segundo, son ideales para su uso en aplicaciones en tiempo real.

Precio
En comparación con otras tecnologías de escaneo de alcance de profundidad 3D, como los sistemas de cámara de luz estructurada/proyector o los telémetros láser, la tecnología ToF es bastante barata.

Ventajas Tecnológicas de ToF Flash Lidar

  • Ligero.
  • Datos de tiempo de vuelo de fotograma completo (imagen 3D) recogidos con un solo pulso de láser.
  • Cálculo directo e inequívoco del alcance.
  • Imágenes libres de borrosidad sin distorsión de movimiento.
  • Co-registro del rango e intensidad para cada píxel.
  • Los píxeles se registran perfectamente dentro de un marco.
  • Capacidad para representar los objetos en la escena que son oblicuos a la cámara.
  • No se necesitan mecanismos de escaneado de precisión.
  • Combine 3D Flash LIDAR con cámaras 2D (EO e IR) para obtener una textura 2D en profundidad 3D.
  • Posibilidad de combinar varias cámaras 3D Flash LIDAR para crear una escena 3D volumétrica completa.
  • Sistemas de escaneo más pequeños y ligeros que los sistemas de escaneo por puntos.
  • Sin partes móviles.
  • Bajo consumo de energía.
  • Habilidad para “ver” en obscurantes conocidos como de rango (Niebla, Humo, Niebla, Neblina, Neblina, Lluvia).

Precio de la cámara Lidar con flash ToF

Lo que es realmente fantástico de los sensores de cámara 3D infrarroja de Tiempo de Vuelo es que son bastante razonables. Por lo general, los precios de los sensores de cámara ToF pueden comenzar en torno a los 150 dólares para una cámara ToF como la TeraRanger One que se menciona a continuación.
Al mismo tiempo, los precios de las cámaras ToF pueden llegar hasta los miles de dólares. Los sensores ToF tienen una gran variedad de características, especificaciones y aplicaciones, por lo que es difícil compararlas entre sí.

3D ToF Flash Lidar sensor de la cámara Fabricantes

Sensores de cámara Lidar con flash ToF

AMS / Heptagon: dispone de unos pocos sensores lidar de flash de tiempo de vuelo para una amplia variedad de soluciones. Los sensores 3D de tiempo de vuelo de Heptagon Laura y Lima se utilizan en aviones no tripulados y robots.

Heptagon fue adquirida por AMS en enero de 2017. Heptagon lleva más de 20 años en el sector de los lídares flash ToF y posee toda la pila de tecnología ToF, incluyendo el diseño de píxeles ToF, el diseño de señales analógicas y mixtas, el desarrollo de ASIC y el diseño de software embebido.

Los primeros conceptos de ToF fueron inventados y demostrados en el CSEM, del cual Mesa Imaging se separó. La tecnología fue desarrollada e industrializada en la serie “SwissRanger” (ya no está en producción) – el punto de referencia para las cámaras 3D industriales.

Durante este tiempo se creó una sólida cartera de patentes en píxeles ToF y conceptos de medición 3D.

En 2014 Heptagon adquirió Mesa. Esto combinó los píxeles ToF de modulación de fase de primera clase de Mesa con las exclusivas tecnologías de empaquetado y óptica de Heptagon y el know-how de producción en masa.

ASC TigerCub: Este 3D Flash liDAR con cámara láser Zephyr de ASC es una pequeña cámara 3D integrada en el factor de forma. Es capaz de capturar una matriz completa de 128 x 128 de píxeles de disparo independiente por cada fotograma. Esto permite generar 16.300 puntos de rango e intensidad individuales 3D hasta 20 cuadros por segundo como imágenes de nubes de puntos 3D o secuencias de vídeo por pulso de láser (cuadro) en tiempo real.

La cámara TigerCub lidar de flash ToF pesa 1,4 kg (3 lbs), por lo que se necesita un dron bastante potente para levantar este sensor. El conjunto de planos focales 3D y las tecnologías láser de ASC han sido probados y utilizados en una amplia gama de aplicaciones. El procesamiento a bordo en todas las cámaras ASC 3D permite la transmisión de nubes de puntos 3D y la salida de intensidad, así como la telemetría de la cámara.

La salida de datos 3D se utiliza para proporcionar operaciones autónomas (por ejemplo, de encuentro, proximidad, aterrizaje, etc.).

TeraRanger One – Este flash lidar ToF sensor pesa sólo 8 gramos y tiene un precio de USD $150 en adelante. Es ideal para operaciones con aviones teledirigidos y robots. TeraRanger tiene varios productos de sensores de profundidad T0F y son extremadamente populares. La cámara TeraRanger One ToF tiene una gran variedad como;

  • TeraRanger One ayuda a la inteligencia de los drones basada en la visión.
  • Detección de superficies de vidrio con infrarrojos Tiempo de vuelo.
  • TeraRanger One ayuda a asegurar la salud del viñedo con una solución en seco.
  • Conjuntos de sensores Plug and Play.
  • Sistema de reinicialización automática de drones y recuperación de fallos.
  • Un dron vuela en el bosque evitando colisiones.

Ahora, aquí está una buena introducción a la cámara TeraRanger One ToF.

Riegl – Proporciona ToF, LiDAR y varias otras cámaras y escáneres 3D con una amplia gama de características de rendimiento y aplicaciones. Sus sensores funcionan a través de múltiples plataformas, tales como ToFs no tripulados, aéreos, móviles y terrestres en 3D y soluciones láser.

AdaFruit – Fundada en 2005 por el hacker e ingeniero del MIT, Limor “Ladyada” Fried. Su objetivo era crear el mejor lugar en línea para el aprendizaje de la electrónica y la fabricación de los mejores productos electrónicos diseñados para los fabricantes de todas las edades y niveles de habilidad. Adafruit ha crecido a más de 100 empleados en el corazón de Nueva York con una fábrica de más de 50,000 pies cuadrados.

Sensor Adafruit VL53L0X ToF
Sensor Adafruit VL53L0X ToF

El sensor AdaFruit VL53L0X ToF contiene una fuente láser invisible muy pequeña y un sensor adecuado. El VL53L0X puede detectar el “tiempo de vuelo” o cuánto tiempo ha tardado la luz en volver al sensor. Debido a que utiliza una fuente de luz muy estrecha, es bueno para determinar la distancia sólo de la superficie directamente enfrente de ella.

A diferencia de los sonares que hacen rebotar las ondas ultrasónicas, el “cono” de detección es muy estrecho. A diferencia de los sensores de distancia IR, que intentan medir la cantidad de luz rebotada, el VL53L0x es mucho más preciso y no tiene problemas de linealidad o de “doble imagen” donde no se puede decir si un objeto está muy lejos o muy cerca.

Esta VL53LoX es la’hermana mayor’ del sensor lidar de flash ToF VL6180X y puede manejar distancias de 50 mm a 1200 mm. Si necesita un rango más pequeño/cerrado, compruebe el VL6180X que puede medir de 5 mm a 200 mm y que también contiene un sensor de luz.

Combinación de Flash Lidar ToF Sensors con otros sensores para crear soluciones

Muchas empresas de tecnología combinan las cámaras ToF con otros sensores, software y algoritmos para ofrecer una solución integral.

Por ejemplo, un avión no tripulado puede combinar sensores de tiempo de vuelo, LiDAR, visión estereoscópica y ultrasonidos para sus modos de vuelo autónomos y su sistema de prevención de colisiones.

Otro ejemplo serían productos como la tecnología Microsoft Kinect 2 en la XBox One o los Modos Gestual en drones para tomar selecciones. Estos combinan tecnologías como la visión por ordenador, el procesamiento de señales y el aprendizaje automático, junto con la tecnología de tiempo de vuelo, en la creación del producto o característica dentro del producto.

En la agricultura, los drones están equipados con sensores multiespectrales que también pueden incluir sensores ToF para monitorear la salud de los cultivos. Más sobre esto más adelante.

En los aviones teledirigidos para evitar colisiones, los sensores ToF se utilizan junto con otros sensores como el Vision o el LiDAR para evitar obstáculos. El sensor ToF puede funcionar como altímetro reactivo. Más sobre esto en el siguiente artículo.

Aquí hay otra serie de artículos estupendos sobre drones que usan varios sensores a través de múltiples sectores.

Cámaras ToF Flash Lidar, almacenamiento local o en la nube y solución de software

Montar un sensor de cámara de tiempo de vuelo en un avión no tripulado y tomar imágenes de escenas no hará nada por sí solo. Se requiere una solución completa de ToF. El sensor de profundidad ToF se monta en el avión no tripulado. A continuación, el vuelo sobre el objetivo u objeto tiene lugar mientras la cámara del sensor ToF está rodando.

La imagen se puede ver en tiempo real. Sin embargo, también se puede mover y almacenar. A continuación, mediante un software especializado, se genera la imagen, el mapa o la película en 3D, donde se puede analizar e interpretar para obtener información significativa sobre la que se puede actuar.

Solución completa de Flash Lidar ToF

He aquí un ejemplo de una solución completa de Kespry para medir las reservas (piedra, grava, roca, pulpa, papel, troncos, virutas de madera, mantillo y estiércol, etc.)

Tú vuelas el avión teledirigido Kespry 2 sobre el arsenal. Mientras sobrevuela la reserva, el sensor de cámara ToF a bordo es capaz de capturar toda la reserva en tres dimensiones con un solo pulso de luz. Estos datos se cargan automáticamente en su almacenamiento en la nube.

A continuación, se procesan los datos, lo que permite la medición conjunta de las existencias en menos de un minuto, incluidos el perímetro, la superficie y el volumen de cada una de ellas. También se puede generar información más detallada y completa de 1 a 6 horas. Ya sea que esté midiendo reservas de arena, reservas de roca o reservas de madera, todo lo que necesita son unos pocos clics.

Además, se pueden introducir los factores de densidad y coste de las existencias para calcular el peso y el valor de las mismas, lo que resulta ideal para los informes de inventario de las existencias. Con esta solución ToF se pueden medir con precisión incluso las reservas de forma irregular contra las paredes.

¿Para qué se pueden usar los sensores de cámara Lidar ToF con flash en los drones?

Los principales usos de las cámaras de Tiempo de Vuelos se encuentran en las siguientes tecnologías;

  • Navegación interior.
  • Reconocimiento de gestos.
  • Escaneo de objetos.
  • Evitación de colisiones.
  • Seguimiento de objetos.
  • Mida los volúmenes.
  • Vigilancia de una zona objetivo.
  • Contar objetos o personas.
  • Lecturas rápidas y precisas de la distancia al objetivo.
  • Realidad aumentada / realidad virtual.
  • Estimar el tamaño y la forma de los objetos.
  • Fotografía 3D mejorada.

Esta tecnología ToF está siendo utilizada por algo más que por el sector de los aviones no tripulados. Se está aplicando en varios campos, como por ejemplo;

  • Logística/almacenes.
  • Automatización de granjas.
  • Vigilancia y seguridad.
  • Robótica.
  • Medicina.
  • Juegos de azar.
  • Fotografía.
  • Realización de películas.
  • Automotriz.
  • Arqueología.
  • Proyectos de medio ambiente.

Flash Lidar ToF 3D Drones de Realidad Aumentada

La realidad aumentada (RA) es una vista directa o indirecta en vivo de un entorno físico del mundo real cuyos elementos son aumentados (o complementados) por una entrada sensorial generada por ordenador, como sonido, vídeo, gráficos o datos GPS.

Juegos de Drone de Realidad Aumentada ToF

El avión teledirigido Walkera Aibao junto con su aplicación de software le permiten jugar a un juego de vuelo de realidad virtual en el mundo real. Este es el primer dron que permite al mundo real entrelazarse con el mundo virtual.

Usted puede llevar este drone a un espacio abierto y jugar juegos de vuelo de realidad virtual y de lucha en el espacio. Los juegos te ofrecen los modos Racing, Combat y Collection. Aquí hay un video corto de Aibao Game drone. Seguro que es divertido.

Cámaras Lidar ToF con flash para navegación interior Drone

Para que un avión teledirigido o incluso un robot pueda navegar con éxito y con seguridad en interiores, se presentan una serie de retos técnicos. En el mapeo robótico, la localización y mapeo simultáneo (SLAM) es el problema computacional de construir o actualizar un mapa de un entorno desconocido mientras se mantiene un seguimiento simultáneo de la ubicación de un agente dentro de él.
O para reformular esto de una manera más simple. SLAM se preocupa por el problema de construir un mapa de un entorno desconocido mediante un robot móvil, al mismo tiempo que se navega por el entorno utilizando el mapa.

He aquí un ejemplo de un avión no tripulado que utiliza una cámara de detección de profundidad de tiempo de vuelo y que puede navegar en interiores.

El Parrot ARDrone utiliza una cámara orientada hacia abajo para volar en interiores sin GPS. El mecanismo básico utilizado es que se tomen dos fotos del suelo bajo el vehículo. La segunda foto se compara con la primera y se calcula un offset. Este desplazamiento indica cuánto se movió el vehículo entre las dos fotos.

Esta técnica, combinada con un sensor de profundidad 3D de tiempo de vuelo apuntando hacia abajo, proporciona un mecanismo muy preciso y de bajo coste para la localización en interiores, tanto en el espacio horizontal como vertical.

Cámaras Lidar ToF con flash para escaneo de formas 3D

Actualmente se utilizan drones para crear modelos 3D precisos de estructuras y monumentos. En 2015, un avión teledirigido creó con éxito una imagen en 3D de la estatua del Cristo Redentor en Brasil. Antes de esto, no había habido modelos precisos de esta estatua en ninguna parte.
Existe un gran mercado sólo en la topografía y la creación de maquetas 100% exactas o de monumentos y sitios patrimoniales antiguos.

Ahora el mapeo de la estatua de Cristo Redentor utilizaba fotogrametría 3D, lo que significaba que el dron tenía que volar alrededor de la estatua tomando miles de fotos que luego se suturan con un software de mapeo 3D.

Otras tecnologías de digitalización de formas en 3D utilizan sensores especializados y complejos, como sistemas estructurados de cámaras de luz/proyectores o detectores de alcance láser. Aunque producen datos de alta calidad, son bastante caros y a menudo requieren conocimientos especializados para su funcionamiento.

La Universidad de Harvard ha desarrollado una solución de digitalización de formas en 3D muy rentable utilizando una cámara de tiempo de vuelo. Esta solución estaba basada en tierra. Sin embargo, esta solución también funcionaría cuando se monta en un avión no tripulado.

Con más innovación y dinero de inversión en esta área, podríamos ver que las cámaras ToF se están convirtiendo en la solución rentable para escanear grandes objetos y monumentos.

Puede leer más sobre el proyecto de la Universidad de Harvard titulado 3D Shape Scanning with a Time-of-Flight Camera.

Drones Con Cámaras Lidar ToF De Flash En La Agricultura

En la agricultura, los drones con sensores multiespectrales permiten al agricultor gestionar los cultivos y el suelo de forma más eficaz. Estos aviones teledirigidos multiespectrales de agricultura utilizan tecnología de teledetección en las bandas de ondas Verde, Rojo, Borde Rojo e Infrarrojo Cercano para capturar imágenes visibles e invisibles de los cultivos y la vegetación.
Los datos de los sensores multiespectrales son muy útiles en la prevención de enfermedades e infestaciones. También ayudan enormemente al agricultor a calcular la cantidad correcta de agua, fertilizantes y rociadores a utilizar en los cultivos.

Las cámaras ToF pueden utilizarse como parte de una solución multiespectral agrícola de varias maneras.

Las cámaras de tiempo de vuelo son excelentes para medir volúmenes muy rápidamente. Pueden capturar una escena completa en una sola toma. Los sensores ToF 3D son ideales para medir la densidad de los cultivos y proporcionar datos de volumen sobre el acolchado y las reservas de estiércol.

Para obtener datos precisos de los cultivos, cuanto más estable sea el avión teledirigido, más precisos serán los datos, las imágenes y las películas. Un vuelo más suave mejora el proceso de adquisición de datos y también contribuye a una mayor autonomía del vuelo.
Los sensores ToF, como el TeraRanger One, pueden utilizarse como altímetro reactivo de gran precisión. En comparación con los sistemas basados en láser con un campo de visión muy estrecho, la cámara TeraRanger ToF proporciona una altitud relativa mucho más suave y estable a medida que el avión teledirigido alterna entre el vuelo sobre el suelo y el sobrevuelo de las viñas.

Aquí hay un bonito video que muestra cómo una compañía llamada Chouette proporciona una solución multiespectral agrícola completa a los viñedos en Francia. Su avión teledirigido utiliza una cámara ToF TeraRanger One ToF para actuar como un altímetro de precisión para un vuelo más estable y una mejor adquisición de datos.

Flash Lidar ToF Profundidad Cámara de Imagen Para Medir Volúmenes

Drone Con flash lidar ToF Profth Imaging Camera Sensor Midiendo el Volumen de las cámaras Lidar ToF StockpileFlash se están utilizando para medir volúmenes tales como el espacio de embalaje en cajas en entornos de fábrica o de almacenamiento. Al aire libre, los aviones teledirigidos o las grúas montadas con cámaras ToF son capaces de medir el volumen de las existencias o de las cargas de camiones cargadas con materia prima.

Un avión teledirigido con una cámara montada en el ToF puede volar sobre todo o parte de un área de almacenamiento y calcular rápidamente la cantidad de material depositado o la carga agregada que transporta el camión.
Conozca cómo Whitaker Contracting ahorra un 22% al año en costes, al medir sus existencias utilizando drones con cámaras ToF. Están haciendo grandes ahorros, al mismo tiempo que miden sus existencias dos veces más frecuentemente. La cantidad de tiempo que se dedica a medir las reservas es ahora un 75% menor de lo que se solía tardar.

 

Sensor de cámara Lidar de tiempo de vuelo para medir la distancia

Los sensores de tiempo de vuelo proporcionan una medición rápida de la distancia entre el sensor ToF y un objeto, basada en la diferencia de tiempo entre la emisión de una señal y su retorno al sensor, después de ser reflejada por un objeto.

El siguiente video muestra una forma muy sencilla y económica de medir la distancia utilizando el sensor de distancia SODIAL ToF para Arduino. Con la ayuda de la librería Adafruit, este sensor ToF es muy fácil de usar. La tabla ToF es también muy pequeña, lo que la hace ideal para los drones.

Drones de la fotografía con cámaras de profundidad 3D ToF

El 3D se está volviendo muy popular en la televisión y las películas. Los fotógrafos profesionales, cineastas y consumidores están buscando cámaras que puedan generar contenido en 3D, ya sea vídeo o imágenes fijas. Esta tecnología 3D se basa en sensores de tiempo de vuelo.

A diferencia de una cámara convencional, la cámara ToF no sólo proporciona una imagen de intensidad de luz, sino también un mapa de alcance que contiene una medición de distancia en cada píxel, obtenida midiendo el tiempo que necesita la luz para alcanzar el objeto y volver a la cámara (principio de tiempo de vuelo).

Puede encontrar mucha más información sobre las cámaras 3D en DPReview.

Las cámaras de los aviones no tripulados han mejorado enormemente en los últimos dos años. El año pasado, varios aviones no tripulados con cámaras 4K salieron al mercado. También había 2 drones con cámaras zoom. Eran el Walkera Voyager y la cámara Zenmuse Z3 para el DJI Inspire 1 drone.

Así que en algún momento en un futuro no muy lejano, podemos esperar ver cámaras fotográficas 3D en la mayoría de los drones.

Flash Lidar Tiempo de vuelo de almacenamiento de drones

En los últimos meses, ha habido una serie de artículos que cubren las empresas que están proporcionando aviones no tripulados y soluciones para el almacenamiento. He aquí un artículo sobre los aviones no tripulados que utilizan la tecnología RFID para contar las paletas y el inventario en los almacenes. Las cámaras ToF se pueden utilizar para la exploración de objetos y el recuento de volumen.

Otro artículo cubre el uso de cámaras Lidar con flash ToF en el Eyesee drone del Grupo Hardis. El avión teledirigido Eyesee está equipado con una cámara a bordo y una tecnología de geolocalización en interiores que le permite moverse utilizando un plan de vuelo predeterminado y capturar datos relevantes sobre los palets almacenados en el almacén.

A continuación, el avión teledirigido asocia la imagen capturada con su posición en el almacén y traduce automáticamente su posición 3D a una dirección logística (almacén).

Reconocimiento de gestos ToF en Drones

Microsoft Kinect 2 utiliza sensores de profundidad 3D de tiempo de vuelo en conjunción con la visión por ordenador, el procesamiento de señales y el aprendizaje automático. Los teléfonos inteligentes también empezarán a tener más comandos de gestos integrados en las aplicaciones.

Tenemos una serie de drones en el mercado que tienen un modo Gesture que es útil para tomar el drone selfies. El DJI Mavic Pro y Phantom 4 Pro utilizan el modo gestual.

El último quadcopter de DJI, el Mavic Air, utiliza gestos avanzados y reconocimiento facial para volar y filmar. Puedes leer y ver los vídeos de este DJI Mavic Air aquí.
DJI no da muchos detalles sobre la tecnología detrás de su modo de gesto. Muchos de sus modos de vuelo autónomos y sistemas de prevención de colisiones combinan sensores de visión y ultrasónicos con sofisticados algoritmos.

En general, veremos más drones llegando al mercado con modos de gestos y nuevos modos de vuelo autónomo con ToF jugando su papel.

Flash Lidar tiempo de vuelo de las cámaras en el sector de automoción

La industria automotriz está desarrollando múltiples sistemas, incluyendo algunos excelentes sistemas de seguridad que utilizan sensores de tiempo de vuelo con flash lidar. Esta es la razón por la que creo que el sector de los vehículos aéreos no tripulados seguirá y comenzará a invertir mucho más tiempo y recursos en la tecnología de tiempo de vuelo. Aquí están algunas de las innovaciones que están surgiendo en la industria automotriz utilizando la tecnología ToF;

  • Monitoreo del estado del conductor como detección de la posición de la cabeza y reconocimiento de la somnolencia
  • Clasificación de pasajeros utilizada para, por ejemplo, el ajuste autónomo de las preferencias predefinidas de los pasajeros, la visualización optimizada de la visualización de la cabeza hacia arriba y la fuerza de despliegue óptima ajustada de los airbags.
  • Control de gestos sin contacto de, por ejemplo, sistemas de información y entretenimiento, navegación y climatización.
  • Vista envolvente para una sofisticada ayuda de aparcamiento y detección de obstáculos

Por ejemplo, el sensor de cámara MLX75123 Tof es un chip complementario totalmente integrado para Melexis. Es perfectamente adecuado para aplicaciones automotrices y no automotrices, incluyendo, pero no limitado a, reconocimiento de gestos, monitoreo de conductores, rastreo de esqueletos, detección de personas o obstáculos y monitoreo de tráfico.

Aquí tenéis un vídeo fantástico de la última cámara flash lidar Melexis ToF que se utilizará para mejorar la seguridad en el sector de la automoción.

Drones con sistemas de prevención de colisiones

En 2016, empezamos a ver por primera vez en el mercado pequeños aviones no tripulados de consumo y de empresa que pueden detectar obstáculos. Dependiendo del dron, de su tecnología de detección y de la programación del software, el dron puede tomar una acción para detenerse y flotar cuando detecta un objeto o puede navegar alrededor del objeto.

Ahora, una de las numerosas características de las cámaras Lidar de flash de Tiempo de Vuelo es para evitar obstáculos y colisiones. Sin embargo, mientras investigo algunos de los últimos drones en el mercado, puedo encontrar 3 drones, los cuales usan ToF para evitar obstáculos. Uno de estos drones sólo utiliza una cámara ToF para detectar objetos por encima del dron. Otro dron está usando una cámara ToF junto con otros sensores para evitar obstáculos.

Como se trata de una tecnología bastante nueva y con más desarrollo, creo que veremos más drones usando sensores de cámara Lidar de flash ToF para la detección de obstáculos en el futuro.

He aquí un rápido vistazo a los drones que tienen sistemas autónomos de prevención de colisiones y el tipo de sensores que utilizan.

DJI Matrice M200 – Este avión teledirigido comercial de DJI tiene varios usos incluyendo todo tipo de inspección (línea eléctrica, puente, torres de telefonía móvil). Es muy adaptable y puede llevar las cámaras Zenmuse X4S, X5S, Z30 y XT. También puede llevar una cámara encima del cuadricóptero.

Para la autonomía de vuelo, el DJI Matrice M200 combina varios sensores para la detección de obstáculos y la evitación de colisiones. Una cámara con sensor láser de tiempo de vuelo orientado hacia arriba reconoce los objetos que se encuentran por encima de la M200. La Matrice 200 utiliza sensores de visión estereoscópica para detectar objetos por debajo y por delante de la M200.

Walkera Vitus – Este nuevo mini drone plegable para el consumidor de Walkera que acaba de salir al mercado en junio de 2017 tiene una gran cantidad de nuevas tecnologías. Tiene 3 direcciones (delantera, izquierda, derecha) para evitar obstáculos utilizando la tecnología de sensores infrarrojos TOF. Sus 3 sensores de alta precisión y su sistema inteligente de evitación de obstáculos son capaces de detectar obstáculos a 5 metros (15 pies) en las 3 direcciones.

Este Wakera Vitus es un dron introductorio muy agradable. Tiene una excelente estabilización, una cámara muy bonita y una serie de modos de vuelo inteligentes para el seguimiento, tales como Seguir, Órbita y Waypoint volar.

AscTec FireFly – En el siguiente video de 2015, AscTec (AscTec), muestra un revolucionario sistema de prevención de colisiones de trabajo para aviones no tripulados. Un sensor TeraRanger One ToF se utilizó como altímetro reactivo en condiciones de luz natural que cambiaban rápidamente. Ascending Technologies fue adquirida por Intel en enero de 2016 y el avión no tripulado FireFly ya no está disponible.

DJI Phantom 4 Pro – El altamente avanzado Phantom 4 Pro está equipado con un sistema de detección de entorno basado en sensores de visión estereoscópica y sensores de infrarrojos. Tres conjuntos de sensores de visión dual forman un sistema de navegación de 6 cámaras que trabaja constantemente para calcular la velocidad relativa y la distancia entre la aeronave y un objeto.

Utilizando esta red de sensores de visión hacia delante, hacia atrás y hacia abajo, el Phantom 4 Pro es capaz de flotar precisamente en lugares sin GPS cuando despega en interiores, o en balcones, o incluso cuando vuela a través de ventanas con un control mínimo del piloto.

Es capaz de detectar obstáculos a 98 pies de distancia, lo que le permite planificar su trayectoria de vuelo para evitarlos o simplemente flotar en caso de emergencia.

Combinado con sensores infrarrojos en sus lados izquierdo y derecho, el Phantom 4 Pro puede evitar obstáculos en un total de cuatro direcciones. La detección de obstáculos hacia adelante y hacia atrás permite que el Phantom 4 Pro vuele a 31 millas por hora con protección total de su sistema de detección de obstáculos de visión estereoscópica.

Sin embargo, podemos ver que el DJI no está utilizando la tecnología ToF en los sistemas de prevención de colisiones del Phantom 4.

El Phantom 4 Pro es uno de los aviones no tripulados más económicos del mercado. Es ampliamente utilizado para todo tipo de negocios y uso personal. Es extremadamente de alta tecnología y los modos de vuelo inteligentes del Phantom 4 lo sitúan muy por delante de los aviones no tripulados de precio similar.

Yuneec Typhoon H – Este dron utiliza la tecnología Intel RealSense para evitar obstáculos. RealSense se integra con el modo Seguirme para evitar objetos. Utiliza la cámara Intel® RealSense™ R200 con un módulo alimentado por átomos de Intel para construir un modelo 3D del mundo que impida que el Typhoon H se estrelle contra obstáculos.

Esta tecnología de RealSense es capaz de recordar su entorno, mejorando aún más la prevención de posibles colisiones. No es reaccionario – si evita un obstáculo una vez, recordará la ubicación del obstáculo y sabrá automáticamente cómo evitarlo la próxima vez.

La cámara Intel RealSense tiene un proyector láser IR que emite luz IR en la escena de donde va a volar. Hay una cámara IR que lee el patrón emitido. Basándose en el desplazamiento del patrón debido a los objetos en la escena, puede calcular la distancia de los objetos de la cámara. Este método de cálculo de la profundidad en general se conoce como luz estructurada, y así es como funcionan otras cámaras 3D, como la Kinect original.

El sensor R200 utiliza un patrón estático de “punto” IR, similar al funcionamiento del Kinect 1, así como la estereoscopía IR pasiva. Por lo tanto, el Yuneec Typhoon H no utiliza la técnica del flash lidar ToF para evitar obstáculos.