Microsoft comenzó a enviar HoloLens 2 a fines de 2019, con un enfoque en la creación de aplicaciones de realidad mixta para lo que llama "trabajadores de primera línea". Necesitan software que admita la fabricación, la construcción, la medicina y la venta al por menor, utilizando las herramientas de HoloLens para superponer objetos virtuales en 3D en el mundo físico. Los nuevos sensores en HoloLens 2 lo convierten en un dispositivo poderoso, que alimenta el hardware de visión por computadora integrado y combina sensores para ayudar a ubicar a los usuarios en una habitación, combinando entornos físicos y virtuales.

VER: Realidad aumentada para empresas: Hoja de trucos (PDF gratuito) (República Tecnológica)

Un dispositivo como HoloLens 2 atrae más que los mercados objetivo iniciales. La realidad mixta es una herramienta poderosa en muchos entornos y mercados diferentes, y el hardware subyacente puede admitir más que solo combinar lo físico y lo virtual.

Índice

HoloLens y la HPU

Gran parte de eso se debe al hardware personalizado de HoloLens, específicamente a su silicio de visión por computadora incorporado. Mientras que la mayoría de las cámaras solo pueden manejar una tarea de visión por computadora a la vez, el silicio HoloLens admite múltiples flujos de datos y tareas paralelas de procesamiento y reconocimiento de imágenes. Y todo sin recurrir a procesos por lotes, porque HoloLens está diseñado para cargas de trabajo continuas.

La Unidad de procesamiento holográfico (HPU) es un ASIC personalizado. Su diseño combina varios módulos para el procesamiento de señales digitales, un núcleo de IA de red neuronal profunda y hardware para manejar la tarea computacionalmente intensiva de mantener estable la profundidad de la imagen al renderizar imágenes complejas mientras la cabeza de un usuario se mueve. Al colocar un núcleo DNN en HoloLens, Microsoft puede evitar la latencia y el retraso al usar algoritmos de visión por computadora.

Si está creando aplicaciones para HoloLens 2, está limitado a la información que puede obtener de ellas. Es una herramienta poderosa, pero Microsoft ha simplificado gran parte de la experiencia de desarrollo, empaquetando y consolidando los datos de los sensores en un conjunto de herramientas de realidad mixta y un conjunto de API estrictamente definidas. Eso no es algo malo; en la mayoría de los casos, no necesita acceso de bajo nivel a los sensores; todo lo que necesita son los datos que lo ayudan a crear sus aplicaciones.

Microsoft a menudo ha descrito la creación de software como la entrega de pizza a más de mil millones de personas. No todos obtendrán los ingredientes que desean, pero todos obtendrán queso derretido y salsa de tomate. Sin embargo, la otra cara de la filosofía de diseño de Microsoft es que, por lo general, puede tomar estas pizzas y comenzar a personalizarlas, agregando el software equivalente a sus propios ingredientes.

Usar HoloLens en la búsqueda

Un área donde se necesita acceso a todos los sensores de HoloLens 2 es la investigación científica, donde la realidad mixta y la visión por computadora son herramientas poderosas. Reunir los dos en una computadora portátil montada en la cabeza hace que HoloLens 2 sea atractivo, especialmente si recuerda que tiene múltiples cámaras y sensores de profundidad, así como también acelerómetros, giroscopios y magnetómetros. Por lo tanto, no sorprende saber que Microsoft está abriendo el acceso a muchas de estas funciones en el nuevo modo de búsqueda de HoloLens 2.

Abrir todos los sensores de HoloLens 2 a los investigadores científicos tiene mucho sentido. No es solo la visión por computadora lo que puede beneficiarse: existe el potencial de usar HoloLens como una plataforma de seguimiento de la cabeza y los ojos que puede ayudar a resolver muchos problemas de interacción humana, por ejemplo, rastrear todos los movimientos de la cabeza y los ojos que usan los pilotos en un entorno moderno. cabina, ayudando a comprender cuál es su carga cognitiva y cómo se puede rediseñar el entorno para garantizar la seguridad de los pasajeros.

Acceder a flujos de datos de HoloLens

Los sensores HoloLens van más allá del seguimiento tradicional de la cabeza, ya que agregan cámaras que se pueden usar para rastrear las manos y mapear el entorno, brindando a los investigadores una visión mucho más clara del entorno en el que se encuentran los usuarios y cómo interactúan con él. También ofrecen una mejor sensibilidad a la luz, lo que facilita la importación de datos de áreas más oscuras. Al abrir el acceso a todas las cámaras y sensores, el modo de búsqueda puede producir un modelo del entorno del usuario que se puede reproducir a pedido, con una percepción de profundidad total gracias tanto a su tiempo de vuelo como a las posiciones estereoscópicas de dos de las cabezas. -cámaras de seguimiento. También tiene acceso a la cámara a color de HoloLens 2, lo que le permite crear software que puede combinar imágenes en escala de grises y en color.

No está limitado a datos sin procesar. Las herramientas integradas de visión por computadora admiten un algoritmo clave llamado SLAM (ubicación y mapeo simultáneos) que le brinda acceso a información en tiempo real sobre cómo se mueve un dispositivo a través de su malla de piezas 3D generada. Otros datos consolidados y procesados ​​incluyen API de seguimiento de manos y ojos, así como acceso a los ocho micrófonos del dispositivo.

¿Cómo funciona el modo de búsqueda?

En lugar de fusionar los datos de los sensores en funciones específicas, como admite Mixed Reality Toolkit (MRTK), cuando cambia al modo de búsqueda y activa sus nuevas API, tiene acceso a muchos más datos de nivel bajo junto con las API de MRTK. Estos no son exactamente los datos del sensor sin procesar, ya que la HPU los procesa inicialmente. Por lo tanto, para el posicionamiento, obtiene la posición de la cabeza y datos de anclaje como MRTK, pero también obtiene acceso a datos de sensores sin procesar, así como a datos de imágenes de cámaras de seguimiento de la cabeza. Del mismo modo, los datos de la cámara se procesan y se vinculan a los datos del sensor de profundidad para brindarle una malla de habitación familiar y juntas de manos. Al mismo tiempo, obtiene datos de profundidad sin procesar, así como una medida de cómo se refleja la luz infrarroja de los emisores del sensor.

Comenzar es bastante fácil; necesita un HoloLens 2 en modo desarrollador. Una vez habilitado, active el portal de dispositivos e inicie sesión en la consola web de administración de dispositivos desde una PC. En la consola, navegue hasta la opción Modo de búsqueda y habilite el acceso a los flujos de sensores del dispositivo. Una vez que HoloLens se reinicia, puede comenzar a trabajar con todos los sensores. Luego puede escribir código para trabajar con estos flujos de sensores, utilizando las API del modo de investigación que se pueden descargar de GitHub. Esto permite el acceso a los sensores, con todos los datos de posición centrados en el dispositivo. Entonces, si desea mapear una habitación, por ejemplo, debe proporcionar anclas externas.

VER: El 91% de las empresas ya usan o planean adoptar tecnología AR o VR

Las API del modo de investigación brindan acceso bien documentado a los sensores del dispositivo. Esto significa que escribirá una gran cantidad de código para procesar y utilizar estos datos. Eso no es algo malo; si necesita este nivel de acceso, claramente no planea usar las aplicaciones integradas o incluso trabajar con el MRTK. Por supuesto, existen compensaciones, ya que su código deberá ejecutarse en el procesador ARM de HoloLens 2, y es posible que deba investigar las versiones ARM de cualquier archivo binario o biblioteca que planee usar en su código. Para ayudarlo a comenzar, Microsoft proporciona un código de muestra para algunas aplicaciones básicas de registro de sensores en el modo de investigación de GitHub.

Azure Kinect SDK de Microsoft funciona como complemento de HoloLens en modo de investigación. Se basa en el mismo sensor de profundidad y se pueden encadenar varios para brindarle una imagen nítida en 3D de una habitación. La combinación de los dos dispositivos puede ayudar a crear una serie de sensores que pueden rastrear a los usuarios en una habitación o espacio, proporcionando datos de ubicación que se pueden usar junto con los sensores de los auriculares.

El modo de búsqueda de HoloLens 2 es una herramienta poderosa. Al eliminar los filtros del MRTK, se abren muchos más escenarios para trabajar con sensores de dispositivos, lo que proporciona una plataforma de visión para portátiles que puede hacer mucho más que cámaras. Los resultados pueden ser impresionantes; ¡solo prepárate para escribir el código que necesitas para lograrlos!