Experimentos de rastreadores Vive

HoyPresento otro artículo sorprendente del experto en ergonomía de realidad virtual, Rob Cole., que ya ha escrito en este blog posts sorprendentes, como la serie sobre la ergonomía del Valve Index o el artículo viral sobre los increíbles controladores Caliper VR en los que trabajó él solo.

Hace unas semanas escribió aquí un artículo detallado sobre los Vive Trackers, y ahora lo completa con este nuevo artículo, que es una larga y detallada historia desus experimentos con los Trackers y sus casos de uso , y especialmente su gran potencial para la realidad virtual de cuerpo completo. Va a ser un post muy interesante, ¡así que léelo hasta el final!

Descargo de responsabilidad: HTC proporcionó tres de sus unidades Vive Tracker 3.0 para mi uso en estos artículos.

Como se describe en mi primer artículo de HTC Vive Tracker a principios de este año:

"Vive Tracker es un accesorio de seguimiento SteamVR inalámbrico que funciona con baterías y que proporciona un seguimiento de movimiento de 6 grados de libertad (6DoF) de baja latencia y alta precisión dentro de un entorno a escala de habitación".

O en palabras del propio HTC:

"Seguimiento del movimiento y llevar objetos del mundo real al universo virtual".

Mientras que la primera parte de este artículo analiza la historia del HTC Vive Tracker y sus tres versiones diferentes, la segunda parte se centrará enAlgunos experimentos prácticos con el último HTC Vive Tracker 3.0.

Sin embargo, primero, una inmersión rápida en el lado más técnico del HTC Vive Tracker 3.0 para aquellos que estén interesados ​​en cómo funcionan estas cosas.

El HTC Vive Tracker 3.0 es un dispositivo compatible con SteamVR que utiliza la tecnología de seguimiento de estaciones base de segunda generación (2.0) de Valve. Para comprender el concepto general, Valve describió la primera generación de seguimiento de estaciones base 1.0 de esta manera.

“Cómo funciona: Las estaciones base de seguimiento SteamVR barren la habitación con múltiples pulsos de sincronización y líneas láser, alcanzándose hasta unos 5 metros. Al realizar un seguimiento cuidadoso de los tiempos entre pulsos y barridos, el sistema de seguimiento SteamVR utiliza trigonometría simple para encontrar la ubicación de cada sensor con una precisión de una fracción de milímetro. Al combinar múltiples sensores, 2 estaciones base, además de agregar una IMU (unidad de medición inercial) de alta velocidad, SteamVR también calcula la orientación, velocidad y velocidad angular del objeto rastreado, todo a una velocidad de actualización de 1000 Hz”.

En abril de 2018, HTC presentó los auriculares Vive Pro, los controladores Pro y Vive Tracker 2.0, cada uno equipado con sensores ópticos de próxima generación y componentes electrónicos actualizados. El seguimiento de estaciones base de segunda generación (2.0) había evolucionadoeliminando un rotor y codificando el haz . Esta diferencia técnica está bien descrita por Redditor /u/Crozone:

“El láser codificará la identificación de la estación base así como el ángulo de barrido del láser actual. Ya no hay un "pulso de sincronización", la estación base realiza la sincronización internamente y envía el ángulo directamente al Vive en el láser. Esto significa que cada vez que Vive detecta un láser en cualquier sensor, ya conoce la estación base que envía ese láser, así como el ángulo exacto de ese láser desde la estación base. Esto también significa que las estaciones base no necesitan sincronizarse en absoluto y Vive ni siquiera necesita cronometrar nada”.

Presentado en marzo de 2021, Vive Tracker 3.0 es un modelo más pequeño, evolución más eficiente energéticamente del rastreador Vive 2.0, lo que proporciona una mayor duración de la batería y menos masa/inercia cuando se mueve rápidamente.

HTC Vive Tracker 3.0 tiene 18 sensores ópticos, cuidadosamente colocado en una forma especialmente diseñada que evolucionó a partir del controlador Vive original y desde entonces se ha reducido de tamaño. La forma del Vive Tracker 3.0Maximiza el número de sensores no coplanares que los rayos de la estación base pueden iluminar., para proporcionar un seguimiento 6DoF a escala de habitación de alta precisión (sub mm) que esAltamente resistente a la oclusión.

No es raro que se oculten varios sensores durante el movimiento en sesiones a escala de sala: tener18 sensores en diferentes ángulostiene como objetivo minimizar este problema y funciona muy bien en el mundo real.

Cada sensor está oculto detrás de una ventana óptica hecha de un plástico especial fabricado para reducir la luz visible parásita yMinimiza el efecto de los reflejos y proporciona al mismo tiempo un camino óptico claro para los rayos infrarrojos que emanan de las estaciones base.

Con HTC Vive, la ventana del sensor ha sido parte de su lenguaje de diseño desde el primer kit Vive SteamVR en 2016, esto continuó con Vive Pro, Vive Trackers y Vive Pro 2.

Mientras sostiene el Vive Tracker, es muy fácil ver las ubicaciones de los sensores ubicados en todo el dispositivo. En cambio, los productos Valve y Pimax SteamVR tienen ventanas de sensores sutiles con material óptico moldeado en una carcasa estructural: a veces, todo lo que se puede ver es un círculo fingido.

Cada dispositivo rastreado SteamVR tiene una "geometría física conocida" que incluyela posición y orientación exactas de cada sensor óptico en relación con el centro físico del objeto,creando una "malla de sensores" dentro de los límites físicos del objeto rastreado.

La imagen de arriba, claramente un homenaje al legendarioCubo de unidad, demuestra la posición y orientación de los sensores ópticos en diferentes superficies del objeto... esto garantizaría que los sensores estén siempre disponibles cuando el objeto se gira o se mueve.

Los controladores, auriculares y rastreadores están calibrados individualmente con un alto grado de precisión. después de la fabricación, ya que existen pequeñas variaciones al fabricar carcasas de plástico y al colocar sensores individuales en la carcasa. Por ejemplo, los datos de calibración de un solo sensor son este:

Puntos del modelo [-0.00322245085, -0.0423639342, 0.110276416]

modelo Normales [ -0.0380270146, -0.700318217, -0.712817252 ]

Los "puntos" son coordenadas tridimensionales para el sensor, mientras que las "normalidades" son la orientación relativa del centroide del sensor óptico (superficie orientada a la luz). Un dispositivo que no está calibrado correctamente puede sufrir un rendimiento de seguimiento deficiente o fallar en el arranque. He leído esoLa ubicación inicial del sensor debe estar dentro de 1 mm de la ubicación del punto trazado para la herramienta SteamVR.para trabajar durante la fase de calibración (esto se hace después del montaje).

Este alto grado de precisión geométrica permite que la computadora host determine fácilmente la orientación exacta y la posición relativa del objeto rastreado porque puede comparar los datos angulares entrantes con la geometría del objeto rastreado paradetermine su posición en el espacio tridimensional a escala de habitación y su orientación dentro de ese espacio.

La imagen de arriba muestra los impactos del sensor óptico que se detectan en el Vive Tracker desde una estación base 2.0 en la pared sobre el espacio de juego. Si se gira el Tracker, los sensores se ocluyen, lo que provoca que los datos cambien en tiempo real. Las ubicaciones de las ventanas ópticas para cada sensor se pueden ver claramente a través de la carcasa del Vive Tracker.

Los impactos del sensor óptico se combinan con datos de dirección, aceleración y gravedad de una IMU (unidad de medición inercial) integrada.La IMU en sí es una unidad de 9DoF que opera a una velocidad de sondeo mucho más alta (1000 Hz). que el sistema de sensor óptico (100 Hz). La IMU utilizada en Vive Tracker es común a los objetos rastreados 6DoF y utiliza un dispositivo de seguimiento de movimiento de 9 ejes. El líder del mercado TDK describe un ejemplo de su IMU InvenSense:

"Los dispositivos de 9 ejes de InvenSense combinan un giroscopio de 3 ejes, un acelerómetro de 3 ejes y una brújula de 3 ejes en el mismo chip junto con un Digital Motion Processor™ (DMP™) integrado capaz de procesar los complejos algoritmos de MotionFusion".

Sin embargo, los dispositivos IMU sufren pequeños errores de datos que empiezan a agravarse con el tiempo: sin corrección (referencia mundial)Los dispositivos basados ​​en IMU tienden a “desviarse” de su punto de partida, o desorientarse, algo que se experimentaba con sistemas 3DoF VR más antiguos que requerían una recalibración periódica.

Por lo tanto, el sistema óptico del faro de SteamVRProporciona una "referencia mundial" angular a 100 Hz para sistemas basados ​​en IMU de 1000 Hz., que proporciona corrección de errores para la deriva de la IMU con una provisión precisa de posición y pose en un volumen rastreado de grandes dimensiones.

La siguiente imagen muestra un Vive Tracker que genera datos de giroscopio y acelerómetro en vivo utilizando una función en la "Consola Lighthouse" (una interfaz de línea de comandos). Si mueve físicamente el dispositivo, verá que los datos cambian inmediatamente para reflejar sus movimientos en el mundo real.

Los datos se envían de forma inalámbrica a la PC host a través de un “Dongle” Vive montado en USB. El Dongle se comunica con un chip inalámbrico dentro del rastreador Vive a través de una versión patentada de Nordic Enhanced Shockburst en la frecuencia de 2,4 GHz. Según lo descrito por el fabricante:

“Enhanced ShockBurst (ESB) es un protocolo básico que admite la comunicación bidireccional de paquetes de datos, incluido el almacenamiento en búfer de paquetes, el reconocimiento de paquetes y la retransmisión automática de paquetes perdidos. ESB proporciona comunicación por radio con bajo consumo de energía y la implementación es de tamaño de código pequeño y fácil de usar”.

La operación de seguimiento de SteamVR es en general muy eficiente : minimiza la carga de cálculo, energía y comunicaciones en el PC host. Otra gran ventaja del seguimiento de estaciones base de Lighthouse es que no se requiere conexión directa entre las estaciones base y la PC host, ya quelas estaciones base son emisores “tontos” autónomos.

Esto significa que su PC puede estar en otra habitación, si su cableado es lo suficientemente largo, y puede colocar varios dispositivos rastreados en esa habitación, cada uno usando la misma estación base para proporcionar un seguimiento preciso. Base Station 2.0 también admite hasta cuatro estaciones base en una habitación, lo que proporcionaCobertura de hasta 10 mx 10 m.

Cuando cada dispositivo SteamVR está construido y calibrado,Todos los datos se escriben en un archivo que Valve llama "el JSON":efectivamente el conductor a bordo,el JSON es único para cada dispositivo rastreado diferente.

Cada dispositivo rastreado tiene un número de serie único generado por una CPU integrada, mientras que el archivo contiene una geometría altamente precisa de todos los sensores del dispositivo, identidad del dispositivo USB, configuración de IMU e información del sistema para que SteamVR comprenda qué es el dispositivo y cómo interactuar con él. .

Finalmente,es común ver algunas referencias de "firmware" en el JSON. En el rastreador Vive, esto parece estar relacionado con la administración de energía, mientras que en otro hardware, como los controladores Index, está relacionado principalmente con el seguimiento de los dedos y los sensores de agarre. He dividido diferentes áreas en colores para que sea más fácil de entender:

Un elemento de particular interés para mis experimentos es la referencia del modelo de renderizado (en la sección naranja), porque le dice a SteamVRdónde buscar un archivo almacenado en la PC host que proporciona el modelo de renderizado que se ve como la representación virtual de su dispositivo en realidad virtual . Si cambiamos el modelo de renderizado, podemos decirle al Vive Tracker que muestre algo más que no se parezca a un Vive Tracker.

Precaución:Puede descargar el JSON desde cualquier dispositivo SteamVR usando la consola Lighthouse, pero asegúrese de almacenar su JSON exclusivo en un lugar seguro y seguro.no lo mezcle con otros archivos JSON.

Cargar un archivo JSON dañado o configurado incorrectamente, o intentar solucionar un problema copiando el JSON desde otro dispositivo (es decir, otro rastreador Vive) tenderá a detener el funcionamiento del dispositivo, como descubrió recientemente esta persona en Reddit:

“Hola a todos, En un intento desesperado por arreglar un rastreador con errores, instalé una configuración 3.0 en un 2.0 y ahora SteamVR no encuentra el rastreador 2.0 en absoluto. ¿Aparece como un dispositivo, pero se atasca en la búsqueda?

Como mencioné durante mi primer artículo,El Vive Tracker 3.0 se conecta mediante un “mecanismo de acoplamiento” estilo cámara con rosca de 1/4” y pasador estabilizador.(Norma ISO ISO 1222:2010).

Mecanismo de atraque

-Tuerca de tornillo de 1/4” para sujetar el accesorio.-Rebaje del pasador estabilizador para impedir que el rastreador gire.-Puerto de pasador Pogo (tipo contacto de resorte) para conexión eléctrica opcional al accesorio.-Almohadilla de fricción para proporcionar una superficie con fricción entre el accesorio y VIVE Tracker (3.0)

Pasadores eléctricos pogo

La parte inferior del Tracker tiene seis contactos “pogo pin” que permiten que las señales eléctricas pasen entre el Tracker y cualquier equipo periférico compatible.Esto permite a los desarrolladores de hardware colocar botones adecuados en los objetos rastreados y utilizar el Tracker para enviar estos datos a la PC.

Marios Bikos de HTC: “El HTC VIVE Tracker te permite no solo rastrear objetos en realidad virtual (obteniendo la pose del rastreador en tiempo real) sino también usar los pines POGO para simular botones de entrada (Grip/Trigger/Trackpad/Menú) como si estuvieras usando un controlador Vive”.

La siguiente imagen muestra un diseño de los pines pogo, con el Pin.3 como botón de agarre, el Pin.4 como botón de disparo, el Pin.5 como botón del Trackpad y el Pin. 6 como botón Menú.

A lo largo de los años transcurridos desde el lanzamiento de Vive Tracker, varios entusiastas y aficionados han fabricado conectores pogo pin para el Tracker, y hay muchos ejemplos en línea que muestran los diferentes enfoques adoptados. Para usar Vive Tracker con entradas activas de pogo pin, debes seguir los consejos, nuevamente de Marios Bikos:

"La única forma de obtener información de los pines POGO del Vive Tracker en este escenario es cambiar la función del rastreador a "Sostenida en la mano" y seleccionar Izquierda/Derecha dependiendo de cómo planeemos usar el Vive Tracker".

Existe una gran cantidad de información comunitaria en línea sobre el desarrollo con Vive Tracker, pero quizás el mejor punto de partida seaMire las pautas para desarrolladores de Vive Tracker de HTC que se pueden encontrar aquí:https://developer.vive.com/documents/850/HTC_Vive_Tracker_3.0_Developer_Guidelines_v1.1_06022021.pdf

Si no se usan los pines pogo, por ejemplo, se usa un rastreador para el seguimiento de todo el cuerpo, donde no está sujeto a un objeto con entradas eléctricas (sino a una correa suave para sujetarlo al cuerpo), entonces se sujeta usando un tornillo de 1/4" adecuado y una almohadilla de goma. , idealmente con un pasador estabilizador para evitar que el rastreador gire alrededor del soporte.

Si no hay ningún pin disponible, entoncesGirar el rastreador dentro de la almohadilla de goma proporciona suficiente fricción como para que probablemente no se suelte incluso si bailas frenéticamente en el chat de realidad virtual.

Cada Vive Tracker requiere su propio Dongle USB, comocada rastreador y dongle únicos están emparejadosdurante el procedimiento de emparejamiento del controlador en SteamVR.

Ahora es posible tener hasta 9 rastreadores en ejecución, aunque esto probablemente causará estragos en el USB en la mayoría de los sistemas de PC, por lo que se necesitará una investigación adecuada para obtener los cables USB correctos y una buena tarjeta PCI-E.

Cada Vive Tracker se suministra con un cable USB, Vive Dongle y base Dongle; El cable USB tiene una longitud de 1,2 metros, para proporcionar cierta distancia entre su PC y el Dongle, en un esfuerzo porMinimice las interferencias eléctricas del PC.

Sin embargo, esto puede no ser suficiente para colocar el Dongle en su espacio de juego, dependiendo de su configuración de realidad virtual. Para mi configuración doméstica, tengo un espacio de juego de 3 x 3 m, pero mi PC se encuentra fuera de la habitación, en un carrito, con el cable para auriculares pasando por debajo de la puerta.

El cable estándar de 1,2 metros (lado derecho, imagen de arriba) es demasiado corto para llevar el Dongle desde mi PC, debajo de la puerta y hasta mi espacio de juego. Esto se resolvió rápidamente usandoun extensor de cable USB 2.0 activo de cinco metros de largosobrante de mi propiedad de un Oculus Rift CV1 con una configuración de seguimiento de 3 cámaras.

Después de comprar otro extensor de cable USB 2.0 activo del mismo estilo en Amazon por £10, fue fácil usar los cables de extensión USB para colocar dos dongles Vive Tracker directamente en mi espacio de juego, pasándolos por debajo de la puerta junto a la correa para auriculares. Los cables de extensión se muestran en la parte superior y en el lado izquierdo de la imagen de arriba.

El uso de un cableado de extensión activo.garantiza una conexión USB estable a través de un cable más largo , ya que no desea que la inestabilidad del USB provoque que sus rastreadores se sigan desconectando. Su kilometraje con estabilidad USB variará según la calidad de su placa base y su capacidad para admitir múltiples conexiones;es posible que necesites una tarjeta PCI-E o una solución similarsi tiene problemas de conectividad USB.

El tercer dongle Vive Tracker se conectó fácilmente conectándolo al "Frunk" de mis auriculares Index. Para los propietarios que no son usuarios de Index, se necesitará un tercer cable de extensión USB. Si su PC está dentro de su espacio de juego, es posible que no necesite extensiones de cable, pero podrían permitirle optimizar la ubicación de sus Dongles sin comprometer la posición de su PC, por lo que vale la pena considerarlo por un pequeño costo.

Con los tres dongles Vive Tracker finalmente conectados, mi PC los reconoció como dispositivos USB. Ahora llegó el momento de la configuración en SteamVR.

Los Vive Trackers están emparejados como los controladores Vive o Index: en "dispositivos" y "controlador de emparejamiento", encontrará la opción Vive Tracker, así que simplemente siga las instrucciones en pantalla fáciles de entender.

Varios segundos más tarde deberías encontrar tu Tracker emparejado con un Dongle y brillando en verde fijo (como se ve en las imágenes a continuación). Si no se empareja,asegúrese de que su Dongle esté al alcance del Vive Tracker, para que puedan encontrarse fácilmente. Para problemas de emparejamiento, hay mucha información técnica en línea tanto de HTC como de la comunidad SteamVR.

Una vez que se emparejó cada Tracker (un total de tres en mi caso), pude ver todos los dispositivos SteamVR operativos en el menú que se muestra a continuación. Los he etiquetado en diferentes colores para resaltar qué tipo de dispositivo es cada uno, mientras que los iconos pequeños facilitan su identificación de un vistazo.

Profundizando en el menúrevela "Administrar rastreadores" que proporciona una lista de las catorce ubicaciones y opciones diferentes del rastreador. Estos reflejan las ubicaciones del cuerpo (es decir, el pie izquierdo y derecho), además de proporcionar ubicaciones únicas para el pecho y la cintura.

Nuestro amigo de madera muestra las diferentes opciones de dispositivos portátiles (cuerpo) a continuación, mostrando el alto grado de precisión que es posible con suficientes rastreadores Vive y ancho de banda USB:

Además de las ubicaciones para llevar en el cuerpo, también puedes elegir:

Mis tres Vive Trackers activos se muestran en la imagen a continuación, conUbicaciones asignadas para el seguimiento de todo el cuerpo en VR Chat y aplicaciones similares.He borrado los números de serie de los rastreadores pero, por lo general, esto es algo así como“LHR-A8368513” . Puedes ver los roles asignados a cada rastreador: "Pie izquierdo", "Cintura" y "Pie derecho".

Tan pronto como te pongas los auriculares e intentes pausar SteamVR en casa,Inmediatamente verá cualquier Vive Tracker activo mostrado como modelos de renderizado de alta resolución con indicadores brillantes.Si está utilizando un Vive Tracker asignado como "sostenido en la mano", puede sostenerlo, rotarlo, moverlo, lo cual es genial e inmediatamente consolida la idea de un "objeto rastreado" en el cerebro del usuario.

Las imágenes a continuación fueron tomadas a través de la lente de mis auriculares Index... Pido disculpas por las distorsiones, ¡pero es difícil fotografiar la lente compuesta dual con un teléfono inteligente! La imagen de la izquierda muestra un único Vive Tracker con controladores Index, mientras que la imagen de la derecha muestra un Vive tracker montado en la cintura, así como Vive Trackers montados en los pies izquierdo y derecho.

Reanudar SteamVR provocarálos Vive Trackers desaparezcan de la vista dentro de sus auriculares, y no los volverás a ver a menos que hagas una pausa o uses una aplicación diseñada para trabajar con ellos, generalmente cambiando su modelo de renderizado por un objeto del juego (por ejemplo, una pistola o un bate de tenis).

Probé un montón de cosas diferentes, incluyendo:

Bueno, este plan se desmoronó rápidamente cuandoYa no era posible comprar un arma compatible con Vive-tracker en el Reino Unido.Tanto Amazon como Ebay me redireccionaron a vendedores en los EE. UU., pero cuando se agregaron los impuestos de envío y ventas internacionales, me acercaba a £ 100, lo que se estaba volviendo un poco caro para jugar algunas rondas de Arizona Sunshine.

Incluso Computer Exchange no tenía nada de segunda mano, aunque sus acciones cambian constantemente, por lo que configuré varias alertas de acciones en su sitio web.Otras marcas que ofrecían rifles de asalto y pistolas para Vive Trackers habían descontinuado sus productos.sin alternativas actuales disponibles.

Parecía haber habido una oleada de actividad periférica en este espacio durante 2016-2017, tras el lanzamiento de HTC Vive, antes deSe enfrió probablemente debido a las ventas limitadas.

Incluso si cada cliente de SteamVR hubiera comprado un Tracker y un periférico en los primeros 2 años, todavía habría sido una base de usuarios muy pequeña en el gran esquema de ventas de hardware. . Equipar las herramientas y el ensamblaje del molde de inyección no es económico ni siquiera para un diseño de pistola simple.

Estos tipos todavía ofrecen su arma por $899, pero con la siguiente advertencia un tanto confusa (citando palabras exactas):

Mirando más a fondo esto, algunas reseñas en línea se quejaronProblemas de compatibilidad con actualizaciones posteriores de SteamVR rompiendo algo que nunca se solucionó.Supongo que esto se relaciona con las entradas de los pines pogo utilizados por las diferentes marcas y modelos de armas, pero no estaba claro exactamente qué había salido mal.

“1,0 de 5 estrellas. Revisado en los Estados Unidos el 27 de diciembre de 2019. Desperdicio de 160 dólares por el arma y el rastreador. No funciona con ningún juego."

Algunos usuarios mencionarontener que usar una versión anterior de SteamVR para que sus armas funcionen,aunque esto no pareció funcionar para los usuarios de auriculares Valve Index que requerían una versión posterior de SteamVR.

Con el precio relativamente alto y la considerable molestia de devolver un arma importada si no funciona correctamente,No perdí más tiempo investigando esto.Tenía buenos recuerdos de usar una pistola con seguimiento Vive en la cooperativa Arizona Sunshine en una sala de juegos de realidad virtual hace algunos años, ¡y lo dejé así!

La otra opción para un objeto fácil de comprar era“Juego de deportes de raqueta de HTC” que dejaron de venderse en Amazon y parece que solo se venden directamente como un artículo especial.Consideré comprar el juego de tenis y ping pong “Virtual Sports” (que viene gratis con el juego), pero parecía exclusivo de Viveport ya que no estaba disponible en Steam.

El juego Racket Sports contiene 2 accesorios de plástico de diferentes tamaños con agarres realistas,no hay conexión de "pogo pin" ya que no requiere la entrada de un botón(Usaría un controlador Vive o Index para iniciar y controlar la aplicación).

La pala y la raqueta brindan una sensación de peso e inercia mucho más cercana en comparación con agitar un controlador y retirar los controladores costosos y vulnerables del espacio de juego.a favor de utilizar una raqueta de plástico más resistente y barata y Vive Tracker.

Mirando la lista de juegos compatibles con Racket Sports Set, puedes verla mayoría son de los primeros días del lanzamiento para el consumidor de HTC Vive, lanzado en 2016 y luego en 2017. Algunos no se han actualizado desde su lanzamiento, mientras que otros han recibido un par de actualizaciones.

Afortunadamente encontré todos estos títulos disponibles en Steam para personas que no tienen acceso a Viveport. Esta lista muestra la fecha de lanzamiento y el precio actual.

Para intentar usar un juego de raqueta con uno de mis Vive Trackers, descargué demostraciones de Racket NX y Blobby Tennis, luego construí una raqueta para el Tracker usando un bate de ping-pong de repuesto. Esto es lo que pasó.

No pude hacer que la demostración de Racket NX funcionara correctamente si solo usaba un Vive Tracker.Sin disparador, no pude iniciar el juego. . También parecía requerir una acción de gatillo para “jalar” la pelota hacia el bate.

Fue fácil jugar Racket NX usando un controlador Index y fue divertido, perono me permitiría tener un controlador Index activo en una mano y el bate Vive Tracked en la otra, simplemente ignoró al murciélago por completo. Intenté ajustar este problema en la configuración del controlador, pero en realidad no había ninguna configuración del controlador disponible. Sin embargo, el juego completo seguramente incluirá configuraciones y mucho más, por lo que valdría la pena volver a visitarlo.

Utilicé un controlador Valve Index en mi mano izquierda para lanzar la pelota y el Vive Tracker instalado en el bate que sostenía en mi mano derecha para controlar la raqueta de tenis. Esto parecía muy básico pero me pareció muy divertido con un oponente “blob” al otro lado de la red que ocasionalmente me devolvía mis terribles servicios.

A pesar de que sostenía un bate de ping pong con mango de madera y un rastreador adjunto,la raqueta de tenis en el juego no se sentía muy diferente debido a la sensación de “sostener un mango”en lugar de agarrar el cuerpo de un controlador de movimiento de plástico en un ángulo extraño.

Luego decidí alargar el mango de mi “bate” para que pareciera más una raqueta de tenis, lo que inmediatamente ayudó a que las cosas se sintieran más equilibradas.

Tan pronto como me acostumbré a usar mi remo más largoEmpecé a ser más competente,a veces hace una docena de devoluciones antes de golpear una directamente en la red o separarla en un ángulo aleatorio.

A pesar de que el sólido bate de ping-pong oscurecía un poco el Vive Tracker de la segunda estación base, no tuve problemas con el seguimiento, lo cual fue sorprendente. La primera estación base tenía una línea de visión clara del Vive Tracker en el bate, mientras que los movimientos rápidos de la mano proporcionaron un rico flujo de datos IMU, especialmente aceleración.

Los rayos de la segunda estación base habrían impactado algunos sensores en los lados del Tracker cuando el ángulo del bate cambió durante mi movimiento. Una pala de murciélago “hueca” (recortada) habría expuesto más sensores del Tracker a la segunda estación base, que es lo que HTC ha hecho con su juego de raquetas de plástico.

Sin embargo, rápidamente me di cuenta de que mi espacio de juego de 3 x 3 metros era demasiado pequeño yMe detuve después de golpear la pared frontal con mi bate y luego la lámpara del techo. (2,5 metros de altura). No quería arriesgarme a dañar el Vive Tracker, así que puse fin a mi partido de tenis y guardé mi bate.

Para los jugadores que quieran iniciarse en el ping pong o el tenis,Parece haber una selección decente de títulos más antiguos con soporte Tracker para el uso de prácticos bates y raquetas.En general, estoy completamentedisfruté la sensación de usar un murciélago con orugasy me veo comprando el HTC Racket Set para una configuración más duradera con dos opciones de tamaño.

Tras la decepción de no poder comprar un arma para jugar a Arizona Sunshine, Encontré un controlador PSVR AIM a la venta por solo £ 15 en mi tienda de juegos local . Me pareció un momento ideal para hacer mi propio objeto personalizado. El controlador AIM era un periférico genial creado para el sistema PSVR de Sony. Usar un AIM en “Farpoint” fue una experiencia increíble, ya que brindó una sensación táctil y controles muy mejorados con muchas opciones de entrada diferentes.

Descargué un modelo de renderizado de Vive Tracker del sitio para desarrolladores de HTC y compré un modelo digital del controlador AIM en una tienda de modelos digitales por $12. Estos activos se importaron al software CAD dondeestaban alineados para crear un híbrido de los dos.

En el mundo físico, desmantelé por completo el controlador AIM, que resultó serun caparazón simple predominantemente vacío pero lleno de componentes de entrada en ubicaciones clave.Después de quitar dos motores hápticos, una batería recargable y numerosos flex, estaba listo para acomodar el Vive Tracker.

Ya había decidido montar el rastreador encima del arma, para presentar los aspectos más visibles a las estaciones base para un buen seguimiento. Después de fabricar rápidamente una placa de montaje de perfil bajo a partir de termoplástico, conecté el rastreador y tomé una medida precisa de su posición para usarlo más adelante.

Después de alinear todo y ajustar el archivo del modelo de renderizado usando la PC, llegó el momento de descargar cuidadosamente "el JSON" usando la consola del faro. Este comandodescargar configuraciónactiva la descarga del JSON a su PC host.

El JSON actualizado se cargó en Vive Tracker usandosubirconfig . Ahora, al iniciar SteamVR Home, si se pausa SteamVR, se ve el controlador AIM+Vive Tracker en lugar del modelo de renderizado Vive Tracker original.

El siguiente paso sería conectar un disparador y botones a través de los pines pogo, para verSi es posible hacerlo funcionar completamente con la versión actual de SteamVR . También debería ser posible instalar uno de los motores hápticos (ERM) al activar eventos hápticos para proporcionar retroalimentación básica para un juego como Arizona Sunshine. Sin embargo, se me acabó el tiempo antes de que venciera este artículo, así quePensé en hacer esto correctamente como un proyecto divertido en el Año Nuevo.

Full Body Tracking (FBT) se ha vuelto esencial para muchos usuarios de la popular aplicación de redes sociales “VR Chat”.Si bien hay otras aplicaciones disponibles, VR Chat es la más conocida y la más poblada, y muchos usuarios pueden interactuar utilizando una PC de escritorio y auriculares de realidad virtual.

VR Chat tiene una escena próspera con personas que usan avatares compatibles con seguimiento de cuerpo completo, y existe una comunidad cada vez mayor decreadores que crean y venden avatares elaborados a la comunidad de chat de realidad virtual . También hay miles de avatares gratuitos disponibles, por lo que es bastante fácil encontrar algo que te guste y probar un avatar.

VR Chat se puede utilizar perfectamente con auriculares y controladores de realidad virtual normales, pero esto sólo proporciona "tres puntos" de seguimiento (cabeza, mano izquierda, mano derecha) para conducir un Avatar.

Tomar estos tres puntos y aplicar un modelo de software permite una posición calculada para los brazos, la pelvis y las extremidades inferiores del avatar, conocida como IK (cinemática inversa).

Del desarrollador Runevision: “La cinemática inversa (IK) es una forma de calcular automáticamente los ángulos de las articulaciones de, por ejemplo, una pierna o un brazo en función de dónde debe estar el efector final (normalmente el pie o la mano). Por lo tanto, se podría especificar que la mano de una persona debe estar en una posición específica, y luego se puede usar IK para calcular los ángulos de las articulaciones del hombro y el codo para que la mano esté allí.

La cinemática inversa necesita algoritmos especiales para "resolver" el problema de encontrar los ángulos articulares correctos. Esto no es trivial, especialmente si una extremidad tiene más de dos segmentos. (Una pierna humana tendría dos segmentos, mientras que la pata trasera de un caballo tendría tres)”.

Puede encontrar más información sobre la cinemática inversa aquí https://docs.unity3d.com/Manual/InverseKinematics.html

Sin embargo,IK tiende a fallar cuando los usuarios se mueven, especialmente en las caderas., provocando extrañas sensaciones incómodas cuandoLas piernas del Avatar van en una dirección diferente a la de las piernas del usuario.Los codos son otra área problemática muy conocida, lo que lleva a muchos desarrolladores de juegos a utilizar una “mano” o un “guante” en lugar de presentar el brazo completo al usuario.

Para un seguimiento efectivo de todo el cuerpo en SteamVR,Podemos agregar una cadera/cintura rastreada y pies izquierdo y derecho rastreados usando tres rastreadores SteamVR. s. La imagen de arriba de Terrel Strong de la Universidad de Washington proviene de un estudio detallado sobre IK y seguimiento corporal.

Agregar los rastreadores Vive proporciona tres puntos adicionales de seguimiento, proporcionandoun total de seis puntos (incluidos HMD y dos controladores) que pueden impulsar el esqueleto del avatar con control en cada miembro inferior y la cintura. Es posible agregar rastreadores adicionales en SteamVR, hasta nueve en total para reforzar aún más el control esquelético y lograr la experiencia de seguimiento corporal más completa disponible.

Los Vive Trackers vienen con soportes de tornillo roscados de 1/4” en sus bases, perorequieren montaje en correas o cinturón para poder sujetarlos al cuerpo.

Por supuesto, muchas empresas diferentes fabrican correas, cinturones y equipos compatibles con Vive-Tracker, pero como tenía poco tiempo (no podía esperar a la entrega), decidí hacer los míos propios.

La correa de la cintura estaba hecha de un cinturón de repuesto y algo de termoplástico que moldeé en un soporte adecuado, después de insertar un perno de 1/4” para permitirme atornillar el Tracker en su lugar.

Se utilizó un tornillo de máquina largo de 3 mm comoun pasador estabilizador para evitar que el Tracker intente girar bajo movimiento.La parte posterior del soporte de plástico estaba revestida con velcro de calidad industrial, luego agregué una almohadilla de espuma gruesa para que fuera muy cómodo contra el estómago.

El soporte de cintura funcionó muy bien y no se movió, no se sintió incómodo ni causó problemas de seguimiento. El Vive Tracker 3.0, más pequeño y ligero, ayudó en este sentido con menos inercia al moverse rápidamente.

La sensación de tener una pelvis rastreada realmente abre el movimiento del cuerpo en la realidad virtual... esta fue una revelación similar al uso de la aplicación gratuita Decagear para teléfonos inteligentes y PC con Windows, que agregó la dirección de la cadera rastreada en juegos como Boneworks con gran éxito.

Vive Tracker lleva esto al siguiente nivel, rastreando la pelvis en 6DoFagregando una gran dimensión a la interacción corporal y la sensación de inmersión.

Para mis pies, decidí hacer soportes para zapatos sencillos con correas de velcro y acolchado. El rastreador se fijó mediante un accesorio roscado de 1/4” tomado de algunos soportes de pared para altavoces de cine en casa; estos accesorios tenían bases de plástico planas para que encajaran cómodamente contra la parte superior del zapato.

Usar zapatos fue lo mejor en términos de estabilidad,me dejaron atar los Trackers sin que queden excesivamente apretados , los soportes eran estables y fáciles de colocar en segundos. Utilicé una correa larga de velcro en cada pie para envolver la correa incorporada, agregando otra capa de seguridad contra movimientos no deseados.

A pesar de bailar terriblemente y hacer muchos movimientos aleatorios, los soportes para los pies nunca causaron ningún problema con los Vive Trackers comportándose muy bien durante todas mis sesiones de chat de realidad virtual. También intenté atarlos directamente a mis pies sin zapatos, yLos calcetines encontrados eran cómodos, pero los Trackers tendían a moverse un poco.a menos que esté muy apretado, por lo que es preferible usar zapatos (estos tienen suelas muy delgadas para que pueda sentir la correa según sea necesario).

Al iniciar VR Chat, eliges un Avatar. Haymuchos modelos gratuitos diferentes disponibles con soporte de seguimiento de cuerpo completo.Intenté usar muchos avatares diferentes, incluido un conejo de juguete que pilotea un traje mecánico, un robot de ojos rojos, un zorro suave y un pequeño peludo con equipo cibernético (que tiene una cara estilo Bugs Bunny debajo de la visera).

Cada avatar tiene una "sensación" cuando se usa FBT, y encontréMe gustó mucho usar el conejo de juguete con el traje mecánico. porque se sentía bien en términos de escala y movimiento, mientras que el conejo de juguete que conducía el traje hacía pequeños movimientos con el cuerpo y la boca; dando una extraña sensación deun títere siendo títere.

El pequeño peludo le dio a los mundos una escala diferente, haciendo que los avatares de tamaño normal se elevaran sobre mi conejo. Pronto noté muchos avatares pequeños y muy pequeños en diferentes mundos durante mi viaje a través del chat de realidad virtual.

El suave zorro era bienvenido en mundos habitados por furries (visto en la imagen de arriba cargando a mi compañero de bebida, un pato, ¡no preguntes!) y el robot de ojos rojos fue realmente preciso para ver el seguimiento de todo el cuerpo en funcionamiento con su cuerpo desnudo. -Esqueleto abajo ideal en ese sentido.

Es muy fácil calibrar el seguimiento de cuerpo completo en VRChat: simplemente abre el menú de usuario en el juego, selecciona "Calibración FBT" y luego adopta la forma de "T" (brazos extendidos a 90 grados).

Ahora deberías encontrar que tu Avatar está completamente calibrado para tu configuración de seguimiento. Si necesita recalibrar, simplemente use el menú. Una vez calibrado, de repente notarás queel movimiento fino se sigue con mucha precisión, incluyendo algo sin precedentes… ¡¡PIERNAS!!

"Hola Mark, tenemos algunas piernas aquí..."

A pesar de todo el revuelo reciente sobre Metawhatsit y de que todavía no hemos rastreado las piernas en realidad virtual... bueno...Moví mis piernas reales y mis piernas Avatar reaccionaron inmediatamente.,mi cerebro casi se cae de mi cabezacon la pura sorpresa de todo 🙂

Después de quitarme los auriculares para recuperarme, revisé en línea y parece queLas “piernas rastreadas” son posibles desde 2017 usando SteamVR Entonces, ¿quizás Meta necesite volver a verificar sus datos? Si quieren una demostración, pueden hacérmelo saber: tengo una sala “SteamVR” donde pueden probar esta increíble nueva tecnología 😉

Así que la primera impresión de tener piernas fue bastante sorprendente, aunque no se apreció del todo hasta estar frente a un “espejo” donde de repente todo cobró sentido de inmediato yExplicó por qué la gente gasta todo ese dinero en configuraciones de seguimiento de cuerpo completo.

Una limitación actual de los auriculares de distancia focal única es el VAC (conflicto de acomodación de vergencia), donde a los ojos les resulta difícil resolver objetos muy cercanos con un enfoque nítido.

Esto significa que mirar directamente hacia la parte superior del cuerpo de tu avatar queda algo oscurecido por el problema de VAC, lo que hace que sea más difícil enfocarte claramente en tu torso o en la parte superior de tus brazos, pero cuando estás parado frente al espejola distancia focal de los auriculares es la prevista, lo que hace que las cosas sean mucho más nítidas.

Hacer movimientos diminutos que se rastrean con precisión en tiempo real conduciendo a tu avatar proporciona una conexión muy fuerte en el cerebro.Sintiéndome similar a una leve descarga eléctrica, como cuando usé el HTC Vive Pre por primera vez en 2016.Esto lo experimenté cada vez que utilicé el seguimiento de cuerpo completo.

Como tristemente atestiguarán muchos entusiastas de la realidad virtual, esa emoción eléctrica de estar en la realidad virtual durante esas primeras semanas o meses pronto se desvanece a medida que uno se acostumbra a usar la realidad virtual, lo que hace que esa sensación deseable de fuerte presencia se alcance con menos frecuencia. Algunos usuarios reportanse vuelve demasiado obvio que están mirando dos pantallas atadas a sus cabezas,a pesar de la vista estereoscópica y el seguimiento de 6DoF.

Pensé mucho en esto mientras usaba Fully Body Tracking y volví a la reciente entrevista de Skarredghost con el legendario Jeremy Bailenson:“Hay un chiste que cuento en los cócteles, y en realidad no es un chiste porque no tiene nada de gracioso, pero si Me vas a preguntar, ¿cuáles son las cinco características más importantes que provocan presencia en la realidad virtual? Mi respuesta para usted será seguimiento, seguimiento, seguimiento, seguimiento, seguimiento. No tengo nada en contra de la resolución... siempre es agradable ver una imagen de alta resolución y, por supuesto, el campo de visión es importante, pero si quieres inspirar presencia, lo más importante es una baja latencia y una alta velocidad de fotogramas. , alta precisión de seguimiento (lo cual es realmente importante)”

He leído muchos comentarios dela gente sigue usando felizmente el sistema HTC Vive original para VR Chat,en su experienciatener un seguimiento completo del cuerpo muy preciso es mucho más importante que tener unos auriculares de mayor resolución . También es fácil adquirir Vives usados ​​a precios bajos, lo que proporciona una ruta económica hacia FBT (Full Body Tracking) para los entusiastas con problemas de liquidez. Sólo tenga en cuenta que la tecnología de estación base 1.0 y 2.0 no siempre se combina.

Para demostrar FBT desde mi propia perspectiva, probé mi avatar de “conejo de juguete con traje mecánico” e hice algunas poses diferentes frente a un espejo HQ en VR Chat. Al mismo tiempo, se tomaron fotografías de lo que estaba haciendo exactamente al mismo tiempo en el mundo real (éstas se voltearon horizontalmente para que coincidan con la imagen reflejada del VR Chat).

El lenguaje corporal sutil parece traducirse directamente a través del avatar, lo cual es algo emocionante. El uso del seguimiento de cuerpo completo con precisión submilimétricaRealmente ayuda con la inmersión y con experimentar fuertes sentimientos de presencia nuevamente.

Ser capaz de acostarse, levantarse, darse vuelta, dar patadas de kárate, pararse sobre una pierna y bailar.Me sentí realmente liberador a pesar de la atadura.Bailar frente a un espejo junto a otros usuarios de FBT fue realmente vívido y todos los movimientos corporales sutiles hicieron un trabajo muy convincente en mi cerebro de lagarto subconsciente.

Tan pronto como comienzas a usar FBT con regularidad, comienzas a notar los avatares de otros usuarios y quién tiene FBT o quién está usando un sistema de realidad virtual estándar con tres puntos de seguimiento.La diferencia en el lenguaje corporal es el día y la noche. , con los usuarios de FBT muy realistas, mientras que los usuarios estándar parecen algo rígidos y antinaturales. Aquí no hay juicio ni elitismo, sólo una observación. Intenté usar VR Chat un par de veces sin Vive Trackers y definitivamente faltaba algo...

HTC Vive Tracker 3.0 está disponible por un precio minorista recomendado de £ 129 en el Reino Unido en diferentes minoristas de electrónica o directamente en HTC enhttps://www.vive.comcon envío gratis.

Por alguna razón, se descubre que sonun poco menos costoso a través de la tienda Amazon de HTC a £ 127,50incluyendo envío gratuito y devoluciones gratuitas.

Tundra Labs y Manus también ofrecen dispositivos alternativos estilo rastreador SteamVR (dirigidos al mercado profesional).

La segunda parte de este artículo fue muy divertida y una experiencia de aprendizaje sobreel poder del seguimiento de todo el cuerpo para aumentar dramáticamente la inmersión, lo que genera sentimientos de presencia más fuertes de forma repetible , lo que para un usuario de PCVR desde hace mucho tiempo fue una revelación. Llegué tarde a la fiesta de FBT pero más vale tarde que nunca, y elVive Tracker 3.0 es una mejora útil con respecto a la generación anterior , muy fácil de recomendar. El software del lado SteamVR parece haber madurado con un buen soporte para Trackerfacilitando la configuración y administración . No tuve problemas durante las semanas de uso, sin importar cómo me moví o qué hice.

Entré en esto esperando divertirme mucho construyendo objetos rastreados y explorando diferentes juegos, pero la verdad es queLa revelación de FBT significó que se pasó más tiempo en el chat de realidad virtual. donde fue fácil darle un buen uso a FBT. Hay otras aplicaciones disponibles, así que busque el soporte de FBT cuando revise un nuevo software.

Hay juegos de deportes que funcionan con el set Vive Racket Sports, y si te gusta el tenis, el ping-pong o deportes similares, entoncesDebería valer la pena comprar un Vive Tracker y un murciélago adecuado.No puedo confirmar ni negar si las armas funcionan actualmente, pero intentaré construir mi arma AIM con orugas en el Año Nuevo, así que supongo que lo descubriré entonces.

Como mencioné en mi primer artículo, el uso de FBT para aplicaciones como VR Chatparece estar impulsando ventas saludables de Vive Tracker(Conocí a muchos usuarios de FBT) mientrasLos periféricos son escasos y no son compatibles con muchos (si es que hay alguno) juegos contemporáneos.

No es un secreto quees relativamente caro configurar el seguimiento de todo el cuerpo,si lo hace correctamente con SteamVR y dispositivos estilo rastreador.

Tienes que comenzar con un sistema SteamVR como Valve Index (£920) o Vive Pro (actualmente £719 en oferta), luego agregar tres Vive Trackers (£387 con envío) y algunas correas Tracker (normalmente £40-70 por juego) Y, por supuesto, una PC con capacidad de realidad virtual.

Para las personas que usan sistemas de realidad virtual que no son nativos de SteamVR (como Vive o Index), es posible agregar estaciones base y controladores SteamVR y luegocombine los espacios de juego Quest/Pico/WMR y SteamVR usando una aplicación como Open VR Space Calibrator, que puede encontrar en este enlace: https://github.com/pushrax/OpenVR-SpaceCalibrator. Los desarrolladores lo describen como:

“Esto le ayuda a utilizar dispositivos de realidad virtual rastreados de una empresa con cualquier otra. Alinea múltiples sistemas de seguimiento con un rápido paso de calibración. Puede que no funcione para su configuración, pero hay muchos casos que funcionan hasta cierto punto, y algunos funcionan muy bien”.

Sin embargo,Los resultados pueden variar , y algunos usuarios informan que es casi inutilizable, mientras que otros mencionan que funciona, pero se requiere una recalibración regular ya que los dos sistemas de seguimiento tienden a separarse. Por esta razón, algunos usuarios cambiarán a un visor SteamVR (incluso un Vive antiguo) para proporcionar una solución de seguimiento corporal completo confiable y sin complicaciones.

Existen otros sistemas de seguimiento de cuerpo completo en el mercado que utilizan múltiples IMU, cámaras externas, campos magnéticos u otra tecnología de seguimiento. No suelen ser muy precisos ni sufren desviaciones, peroProporcionan cierto acceso al seguimiento corporal a un precio más asequible que la ruta de la estación base. . Verdaderamente un caso de “obtienes lo que pagas”…

Sin embargo, como dijo el estimado experto Jeremy Bailenson: “ ¿Cuáles son las cinco características más importantes que provocan la presencia en la realidad virtual? Mi respuesta para ti será seguimiento, seguimiento, seguimiento, seguimiento, seguimiento..”.

Según mi experiencia con el HTC Vive Tracker 3.0 durante estos meses, sin duda le brindarán lo que necesita para FBT y juegos deportivos, brindándole esa sensación de presencia tan importante. ¡Muy recomendable!

¡Gracias!Muchas gracias a HTC por proporcionarme los Vive Trackers y responder a todas mis preguntas, gracias a Tony Skarredghost por alojar mi artículo ysobre todo gracias a ti, lector.

(Imagen de encabezado de Rob Cole)