Ook moet worden onderzocht welk type van de zintuiglijke motorische actie domineert in verschillende domeinen van de aanvragen (gezondheidszorg: remote fysiotherapie, industrieel design: remote co-design en concept evaluatie, onderwijs en opleiding:) en hoe ze kunnen worden uitgevoerd in videoconferencing sessies. Dit scenario zou ons toelaten om de meest optimale videoconferentie-systeem vereisten voor deze domein specifieke toepassingen voor te stellen.

De huidige en toekomstige resultaten van ons onderzoek kan ook richtlijnen geven voor de ontwikkeling van nieuwe video compressie en streaming technologie. De volgende generatie video-compressie en streaming technologie zou zich niet alleen aanpassen aan de technische voorwaarden (werkelijke bandbreedte van netwerken, beeldresolutie en het systeem latency), maar zou ook de kenmerken en vormen van zintuiglijk-motorische interactie, zoals de snelheid en omvang van de beweging gebruiken. Bijvoorbeeld, als grote en grove bewegingen gebruikt worden is het niet nodig om 4K resolutie te gebruiken om een taak met succes te voltooien. Aan de andere kant kan fijne motorische interactie profiteren van het gebruik van 4K resolutie.

Uit de resultaten bleek dat de toepassing van 4K technologie in videoconferencing sessies de reactietijd van de gebruikers kan verkorten in scenario’s van fijne motorische interactie. Maar een nadere analyse van de gegevens is nodig om te bepalen hoe de uitbreiding van (bewegingsenvelop) van de stimulus en de daadwerkelijke vermindering van de reactie tijd van elkaar afhankelijk zijn, en hoe deze afhankelijkheid betrekking heeft op de beeldresolutie.

Onze analyse van de correlatie tussen de snelheid van de beweging (dwz een van de componenten van bewegingsintensiteit) en de reactie tijd geeft geen significante afhankelijkheid. De resultaten van onze ANOVA-test impliceren wel een relatie tussen de bewegingsenvelop en de reactietijd van de gebruikers. Het lijkt erop dat hoe kleiner de envelop van de beweging is hoe groter de kloof wordt tussen de gemiddelde waarden van de reactie tijd tussen de 4K en HD / VGA-beelden. We zijn bezig met het uitvoeren van een statistische analyse van de gegevens die mogelijke relatie tussen de beweging envelop van de stimulus en de reactietijd evalueert. Om de bewegingsenvelop te kwantificeren ontwikkelen we software die de som van de absolute verschillen in de vooraf opgenomen beelden berekent.

In de huidige opzet van ons experiment was de zintuiglijke-motorische interactie eenvoudiger vanwege scenario’s met one-way communicatie tussen externe partners. Dit betekent dat de actor (de persoon die de stimulus voor het experiment genereert), een beweging afrond, en de proefpersoon van het experiment reageert op deze beweging. De actor in onze opstelling ziet niet de proefpersonen en kan niet reageren op de beweging van de proefpersoon. Om deze reden zou het interessant zijn om meer complexe en interactieve scenario’s van sensorische-motorische interactie te onderzoeken.

Virtual red hand game

Virtual drop test game

Uit het opgenomen materiaal van hoge snelheid video-en gesynchroniseerd HD-films en motion tracking systeem hebben we de volgende gegevens handmatig gewonnen:

1) Tijd van trigger: het begin van de stimulus

2) Tijd van de reactie: het begin van de reactie van de proefpersoon op  de stimulus

3) Gemiddelde snelheid van de beweging van de stimulus: gemiddelde snelheid van de stimulus in het tijdsinterval van het begin van de stimulus tot het tijdstip van waarneming door de proefpersoon. (motion tracking data)

4) Motion enveloppe van de stimulus: aantal pixels veranderd op het scherm in het tijdsinterval van het begin van de stimulus tot het tijdstip van waarneming door de proefpersoon.

In de data-analyse fase hebben we de uitschieters van onze gegevens behandeld op basis van de aanbeveling van Ratcliff (1993) getiteld “Methodes for dealing with reaction time outliers”. In zijn studie zegt hij dat voor data met een hoge variatie in gemiddelden van proefpersonen, de beste manier om uitschieters te behandelen het gebruik is van de standaarddeviatie afgrenzingsprocedure. Op grond van deze aanbevelingen hebben we deze procedure toegepast op onze data en verschillende statistische methodes zoals hierboven omschreven toegepaste in SPSS.

Virtual Redhand game

Virtual drop test game

Omdat de camera en het beeld met ieder 24 beelden per seconde nooit synchroon lopen, is het nooit te achterhalen wat de reactietijd van de testpersoon is. Daarom hebben we een hoge snelheidscamera gehuurd. Deze Speedcam filmt 200 beelden per seconde en daarom kunnen we in slow motion precies zien wanneer het volgende frame in beeld verschijnt en hoe lang de testpersoon er over doet voordat hij of zij reageert op wat er te zien is op die frame. Zo meten we exact de reactietijd van deze persoon. Dit synchroniseren we met het motion tracking system. Het versturen van de data van de Speedcam naar de computer vergt veel tijd. Hierop moeten de testpersonen elke keer wachten nadat ze op een filmpje hebben gereageerd.

Elk test persoon doet twee van de drie spellen in drie verschillende resoluties (VGA, HD en 4K). Op deze manier filteren we de verschillende reactietijden per persoon er nog meer uit en specificeren we onderzoek meer op de verschillen in resoluties.  De films van de spelen duren tussen de 3 en 1 minuut en elk persoon doet zes spellen dus het onderzoek zou niet zo lang moeten duren per persoon, maar doordat we de data van de Speedcam na elke opname naar de computer moeten doorsturen komen gemiddeld op 45 minuten uit per persoon. We hebben 23 personen gedaan en we begonnen met analyseren van de data. We hebben de data van het motion tracking system, de speedcam en de normale camera. Deze data gaan we naast elkaar leggen.

• Motion capture of virtual knockout (red hand game)
• Motion capture of card game
• Motion capture of drop test
• Speed cam recording of virtual knockout (red hand game)
• Speed cam recording of card game
• Speed cam recording of drop test

De spellen die we hebben opgenomen, worden hieronder beschreven:

1. Het Virtual Knockout spel
   Op de video wordt een staand persoon weergeven die zijn armen naast zijn lichaam houdt in een hoek van 90 graden. De handen staan open met de palmen ​​omhoog. De proefpersoon zal ​​in dezelfde positie staan met het gezicht naar het scherm. De persoon in de video zal dan proberen om ‘virtuele’  hits van de proefpersoon zo snel mogelijk na te doen. Hij kan dat door zijn rechter, linker of beide handen te gebruiken en virtuele de slagen van de persoon in beeld te ontwijken.
2. Het kaartspel
   Tien verschillende, maar zeer op elkaar lijkende kaarten liggen naast elkaar op tafel met de kant naar beneden. De persoon die in beeld is draait slechts één kaart om. De proefpersoon die dezelfde kaarten heeft voor zich heeft moet proberen zo snel mogelijk de kaart te herkennen en dezelfde kaart die voor hem ligt aan te wijzen. Bij dit spel is het waarschijnlijk belangrijk om een goede resolutie te hebben om de kaart te herkennen.
3. De valtest
   Bij dit filmpje zie je een persoon staan die een voorwerp in elke hand heeft en deze voor zich houdt. De persoon in beeld laat de linker, rechter of beide voorwerpen vallen. De proefpersoon moet dan zo snel mogelijk reageren door het voorwerp virtueel ‘op te vangen’. 
   ​​in dezelfde positie

Het project zal worden gerealiseerd in het kader van de minor  ‘Advanced Prototyping’, tussen half september en half november.
In plaats van de oprichting van een 4K videoconferencingsessie voor ons experiment, zullen we een vier stappen offline interactie proces opzetten als volgt:

• STAP 1. Wij registreren motorische activiteiten van acteurs (zoals het overhandigen van object, dansen en boksen) vanuit het gezichtspunt van een externe partner. De beweging van de acteurs zal worden vastgelegd door zowel een 4k camera en een motion capture systeem.
• STAP 2. We spelen het opgenomen materiaal voor proefpersonen met verschillende resoluties af (dwz VGA, HD, en 4k) en hun reactie wordt geregistreerd.
• STAP 3. De twee video’s en beweging data  zullen worden samengevoegd tot een scène door de invoering van verschillende latencies. Op basis van de vastgelegde gegevens zullen we de video in lage en hoge intensiteit acties en het segment van de reactie van het onderwerp shift met verschillende latencies.
• STAP 4. Dan zullen we de in stap 3 samengevoegde gegevens analyseren om het effect van de latency te zien op de uitkomst van de motorische interactie.

Het project zal proberen om mogelijke correlatie te verkennen tussen de systeem latency, resolutie van het beeldmateriaal en de intensiteit van de motorische activiteit.

• de intensiteit van de beweging,
• de systeemvertraging (latency)
• de beeldresolutie tijdens de mens-mens interactie op afstand
• samen manipuleren van virtuele objecten.

Dit dient een maatschappelijk belang, bv. voor revalidatie op afstand, fijnmotorische, boetseer-, of dancing-trainingen.

De sensomotorische interactie (koppeling tussen zintuiglijke waarneming en motorische actie) tussen externe partners vereist nabijheid van het weergegeven beeld om een ​​meeslepende ervaring te creëren en oprichting van een betere virtuele aanwezigheid. 4K Displays maken pixels bijna onzichtbaar; 4K video’s zijn in staat om meer nauwkeurige gegevens van de beeldinhoud op het niveau van texturen, schaduwen, reflecties te bereiken. Het is onze veronderstelling dat dergelijke details in afbeeldingen visuele cues kunnen bieden aan de gebruikers van videoconferencingsystemen en de betrokkenen kan helpen met het sneller het waarnemen van de beweging van externe partners of zelfs op  hun komende  bewegingen te anticiperen. We verwachten dat 4k oplossingen kunnen bijdragen aan het verhelpen van zogenoemde latency (vertraging).

Intensieve  sensomotorische interactie tijdens 4k videoconferencing sessies stelt veel technologische eisen aan het videoconferentiesysteem, alsmede aan de netwerkverbindingen. In dergelijke opstellingen is latency van grote invloed op de interactie. Uit onderzoek is reeds gebleken dat grote latency (meer dan 150 ms) in de interactie in gesproken woord kans geeft op miscommunicatie. Het effect van latency op de  sensomotorische interactie in videoconferencing sessies is echter nog onbekend.

In dit project richten we ons op de volgende onderzoeksvraag:
Hoe zijn systeem latency en beeldresolutie van invloed op de flow van het virtuele interactie?

De gerelateerde sub-vragen zijn onderzocht:

• Wat is de relatie tussen systeem latency en de motorische intensiteit bij virtuele interactie?
• Welke typen visuele cues zijn herkenbaar aan de gebruikers in op afstand virtuele interactie?
• Hoe kan 4k beeldresolutie het effect van het systeem latency verminderen in sensomotorische interactie op afstand?

Om deze vragen te beantwoorden, heeft het voorgestelde onderzoek als doel om te onderzoeken of er een relatie is tussen beeld resolutie (VGA, HD, en 4K) en het uitvoeren van taken die sensomotorische interactie vereisen, onder verschillende omstandigheden van latency .