Nieuwe systemen voor real-time analyse en gebruik van multimodale data

Corona houdt ons land al anderhalf jaar in de greep. Onze mobiliteit speelt bij de verspreiding van dit virus een meer dan nadrukkelijke rol. Op de afdeling Transport & Planning van TU Delft en op het Mobility Innovation Centre Delft hebben ze de afgelopen maanden dan ook véél onderzoek naar deze ‘bron’ gedaan. In deze bijdrage beschrijven Hoogendoorn c.s. twee nieuwe systemen in de strijd tegen virusverspreiding: de Outdoor Mobility Digital twin en de Indoor Mobility Digital twin.


Foto: Nuthawut Somsuk

We hebben de afgelopen periode intensief onderzoek gedaan naar de verspreiding van corona en naar manieren om deze verspreiding tegen te gaan. Dat heeft nieuwe theorieën en modellen opgeleverd, maar we hebben ons onderzoek ook heel praktisch ingestoken: met dank aan het bestuur van TU Delft en het ministerie van Onderwijs, Cultuur en Wetenschap konden we investeren in twee systemen om de multimodale mobiliteitsstromen in en rond onze eigen campus in beeld te brengen. We wilden hiermee in ieder geval mogelijke hotspots detecteren: drukke locaties, binnen en buiten, waar social distancing niet mogelijk is of waar de anderhalvemeterregel om andere redenen niet wordt nageleefd. Verder waren we geïnteresseerd in veranderingen in de verkeersstromen tijdens de pandemie, zoals een hoger autogebruik en juist een lager ov-gebruik.

Uiteraard was ons uitgangspunt dat het systeem ook na de pandemie zinvol kan worden ingezet, zowel voor onderzoek, innovatie en pilots als voor het ondersteunen van de bereikbaarheids- en duurzaamheidsambities van de TU Delft.

Outdoor Mobility Digital twin
Het eerste systeem hebben we de Outdoor Mobility Digital twin, OMDt, genoemd. Zoals de naam al doet vermoeden richten we ons met dit systeem op het monitoren en interpreteren van de situatie buiten.

Figuur 1 geeft een schematisch overzicht van de componenten en toepassingen van de OMDt. Aan de basis staat een hele waaier aan data. Veel data zijn al beschikbaar, dus dan is het vooral bijeenbrengen. Denk bijvoorbeeld aan floating car data, data over de bezetting in parkeergarages, over de actuele posities en vertragingen van treinen, trams en bussen, en de status van bruggen. Maar we wilden natuurlijk vooral ook meetgegevens over het gedrag van voetgangers en fietsers. Daarvoor hebben we extra sensoren geïnstalleerd op de campus, waaronder dieptecamera’s, radars, bluetoothsensoren en wifi-scanners.

Het blauwe blokje in de figuur, in het midden, staat voor de modelleer- en voorspelmodule die diverse onderzoekers aan de TU Delft op dit moment ontwikkelen. Voorspellen met kunstmatige intelligentie vormt een belangrijk speerpunt in deze ontwikkeling. Een module die al up and running is, is de GIS-module waarmee we de data in 3D op de kaart weergeven.

Boven in de figuur staan enkele voorziene, maar in veel gevallen nog niet gerealiseerde toepassingen van de informatie die de twin genereert. Met de informatie over OMDt kunnen we bijvoorbeeld fiets- en voetgangersverkeerslichten extra groen geven als er daar te veel mensen staan te wachten. We kunnen via matrixborden waarschuwen voor te veel drukte. En onze informatie is natuurlijk nuttig voor verkeerscentrales en crowdmanagementcentrales.

Figuur 1: Schematische weergave van de (deels nog in ontwikkeling zijnde) componenten van de Outdoor Mobility Digital twin, inclusief mogelijke toepassingen. (Klik op de figuur voor een grotere weergave.)



Indoor Mobility Digital twin
In het kader van de pilots die het ministerie van Onderwijs, Cultuur en Wetenschap heeft laten uitvoeren voor (virus-) veilig on-site onderwijs hebben we in samenwerking met Ernst & Young ook onderzoek gedaan naar het waarnemen van mensen bínnen de gebouwen.

Hiervoor hebben we de Indoor Mobility Digital twin opgezet. Qua opzet en modules is de IMDt vergelijkbaar met het Outdoor-broertje, maar we zijn indoor natuurlijk van heel andere databronnen afhankelijk. We maken bijvoorbeeld gebruik van al aanwezige ‘monitoringsystemen’: de wifi-punten in het gebouw. Van elk punt ontsluiten we het aantal devices (met wifi aan) dat er in de buurt is. Daarnaast hebben we op een aantal locaties bakens opgehangen die kunnen communiceren met een app en met speciale polsbandjes. Met een frequentie van 10Hz bepalen de app, de polsbandjes en de bakens de afstanden tot elkaar. Naast de onderlinge afstanden – en daarmee de dichtheden en drukte – kunnen we met deze data ook de posities vaststellen van mensen die de app hebben geïnstalleerd of een polsbandje dragen. Alle data-inwinning vindt natuurlijk volledig privacy proof plaats.

Net als bij de Outdoor-twin visualiseren we de ingewonnen data in een dashboard en slaan we de gegevens op voor verdere analyse en ontwikkeling. Op basis van deze data lukt het ons inmiddels prima om ‘interactieclusters’ vast te stellen. Ook onderzoeken we het gebruik van een gebouw als functie van de tijd (de ‘hartslag’).

Van waarnemen naar interventies
We hebben de dashboard-functionaliteit van de twee ‘twins’ al kunnen toepassen om waar nodig in te grijpen, bijvoorbeeld om het aantal risicovolle interacties tussen personen te reduceren. Bij de aanpak van zo’n risico kijken we altijd naar de oorzaak van de problemen.

Stel bijvoorbeeld dat we vaststellen dat er te veel personen in of om de gebouwen bij elkaar zijn. Als het puur om drukte gaat, dan liggen ‘verkeers- en mobiliteitsmanagementmaatregelen’ voor de hand, zoals het aanpassen van roosters, het flexibel gebruik van ruimtes of een herziening van het circulatie- of vloerplan. Gaat het daarentegen om een slechte naleving van de anderhalvemetermaatregel dan proberen we om via communicatie, voorlichting, maar ook directe feedback een gedragsverandering teweeg te brengen. Voor die directe feedback kunnen we trouwens dynamische borden inzetten, maar ook de zogenaamde Bubbles van Proxemy. Dit zijn kleine apparaatjes die aan studenten, personeel en bezoekers beschikbaar kunnen worden gesteld en die via geluid en een lichtsignaal laten weten wanneer er twee Bubble-dragers te dicht bij elkaar staan. Zie verder figuur 2 over de gevolgde aanpak bij hoge dichtheden ‘indoor’.

Figuur 2: Van dashboard naar interventies ín gebouwen.



Bij regulier verkeersmanagement is reactief ingrijpen dikwijls minder effectief dan proactief ingrijpen. Datzelfde geldt voor het ingrijpen bij risicovolle interacties: voorkomen is makkelijker dan ‘genezen’. De beschikbaarheid van grote hoeveelheden data biedt in dit verband kansen voor kunstmatige intelligentie, AI. We hebben een eerste onderzoek gedaan naar twee mogelijke toepassingen van AI: ruimtelijke interpolatie van data (dat wil zeggen: het bepalen van de dichtheden op niet bemeten locaties door gebruik te maken van informatie elders) en voorspellingen van condities, namelijk 15 minuten, een uur en een dag vooruit. Voor beide toepassingen hebben we in het verkennend onderzoek kunstmatige neurale netwerken getraind voor verschillende probleemsituaties indoor en outdoor: drukte bij de coffeecorner, het aantal fietspassages op de Jaffalaan, drukte in parkeergarages enzovoort. Zonder te veel in detail te treden is onze voorlopige conclusie dat de toepassing van AI veelbelovend is. Ter illustratie toont figuur 3 hoe de drukte in de projectruimtes een uur vooruit kan worden voorspeld.

Figuur 3: Voorspellingen van de drukte in projectruimtes van de bibliotheek TU Delft. De figuur laat zien dat de voorspelling van de drukte één uur vooruit bruikbare resultaten oplevert. Meer onderzoek is echter nodig naar de robuustheid van de voorspellingen en de mate waarin de effecten van interventies kunnen worden voorspeld.



Doelen voor de komende tijd
Tot zover wat we het afgelopen jaar hebben gerealiseerd op het gebied van het verzamelen en bij elkaar brengen van multimodale verkeersdata. Het succes is aanleiding om verder te werken aan de ontwikkeling en toepassing van de ‘twins’. De koppeling van het dashboard van de OMDt (outdoor) en de IMDt (indoor) is daarin een belangrijk doel en bij ons weten ook uniek. Die integratie van wat er binnen en buiten gebouwen gebeurt, biedt tal van toepassingen, zoals ondersteuning bij een eventuele ontruiming en afstemming van voorzieningen in de binnen- en buitenruimte. Ook zijn er interessante use cases denkbaar voor het crowdmanagement van evenementen (festivals) die misschien deels binnen en deels buiten plaatsvinden.

Daarnaast werken we aan een forse uitbreiding van het sensornetwerk op en rond de campus. Bij deze uitbreiding ontwikkelen en testen we meteen enkele nieuwe sensortechnieken, waaronder sensoren die in een nieuw ‘circulair fietspad’, de zogenaamde PlasticRoad, worden geplaatst.

We zetten in op het integreren van andersoortige data over het weer, de luchtkwaliteit, geluid en de toestand van het wegdek. Enerzijds doen we dat om ervaring op te doen met het real-time koppelen van dergelijke gegevens en het gebruik van zulke koppelingen voor bijvoorbeeld voorspellingen – denk aan een voorspelling van AI van de verschuiving naar de auto in relatie tot weersverwachting. Anderzijds willen we hiermee het toepassingsgebied van de Digital twins uitbreiden, bijvoorbeeld naar klimaatadaptatie en -mitigatie.

In weer een ander deelproject proberen we met de technologie hyperfencing om een bijna realtime druktebeeld van gebieden op en rond de campus te bepalen. Deze precieze vorm van geo-fencing kennen we van de marketing, waarbij adverteerders bezoekers van een specifieke locatie kunnen benaderen met bijvoorbeeld een aanbieding. Wij willen het gebruiken voor ons dashboard: met dezelfde technologie kun je ook herkomsten en bestemmingen analyseren, de gebruikte modaliteiten inschatten, de bezoekfrequentie bepalen en demografische bezoekersinformatie afleiden. Op dit moment bouwen we deze technologie in de OMDt en IMDt in en zetten we de eerste onderzoeken op naar de representativiteit van de informatie.

Naast deze uitbreidingen op het gebied van gegevensinwinning, voorzien we verder ontwikkelingen op het gebied van AI (datafusie, voorspellen, advanced data analytics) en agent-based modelling. De ontwikkelde AI-module zullen we direct koppelen aan de OMDt en IMDt om real-time voorspellingen te visualiseren en analyseren. Door de koppeling van steeds meer databronnen, zoals de weerinformatie die we eerder noemden, zullen de getrainde modellen steeds slimmer worden. De Digital twins zullen daardoor niet alleen een bron van integrale real-time informatie en analyse zijn, maar het systeem kan dan ook een adviserende rol krijgen. Op basis van de voorspellingen kan de OMDt dan bijvoorbeeld maatregelen adviseren voor de mobiliteit van, naar en op de campus.

Uitbreiding use cases in Nederland
Het platform voor de OMDt en IMDt is zodanig opgezet dat het concept vrij eenvoudig toegepast kan worden op andere locaties in Nederland en opgeschaald kan worden naar het niveau van steden en regio’s. De gemeente Delft is trouwens een eerste case voor zo’n opschaling. Op deze manier kunnen we innovatief academisch onderzoek ‘upgraden’ naar toepasbare use cases in verschillende domeinen. Een paar voorbeelden: de analyse van bezoekersstromen voor de openbare orde en (evenementen)veiligheid, multimodale beleidsanalyses gericht op de verduurzaming van mobiliteit en economische analyses voor stadsontwikkeling. Maar met het uitbouwen van de functionaliteiten van OMDt en IMDt zijn er ongetwijfeld nog veel meer toepassingen denkbaar.

Tot slot
De coronacrisis heeft al zijn sporen nagelaten en het is ook maar de vraag wanneer we er weer echt vanaf zijn. Toch heeft de crisis ook tot diverse positieve ontwikkelingen geleid, mede doordat de informatiebehoefte betreffende drukte, mobiliteit, vervoersbewegingen enzovoort opeens ontzettend groot werd. Onder druk wordt alles vloeibaar – en zo hebben we ook bij de TU Delft mooie initiatieven kunnen ontplooien, waaronder de OMDt en IMDt. Initiatieven die hebben geleid tot producten die hun waarde tijdens de pandemie al hebben bewezen, maar die ook na de crisis tot prachtige toepassingen kunnen leiden. In dat opzicht is corona behalve een last ook een vliegwiel voor innovatie gebleken.

_____

De auteurs
Prof. dr. ir. Serge Hoogendoorn is hoogleraar Stedelijke mobiliteit aan de TU Delft en redacteur van NM Magazine.
Dr. ir. Sascha Hoogendoorn-Lanser is directeur Mobility Innovation Centre van de TU Delft.
Ir. Jeroen Steenbakkers is eigenaar van IT-bedrijf Argaleo.