De belangrijkste nieuwigheid van het voorgestelde onderzoek heeft betrekking op het principe van gedistribueerd videorestauratie zelf: we houden expliciet rekening met de kosten van communicatie en gezamenlijke verwerking en definiëren het restauratieprobleem van meerdere camera's als een set losjes verbonden restauratieproblemen met één camera terwijl gericht op het bereiken van optimale prestaties. Hoewel Distributed Video Coding (DVC) een soortgelijke filosofie hanteert. Onze doelen zijn: het ontwikkelen van een wiskundig raamwerk voor het herstellen van videosequenties met behulp van zij-informatie, om te bepalen welk type zij-informatie het meest geschikt is, en om strategieën te ontwikkelen voor het uitwisselen van deze zij-informatie. Om de kracht van de theorie echt te demonstreren, zullen we ons concentreren op een meer uitdagende gebruikscasus: die van het herstellen van de dieptesequenties zoals vastgelegd door ToF of smalle basislijnstereocamera's (waarvoor dieptrekkaarten moeilijk te verkrijgen zijn met een enkele camera) ).

We gaan ervan uit dat de side-informatie uit twee verschillende typen bestaat: ruw en gedetailleerd. De ruwe zijde-informatie is een ruwe schatting van objecten in de scène samen met hun geometrie. IPI heeft eerder aan dit probleem gewerkt en we weten dat deze informatie zonder videocommunicatie met behulp van cameranetwerken kan worden berekend. De gedetailleerde zij-informatie wordt op verzoek door andere camera's verzonden, met de beperking dat de algehele bandbreedte voor deze zij-informatie beperkt is vanwege de schaalbaarheid.

De eerste subdoelstelling is om maatregelen te definiëren voor het beoordelen van de kwaliteit van lokale diepteschattingen als een functie van tijds- en ruimtelijke coördinaten: alleen lokale schattingen van onvoldoende kwaliteit verdienen het gebruik van beperkte middelen om deze te verbeteren, en alleen hoogwaardige schattingen verdienen de middelen gebruikt om ze naar andere camera's te verzenden. De bestaande IPI-methoden voor superresolutie en ruisonderdrukking van videosequenties bevatten al verborgen variabelen die indicatief zijn voor de kwaliteit, en deze zullen als uitgangspunt worden gebruikt.

Een tweede deeldoelstelling is het definiëren van een strategie om te bepalen welke zijinformatie moet worden gedeeld en in welke vorm. We gaan ervan uit dat er een vaste (kleine) bandbreedte beschikbaar is voor het verzenden van neveninformatie en we gaan ook uit van een vraag-en-antwoordscenario: camera A informeert camera B eerst over spatio-temporele gebieden waarin zijinformatie nodig is. Camera B verzendt vervolgens deze informatie; eindelijk gebruikt camera A om de initiële schatting van de dieptekaart te verbeteren. In de beginfase van het onderzoek zal het vraag-en-antwoordprotocol aan de zijkant gebaseerd zijn op heuristieken. We weten bijvoorbeeld dat schattingen door een smalle basislijninstelling nauwkeurig zijn voor objecten dicht bij de camera, maar van slechte kwaliteit voor objecten op afstand. In latere stadia van het onderzoek zal de vraag-en-antwoordstrategie worden geformuleerd in een informatie-theoretisch kader: dit komt neer op het beoordelen van de aanvullende informatie-inhoud die wordt geboden door elk deel van de mogelijke zij-informatie over een trainingsset en dit vervolgens te relateren aan de lokale context in zowel de afzender als de ontvanger. Deze informatie wordt vervolgens gebruikt om de optimale vraag- en antwoordstrategie te definiëren. Dit probleem is vergelijkbaar met, maar moeilijker dan, het probleem van taaktoewijzing in cameranetwerken [13].

Het derde subdoel is het creëren van nieuwe algoritmen voor gezamenlijke denoising en superresolutie van diepte- en videosequenties, rekening houdend met de zij-informatie. De huidige IPI-technieken voor denoising en superresolutie zijn gebaseerd op probabilistische modellen (Bayesiaans schattingskader). De zij-informatie moet in deze modellen worden opgenomen als een extra invoer, met de extra moeilijkheid dat de zij-informatie alleen beschikbaar is voor sommige spatio-temporele gebieden van de reeks.

Google Translate voor bedrijven:Translator ToolkitWebsite Translator