Free viewpoint (multiview) video is bedoeld om virtuele navigatie in een dynamische 3D-scène mogelijk te maken willekeurige cameralocaties en oriëntaties. De bijbehorende technologieën betekenen ook de oplossing voor het probleem van het bieden van echt meeslepende "brilvrije" 3D-media, niet alleen stereopsis, maar ook bewegingsparallax. Het vastleggen van multiview-inhoud van hoge kwaliteit uit scènes uit de echte wereld is een enorme uitdaging, die een enorm aantal weergaven vereist van fijn uit elkaar geplaatste hoeken. Onvermijdelijk, de aantal vastgelegde views is veel lager dan wat vereist is, dus de ontbrekende views moeten zijn geschatte. Bij deze beeldsynthese moet echter rekening worden gehouden met de afstanden tussen objecten en camera's, complexe 3D-structuur, belichtingsveranderingen en niet-Lambertiaanse reflectie, geen van die direct worden vastgelegd door afzonderlijke camera's. Bestaande oplossingen op basis van stereo of spaarzaam multiview camera-setups leveren geen acceptabele 3D-videokwaliteit op. Om dit probleem op te lossen, wij een fundamentele paradigmaverschuiving voorstellen, met de nadruk op multiview multimodale camerasystemen die combineer dieptesensoren en kleurencamera's met verschillende ruimtelijke resoluties. Multimodale systemen zijn dat wel veelzijdiger dan lineaire camera-arrays, waardoor ze aanzienlijke onderzoeksuitdagingen bieden. Het doel van het project is om aanzienlijk vooruitgang te boeken op het gebied van multiview diepteschatting en bekijk synthese door het ontwerpen van radicaal nieuwe algoritmen geïnspireerd door het nieuwe theoretische raamwerk van gecomprimeerde detectie met zij-informatie.