Project

FED-tWIN - HENSOR: Automatische verrijking van erfgoed op basis van objectrelaties

Acroniem
HENSOR
Looptijd
01-09-2021 → Lopend
Financiering
Federale middelen: divers
Mandaathouder
  • Dieter De Witte
Onderzoeksdisciplines
  • Natural sciences
    • Information retrieval and web search
    • Computer vision
    • Human-computer interaction
Trefwoorden
computervisie gegevensverrijking
 
Projectomschrijving

De enorme hoeveelheid kennis die vervat zit in de (digitale) collecties van de KMSKB blijft momenteel onderbenut. Om dit probleem het hoofd te bieden, zal het voorgestelde FED-tWIN-onderzoek zich richten op de ontwikkeling van een end-to-end-oplossing voor de analyse, annotatie en publicatie van de gegevens in de collecties en zal het proberen een technisch antwoord te vinden op een aantal van de uitdagingen waarmee museummedewerkers in het digitale tijdperk worden geconfronteerd. Het volledig begrijpen van de behoeften/taken van de eindgebruiker, het definiëren van de belangrijkste kenmerken om een ​​kunstwerk te beschrijven (en meer specifiek de samenstelling ervan), het op een gestandaardiseerde manier openen van de relevante metadata en het kunnen uitvoeren van complexe zoekopdrachten over collecties heen met behulp van natuurlijke taal zijn de uitdagingen die worden aangepakt in deze langdurige samenwerking tussen de KMSKB en de onderzoeksgroep IDLab van de Universiteit Gent.

In de eerste jaren van hun samenwerking zullen de KMSKB en IDLab UGent hun krachten bundelen in een pilootproject dat focust op automatische detectie en annotatie van heiligen in schilderijen. Het project wil niet alleen het zuiver beschrijvende niveau van de iconografie bestrijken, maar ook de verborgen betekenis (het eigenlijke onderwerp) van wat wordt afgebeeld. Dergelijke automatiseringen kunnen het handmatig annoteren aanzienlijk versnellen. Bovendien zullen deze annotaties worden gekoppeld aan internationaal gestandaardiseerde gecontroleerde vocabulaires zoals ICONCLASS binnen de op maat gemaakte wikibase van de KMSKB. Beide acties zullen de interoperabiliteit van de gegevens in de collecties helpen vergroten en de digitale verspreiding en zichtbaarheid ervan onder een groot publiek vergemakkelijken. Om het terugvinden van collectiestukken van de KMSKB te vergemakkelijken, zullen ook op de eindgebruiker gerichte zoekmechanismen worden onderzocht en geëvalueerd. Deze tools draaien bovenop de wikibase en ondersteunen intuïtieve zoekopdrachten in verschillende talen.

In de tweede onderzoeksfase (na 5 jaar) wordt de scope uitgebreid naar de andere deelcollecties en infrastructuren binnen de KMSKB. Er wordt een tool ontwikkeld om alle bestaande gedigitaliseerde KMMA-bronnen (verschillende dragers/formaten via data-, tekst- en beeldherkenning) in één interne zoekopdracht te doorzoeken. Verder zal in deze fase multimodale cross-collectie koppeling worden ondersteund. Deze inspanning moet worden gezien als de eerste stap om toekomstige data-uitwisseling tussen de Federale Wetenschappelijke Instellingen mogelijk te maken en later uit te breiden op een breder nationaal, Europees en zelfs mondiaal niveau. Als dit eenmaal is bereikt, ligt de weg open om aansluiting te vinden bij internationale projecten en tot ongekende onderzoeksresultaten en presentaties te komen.

De voorgenomen samenwerking zal het bewustzijn vergroten van het nut van digitale kunstgeschiedenis en van AI en het semantische web bij de studie en het beheer van digitale erfgoedcollecties.