Dit project richt zich op het modelleren van emotionele toestanden in multimodale gesprekken, door informatie uit tekst, audio en visuele modaliteiten te integreren. De centrale hypothese is dat verschillende modaliteiten dezelfde, vergelijkbare of zelfs tegenstrijdige emotionele toestanden kunnen overbrengen, en dat hun bijdrage aan het algehele multimodale emotionele begrip ongelijk en contextafhankelijk is. In dit project zullen we: * Onderzoeken hoe emoties op verschillende manieren worden uitgedrukt en waargenomen in diverse modaliteiten binnen realistische conversaties. * Modellen ontwikkelen die modaliteit-specifieke emotionele signalen kunnen herkennen en op elkaar afstemmen, inclusief gevallen van redundantie, complementariteit en tegenstrijdigheid. * Nieuwe fusiestrategieën voorstellen die de bijdrage van elke modaliteit dynamisch wegen op basis van context, sprekeridentiteit en conversatiedynamiek. * De modellen evalueren op standaard multimodale emotiedatasets en in toepassingen zoals empathische dialoogsysteem en monitoring van mentale gezondheid. Dit onderzoek beoogt het begrip van multimodale emotiedynamiek te verdiepen en emotioneel intelligente systemen te bouwen die robuuster, beter verklaarbaar en sociaal bewuster zijn.