Project

Faciliteren van communicatie onder ongunstige omstandigheden door de exploitatie van geschatte directions-of-arrival en andere a-priori kennis voor de gezamenlijke scheiding van akoestische bronnen en dereverberatie

Code
3F008420
Looptijd
01-11-2020 → 31-10-2024
Financiering
Fonds voor Wetenschappelijk Onderzoek - Vlaanderen (FWO)
Mandaathouder
Onderzoeksdisciplines
  • Natural sciences
    • Machine learning and decision making
  • Engineering and technology
    • Wireless communication and positioning systems
    • Signal processing
    • Audio and speech processing
Trefwoorden
gezamenlijke bronscheiding en dereverberatie a-priori kennis ondersteunde spraakverbetering combineren van modelgebaseerde met data-driven methoden voor robuuste parameterschatting
 
Projectomschrijving

Recente technologische trends zoals hearables vereisen dat menselijke spraak robuust wordt gecapteerd, niet alleen om mens-machine, maar ook om mens-mens communicatie te faciliteren. Daarom is betrouwbare spraakverbetering zelfs in het geval van sterke reverberatie en interferentie belangrijker dan ooit tevoren. Om deze omstandigheden aan te kunnen, worden de problemen van bronscheiding en dereverberatie gezamenlijk beschouwd. De prestatie van het system wordt geoptimaliseerd door rekening te houden met data die verzameld wordt door ondersteunende sensoren zoals beengeleidende microfoons, evenals relevante parameters die vooraf worden geschat. Een nieuw voorgestelde schatter van de direction-of-arrival (DOA) maakt het mogelijk, met behulp van deep learning, bronnen zelfs bij sterke reverberatie en op grote afstand accuraat te lokaliseren. Door het gebruik van geavanceerde adaptieve beamforming technieken kan het signaal langs de doelrichting worden geëxtraheerd uit de mengeling met ongewenste componenten. Om de best mogelijke synergie met de beamformer te verzekeren, wordt de module voor de schatting van de DOA aangepast voor de specifieke taak van spraakverbetering. Voorbeelden voor verdere veelbelovende parameters zijn een karakterisering van de spraak- en ruiseigenschappen alsook de akoestische eigenschappen van de omgeving, bijvoorbeeld de nagalmtijd.