Project

Faciliteren van communicatie onder ongunstige omstandigheden door de exploitatie van geschatte directions-of-arrival en andere a-priori kennis voor de gezamenlijke scheiding van akoestische bronnen en dereverberatie

Code
3F008420
Duration
01 November 2020 → 31 October 2024
Funding
Fonds voor Wetenschappelijk Onderzoek - Vlaanderen (FWO)
Research disciplines
  • Natural sciences
    • Machine learning and decision making
  • Engineering and technology
    • Wireless communication and positioning systems
    • Signal processing
    • Audio and speech processing
Keywords
joint source separation and dereverberation guided speech enhancement by exploitation of a-priori information combining model-based with data-driven methods for robust parameter estimation
 
Project description

Recente technologische trends zoals hearables vereisen dat menselijke spraak robuust wordt gecapteerd, niet alleen om mens-machine, maar ook om mens-mens communicatie te faciliteren. Daarom is betrouwbare spraakverbetering zelfs in het geval van sterke reverberatie en interferentie belangrijker dan ooit tevoren. Om deze omstandigheden aan te kunnen, worden de problemen van bronscheiding en dereverberatie gezamenlijk beschouwd. De prestatie van het system wordt geoptimaliseerd door rekening te houden met data die verzameld wordt door ondersteunende sensoren zoals beengeleidende microfoons, evenals relevante parameters die vooraf worden geschat. Een nieuw voorgestelde schatter van de direction-of-arrival (DOA) maakt het mogelijk, met behulp van deep learning, bronnen zelfs bij sterke reverberatie en op grote afstand accuraat te lokaliseren. Door het gebruik van geavanceerde adaptieve beamforming technieken kan het signaal langs de doelrichting worden geëxtraheerd uit de mengeling met ongewenste componenten. Om de best mogelijke synergie met de beamformer te verzekeren, wordt de module voor de schatting van de DOA aangepast voor de specifieke taak van spraakverbetering. Voorbeelden voor verdere veelbelovende parameters zijn een karakterisering van de spraak- en ruiseigenschappen alsook de akoestische eigenschappen van de omgeving, bijvoorbeeld de nagalmtijd.