In dit project leert een robotische arm objecten van verschillende, uitdagende materialen te manipuleren. Hiervoor ontwikkelen we differentieerbare modellen van de robots, de objecten en de onderlinge interactie. Deze differentieerbare modellen sluiten naadloos aan op deep learning technieken en kunnen gezamenlijk geoptimaliseerd worden met gebruik van gradient descent. Deze aanpak biedt interessante mogelijkheden voor het combineren van a priori kennis, ingebouwd in het model, en een datagedreven leerproces. Enerzijds verlaagt het leeproces de onnauwkeurigheden in het model, en anderzijds verlaagt de ingebouwde a priori kennis drastisch de hoeveelheid benodigde data in vergelijking met volledige black-box modelleringen, die om deze reden tot nog toe weinig succes zagen in toepassingen in de echte wereld.​