Est-ce que openvpn change quelque chose ?
Pour moi, peu importe le tuyau ; si votre serveur et votre client (mstsc.exe) peuvent permettre d'imprimer en local

ça devrait fonctionner.
Attention, les group policies peuvent l'interdire.
Attention, si le client VPN empêche l'accès au réseau local quand on est connecté sur un serveur d'entreprise par exemple, alors on ne "voit" plus l'imprimante Wifi qui est à côté.