Jean Colman, l'amant