Franz von Hollberg, Vater