Al morir su padre, Carlos se convierte en señor de Flandes. Su tía Margarita de Austria será la figura más importante en su educación durante esos años.