Neduživá princezna
První manželství jeho otce Františka Ferdinanda Karla Ludvíka s dcerou saského krále Markétou zůstalo bezdětné. Když tato mladá žena zemřela na tyfus, bylo jasné, že ovdovělý arcivévoda dlouho sám nezůstane. Za svou novou manželku si nakonec vybral princeznu Marii Annunziatu, mimochodem vlastní příbuznou, jak se to u Habsburků občas dělalo. Jejím otcem byl totiž král obojí Sicílie Ferdinand II. z rodu Bourbonů a matkou habsburská arcivévodkyně Marie Terezie.

Nevěsta vypadala již na první pohled křehce až slabě a působila nemocným dojmem. Úvahy o jejím zdravotním stavu pak nabyly na síle druhý den po svatebním obřadu, kdy se princezna postarala o pořádný rozruch. Před očima celé císařské rodiny totiž dostala během mše ve Vídni silný epileptický záchvat, což pochopitelně vyvolalo značný ohlas a mluvilo se o tom v celé Vídni. Nikdo však ještě nemohl tušit, že Marie Annunziata trpí plicní tuberkulózou, která se nakonec stane příčinou její předčasné smrti. Zatím manželé žili poměrně klidně nedaleko Melku na zámku Artstetten, který Karel Ludvík zdědil. Čerstvý venkovský vzduch dělal princezně dobře, a když se pak na zimu manželé přestěhovali do Štýrského Hradce, právě tady proběhl bez komplikací porod jejich prvního potomka. Přes své špatné zdraví porodila pak Marie Annunziata ještě další tři děti.

Mladá a citlivá nevěsta
Do poklidného života malého prince významně zasáhla matčina smrt. Marie Annunziata byla po svém čtvrtém porodu stále slabší a její vleklá choroba nakonec 4. května 1871 nad oslabeným organismem zvítězila. Karel Ludvík se po dvou letech oženil potřetí. Ke štěstí svému i svých dětí byla jeho novou vyvolenou Marie Terezie z královského rodu Braganza vládnoucího kdysi v Portugalsku. Mladá princezna si díky své otevřené a přívětivé povaze rychle získala sympatie celé císařské rodiny. Pro Františka Ferdinanda ale bylo nejdůležitější, že nevlastní matka k němu i ostatním dětem nalezla vřelý vztah. Silný cit budoucího následníka trůnu k Marii Terezii vydržel až do tragických událostí v Sarajevu.