Hraběnku Therese z rodu Hardegg, která se celý život věnovala profesi lékařky, si kníže Schwarzenberg bral v roce 1967 v Tyrolsku. Jejich vztah se ale posléze rozpadl a pár se v roce 1988 rozvedl. Předcházela tomu aféra, při které se ukázalo, že jeden z jejich společných potomků je ve skutečnosti nemanželský.

Jedná se o nejmladšího syna Karla Phillipa, kterého měla Therese ve skutečnosti z poměru s rakouským politikem Thomasem Prinzhornem. Kromě něj měla s Karlem Schwarzenbergem ještě další dva potomky, Jana Nepomuka Ondřeje a Annu Carolinu.

Nutno podotknout, že v dobu, kdy se jejich vztah rozpadl, ani Karel Schwarzenberg nebyl bez poskvrnky. Udžoval tehdy mimomanželský vztah s markraběnkou Zitou Pallavicini a dodnes se spekuluje, že by mohl být otcem jejího syna.

S exmanželkou, která byla matkou jeho dětí, byl nicméně Schwarzenberg i nadále v kontaktu. Zvrat v jejich vztahu přišel o pár let později, a to konkrétně o Vánocích 1992. Therese Schwarzenbergová se tehdy velmi vážně zranila při lyžování a zůstala dokonce ochrnutá. Díky usilovné rehabilitaci a pomoci bývalého manžela, který se k ní neobrátil zády, se ale nakonec dokázala postavit znovu  na nohy.


Jejich vztah se tím zážitkem natolik utužil, že se rozhodli uzavřít manželství podruhé. K tomu došlo v roce 2008. Therese později uvedla: „Rozvod byl potřebný a nám oběma bylo snad od začátku jasné, že jednou zase budeme spolu schopni žít.“

Po celý zbytek života platil Karel Schwarzenberg za milovníka krásných žen a čas od času se tak ve společnosti objevil po boku některé podstatně mladší dámy. Manželství s jeho životní láskou Therese to však podle všeho nenarušilo.

Související články