V červnu 1854 navštívila císařská dvojice Čechy a Moravu. V Praze se bývalý císař Ferdinand s císařovnou Annou Marií chovali k Alžběte velmi láskyplně a přátelsky. Nadšená Alžběta začala plnit své povinnosti císařovny a s velkou neúnavnou péčí objížděla všechny kostely, kláštery a chudobince, kde zanechávala štědré dary. Po návratu z cest odjel Franz Josef I. na manévry do Haliče. Císařovna zůstala v Laxenburgu, tam její dvorní lékař Johan Seeburger zjistil, že je těhotná. Zájem kolem nové rodičky znamenal ještě větší ztrátu soukromí. 5. března 1855 se narodila císařskému páru dcera a s velkou okázalostí ji na křtu pojmenovali Žofie. Arcivévodkyně Žofie sama vybrala pro svou vnučku všechny vychovatelky i kojnou, dětský pokoj umístila v Hofburgu hned vedle svého, a když chtěla Alžběta navštívit svou dceru, musela přes dlouhé schodiště a chodby. Brzy císařovna zjistila, že je znovu těhotná. 15. července 1856 porodila druhou dceru Giselu. Při této příležitosti si Alžběta vynutila aby pokoje dětí sousedily s jejími.
Po celkem úspěšné císařské návštěvě v Itálii se ministři rozhodli poslat vládnoucí pár do Uher, proti velké nevoli arcivévodkyně Žofie s nimi odcestovala i malá Gisela a Žofie. Budapešť je nadšeně přivítala. Na cestě po Uherském království onemocněla Gisela i Žofie. Gisela byla silné dítě a brzy se uzdravila, zatím co její starší sestřička byla daleko křehčí. Během své nemoci začala dvouletá Žofie zvracet krev a žluč, měla nejspíš černý kašel, břišní tyfus nebo spalničky. Alžbětě její prvorozená dcera odcházela přímo před očima. 28. května 1857 Žofie zemřela. Císař poslal telegram v němž rodičům oznamoval: "naše malá dcerka je andělem v nebi a Sissi se smířila s boží vůlí".
Telegram však v sobě nesl jen půl pravdy. Císařovna Alžběta propadla úplnému zoufalství, obviňovala se, že svou dceru brala do Uher a vystavila ji tak nebezpečí. Měla také velký strach z návratu do Vídně a z reakce její tchyně, ta však projevila velkou soustrast a nechtěla to mladé císařovně dělat ještě těžší. Princeznu Žofii pohřbili v kapucínském kostele v rodinné Habsburské hrobce.
Koncem léta odjel Franz Josef I. do Uher dokončit svou cestu. Alžběta zůstala doma a dál držela smutek, odmítala jíst a někdy mluvila o tom, že si vezme život. Z jejího duševního stavu byl císař velmi rozrušen a tak požádal matku, aby do Vídně pozvala Alžbětinu matku se sestrami. Díky nim se císařovna odreagovala a rozhodla se dát Rakouskému trůnu následníka. Začátkem roku znovu již po třetí otěhotněla. 21. srpna 1858 porodila před půlnocí syna. Korunního prince pokřtili jménem Rudolf.
Po desetileté pauze císařovna Alžběta porodila své čtvrté dítě princeznu Marii Valerii 22. dubna 1868. Stala se matčiným miláčkem. Alžběta své tři děti porodila v Laxenburku, ale pro poslední porod si vybrala Maďarsko, přesněji Budín. Marii Valerii císařovna často říkávala "má jediná" nebo "maďarské dítě".