A férfiakkal kapcsolatban elöljáróban meg kell jegyezni, hogy bár a császárnőnek egész életében sok csodálója volt, és némelyikbe szerelmes volt, hű maradt férjéhez, és (valószínűleg) nem volt intim (szexuális) kapcsolata egyetlen más férfival .
Sisi gyönyörű nő volt, szépsége nem hagyta hidegen a férfiakat. Első kacérságát házassága alatt élte át Madeirára vezető úton, ahol Hunyady Imre magyar gróf kísérte. Verseiben gyönyörűnek minősítette és szellemes személyiségét hangsúlyozta.
Sisa életének második fontos embere Július Andrássy, szintén magyar gróf volt, aki egy osztrák-magyar település gondolatát kezdeményezte. A források szerint Andrássy nagyon vonzó ember volt, és kétségtelenül vonzódtak egymáshoz Erzsébettel. A férfiak közül a legnagyobb iránta érezte ezt. Andrássy azonban becsületes ember volt, és soha nem mert kompromisszumot kötni a császárral, ezért barátsággal és kölcsönös csodálattal maradt.
Majdnem annyira, mint Elizabeth, kedvelte egy angol tisztet, Bay Middletont, akivel Angliában találkozott a rókavadászatok során, amelyeken részt vett. Abban az időben állítólag a harmincéves (nála tíz évvel fiatalabb) védője és előfutára volt. Eleinte előítéletekkel fordult hozzá, ami később csodálatba, majd szerelemmé vált. Erzsébetet vonzotta egy bájos férfi, de nem tudni, hogy ez a kapcsolat "teljesült-e". A császárné férfiakkal való „epizódjai” közül ezt rejtély borítja. Naplójegyzeteiből csak az olvasható ki, hogy férjhez ment, és így sokat megbántott, és ezzel alapvetően a barátság véget ért.
Életében több hasonló kapcsolat volt a férfiakkal, még ötvenegy éves korában is egy húsz évvel fiatalabb férfi iránti szeretet tárgya volt.
A pszichológusok szerint Elizabeth soha nem volt szerelmes egy adott férfiba, szerelmi hazugság. Mindig tudnia kellett, hogy van valaki, aki csodálja, főleg a szépség miatt, ami összhangban van a meggondoltságával. Kapcsolataiban vezető alak akart lenni, manipulálni egy férfit, aki szerette. Azt sem tudta elviselni, hogy először megszüntesse a kapcsolatot, megalázásnak vette. Ezért sértette meg, amikor Bay Middleton megnősült. Így "bántotta" korábban Hunyady Imre és egy ismeretlen maskarabáli férfi, aki nem akart neki írni (házas volt és gyermekei voltak).