Bár a színésznő New Yorkban született, őseinek származása meglehetősen változatos. Zsidó családban született édesapja, Karsten Johansson Dániában, Koppenhágában született. Míg zsidó dédapja dolgozott zöldség eladó New Yorkban, testvére, családjával együtt, világháború alatt a varsói gettóban halt meg, az áldozatok között gyermekek voltak. Ezt megtanulta, miközben fellépett a programban A gyökerek megtalálása, amely a hírességek számára történeteket közvetít őseiről. Scarlett vendég volt az utolsó epizódban. Amikor a tévéműsor vezetője tájékoztatta őt az ősei haláláról a holokauszt során, Scarlett sírva fakadt.
Scarlett a holokausztra emlékező világközpont, a Yad Vashem Intézet dokumentumait nézte. "Megígértem magamnak, hogy nem fogok sírni, de nehéz nem sírni. Ez őrület. El sem tudja képzelni azt a borzalmat. "Ezzel a mostani tudásommal jobban érzem magam a családom ezen részében" - mondta Scarlett.