Ella Goldberg wurde 1912 als Ella Nagler in eine jüdische Wiener Familie geboren und wuchs im 2. Bezirk auf. Ihre Eltern betrieben ein Textilgeschäft. Nach dem Schulabschluss studierte sie und heiratete 1934. Nach der Hochzeit zog das Paar nach Berlin, wo es eine Tochter und einen Sohn bekam. 1938 floh die Familie über Belgien nach Frankreich und von dort nach Marokko, wo sie in der Nähe von Casablanca lebten und das dritte Kind zur Welt kam. 1941 emigrierte die Familie mithilfe von Ella Goldbergs Schwester in die USA, wo in Connecticut die jüngste Tochter zur Welt kam. Die Familie zog nach New York, wo Ella Goldbergs Mann ein Geschäft eröffnete; Ella Goldberg engagierte sich ehrenamtlich im Jewish Museum in New York.