Angress wuchs in Berlin-Charlottenburg in bürgerlichen Verhältnissen auf. Sein Vater Ernst war Bankier, seine Mutter Henny pflegte intensive gesellige Kontakte und lud gern zu großen Diners ein. So kam Angress schon früh in Kontakt mit der wirtschaftlichen Elite der Stadt. Er erinnerte sich, wie er zusammen mit seiner Mutter und seinen jüngeren Brüdern, Fritz und Hans, Charlottenburg und Wilmersdorf entdeckte und durch die Kaufhäuser flanierte.
Angress wuchs in einem wohlhabenden Elternhaus behütet auf. Von der Inflation Anfang der 1930er Jahre spürte er kaum etwas, sah Armut als ein Problem der Anderen. Geldsorgen waren für die Familie kein Problem: Angress erinnerte sich, dass kaputte Kleidung aussortiert wurde, ersetzt, nicht geflickt. Erst das Kindermädchen der Familie klärte ihn über die Realität auf: „Für mich war das eine Erleuchtung. Wirkliche Armut kannte ich damals nicht. Im wohlhabenden Westend, in dem ich aufwuchs, gab es kaum arme Menschen, und die wenigen, denen ich auf der Grundschule begegnete, waren für mich nicht die Norm, sondern Außenseiter.” Mehrmals zog die Familie innerhalb Charlottenburg-Wilmersdorf um, ehe es schließlich nach Lichterfelde-West ging. In Charlottenburg, in der Klaus-Groth-Straße 7, lebte die Familie Angress in der Wohnung Moritz Jandorfs, dem Bruder des Kaufhausgründers Adolf Jandorf. Zu der Zeit beschrieb sich Angress als glückliches Kind, das gern lernte und lass. Literatur besprach er immer mit seinem Großvater, der ihn großzügig mit Büchern versorgte. Später verlor er durch die Flucht seine Büchersammlung, die er sich nach dem Krieg wieder zusammen sammelte. „Die Jahre in Westend waren schön, weil sie unbeschwert waren”, „fast schon paradiesisch” beschrieb Angress seine Kindheit in seinen Memoiren.