Die Berliner Landgerichte entstanden im Zuge der Reichseinheit im Jahre 1879. Das Landgericht I war seinerzeit für den Stadtkreis zuständig und hatte seinen Sitz in dem 1896 bis 1905 erbauten Gebäudekomplex im Bezirk Mitte, Grunerstraße/Ecke Neue Friedrichstraße, der jetzigen Littenstraße. Für das Landgericht II, das seinerzeit für die südlichen stadtnahen Kreise von Groß Lichterfelde bis Zossen zuständig war, entstand ein Justizgebäude an der Möckernstraße in Kreuzberg zwischen Kleinbeerenstraße und Halleschem Ufer, von dem heute nach dem Zerstörungswerk des Bombenkrieges nur noch ein Teil übrig geblieben ist (Amtsgericht Tempelhof-Kreuzberg). Im Jahre 1899 wurde schließlich die Errichtung eines Landgerichts III beschlossen, um eine Zuständigkeit für die nordwestlich bis nordöstlich gelegenen stadtnahen Kreise von Nauen und Bernau bis Strausberg zu begründen.
Im Juli 1933 wurden die drei Landgerichte zu einem Landgericht Berlin verschmolzen. Nach dem Kriege und der Spaltung der Stadt wurde das Gerichtsgebäude in der Littenstraße in dem dreistufigen Gerichtsaufbau der DDR neben anderen Justizbehörden für die Unterbringung des Obersten Gerichts der DDR und des Stadtgerichts Berlin genutzt. Im Westteil der Stadt musste das Landgericht hingegen zunächst in mehreren Zehlendorfer Villen Recht sprechen. Erst Ende 1950 bezog es das Gebäude des ehemaligen Landgerichts III am Tegeler Weg, wo es bis heute einen seiner Standorte hat.
Nach der Wiedervereinigung der Stadt im Oktober 1990 hat das Landgericht seine Dienststellen von bisher zwei auf drei erweitert. Neben dem Standort in der Moabiter Turmstraße, dem Sitz des Kriminalgerichts, sind die Zivilkammern und die Gerichtsverwaltung zunächst in Berlin-Charlottenburg verblieben. Im Zuge zahlreicher Veränderungen sind sie in den Folgejahren zwischen den Standorten Tegeler Weg und Littenstraße verteilt worden. Auch Der Präsident des Landgerichts hatte seinen Sitz seit dem Jahr 2006 im Dienstgebäude Littenstraße.
Mit dem Gesetz über die Neuordnung der Berliner Landgerichtsstruktur, das am 22. Februar 2023 im Gesetz- und Verordnungsblatt für Berlin verkündet wurde, wurde die Errichtung eines weiteren Landgerichts im Land Berlin beschlossen. Das bisherige Landgericht besteht unter der Bezeichnung „Landgericht Berlin I“ fort und ist für den strafrechtlichen Bereich zuständig. Das Landgericht Berlin I hat seinen Sitz im Gerichtsbezirk des Amtsgerichts Tiergarten. Das zum 1. Januar 2024 errichtete neue Landgericht führt die Bezeichnung „Landgericht Berlin II“ und ist für den zivilrechtlichen Bereich zuständig. Das Landgericht Berlin II verfügt über die Standorte am Tegeler Weg und in der Littenstraße.