Das 99 × 88 m große Gebäude steht zwischen der Rathaus-, Jüden-, Gustav-Böß- und Spandauer Straße. Es beeindruckt durch seinen ungewöhnlichen Stil und Detailreichtum seiner leuchtend-roten Fassade aus Backstein. Die Vierflügelanlage im Stil der italienischen Frührenaissance mit Elementen normannischer Architektur und dem Turm nach dem Vorbild der Kathedrale von Laon (Picardie/Frankreich) ist ein architektonischer Solitär. Das Gebäude steht seit 1979 unter Denkmalschutz.
In den Jahren 1876 – 1879 wurden die Balkonbrüstungen des ersten Stockwerks mit Terrakotta-Reliefs geschmückt, die das Rathaus als Fries umgeben und die Geschichte Berlins vom 12. bis zum 19. Jahrhundert dokumentieren.
Schon 1882 wurde das Rathaus mit Fernsprechanlagen ausgestattet; 1884/1885 erfolgte mit einer eigenen Kraftstation im Hause die Umstellung von der Gaslampe auf elektrische Beleuchtung.
Mit Einführung der neuen Einheitsgemeinde von 1920 war ein Umbau des Stadtverordnetensaales unumgänglich geworden: 225 Stadtverordnete standen zur Wahl und der Verwaltungsapparat vergrößerte sich enorm. Die Diensträume reichten nicht mehr aus, so dass gegen Ende der Zwanziger Jahre ein Neubau zwischen dem Roten Rathaus und dem nahegelegenen Stadthaus geplant werden musste. Der Entwurf, von Martin Wagner und Richard Ermisch vorgelegt, sah eine komplette Bebauung zwischen Rathaus-, Jüden-, Spandauer und Stralauer Straße einschließlich der Überbrückung von Jüden- und Rathausstraße vor, um eine Verbindung zu den älteren Verwaltungsgebäuden zu schaffen. Es sollte ein einziges städtisches Verwaltungsgebäude entstehen. Der auf der deutschen Bauausstellung in Berlin gezeigte Entwurf wurde jedoch auf Grund der schwierigen wirtschaftlichen Lage nicht verwirklicht.
In den dreißiger Jahren wurden im Rathaus Modernisierungen und Umbauten größeren Umfangs durchgeführt, die in Zusammenhang mit der Austragung der Olympischen Spiele im Jahre 1936 stehen. Mit diesen Arbeiten wurde der Architekt Richard Ermisch beauftragt.