Die auf die vorhandenen Archivalien gestützte Untersuchung von Christof Stadler hat gezeigt, dass der Bau vielleicht noch Ende 1619 (a), spätestens ab dem Jahre 1620 (a) von der Stadt Radolfzell errichtet wurde. Die denrochronologische Datierung konnte ermitteln, dass das Dachwerk des Baues 1621 (d) oder unmittelbar danach abgezimmert wurde.
An der Stelle des Neubaus befanden sich den vorhandenen Archivalien zufolge zuvor zwei Chorherrenhäuser, die für den Neubau abgebrochen wurden. Nordseitig schloss sich ein Haus der Herren von Ulm (und eines der Herren von Schienen) an, das nicht abgebrochen wurde, so dass die Grenzwand zwischen den abgebrochenen Häusern und dem Haus der Herren von Ulm in den Neubau integriert werden musste. Soweit erkennbar, handelte es sich um einen reichsstädtischen Bau. Es ist nicht zu erkennen, dass er - wie mehrfach vermutet - von den österreichischen Herzögen oder für diese errichtet worden wäre oder diesen als "Schloss" gedient hätte. Der Keller fungierte als städtischer Weinkeller, während für das 17. Jh. eine Nutzung der oberen Geschosse nicht konkret nachweisbar ist.
Wahrscheinlich wurde der Bau infolge des Dreißigjährigen Krieges in seinem Inneren nicht vollendet, denn im 18. Jh. tritt er in den Quellen als "Neuer Bau" oder "Neues Rathaus" auf und spätere Quellen berichten, dass er etwa 80 Jahre lang als Kornspeicher diente. Die vorhandenen Archivalien geben keinen eindeutigen Hinweis auf den Zeitpunkt dieser Fertigstellung. Denkbar wären die Jahre um 1706 und um 1733-35, in denen die betreffenden Ratsprotokolle fehlen. Die in den Obergeschossen vorhandenen Stuckdecken legen eine Entstehung in den 1720er oder 30er Jahren nahe, so dass ein Ausbau um 1733/35 durchaus wahrscheinlich ist. Um die Jahrhundertmitte diente der Bau als Rathaus und auch für öffentliche Veranstaltungen. Für später ist uns belegt, dass hier auch der Stadtbürgermeister eine Wohnung besaß.
Um 1820 wird das Gebäude als Schulhaus hergerichtet. Ein Umbauplan von 1823 lässt die für das 2.OG vorgesehenen Änderungen erkennen. In der Folgezeit waren die drei Hauptgeschosse weitestgehend, wenn nicht gar vollständig, zu Schulzwecken (mit zugehöriger Lehrerwohnung) genutzt.
Die Inschrift am Hauptportal benennt Renovierungsarbeiten im Jahre 1842 (i), die sich aber archivarisch nicht genauer nachweisen lassen. Mit dem Bau des neuen Rathauses 1847 waren dann auch die letzten Verwaltungsfunktionen, die sich bis dahin möglicherweise noch in Teilen des Gebäudes gehalten hatten, aus diesem verschwunden. Für 1866 ist uns eine einfache Nutzung des Dachraumes belegt. 1875 wird im EG eine Zwischenwand entfernt, um einen Probenraum für die Stadtmusik und die Feuerwache zu schaffen, während sich ansonsten aber auch wieder ein Wach- und ein Eichzimmer sowie ein städtisches Arrestlokal im Gebäude befunden zu haben scheinen. Mit dem Bau eines neuen städtischen Schulhauses 1899 standen fortan einige Räumlichkeiten leer, doch wurde der Bau weiterhin vorrangig zu Schulzwecken genutzt.
Von 1912 bis 1915 erfolgte die Sanierung des Baus, bei der u.a. Arbeiten an der Befensterung (neue Gewände, Bleisprossenfenster) und am Portal, an dem damals plattenverkleideten Sandsteinsockel und an den Böden der Toilettenanlage stattfanden. Vermauerte Fenster am Erker wurden geöffnet und die Erkertürme zudem durch Eisenkränze statisch gesichert. 1918 ziehen die städtische Altertümersammlung und Vereinsräume, die sich zu einer eingeschränkten Schulnutzung hinzugesellen, im Gebäude ein. Hinzu kommen in den Folgejahren einzelne Räume der Militärverwaltung und des Zollkommandos. 1921 und 1922 folgen schließlich die letzten Arbeiten am Wappen über dem Eingangsportal, so dass die grundlegende Sanierung des Baus 1922 abgeschlossen ist.
1938 wird die Dachdeckung instand gesetzt und um 1940 kommt es zum Einbau von Luftschutzanlagen im Kellerbereich, die 1947 wieder zerstört werden. Ab 1949 wird der Keller für gastronomische Zwecke vermietet und ab 1956 trägt man sich wieder mit dem Gedanken einer grundlegenden Sanierung des Baus, die nach mancherlei Vorarbeiten im Wesentlichen in den Jahren 1966/67 ausgeführt wird. Dabei kam es zu einer kompletten Innen- und Außenrenovierung, bei der u.a. praktisch alle Fenster und Türen neue Gewände erhielten und die beiden Erkertürme ab dem ersten OG vollständig neu errichtet wurden. Auch das Eingangsprotal wurde damals neu hergestellt. Abgesehen von einigen kleineren späteren Veränderungen, insbesondere dem Austausch der Bleisprossenfenster, erhielt der Bau damals seine heutige Erscheinung.

• Dachgeschoss(e)

• Siedlung
  • Stadt

• Öffentliche Bauten/ herrschaftliche Einrichtungen
  • Regierungsgebäude

• Ländl./ landwirtschaftl. Bauten/ städtische Nebengeb.
  • Speicher
• Öffentliche Bauten/ herrschaftliche Einrichtungen
  • Rathaus

• Erdgeschoss
• Obergeschoss(e)

• Anlagen für Bildung, Kunst und Wissenschaft
  • Schule, Kindergarten

• Öffentliche Bauten/ herrschaftliche Einrichtungen
  • Rathaus

• Erdgeschoss

• Dachgeschoss(e)

• Untergeschoss(e)

• Erdgeschoss
• Obergeschoss(e)

• Siedlung
  • Stadt

• Dachform
  • Satteldach
  • Zwiebeldach/-helm
• Steinbau Mauerwerk
  • allgemein
  • Werkstein
• Gestaltungselemente
  • Staffelgiebel