Das Wohnhaus ist als Teil des Schwartzschen Hofes seit 1368 nachgewiesen. Der Name Schwartzscher Hof leitet sich vom damaligen Besitzer Jacob Schwarz, dem Bürgermeister von 1874 und Angehörigem einer der älteren Konstanzer Geschlechter, ab. Ehemals bildeten die drei heutigen Gebäude Untere Laube 29, 33 und 35 diese gemeinsame Liegenschaft (siehe auch Untere Laube 29 und 35).
Das Gebäude ist bis 1454 als Patrizierhaus, danach als Domherrenhof (1454-1630) und zwischen 1630 -1829 als Kanzlei/Amtsgebäude belegt.
1829 kam es zu einer Zweiteilung in eine südliche und eine nördliche Hälfte. Die nördliche (heute Untere Laube 29) kaufte der Hafnermeister Joseph Brennfleck. Das Gebäude erhielt die Nummer 93, später 93b (zwischen 1852-59), dann 20 (Häuserbuch 1908) und schließlich die heutige Nummer 29.
Die südliche Hälfte ging zuerst an die Amtskasse und wurde 1831 zum Gefängnis (Haus zur Kuh). Die Nummerierung bezeichnet es damals als Hausnummer 93,5, etwas später als 93a (1852-59).
1876 wurde das Gefängnis verlegt und dieser Gebäudeteil vom Holzhändler und Steinhauer Joseph Amann erworben. Dieser vollzog erhebliche Baumaßnahmen und teilte es nocheinmal in zwei Gebäude, so dass beim Verkauf noch im selben Jahr an den Gefägniswärter Rochus Schorner das Gebäude mit der heutigen Hausnummer 33 sogar als neu erbautes dreistöckiges Wohnhaus entgegentritt.
Im Häuserbuch von 1908 wird das Gebäude noch unter seiner vorherigen Nummerierung - Untere Laube 18 - aufgeführt (A; Häuserbuch 1908, 527).

• Siedlung
  • Stadt

• Wohnbauten
  • Patrizierhaus

• Öffentliche Bauten/ herrschaftliche Einrichtungen
  • Amtsgebäude

• Öffentliche Bauten/ herrschaftliche Einrichtungen
  • Gefängnis

• Patrizier

• Hafnermeister

• Gefängniswärter

• Siedlung
  • Stadt

• Wohnbauten
  • Patrizierhaus
  • Wohnhaus
• Öffentliche Bauten/ herrschaftliche Einrichtungen
  • Amtsgebäude
  • Strafanstalt
• Sakralbauten
  • Kurie

• Gewölbe
  • Tonnengewölbe
• Dachform
  • Satteldach