Das 1567/68 (d) erbaute Schwedenhaus erhielt seinen Namen von einem Miteigentümer Jacob Haar, genannt „der Schwede“, der 1681 eine Hälfte des Hauses kaufte. Das Schwedenhaus wurde nach den vorliegenden Indizien wahrscheinlich als Rathaus des damals freien Reichsdorfs Altingen erbaut. Es wurde wesentlich größer angelegt als andere Dorfrathäuser des 16. Jahrhunderts. Die Größe entspricht etwa städtischen Rathäusern der Zeit, allerdings ohne die dort übliche Markthalle im Erdgeschoss und mit kleinerer Ratsstube. Die fehlende Markthalle erklärt sich aus den unterschiedlichen Wirtschaftsstrukturen des Dorfes, es gab weniger Bedarf für eine Markthalle. Vielmehr vereinigt das Gebäude Ratsräume mit sonstigen Stuben und Kammern sowie Magazinräumen im EG. Das Dach wurde weniger intensiv genutzt, was sich an den noch vielfach erhaltenen Bodenbrettern im DG ablesen lässt. Auch fehlt eine direkte Beschickungsmöglichkeit des Dachraums durch Ladeluken oder Gaupen. Nicht auszuschließen ist, dass das zweite Obergeschoss vielleicht schon von Anfang an zu Wohnzwecken diente, vielleicht als Amtswohnung des Schultheißen oder eines Schutzvogtes. Der später mehrfach nachgewiesene Besitz des Gebäudes durch Schultheißen könnte als Indiz dafür interpretiert werden. Gesichert ist dies jedoch nicht.

Um 1600 ging der reichsunmittelbare Status des Fleckens verloren. Die Gründe dafür sind nicht bekannt. Damit entfiel auch die Notwendigkeit für ein derart großes Rathaus. In der Folge wurde es offensichtlich an den Schultheiß Jacob Röser d.J. verkauft. Es ist anzunehmen, dass der Verkauf in der Amtsszeit Rösers oder eines Verwandten von ihm erfolgte (Jacob Röser war 1602 Schultheiß, zudem ist ein Röser von 1605 bis 1611 als Schultheiß genannt, jedoch ohne Vornamen, sodass nicht sicher ist, ob dies Jacob Röser war). Auch nach dem Verkauf desselben wurde das Gebäude noch für Amtshandlungen verwendet (Vgl. Quelle [1703-3]).

Als Folge des Verkaufs wurde das Gebäude im Innern aufgewertet. Die vorher sehr schlicht gehaltenen Kammern und Flure mit holzsichtigem Fachwerk und weißen Gefachtünchen erhielten nun aufwendige Ockerfassungen, zum Teil sogar mit polychromem Rautendekor um die Türen (vgl. dazu den restauratorischen Bericht). Lediglich die holzvertäfelten Stuben mit den Holzdecken blieben weiterhin holzsichtig. Die nordwestliche Stube im 1. OG, die durch das äußere Zierfachwerk bereits als Hauptstube gekennzeichnet war, wurde nachträglich um den angrenzenden Flurbereich erweitert und auch der erweiterte Bereich mit einer Bretter-Balkendecke überspannt. Ob dies noch zur Zeit als Rathaus erfolgte, oder erst nach dem Verkauf ist nicht abschließend gesichert. Ebenfalls ins frühe 17. Jahrhundert fällt die Abtrennung eines kleinen Räumchens über dem Kellerabgang.
Über den in der Bausubstanz des Kellers noch vorhandenen Vorgängerbau konnte nichts Sicheres in Erfahrung gebracht werden. Der Vorgängerkeller war nicht tiefer als der heutige Keller, aber möglicherweise ohne Gewölbe mit einer Flachdecke versehen und dadurch etwas höher. Grundsätzlich wäre als Vorgängerbau natürlich ein älteres Rathaus denkbar. Allerdings gab es in den Lagerbüchern von 1563 und 1564 keinerlei Hinweise auf ein Rathaus in Altingen. Möglich wäre auch, dass der Vorgängerbau noch zu den östlich anschließenden Hofstellen der Familie Röser gehörte. Eine dieser Hofstellen lag im Bereich der späteren Zehntscheune, reichte bis zur Schwedenstraße vor und erstreckte sich in Richtung Ammer. Eine weitere Hofstelle dürfte sich auf der gegenüber liegenden Straßenseite befunden haben; eine Dritte lag bereits jenseits der Ammer. Alle drei Hofstellen gehörten 1564 Catharina Röser, der Witwe des Endriß Rößer (meist Reiser oder Raiser geschrieben) und ihrem Stiefsohn Michael Röser (a). Es besteht nach wie vor der Verdacht, dass es sich dabei um den Risartshof des 12. Jahrhunderts handelte, der dem Kloster Ottobeuren als Weingut diente und im 13. Jahrhundert an einen Risarius/Röser als Träger des Hofs vergeben war. Der Hof wurde um 1220 dem Kloster durch die Grafen von Calw entfremdet. Ob die Röser dabei eine aktive Rolle spielten ist nicht bekannt, aber durchaus wahrscheinlich, denn sie haben ja offensichtlich davon profitiert.
Letztlich kann die Frage der Identität des Vorgängerkellers aus den vorgefundenen Archivalien aber nicht mehr geklärt werden.

1607 befand sich das Haus jedenfalls im Besitz der Familie Röser. Nach dem 30-jährigen Krieg wurde das Haus ohne bauliche Eingriffe in zwei Wohneinheiten unterteilt (a). Ab 1762 erfolgt eine weitere Unterteilung zunächst in vier Wohnungen, im 19. Jahrhundert in bis zu 10 Wohneinheiten.

• Wohnbauten
  • Pfleghof

• Wohnbauten
  • Vogtei
• Öffentliche Bauten/ herrschaftliche Einrichtungen
  • Rathaus

• Wohnbauten
  • Wohnhaus

• Wohnbauten
  • Wohnhaus
• Gewerbe- und Industriebauten
  • Schmiede

• Siedlung
  • Dorf

• Wohnbauten
  • Pfleghof

• Mischbau
  • Obergeschoss(e) aus Holz
  • Unterbau aus Stein (gestelzt)
• Holzgerüstbau
  • Unterbaugerüst
• Dachform
  • Satteldach
• Decken
  • Balken-Bretter-Decke
  • Balkendecke
• Steinbau Mauerwerk
  • Bruchstein
• Gewölbe
  • Tonnengewölbe
• Detail (Ausstattung)
  • bemerkenswerte Treppen
  • bemerkenswerte Türen
  • Fenstererker
  • Wand-, Deckenfassung, Gefachmalerei
• Gestaltungselemente
  • Zierglieder im Holzbau