Während des Zweiten Weltkrieges übernahm die SS (Schutzstaffel der NSDAP) von der Stadt Stuttgart eine Villa in der Panoramastraße 11. Dort richtete die im Berliner SS-Hauptamt angesiedelte „Germanische Freiwilligen-Leitstelle“, später kurz „Germanische Leitstelle“ genannt, im Frühjahr 1941 das sogenannte Panoramaheim ein. Die Leitstelle hatte die Aufgabe, ausländische Freiwillige für die Waffen-SS zu rekrutieren, die gemäß der NS-Rassenideologie zwar nicht als „volksdeutsch“, aber als „germanisch-artverwandt“ angesehen wurden. Damit erschloss sich die SS ein Ergänzungspotenzial, das für die Wehrmacht nicht greifbar war.
Insgesamt dienten rund 2.000 Schweizer in der Waffen-SS. Sie wurden auf allen europäischen Kriegsschauplätzen eingesetzt, insbesondere aber in Finnland und Russland. Davon hatten sich circa 1.200 bereits vor dem Krieg in Deutschland aufgehalten, die restlichen über 800 verließen die Schweiz dagegen meist illegal während des Kriegs. Das Panoramaheim war die zentrale Anlauf-, Sammel- und Verteilstelle speziell für diese zweite Gruppe Schweizer und in geringerem Maße auch für Liechtensteiner. Die Männer hatten ihre beiden Herkunftsländer zuvor aus verschiedenen Gründen verlassen. Bei einem Teil handelte es sich um bereits überzeugte Nationalsozialisten. Bei einem anderen Teil war die politische Haltung diffuser; ihnen ging es mehr darum, im Deutschen Reich eine Lohnarbeit zu finden.
Das Panoramaheim konnte gleichzeitig etwa 35 bis 40 Männer aufnehmen. Hier wurden sie untergebracht, nachrichtendienstlich überprüft und verhört, gemustert und im Eignungsfalle zum Eintritt in die Waffen-SS ermuntert oder auch gedrängt. 90 % der Bewohner sollen dem gefolgt sein. Ihre nächste Station war dann meist das Ausbildungslager der Waffen-SS für europäische Freiwillige im elsässischen Sennheim (französisch: Cernay), während Offiziersanwärter auf die SS-Junkerschule in Bad Tölz kamen. Ein kleinerer Teil wurde dagegen in Arbeitsstellen, zum Sicherheitsdienst der SS (SD) oder in andere Bereiche vermittelt.
Die Überprüfung und intensive Befragung der Heimbewohner diente zum einen der Klärung ihrer Zuverlässigkeit im nationalsozialistischen Sinne. Zum anderen diente sie der politischen und wirtschaftlichen Informationsgewinnung über die Schweiz und speziell auch der militärischen Spionage. In Stuttgart liefen viele Fäden der Spionage gegen die Schweiz zusammen. Entsprechend arbeitete das Heim mit Gestapo, SD und dem militärischen Nachrichtendienst der Wehrmacht (Amt Ausland/Abwehr) zusammen.
Zentrale Figur war der Schweizer Arzt und Nationalsozialist Dr. Franz Riedweg (1907-2005). Er war 1938 nach Deutschland gezogen und der SS beigetreten. Hier heiratete er die Tochter des deutschen Generalfeldmarschalls und Reichskriegsministers Werner von Blomberg. Während des Kriegs tat er zunächst Frontdienst bei der Waffen-SS, bis er zum Leiter der „Germanischen Leitstelle“ ernannt wurde. In dieser Funktion gründete er das Panoramaheim. Ihm unterstanden als Kommandeure des Heims die Schweizer Alfred Nikles (alias Dr. Hutten) und Benno Schaeppi sowie zuletzt der Liechtensteiner Josef Nägele.
Das Auffanglager Panoramaheim war ab 1943/44 auch eng verbunden mit dem ebenfalls von der „Germanischen Leitstelle“ betriebenen Aufbau einer zivilen SS-Gliederung für Nichtdeutsche, die sogenannte Germanische SS. Deren Strukturen entsprachen zwar denen der deutschen Allgemeinen SS, ein Hauptzweck bestand aber ebenfalls in der Hinführung zur Waffen-SS. Im Frühjahr 1943 ließ Riedweg beim SS-Oberabschnitt Südwest in Stuttgart einen Sonderstab „Germanische SS-Sturmbanne“ einrichten, der den Wehrbezirk V Südwest abdeckte. Dessen Dienststelle befand sich 1944 im heute nicht mehr existierenden Gebäude in der Hegelstraße 1, gegenüber vom Linden-Museum. Es bestanden im Oberabschnitt eigene Stürme für Niederländer, Flamen und eben auch Schweizer. Der Schweizer-Sturm I (Stuttgart) bekam den Namen „Winkelried“ nach dem Schweizer Nationalhelden und stieg mit der Zeit auf 70 Angehörige an. Führer war der aus der Nähe von Zürich stammende Kaufmann Hermann Diggelmann. Von Herbst 1944 bis April 1945 bekleidete er gleichzeitig auch die Position des Referenten für die Schweizer im Sonderstab, womit er also zudem noch für zwei weitere Stürme jenseits von Stuttgart zuständig war.
Im Panoramaheim fanden Aktionen statt, bei denen etwa Mitglieder des „Bundes der Schweizer in Grossdeutschland“ (BSG) zum Eintritt in diese „Germanische SS“ geworben wurden. Vermutlich fanden dort auch weltanschauliche Schulungsabende des Schweizer-Sturms und Vereidigungen seiner Angehörigen auf Adolf Hitler statt. Die politische Schulung dieser Männer wie auch der Bewohner des Panoramaheims hatte ihren Zweck zudem darin, sie auf besondere Aufgaben vorzubereiten, die sie im Falle einer NS-Machtergreifung in der Schweiz oder gar der militärischen Besetzung („Aktion S“) erfüllen sollten.
Die deutschen Aktivitäten wurden umgekehrt gleichermaßen beobachtet. Das „Büro Deutschland“ des Schweizer Militärgeheimdienstes platzierte von 1940 bis 1942 den Juristen und Leutnant Ernst Mörgeli im Stuttgarter Konsulat. Getarnt als Sekretär erhob er Informationen über die Wehrmacht, gezielt aber auch über das Panoramaheim. Doch die Stuttgarter Gestapo setzte wiederum einen Bewohner des Panoramaheims als Lockspitzel auf Mörgeli an, dem er vorgab, reumütig zu sein. Nachdem Schweizer Behörden am 16. März 1942 eine Großrazzia gegen Schweizer und Deutsche Nationalsozialisten durchgeführt hatten, verhaftete die Gestapo tags darauf Mörgeli auf dem Weg vom Konsulat zum Bahnhof wegen Spionage. Er wurde ins Polizeigefängnis verbracht und wiederholt in der Stuttgarter Gestapo-Zentrale im „Hotel Silber“ verhört. Dann folgte die Verlegung ins KZ Welzheim. Am 24. Dezember 1942 wurde er schließlich nach Verhandlungen zwischen den Schweizer und Deutschen Geheimdiensten entlassen, in Stuttgart in ein Flugzeug gesetzt und in die Schweiz abgeschoben.
Das Panoramaheim wurde am 8. Oktober 1943 vollständig durch einen Bombenangriff zerstört. Die Dienststelle wurde daraufhin kurzzeitig in die Panoramastraße 29, dann aber im Dezember 1943 nach Straßburg und schließlich an Ostern 1944 nach Bregenz verlegt. Dort firmierte es nun unter dem Namen „Planettaheim“.
Nach dem Krieg kam es in der Schweiz zu etwa 100 Strafverfahren gegen Freiwillige wegen Eintritts in fremden Militärdienst sowie zum Teil wegen politischer und nachrichtendienstlicher Vergehen. Hohe Strafen erhielten der Gründer des Stuttgarter Panoramaheims, SS-Obersturmbannführer Franz Riedweg, und der letzte Kommandeur, SS-Untersturmführer Benno Schaeppi. Beide wurden Ende 1947 in Luzern zu 16 Jahren Zuchthaus verurteilt. Der in Abwesenheit verurteilte Riedweg musste die Haft nie antreten, da er unbehelligt in Deutschland lebte und die Schweiz seine Auslieferung nicht betrieb. Schaeppi wurde 1955 deutscher Staatsbürger und bereits 1956 vorzeitig freigelassen.