Das Schloss wurde ab 1702 erbaut, nach 1850 erweitert und umgebaut und gehört den Herren von Neipperg. Der ursprüngliche Hauptsitz der Herren von Neipperg war bis ins das 16. Jhd. die Burg Neipperg, danach das Schloss Klingenberg und seit dem Neubau ist das Schloss in Schwaigern der Hauptsitz.

In der Stadt sind Teile der alten Stadtmauer (1982-1985 restauriert), der Hexenturm, das historische Rathaus aus dem Jahre 1906  und viele Fachwerkhäuser zu besichtigen. 

Evangelische Stadtkirche

geweiht Johannes dem Täufer und auch Johanneskirche genannt. 

befindet sich neben dem Schloss. Erstmals erwähnt 1366. Patronat: Herren von Neipperg. Die Kirche wurde immer wieder renoviert, 1910 erfolgte ein umfangreicher Umbau mit Heizungseinbau, Lichtinstallation und Durchgängen zwischen den südlichen Seitenkapellen.