Der Dichter Joseph Victor von Scheffel und seine Familie verbrachten seit 1869 den Sommer auf der Halbinsel Mettnau. Nachdem er in den Adelsstand erhoben wurde, erwarb er 1876 das Gut Mettnau und baute das alte Rebgutpächterhaus zum Schloss aus. Auch die Villa Seehalde auf der Mettnau wurde von ihm errichtet. Der Entwurf für das „Scheffelschlösschen“ im Stil der Neo-Renaissance stammt vom Architekten Karl von Großheim. Dieser gehörte einem der erfolgreichsten Architekturbüros im Deutschen Kaiserreich an.
Von 1928 bis 1966 befand sich im Erdgeschoss des zweigeschossigen Gebäudes mit markantem Eckturm ein Scheffel-Museum. Heute ist hier die Kurbetriebsverwaltung angesiedelt. Im Flur des Hauses sind auch heute noch einige Ausgaben von Scheffels Werken ausgestellt. Außerdem sind ein Zimmer und verschiedene Deckenmalereien noch original erhalten. Aufgrund der amtlichen Nutzung ist das Gebäude jedoch nur eingeschränkt zu besichtigen.
