De Zwaan is in ons land een veel voorkomende naam voor een herberg. De voormalige herberg “De witte Swaen”op de markt is volgens het jaartal in de muurankers gebouwd in 1579. Regelmatig nodigde de magistraat er gasten uit, zoals in 1603 de ambassadeur van Schotland. Rond 1690 kocht notaris Pieter Hekelbeke dit statige huis en vestigde er zijn kantoor in. Enige tijd later kreeg hij ook het achterhuis in de Stadhuisstraat in bezit en gaf het de naam Het Cleyn Swaenken. Na zijn overlijden kwamen beide huizen in 1729 in handen van de Schotse koopman Samuel Hawkins en werd De Swaen opnieuw een herberg. Het huis bleef in Schotse handen totdat Jan Tak, de uitbater van de Campveerse Toren, er in 1801 eigenaar van werd. Na de Franse Tijd raakte De Swaen door de economische recessie in verval. De bovenverdieping werd eraf gesloopt en ten lange leste kwam het in bezit van de gemeente. In 1865 richtten enige Veerenaren een bewaarschool op en de gemeente bood De Swaen als onderkomen aan. De kleuterjuffrouw mocht er boven wonen. In 1935 werd de school weer opgeheven, waarna de gemeente het huis twee jaar later verkocht aan jonkheer J.C.E. baron van Lynden. Hij liet de gevel aan de hand van oude gravures weer in zijn oorspronkelijke staat herstellen. Toen hij in 1938 de naam ‘Stadsherberg’ erop wilde laten zetten, kreeg hij van de gemeente geen toestemming omdat de Campveerse Toren dit predikaat al honderden jaren droeg.
In 1937 kocht baron Van Lynden ook het huis ernaast, genaamd ‘De Roose’ en werden de tuinen met elkaar verbonden. (Alleen bij inloggen: pdf artikel Lyndenblad 8, pag 12 – 15)