1268, als das Geschlecht von Campan nach Kaltern zog, ließ Concius von Campan einen Wohnturm für seine Familie bauen. Sein Urenkel Heinrich wurde um 1353 sogar mit dem Pflegeamt von Kaltern betraut, ein hohes Amt, das die Verteidigung und Verwaltung des Dorfes vorsah. 1499 starb das Geschlecht von Campan aus und das Schloss wechselte mehrmals Besitzer. Aus- und Umbauten, vor allem in der Renaissance, folgten, bis die Grafen von Enzenberg 1850 Campan übernahmen und es renovieren ließen.

Die Grafen von Enzenberg, die auf eine lange Tradition im Weinbau zurückblicken, produzieren im Weingut Manincor nahe des Kalterer Sees auch einen Merlot und Cabernet Franc, der den Namen "Castel Campan" trägt. Das Schloss beeindruckt durch seine wunderschöne Parkanlage, den Schlossvorhof und den Innenhof. Innen bietet es Wandgemälde, die Notburgakapelle aus dem 15. Jahrhundert und einen historischen Weinkeller. Schloss Campan ist bewohnt und kann nur von außen besichtigt werden.