Nel XIII secolo, la famiglia Payr, funzionari ministeriali dei Conti di Appiano, costruì una piccolo rocca su una roccia sporgente presso Sirmiano di Sotto. Essa consistette di un mastio di quattro piani, un edificio residenziale e una cappella tardogotica. Nel XVI secolo, il castello fu ampliato al volere del cavaliere Jakob von Boymont-Payrsberg con un portale d'ingresso con l'incisione 1560, parti difensive e un bastione angolare verso nord. Ma già pochi decenni dopo, verso il 1600, la rocca venne abbandonata, e la famiglia si trasferì a valle nell'appena eretto Castel del Cigno.

Solo quando l'ultimo Conte von Payrsberg morì nel 1791, anche la proprietà del castello passò in altre mani. Oggi Castel Bavaro (Burg Payrsberg) è di proprietà privata. Fa parte della struttura anche la "Torre della Caccia" che sorge a Sirmiano di Sopra, usata come luogo di soggiorno per i cavalieri durante i periodi di caccia e nelle estati calde. Questa torre è ritratta nello stemma del comune di Nalles. Una camminata di ca. un'ora segue il sentiero n. 9 da Nalles fino a Castel Bavaro (non accessibile).