Le château, datant du Moyen Âge, est situé sur une butte calcaire dominant le débouché du Valgaudemar et la route Gap - Grenoble ; le piton rocheux sur lequel il est installé dispose d'un sentier découverte serpentant entre les amas rocheux, signes d'éboulements réguliers. Dénommée localement château, c'est en fait une forteresse, construite en 1377 par la volonté de Bernard de Gravollières, prieur de Saint-Michel de Connexe, coseigneur du Valgaudemard et des habitants de Saint-Firmin. Située entre le bourg de Saint-Firmin et le hameau de La Broue, elle était destinée à servir d'abris aux habitants du Valgaudemard lors des exactions fréquentes à cette époque de mercenaires participant à la guerre de Cent Ans et se trouvant sans emploi entre deux batailles 15. Cette forteresse paraît avoir été détruite bien avant la Révolution, une partie de ses pierres a été utilisée pour construire les villages alentour. Une association locale a entrepris des travaux de sauvegarde des ruines. Ses ruines sont régulièrement le théâtre de diverses fêtes locales.