Les prospections faites dans la grotte du trou Arnaud, voisine, ont montré des restes d’occupation par les Chasséens (4000 av JC), puis au moyen âge, temps des sites perchés, il y avait probablement un « castrum » sur le site de Chateauvieux. Ce premier château, peut-être Carolingien (dynastie Franque régnante entre 751 et 987) dominait le village actuel à 1060 m environ sur le flanc Sud des Mairies.
Cependant et comme ailleurs, l’histoire connue, ne commence vraiment qu’au Moyen Age. Ce fief appartenait aux Artaud-Montauban. En 1270 Raymond de Montauban, seigneur de Volvent et de Montmaur accompagna Saint Louis à la dernière croisade et il y mourut (en Tunisie). Balthazard, fut le seigneur vers 1505, Reynaud en 1540, il déclare posséder le château (situé au milieu du village) et son mandement, et aussi un moulin où les habitants sont obligés de moudre leur blé, et une montagne dont l’herbage rapporte 7 florins par an. Le 26 août 1699, le fief de Volvent, fut acheté à Joseph François De Grollée, Comte de Viriville par Henri Bernard de Poyols (+1717), famille anoblie en De Bernard, marié à demoiselle Marie Madeleine Boissevin des Garcins (°1653 +1750). Par testament passé par devant Maître Jean Brès, notaire à Chalancon, il institua pour héritier, noble François Joseph De Bernard (°1702 +1782), son fils unique, marié à Dame Catherine Gueymard (+1758). A son tour il testa par devant Maître Giry, notaire à Saint Nazaire le Désert, en faveur de Jean François de Bernard (°1730 +1808) son fils aîné marié à demoiselle Françoise Emilie d’André Blanc. Ce dernier laisse le fief à sa seule enfant survivante Emilie Joséphine Madeleine De Bernard (°1777) mariée à noble Jacques Alexandre François Garnier de Labareyre, rentier à Beaumont les valence. Le premier enfant de Jean François De Bernard, le noble François Joseph Marie De Bernard (°1757), célibataire, est chevalier de Volvent, entra au régiment des gardes de Lorraine le 2 mai 1757, fit les campagnes de 1757, 1758 et 1759. Il fut nommé Capitaine le 31 mars 1774, décoré chevalier de l’ordre Royal et militaire de Saint Louis, le 14 juillet 1781. Il se retira le 3 juillet 1788 avec pension. Le troisième enfant de Jean François De Bernard, noble François Magdeleine Victor Eugène De Bernard (°1778 +1791) meurt à Die sans postérité.
Mais la Révolution mettra en fuite les propriétaires, à l’automne 1792 le Château fut envahi et pillé. Les meubles restant seront déposés dans l’église pour y être vendus.
Aujourd’hui, il ne reste de ce deuxième Château datant du 13° siècle qu’une tour quadrangulaire occupée actuellement par la mairie
Il existe une descendance par François Joseph De Bernard, et elle est hollandaise. L’officier Volventais, alors sur les théatres d’opération extérieurs aurait reconnu légalement un enfant avec une nommée Jacoba Jongbloet à Bois le Duc (NL). Aujourd’hui cette descendance Hollandaise se perpétue par la famille Frans et Jeanne De Cates.