Le village de Saint-Victor-la-Coste occupe une position unique parmi les agglomérations de la vallée de la Tave. Il est le seul qui dispose d’un piton rocheux élevé, sur lequel trône un puissant château fort « Le Castellas ».

Les seigneurs de Sabran font construire le Castellas vers 1125. Cette citadelle devient la place forte de leur domaine et Saint Victor capitale de la Sabranenque, région constituant le domaine des comtes de Sabran.

Elle attire en ces temps troublés, vers le XIIème  siècle, la population qui a vécu jusque là dans la plaine et qui vient s’installer sur le flanc nord de la colline, au plus près du château. C’est le vieux village.

Au début du 13ème siècle, le comte de Rostand de Sabran s’allie au comte Raimond de Toulouse, chef des mouvements cathares. il combat le roi de France, Louis VIII, il est battu.

Son pouvoir s’effondre avec ses défaites. Il doit à plusieurs reprises demander pardon et rendre allégeance à la couronne. Il doit livrer le Castellas au Sénéchal royal de Beaucaire qui fait abattre les fortifications. Dès lors, Saint Victor n’est plus qu’une seigneurie parmi d’autres, appartenant successivement aux fastes domaines de plusieurs familles féodales : les Montlor, les Poitiers, les Nicolaï, les Gadagne.

Durant les guerres de religion, le Castellas est un temps occupé par les troupes royales. Puis il reste à l’abandon jusqu’à nos jours.

Devenu récemment propriété de la commune, il fait l’objet d’un projet de réhabilitation dont la réalisation s’étendra sur de nombreuses années.

Cette restauration est confié à l’association des amis de la Sabranenque qui accomplit par ailleurs un travail remarquable de rénovation du vieux village.

Le château primitif (de même que les remparts) sont en pierres calcaires extraites des carrières toutes proches, certaines exploitées dès l’antiquité romaine. Si le château semble arrondi, ce n’est qu’une vision d’optique. En effet, il est formé d’une juxtaposition de murs plans, rendant pus efficace le tir des armes de trait.

Le vieux village s’appuie sur des remparts qui relie 4 tours : 

1. La tour de l’Ormeau à l’est (dite tour de l’Oume)
2. La tour de la Gardette (dite la Poterne) qui contrôlait l’unique entrée du village. les ferrures de la porte et le système de défense (archère) sont encore visibles
3. La tour médiane
4. La tour du couchant ( tour de l’auro) qui servait de poste de guet

Ce rempart est conservé dans toute sa longueur (300 m environ). Du chemin de ronde subsistent quelques vestiges sur la partie ouest, face sud.

Une deuxième enceinte se situe au sommet de la colline, au contact direct du château actuel. Elle est protégée d’une muraille épaisse. On peut observer des arbalètes et archères en grès rose (grès de Tavien) qui percent cette muraille.

Le donjon est la partie centrale du Château. On y pénètre par une porte d’entrée puissamment fortifiée comme l’atteste le passage qui permettait la manœuvre de la herse et la construction qui supportait son mécanisme.

La cour intérieure a une dimension de 1500 m². Près de l’entrée Est, on peut remarquer une grande salle voûtée (voûtes en plein cintre), et une amorce d’escalier à vis en grès de Tavien, menant certainement aux logements de l’étage. On peut enfin remarquer la Chapelle (8x5m) avec sa double voûte romane décalée, sa tour de guet qui la surmonte et sa façade ouest formée de petits moellons calcaires. Cette chapelle fût apparemment le départ de la construction, et de là, s’est organisé l’architecture du donjon.