La construction remonte aux XIVe et XVe siècles.
En 1218 Pujols appartient au domaine royal Anglais, pris par les Français en 1220, il sera repris par les Anglais.
En 1242, tout comme Rauzan, Pujols est inféodé à Rudel de Bergerac, puis à son fils, Guilhem Raymond de Gensac jusqu’en 1313.
Au début de la guerre de cent ans, en 1338, le château est définitivement reconquis par les troupes françaises.
Un siècle plus tard, de par la volonté d’Henri V le fief échoit à son favori Bernard Angevin, puis, par le biais des alliances à l famille des Durfort, seigneurs de Duras, qui le garderont jusqu’à la Révolution.
Au XIXe siècle le château devenu mairie est transformé, et notament l’enceinte est arasée.
Le donjon caré protégeait la porte d’accès aujourd’hui murée, il était également séparé du bourg par un profond fossé désormais comblé.
La façade nord, tournée vers les pentes escarpées se présente sous l’aspect d’un corps de logis barlong flanqué d’échauguettes hexagonales à un ou deux étages, en saillie sur les contreforts.
L’ancienne salle du corps de logis, aujourd’hui salle du conseil, contient une vaste cheminée du XVe siècle aux piédroits moulurés supportant un large linteau sommé d’une corniche. L’écu ornant le centre du linteau a été bûché.
