Le premier château de Cassaigne fut bâti en 1247 par Montassin de Goalard, abbé de Condom. Il devint ensuite la résidence de campagne des évêques de Condom.
Il fut reconstruit à partir du XVIème siècle, sa façade datant du XVIIIème. Il fut racheté à la Révolution par l’ancien intendant des évêques. Ce sont ses descendants qui sont encore aujourd’hui les propriétaires...
Entouré de plus de 30 hectares de vignes, il est devenu un des hauts lieux de l'élevage de l’Armagnac.