Sobre el castell hi ha una única referència en un pergamí de 1342 que anota "in nostro castro et villa ac termino Allexario qual sunt de comitatum nostro montanearum de Prades".  Si no fos una expressió o un gir propi del llenguatge dels documents de l'època i es tractés realment d'un edifici, només podem escriure que no s'ha localitzat cap resta i es parla sobre el primer nucli d'habitatges, l'antigua església i un primitiu castell, que estaria ubicat a l'actual plaça de la Vila.