Este pazo pode estar relacionado coa Torre de Xallas da Mitra Compostelá derrubada polos Irmandiños (XV). En documentos medievais aparecía o Castelo de Xallas. Ten unha capela que garda unha singular talla da Sagrada Familia. Galería Pazo de Xallas, en Suatorre