Los primeros Señores de Alberguería fueron Doña María Pacheco, cuarta Señora de Cerralbo, y su marido Alvar Pérez Osorio de Rojas Manrique, I Marqués de Astorga, por merced de Enrique IV, Señor de la Cepeda , Conde de Trastámara y de Villalobos, cuyos derechos pasaron con ocasión de su casamiento al Señorío de Cerralbo.

Ellos fueron quienes construyeron a mediados del siglo XV, en el lugar de Alberguería, perteneciente al entonces denominado "Campo del Algañán", el castillo, casa fuerte o albergue defendido, cuyos restos podemos visitar, siendo bastante probable que su construcción date de finales del siglo XIV, ya que, según la pesquisa llevada a cabo el 25 de febrero de 1483 por Luis Fernández Alcocer,  los Pacheco tenían ya posesión del lugar de Alberguería en el año 1376.