Si los primeros documentos escritos sobre el castillo son del siglo XIII, cuando el rey Alfonso X el Sabio permite utilizar la recaudación de multas para reparar el castillo, los primitivos restos arquitectónicos son del siglo XI en la antigua puerta mudéjar del lado sureste del castillo. Así, ocultos tras los sillares exteriores del torreón podemos apreciar arcos de ladrillos, muros de tapial, ventanas y estrechos pasadizos altomedievales mudéjares. A esta puerta sureste también se le conoce como “Torreón de la Memoria” ya que en ella se realizan las representaciones teatralizadas para disfrute de todo aquel que se acerque a este castillo durante cualquier fin de semana, pudiendo convivir con los diferentes personajes que lo habitaron a través de la magia del teatro.
A pesar de que con la llegada del primer duque de Alburquerque a Cuéllar se modificó en gran parte de la puerta del lado sureste del castillo cubriendo y recreciendo su volumen con una importante cantidad de sillares de piedra caliza, se conservan a la vista muchos restos de la arquitectura mudéjar anterior: arcos, torres, rastrillo o pasadizos de acceso al adarve.
Torres exteriores. Si observamos la puerta desde el exterior vemos que la torre rectangular del lado Este ( 5,2 metros por 2,6 metros de planta) tiene una base de sillería que llega hasta la línea de impostas 4 metros de altura , y a partir de esa altura aparece el muro de mampostería con hiladas de un solo ladrillo cada 110 cm. En cuanto a la torre del lado Este, las modificaciones y ampliaciones realizadas por el duque de Alburquerque solamente dejan ver en el exterior restos de la arquitectura mudéjar el paño interior, donde se aprecian las verdugadas de ladrillo alternado con el muro de mampostería.
Arcos de la puerta y rastrillos (Descripción desde el exterior al interior de la puerta).
Primer arco. Mirando la puerta desde el exterior de la liza tenemos un primer arco que aunque en la actualidad parece una parte más de la puerta mudéjar no existía cuando la puerta se levantó en el siglo XII, ni tampoco con los primeros duques de Alburquerque, ya que se construyó cuando la puerta perdió su función defensiva y se convirtió en la cabecera de una capilla que se mandó construir en el siglo XVII.
Segundo arco. Coincidiendo con el final de las dos torres exteriores y el principio de la puerta –lo que fue el primer arco mudéjar- encontramos un arco de tres roscas recuadrado con un alfiz; apareciendo pintadas la segunda y la tercera roscas imitando ladrillos con su mortero de cal. Bajo el arco doblado de ladrillo colocaron un arco con dovelas de piedra caliza que en parte también las enyesaron y pintaron imitando en este caso forma de sillares.
Rastrillos. Dos rastrillos o peines refuerzan la seguridad de esta puerta. Entrando a la puerta desde el exterior, el primer rastrillo se encontraría entre el segundo y tercer arco que estaría en un espacio hueco que vemos si miramos hacia arriba y que tiene 504 cm de longitud por 65 cm de anchura. No sabemos como era, pero consistiría en una gran reja metálica o de madera que se dejaba caer desde la planta superior para proteger la puerta.
El segundo rastrillo se encontraría entre una pareja de arcos, el cuarto y el quinto, que solamente dejan un espacio de 18 cm. lo que nos hace suponer que en este caso se trataría de una reja de hierro.
Tercer arco. De menor tamaño que los anteriores, conserva en parte -ya que uno de los lados está picada la forma original- su forma original de arco de herradura ligeramente apuntado o túmido realizado con dovelas de piedra y enmarcado por un alfiz de ladrillos. Sobre el alfiz tres pequeñas ventanas, dos cegadas y una con un pequeño vano rectangular abocinado que serviría para vigilar la puerta y el rastrillo.
Cuarto y quinto arcos. En la zona central de la puerta, bajo la bóveda de cañón en la que podemos ver las huellas de los tablones de su encofrado restaurados y un hueco con el piso superior que servía de vigía, hay un par de arcos muy juntos de fábrica de sillería hasta la línea de impostas y de ladrillos los arcos y el alfiz que los enmarca.
Sexto arco. Este arco desde el interior de la liza corresponde con el paño exterior de la puerta, está bastante restaurado, aunque se aprecia su fábrica de sillería de piedra caliza hasta la línea de impostas y el resto de ladrillos.
– Pasadizos de subida por la torre. La subida a los espacios superiores se podía realizar mediante dos estrechos pasadizos que con bóvedas de medio cañón donde se conservan pequeños arcos de ladrillo mudéjares y huellas de los tablones del encofrado y se encontraban en cada una de las dos torres que guardaban la puerta.
