De entre los edificios que rodean la Plaza Mayor resalta por encima de todos los demás el Palacio Ducal. Y no sólo por sus dimensiones sino también por sus valores históricos y arquitectónicos. Posiblemente él solo contenga tanta historia como toda la ciudad de Béjar y es que siempre fue el centro neurálgico y el centro de poder, en especial desde que en el siglo XVI se convirtiera en la residencia habitual de los Zúñiga, Duques de Béjar.

Antes de aquel siglo, la tradición sitúa en este lugar un castro romano, un cenobio visigodo y una alcazaba árabe. Siendo éstas hipótesis muy probables no se pueden certificar, más segura parece la teoría de que este palacio está construido sobre los muros de un antiguo castillo medieval, de hecho la fachada este, la que se observa desde la Plaza Mayor, conserva todo su carácter militar, con torreones, altos muros, almenas y contrafuertes. Más aspecto palaciego tiene sin duda el lateral sur, el que mira al monte, con tres alturas de ventanas blasonadas. Pero sin duda el gran elemento atractivo y valioso se encuentra en el interior del edificio, su claustro con patio es uno de los más bellos de la zona, y una de las joyas monumentales de Béjar. El arquitecto que llevó a cabo las obras del palacio, Pedro de Marquina, tuvo la capacidad de darle a este espacio una gran esbeltez con lo que la altura de los dos pisos de arcadas parece visualmente mayor. Los lados norte y sur del patio están ocupados por doble arcada de columnas jónicas entre las que campean pequeños escudos de los Zúñiga y los Sotomayor y, al igual que sucede en la villa de El Bosque, los completan blasones con las siglas FG, en referencia a Francisco, duque de Béjar, y a su esposa Guiomar. El lateral sur está formado por una gran escalinata de aire algo gótico con columnas rampantes unidas por sus capiteles a través de arcos adintelados de grandes dimensiones. El lado que queda, el oeste, es plano y en él campean dos gigantescos escudos de granito de idéntica heráldica a la mencionada. Están situados sobre una muy bella fuente también de granito llamada de la Venera, pues una venera en forma de concha es la que la que la configura empotrada en la pared. Al igual que el resto del conjunto se construyó a finales del siglo XVI.

En las esquinas exteriores del palacio quedan algunos de los ocho torreones con los que se ideó la construcción, habiendo desaparecido los más espectaculares que eran los que se localizaban en los extremos sureste y suroeste, rematados con dos grandes chapiteles barrocos. Las estancias interiores del edificio están muy modificadas por las sucesivas reformas, saqueos e incendios que se han producido a lo largo de los años y en especial las trasformaciones llevadas a cabo en los años sesenta del siglo XX para convertirlo en instituto de enseñanza media. A pesar de ellas los lados más visibles de este antiguo castillo mantienen hoy un aire soberbio de gran fortaleza y le dan a la Plaza Mayor su aspecto más histórico y sugerente.