Emplazado en una pequeña elevación, tuvo una importante relevancia durante la Encomienda de Alcántara por ser una de las más potentes fortalezas de la zona. El estado de la fortaleza se conoce en 3 períodos concretos por las descripciones manuscritas del "Libro de Visitas de la orden de Alcántara": en 1561, 1619 y 1816.

En 1561,se describe cómo el castillo tenía dos cinturones amurallados paralelos donde se encontraba la gran Torre del Homenaje. Al primer recinto se accedía por una puerta flanqueada por dos torres, y al segundo por otra puerta ubicada enfrente de la primera. Ambas comunicaban con sendos patios donde se encontraban las caballerizas y la casa del portero.

El centro del fuerte estaba rodeado de dependencias como las bodegas, cocina, caballerizas, alojamiento de tropas y panera además de hallarse la Torre del Homenaje, de forma prismática, a base de cantería y con mazmorras en los sótanos.

Según el informe de 1619, se describe una tercera barbacana o recinto exterior, en el que se abría una puerta de la que partía el camino a Valverde del Fresno y otra que comunicaba hacia la villa de Eljas.

Por entonces, el castillo ya contaba con aljibe y capilla. Y por último, en 1816 se indica cómo se le añaden nuevos recursos defensivos como el foso y garitas. En la actualidad, restan tan sólo dos torreones, uno prismático y otro circular, y parte del recinto principal.

En el circular, de sillería, aún se aprecia una garita (deteriorada). Disponía un sótano que hizo de mazmorra. La otra torre, la prismática, también de sillería, estaba organizada en dos pisos y al igual que la anterior poseía un sótano que realizaba las funciones de mazmorra.

La historia del Castillo de Eljas va muy unida al pasado de la villa: sin documentos que lo demuestren, la primitiva fortaleza posiblemente fuera de origen árabe (finales del siglo IX). Pertenecía al grupo de sistemas defensivos de la Transierra occidental junto a Trevejo, Salvallón, Rapapelo y las fortificaciones más meridionales de Milana, Coria, Bernardo, Benavente, Peñafiel y Godos.

En 1212 Alfonso IX lo entregó a la ciudad de Coria, decisión que respetaron también Fernando III y Alfonso X. Hacia el 1474, el caballero Fernán Centeno tomó el castillo por su negativa al maestrazgo de Alcántara que pretendía Alonso de Monroy. Las guerras con Portugal afectaron al castillo durante el siglo XVII. Intervinieron en reformas efectuadas los arquitectos Pedro de Ybarra y Juan Bravo. A finales del siglo XVIII comienza la decadencia del Castillo de Eljas.