O castelo ja existia em 1271, foi referido por D.Afonso III na sua carta de doação ao Infante D.Afonso. A muralha urbana também já existia em 1274,com portas. A muralha e o Castelo terão sido reforçados após o prolongado cerco que  D.DInis fez ao infante D.Afonso para recuperar Portalegre para a coroa. O castelo mantém as suas 3 torres, que eram ligadas entre si por muralha. A sala intermédia na Torre de Menagem tem uma abóbada manuelina, com nervuras chanfradas, formando uma estrela de quatro pontas, com bocetes decorados com a Cruz de Cristo e motivos vegetalistas, exibindo no fecho o escudo real. A torre que atingia maior altitude situa-se a norte, é maciça até ao nível do adarve, apenas com uma sala abobadada e frestada, acessivel por uma única porta de estilo romanico (impostas de recorte côncavo e tímpano com baixo relevo do sol flamejante). Houve uma tomada deste castelo pela população em 1387, revoltado contra o seu alcaide D.Pedro Álvares Pereira, que tomara o partido castelhano.