A primeira referência à Torre de Quintela surge nas Inquirições de D. Afonso III, em 1258; já nos finais do século XVII são registados os foros e prazos recebidos pelo seu senhor, o Conde de Vimioso, no Tombo da Torre de Quintela. Nesse documento constam informações que indicam claramente que, para além da torre, a herdade era composta por outras construções, nomeadamente uma capela em honra de Santa Maria Madalena, e um terreiro situado entre os dois edifícios. No início do século XX esteve iminente o seu desaparecimento mas, pelo facto de ser demasiado dispendioso para o seu proprietário desmontá-la, para aproveitamento da pedra, tal não aconteceu. Em 1910 foi classificada como Monumento Nacional, e em 1982 sofreu trabalhos de restauro que lhe conferiram o seu aspecto actual.