Foi concedida a licença para a fundação do Convento dos Missionários Apostólicos Franciscanos de Vinhais em 7 de Janeiro de 1740, por D. João V, às entidades de Vinhais e seus moradores. Em 12 de Novembro de 1751, D. Frei João da Cruz, Bispo de Miranda, autorizou os missionários apostólicos do Convento de Varatojo a fundar «no sítio da Taipa o Seminário de Nossa Senhora da Encarnação de religiosos da Ordem de São Francisco missionários apostólicos do Instituto de Brancanes».

Esta propriedade foi doada por José de Morais Sarmento, natural de Vinhais, grande impulsionador da obra. A primeira pedra foi lançada a 6 de Janeiro de 1752. O ilustre José Morais Sarmento, que faleceu em 1762, cedeu em testamento a remuneração de 48 anos e pediu que o seminário passasse a ser do padroado real da coroa … Esta obra teve outros benfeitores como José de Magalhães, morgado de Valpaços, patrocinador em 1785 do tanque e, provavelmente, do claustro ou parte dele, como é possível verificar na inscrição gravada na parede do tanque.

Com a expulsão das ordens religiosas do país, pelo Decreto de 28 de Maio de 1834, grande parte do espólio e bens do seminário passaram para a tutela do Estado. Após a expulsão dos religiosos, o Convento foi vendido a particulares, servindo de alojamento das repartições públicas e de quartel do destacamento militar. Foi arrendado pelo prelado de Bragança, D. José Lopes Leite de Faria, para servir de seminário diocesano, em 15 de Novembro de 1920. Com a compra do Imóvel pela diocese, passou a funcionar como Seminário Menor. Actualmente, encontra-se desactivado.

Fazem parte deste conjunto as Igrejas de São Francisco, Capela de N.º Sra. das Dores e Capela da Oração de Jesus no Horto, propriedade da Ordem III de São Francisco de Vinhais e a Igreja do Seminário, dedicada a N.ª Sra. da Encarnação. Na fachada barroca de alvenaria, emoldurada por fortes pilastras, há janelões gradeados com moldura joanina e pináculos que rematam as cornijas onde se rasgam os frontões. O portal tem três arcos, da mesma altura, abrindo-se o arco central para o átrio dando acesso à igreja e ao seminário. Sobre estes surgem as armas de D. Maria I e em cima dos arcos rasgam-se três janelas. A central, como as restantes, tem jambas rectas sobre as quais aparece um arco carpanel. Sobre o entablamento, dentro do tímpano, há um nicho que alberga a imagem de Nossa Senhora da Encarnação. No frontão destaca-se o escudo dos franciscanos. O arco da fachada está coroado, no centro, por uma cruz assente numa peanha barroca, e dos lados por duas pirâmides.