Inicialmente denominada de Quinta da Granja, foi propriedade escolhida pelos Frades Franciscanos, no último quartel do século XV, para a instalação do seu novo Convento, dedicado a Nossa Senhora da Conceição (imagem que daria o nome à Quinta), depois de terem abandonado o Convento de S. Clemente das Penhas (Boa-Nova) devido ao clima agreste próprio da proximidade ao mar.

Actualmente ainda é visível o antigo claustro do convento, alguns chafarizes, um portal de estilo manuelino (que pertenceu à igreja do convento) e a capela de São Francisco, onde se encontra sepultado Frei João da Póvoa,confessor do rei D. João II.