Im Jahre 1425 schließlich begann der Bau der Kirche, finanziert von einer Stiftung des Wittelsbacher Herzogs Ludwig VII., geplant als seine Grabkirche. Diesen Zweck erfüllte sie allerdings nie, da Herzog Ludwig in Gefangenschaft starb und im Kloster Raitenhaslach begraben wurde. Im Jahre 1438 stiftete er der Kirche noch ein wertvolles Marienbildnis, das 1801 zerstört wurde. Dieses Marienbildnis war Namensgeber für die Kirche, die danach den Namen Zur Schönen Unserer Lieben Frau trug. Im Jahre 1441 stiftete Ludwig noch einen Armenkonvent von 1000 Armen, die im Gegenzug für Geld und Essen für seine Seele beten sollten. Zu der Aufstellung des Armenkonvents kam es allerdings nie. Im Jahre 1525, 100 Jahre nach dem Baubeginn, wurde das Münster fertiggestellt. Die wesentlich höher und mit Spitzen statt Hauben geplanten Türme wurden nicht zu Ende gebaut.

Große Blüte erfuhr das Münster zu der Zeit, als es zugleich Pfarr- und Universitätskirche war, wovon heute noch der Hochaltar von Hans Mielich zeugt. Er wurde im Jahre 1572 anlässlich des hundertjährigen Bestehens der Bayerischen Landesuniversität errichtet.

Der berühmte Ingolstädter Kontroverstheologe Johannes Eck war lange Jahre Münsterpfarrer und wurde nach seinem Tod 1543 hier beigesetzt. Auch der Humanist und Ingolstädter Professor Veit Amerbach fand im Liebfrauenmünster seine letzte Ruhestätte.