In 1112 vermeldde bisschop Odo ons als een appendix van Wambeek. Het is het eerste schriftelijk bewijs van kerkelijk leven in Ternat. In de kerk is de kapel in de Noorderlijke kruisbeuk – de zogenaamde t’ Serclaeskapel – het oudste gedeelte. De wapenschilden van t’ Serclaes en een zeer oud fresco op de muur van het koor verwijzen naar die tijd.
Honderd jaar later in 1268 zal Ternat een zelfstandige parochie worden. De eerste patroonheilige van de parochie was niet de H. Gertrudis, maar wel Onze-Lieve-Vrouw, zoals blijkt uit een testament van 1502 van Geerom De Leener, dat bewaard wordt in de archieven van de kerk, berustend bij het rijksarchief.
De kerk is dan langzaam, naargelang de noodwendigheid, gebouwd en uitgebreid. Op de rib boven de preekstoel vinden we het jaartal 1627.
In 1692 werd de kerk bij een hevig onweer door de bliksem getroffen en gedeeltelijk vernield. Het dak en het koor brandden uit en de klokken smolten weg. De gelovigen met de pastoor hebben niets onverlet gelaten om de schade aan de kerk te herstellen. Niettemin zou de wederopbouw vijfentwintig jaar duren.
