De parochie Bergen viel tot in de dertiende eeuw onder het officium Weeze in het dekenaat Straelen, aartsdiaco­naat Xanten en bisdom Keu­len. Het benoemings­recht van de pastoor van Bergen werd door dit kapit­tel vele eeuwen uitge­oe­fend. In de dertiende eeuw oefende de aarts­bisschop van Keulen het kerkelijk bestuur en het benoe­mings­recht vanuit het aartsdia­co­naat Xanten. De bedehuis, de latere dom van Xanten, werd in de Franki­sche tijd toegewijd aan de vermoor­de Romeinse hoofd­man St. Vic­tor, die tussen 348 en 363 bij Xanten door zijn krijgs­broeders vermoord zou zijn, omdat hij als christen weigerde aan hun heidense goden te offeren. Boven het graf van deze vermoorde christen bouwde men een gebedshuis, vervolgens een kerk en tenslotte de dom.

abdij van St. Victor 1655 (Wikipedia)

Herinneringen aan de heilige Victor en daaraan verbonden gewoon­ten zijn tot in onze tijd gebleven. Na de Tweede Oorlog wisselden of 'vigterden' de boerenmei­den en knechten in Noord­-Limburg van betrekking bij een heerboer. Deze verandering geschied­de altijd op de feestdag van St. Victor, 1 mei, van­daar het werkwoord 'vigteren'. 
Later, omtrent de zestiende eeuw, was dit recht in handen gekomen van de heer van kasteel de Hattert onder Vierlings­beek. In de jaren 1547 en 1550 was Johan van den Hat(t)tert pastoor van Bergen. Peter van den Hatert, die op het gelijkna­mige kasteel woonde, bezat in 1551 het begevingsrecht van de pastorie van Bergen (Lb). Peter was gehuwd met Margriet van Merwick. De adellijken van den Hatert sproot uit die van Mier­laer (=Meerlo/Wanssum) en voerden hetzelfde wapen.

Romaanse toren en parochiekerk

Bij de oude toren van Bergen, die wij misschien moeten date­ren uit de tijd van de eerste kerkenbouw omstreeks het jaar 800, hebben verschillende kerken ('n romaanse-, 'n gotische- en sedert 1827/28 een waterstaatkerk) gestaan. Onge­twij­feld heeft er bij de plaats van een belangrijke Maasover­gang naar Vier­lingsbeek en vlak­bij de toren eerst een houten kapel gestaan. Bij de af­braak van het kerkgebouw in 1932 jaren werden paal­funderingen gevon­den, die vrijwel zeker hebben gediend voor de toren, die in de twaalfde eeuw werd opgetrokken als een ro­maanse vluchttoren. Brede naar buiten spits-toelopende schiet­gaten in de torenmuren toonden dat aan, tot de verdere ver­woesting in 1944. Pastoor J. Munne­com, die veel voor het behoud van de toren heeft gedaan, liet in 1942 een journalist de oostelijke toren­muur zien, waardoor de verdedigers kropen, wanneer zij het onder in de toren niet meer konden bolwerken tegen de belagers. Het onderste gedeelte, gebouwd met ijzer­oersteen en maas­keien op funderingen van circa een meter breed en hoog, wijst op een bouwwerk uit deze periode. De funda­ties waren volgegoten met dunne witte kalkspecie of 'meel'. De specie was erg taai en scheurde niet. Aannemer Huyberts van Nijmegen voerde de resten van de ijzer­oerfundaties van het kerkgebouw als bouwaf­val-sloop af naar Bergharen, waar hij onder­grond nodig had voor een aan te leggen weg. 
Veel ijzeroer­steen is in de loop van de eeuwen uit de lege wei- of broeklanden verdwenen. Hier en daar vinden we het nog wel. Na 1955 werden bijvoor­beeld nog voorstellen uitge­werkt om de grond te verbeteren en om de ijzeroer­banken te breken, zoals die onder Siebengewald lagen.

Ook de toren van Afferden en de onderkerk van de St. Petrus­kerk te Boxmeer is duidelijk op de fundering met het­zelfde bouwmate­riaal gebouwd; het ijzeroer was makkelijk in de direc­te omgeving te vin­den. Rond 1500, wellicht na 1400, werd de toren van Bergen verbouwd en met mergelsteen uit Zuid-Limburg opgehoogd. Later, omstreeks 1700, werd een derde geleding van veldovensteen daarboven aange­bracht, afge­dekt met een pits van eikendakbeschot met opgespij­kerde leien. De over­gebleven stenen rompruïne van de toren vertoont aan de oostzijde nu nog al deze fasen. Onder toezicht van Monumentenzorg werd de toren in 1941/1942 en na de laatste oorlog gerestau­reerd.
Aan de oostelijke buitenmuur van de toren zijn diverse aanzetten van aangebouwde kerken te zien. Met zekerheid kunnen vier kerkgebouwen aan de oostzijde worden geconstateerd, die in de loop van de eeuwen aangebouwd werden. De laatste kerk was van 1827/8 en werd in de dertiger jaren afgebroken toen daar een nieuwe kerk in de onmiddel­lijke omgeving werd ge­bouwd.                 

Deze nieuwe kerk werd tijdens een grana­ten regen van de geallieerden in puin geschoten. In oktober 1944 vielen de eerste geallieerde granaten op Bergen. Dit werd steeds heviger tot op 3 maart 1945 de bevrijdingsdag daar was. De bevolking werd in januari 1945 door de Duitsers gedwongen tot algehele evacuatie. De dorpen Heijen en Afferden waren reeds vanaf oktober 1944 verdreven. Toen de bewoners in de zomer van 1945 geleidelijk uit de noordelijke provincies terugkeerden werd de wederopbouw ernstig bemoeilijkt door gebrek aan de meest elementaire zaken en grondstoffen. Vele noodwoningen werden gebouwd. De uitgestrekte mijnenvel­den en vele Boby traps hebben het herstel van de veeteelt en de landbouwbedrijven vele jaren ten zeerste belemmerd. Slacht­offers van mijnex­plosies waren aan de orde van de dag.  Pastoor Frans Peeters bouwde de Bergense parochiekerk vol­gens dezelfde teke­ning, enigszins ver­groot, weer op, zodat zij 12 februari 1950 weer kon worden ingezegend.

De ondergrond van het natuur- en heidegebied van Bergen be­staat uit een pakket grof tot zeer grofstuifzand van wisselen­de dikte, door westenwinden afgezet op een vlak rivierterras van zand en grind. Tegen het einde van de laatste ijstijd is dit laag­terras afge­zet door een verwil­derde en sterk vlechten­de Maa­sstroom. Als regenrivier met een hoge stroomsnelheid was er aanvanke­lijk geen vaste bedding maar een netwerk van vele riviertak­ken. Geleidelijk werd het klimaat milder en het verval van de rivier geringer. Het natuurgebied van de Berger- en Gemeenteheide bedroeg in de zeventi­ger jaren van deze eeuw nog ongeveer 1100 hecta­re. Ruim eenderde hiervan bestaat uit stuifzand, heide en veen; de rest heeft bosaanplant gekre­gen. Helaas hebben groot­se afgra­vingen in de laatste decennia een grote greep gekregen en de belangen van het natuurbehoud ernstig geschaad. Voor de toevoeging van Heijen bij de gemeente Gennep bedroeg de grootte van de gemeente Bergen, sedert de bepa­lingen van het Wener Congres in 1815, in de lengte 26 kilome­ter en de breedte gemiddeld vier à vijf kilometer. De kanon afstand van de Maas was bepalend geweest voor de landsgrens. Het gehele Noord-Limburgse gebied werd hierdoor van zijn natuurlijk achterland afgesneden in een sociaal-economisch isolement gebracht. Alleen bij het dorp Sieben­gewald vertoont de breedte enige afwijking namelijk negen kilometer. Met een oppervlakte van 12.600 ha behoorde Bergen tot een van de meest uitgestrekte gemeenten van Nederland. Van ouds is de betekenis van de rivier de Maas groot geweest, als een verbindende en een scheidende functie. De dorpen en de middeleeuwse burchten vindt men langs deze vaarweg.

Waarschijnlijk dateert de ruime Sint Tunnes kapel van het einde van de 16e, begin 17e eeuw. Het klokje dateert van 1621. Na de laatste wereldoorlog heeft deze kapel geruime tijd dienst gedaan als parochiekerk wegens verwoesting van de Bergse kerk.

Rond de jaren 1652 liep er een groot proces tussen de heer van Bleij­en­beek en de kerkmeesters van Bergen over een stuk land, dat 'die Schair' was geheten en onder Bergen gele­gen. Op 13 februari 1669 kwam daarover een regeling tot stand tussen Otto Schenk von Nijdeggen en de pastoor van Bergen. De spelregels met betrekking tot het innen van de plaatselijke kleine tiend kregen hun beslag.