Jakim sposobem dostał się obraz Matki Boskiej do Topolna i z skąd się wziął, nie można dziś tego historycznie wykazać. Opierać się musimy jedynie na podaniu ludowym, które tak opiewa:

Było to w uroczystość Nawiedzenia Najświętszej Maryi Panny w roku 1583. Dzień był jasny i pogodny. Naraz nad środkiem Wisły ukazała się jasność, tym dziwniejsza, że nie pochodziła od palącego się ognia. Ludzie widząc tę nadzwyczajną jasność pobiegli na wał, aby bliżej przypatrzeć się temu zjawisku. Tuż za wałem płynęła Wisła, która wtedy miała swoje koryto blisko Topolna, czego dowodem są znajdujące się jeszcze jeziorka, które zostały z dawniejszego koryta, lecz jakie było ich zdziwienie, gdy spostrzegli, że ta jasność unosiła się nad obrazem płynącym pod wodą. W milczeniu i ze strachem patrzyli na to zjawisko.

Ale potem, co widzieli poznali że to jest cud. Tymczasem obraz Najświętszej Maryi Panny wolniutko płynął i stanął tak, jakby się oparł o pień topoli. Chwilę jeszcze ludzie w podziwieniu czekali co się też stanie z tym obrazem. Lecz gdy się nie ruszył z miejsca ochłonąwszy ze strachu pośpieszyli do łódek, które były nad brzegiem, wsiedli w nie i popłynęli do tego obrazu. Bez trudu mogli go zabrać i z wielką radością przywieźli na ląd. Te chwile cudownego objawienia Matki Najświętszej jeden z Ojców Paulinów około roku 1734 wymalował na płótnie. Obraz ten wisi obecnie pod chórem w tutejszym kościele. Spodziewać się należy, że odnowiony zostanie i zawieszony będzie na miejscu widoczniejszym. Na tym obrazie widzimy Wisłę, a po jej prawej stronie Chełmno, Starogród i inne wioski. A po lewej stronie Topolno. W pośrodku Wisły między spienionymi falami widnieje obraz Matki Boskiej, nad którym unosi się jasność wielka. Fale wzburzone nacierają silnie na niego, ale obraz stoi niewzruszony. Na trzech łódkach płyną ludzie z różnych stron, aby obraz uratować. Gdy go przywieźli na ląd, w niemałym byli kłopocie, co z nim zrobić, gdzie go umieścić. Kościoła na ten czas nie było w Topolnie w którym by go ustawić mogli. Nareszcie postanowili urządzić godne dla niego miejsce tuż obok Bożej męki murowanej, która stała nad strugą przy drodze wiodącej do Grabowa. Na prędce zbudowali tu skromną kapliczkę, w której tymczasowo ustawili ten cudowny obraz. Wnet rozeszła się wieść o tym objawieniu się Matki Boskiej po całej okolicy. Z bliska i z daleka spieszył lud na to miejsce, aby Matce Najświętszej oddać cześć należytą. Wkrótce zabrano się do zbudowania kościółka. Żył w on czas w Topolnie możny i bogaty dziedzic Samuel Konarski, który tą sprawą gorliwie się zajął. Jeszcze tego samego roku wystawiono za jego staraniem kościółek drewniany na miejscu, gdzie dziś stoi krzyż kamienny. Kto przybywa do Topolna ze strony Grabowa lub Pruszcza, łatwo go spostrzeże, bo znajduje się między tymi szosami blisko miejsca, gdzie obie się łączą. W tym więc kościółku drewnianym został cudowny obraz Matki Najświętszej umieszczony. Jak ten kościół wyglądał, można widzieć na obrazie na którym ów zakonnik to cudowne objawienie wymalował aby też Matka Boska większej doznała chwały i nabożeństwo codziennie odprawiać się mogło przed jej cudownym obrazem, postarali się zacni Konarscy o to, że zawsze jeden z zakonników z pobliższych klasztorów tu przebywał. Zwykle sprawował urząd pasterski jeden z Ojców Franciszkanów z klasztoru Chełmińskiego, czasem też ktoś z Ojców Cystersów, którzy mieli swój klasztor w Koronowie. Proboszcza wtedy żadnego nie było w Topolnie, bo kościół ten był filialny i należał do parafii Gruczeńskiej. W kościółku tym pochowani zostali Samuel i Helena z Konopackich Konarscy, którzy ten przybytek Maryi szczególną opieką otaczali. Ich portrety znajdują się na owym historycznym obrazie, a pod nimi stoi napis łaciński, który tak brzmi w tłumaczeniu polskim:

"Samuel Konarski, Chorąży Pomorski,
Z małżonką Heleną z Konopackich
Świętemu obrazowi w Topolnie
Pierwszy kościół powstał w roku 1583.

Ale i później inni Konarscy dokładali wszelkich starań, aby chwała Maryi tu nie ustawała, lecz coraz więcej się wzmagała. W Jej uroczystości zazwyczaj mnóstwo ludzi się zbierało, jedni składając Jej dzięki za odebrane łaski, inni szukając przed Jej cudownym wizerunkiem pomocy i ulgi w cierpieniach. A Matka Najświętsza nie skąpiła swymi darami, lecz hojnie wydzielała je wiernym. O cudach jakimi zasłynął Jej obraz jest wzmianka w jednej z tutejszych ksiąg kościelnych. Albowiem od roku 1668 przebywał w Topolnie jako kapelan dziedzica Jana Konarskiego, wojewody Malborskiego i jako zastępca księdza Stanisława Drozdowskiego proboszcza z Gruczna, ksiądz Augustyn Stanisz, zakonnik z klasztoru Ojców Franciszkanów w Chełmnie, który pierwszy zaczął prowadzić osobne księgi kościelne.

Na pierwszej stronicy tej księgi, w której chrzty i śluby zapisywał, wspomina też o obrazie Matki Boskiej, który wyraźnie zowie cudownym.