Die Waldberger Pfarrgeschichte reicht nach Überlieferung bis ins späte Mittelalter zurück. Eine Kirche mit dem Patrozinium "St. Vitus" stand aber wahrscheinlich schon im 10. Jahrhundert. Im Laufe der Jahrhunderte musste Waldberg jedoch zweimal als Pfarrei aufgegeben werden.
Im Jahr 1812 wurden die Gebeine der Heiligen Radegundis von Wellenburg, zu dessen Herrschaft Waldberg seit dem Jahr 1377 gehörte, nach Waldberg übertragen. Die vorhandene "St. Vitus Kirche" erwies sich als baufällig und viel zu klein, um die Radegundis - Feierlichkeiten in derselben Weise abzuhalten, wie diese früher in St. Radegund (bei Wellenburg) üblich waren.
So wurde die "St. Vitus Kirche" im Jahr 1817 abgebrochen und anschließend der Bau unserer heutigen Kirche, nach den Plänen des Architekten Johann Michael Voit erbaut. Der Neubau wurde im Herbst 1818 vollendet. Der erste Gottesdienst in der neuen Kirche wurde am 2. Oktober 1818 zum Begräbnis des damaligen Pfarrkuraten Benedikt Schregle gefeiert (eine Grabschrift aus Kalkstein befindet sich in der linken Seitenwand unter der Empore).
Die ersten Radegundis-Feierllichkeiten in herkömmlicher Form wurden dann im Jahr 1819 begangen. 1828 wurde die Kirche auf den Titel der "Allerheiligsten Dreifaltigkeit" und der Patronin "St. Radgundis" (wie die ehemalige Radegundiskirche in Wellenburg) geweiht. Doch auch das Patrozinium der alten Kirche "St. Vitus" wurde weiterhin gefeiert. Erst im Jahre 1936 wurde Waldberg dann wieder von einer Kuratie zur selbständigen Pfarrei erhoben.