Von der Burg Konzenberg existiert heute der Rest des Bergfrieds aus mächtigen Muschelkalk- Buckelquadern als Ruine auf der Gemarkung der Gemeinde Wurmlingen bei Tuttlingen .

Erbaut wurde die Burg im hohen Mittelalter. Für das Jahr 1239 ist dokumentiert, dass sie sich im Besitz der Herren von Wartenberg befand.

Der Name stammt offenbar von einem späteren Besitzer, einem Konrad ("Konz") von Hirschegg, der durch die Hochzeit mit einer Udihild von Wartenberg in den Besitz der Burg gelangt war. Mit der Burg waren auch die Dörfer Seitingen, Oberflacht und Weilheim in den Besitz Konrads gekommen.

Nach dem Aussterben der Wartenberger 1345 kam die Burg an das Konstanzer Domkapitel und später an die Konstanzer Domprobstei, deren Verwaltungssitz sich in Wurmlingen befand. 1602 arrondierte die Domprobstei die Herrschaft Konzenberg mit dem Erwerb des Dorfes Durchhausen. Durch die napoleonische Neuordnung Anfang des 19. Jahrhunderts kam die Herrschaft Konzenberg 1803 zu Baden und 1806 zu Württemberg.

1820 wurde die Burg Konzenberg auf Abbruch verkauft.