Mit den Steinen der 1291 von Bischof Siegfried II zerstörten einstigen Reichsburg Harliburg errichtete Graf Burchard VII von Wernigerode um 1300 die Borch op de Fiene. Die Grafen verkauften sie 1367 an Bischof Gerhard, 1523 kam sie an das Fürstentum Braunschweig-Wolfenbüttel. Von 1643 bis 1802 gehörte sie zum Hochstift Hildesheim. Im gleichen Jahr wurde die Vienenburg in eine preußische Domäne umgewandelt. Seit 1963 ist die Vienenburg in Privatbesitz mit wechselnden Eigentümern und Nutzungen.