Nachdem seine erste Gemahlin, Sophie von Mecklenburg, 1503 bei der Geburt des späteren Kurfürsten Johann Friedrich im Kindbett verstarb, ehelichte er 1513 Margarete von Anhalt.

Im Jahre 1527 wurde auf Schloss Hartenfels der Bund zwischen Johann Friedrich und Sibylle von Cleve geschlossen. Dynastisch besonders bedeutend war schließlich die Vermählung von Herzog August mit Anna von Dänemark im Jahre 1548.

In den Jahren der albertinischen Kurwürde war Schloss Hartenfels vor allem in der Zeit von 1547-1550 Ort bedeutender Hoflager. Dresden avancierte nun zur bevorzugten Residenz, nachdem die ernestinischen Kurfürsten seit dem 15. Jahrhundert vorzugsweise auch in Torgau Hoflager hielten.

Dessen ungeachtet war Schloss Hartenfels bis ins 18. Jahrhundert Schauplatz vieler bedeutender Landtage und opulenter Feierlichkeiten der Wettiner. Hier wohnte z. B. der russische Zar Peter der Große 1711 der Vermählung seines Sohnes Alexej mit Charlotte Christine von Braunschweig-Wolfenbüttel bei. Die Braut war am Hofe der sächsischen Kurfürstin Eberhardine, der Gemahlin Augusts des Starken, erzogen worden. Der Zar selbst wohnte während seines Aufenthaltes in der ehemaligen Kurfürstlichen Kanzlei, dem heutigen Stadtmuseum.