In der Schlacht bei Mühlberg unterlag Johann Friedrich der Großmütige den Truppen Kaiser Karls V. Nach der Kapitulation fiel die Kurwürde und damit Schloss Hartenfels an Moritz von Sachsen. Dieser und seine Nachfolger hielten vorrangig in Dresden Hof. Die Geschichte von Schloss Hartenfels als eine der bedeutendsten Residenzen Sachsens endete schließlich gänzlich mit dem Ausbruch des 7-jährigen Krieges im Jahre 1756. Es folgte eine militärische Umnutzung der einstigen kurfürstlichen Räume.

In den Folgejahren wurden Schloss und Kapelle in verschiedensten Formen genutzt, so z. B. als Waisen-, Zucht- und Arbeitshaus. Im Jahre 1811 veranlasste der sächsische König Friedrich August I. nach Aufforderung durch Napoleon Bonaparte den Bau der Festung Torgau. Im Zuge dessen wurde Schloss Hartenfels zu einer Defensionskaserne umgebaut. Spuren dieser militärischen Nutzung lassen sich an einzelnen Stellen des Gebäudes noch heute erkennen.