Das Schloss wurde auf den Grundmauern einer mittelalterlichen Burganlage gebaut. Gesicherte Befunde zum Erscheinungsbild der mittelalterlichen Burg konnten bisher nicht ermittelt werden. Der heutige Kapellenturm – wohl einst der Bergfried – in der Anschlussstelle zwischen Flügel B und Flügel A wird in das 14. Jahrhundert datiert und gilt als ältester erhaltener Teil der einstigen Burg.

Mitte des 15. Jahrhunderts wurde Torgau zu einer bevorzugten Residenz von Kurfürst Friedrich dem Sanftmütigen. Sein Sohn, Herzog Albrecht, veranlasste  ab 1484 einen Neubau (heute Flügel D) zum Zwecke der eigenen Hofhaltung.

Nach der Leipziger Teilung residierte der Kurfürst Friedrich der Weise - ein Neffe Albrechts - bevorzugt in Torgau. Ab 1514 veranlasste dieser umfassende Baumaßnahmen im Bereich des heutigen Flügels B, dem damaligen Hofstubenbau. Nach seinem Tod 1925 wurde sein Bruder Johann der Beständige Kurfürst.

1532 trat Kurfürst Johann Friedrich der Großmütige die Regierungsgeschäfte an. Unter ihm avancierte Schloss Hartenfels zu einem der modernsten und imposantesten Schlossanlagen Europas und bekräftigte damit den Führungsanspruch des ernestinischen Kursachsens in der evangelischen Reformbewegung des Schmalkaldischen Bundes. Auf Schloss Hartenfels wurden die Grundlagen für die Entwicklung des neuzeitlichen Wohnschlosses gelegt. Das Schloss wurde Vorbild für viele repräsentative Schlossbauten des 16. Jahrhunderts, wie z. B. das Berliner Stadtschloss unter der Bauherrschaft von Kurfürst Joachim II. von Brandenburg. Der Große Wendelstein (Bauzeit 1533-1537) zählt zu den Inkunabeln der Architekturgeschichte. Das Meisterwerk des Baumeisters Konrad Krebs ist eine freitragende Treppenspindel ohne Mittelsäule, deren geschossübergreifende Erscheinung besonderen statischen Prinzipien unterliegt. Er ist nun nicht nur funktionales Bauteil, sondern auch ein Stück herrschaftlicher Repräsentation. Der Groteskenfries in der Spiegelstube des Großen Wendelsteins ist eines der seltenen Beispiele einer erhaltenen Wandmalerei der Wittenberger Cranach-Werkstatt. Archivalien belegen zudem die Beteiligung Cranachs an der Ausgestaltung der Kurfürstlichen Gemächer im Jahre 1544.