Gesicherte Befunde zum Erscheinungsbild der mittelalterlichen Burg konnten bisher nicht ermittelt werden. Der heutige Kapellenturm – wohl einst der Bergfried – in der Anschlussstelle zwischen Flügel B und Flügel A wird in das 14. Jahrhundert datiert und gilt damit als ältester erhaltener Teil der einstigen Burg.

Torgau wurde Mitte des 15. Jahrhunderts zu einer bevorzugten Residenz von Friedrich dem Sanftmütigen. Sein Sohn, Herzog Albrecht, veranlasste schließlich ab 1484 einen Neubau (heute Flügel D) zum Zwecke der eigenen Hofhaltung. Nach der Leipziger Teilung residierten die Neffen Albrechts – die Kurfürsten Friedrich der Weise und Johann der Beständige – bevorzugt in Torgau. Ab 1514 veranlassten dieser umfassende Baumaßnahmen im Bereich des heutigen Flügels B, dem damaligen Hofstubenbau. Unter Kurfürst Johann Friedrich dem Großmütigen avancierte Schloss Hartenfels schließlich zu einem der modernsten und imposantesten Schlossanlagen Europas und bekräftigte zugleich den Führungsanspruch des ernestinischen Kursachsens in der evangelischen Reformbewegung des Schmalkaldischen Bundes.

Schloss Hartenfels legte die Grundlagen für die Entwicklung des neuzeitlichen Wohnschlosses und war Vorbild für viele repräsentative Schlossbauten des 16. Jahrhunderts wie z. B. das Berliner Stadtschloss unter der Bauherrschaft von Kurfürst Joachim II. von Brandenburg. Der Große Wendelstein (Bauzeit 1533-1537) zählt zu den Inkunabeln der Architekturgeschichte. Das Meisterwerk des Baumeisters Konrad Krebs ist eine freitragende Treppenspindel ohne Mittelsäule, deren geschossübergreifende Erscheinung besonderen statischen Prinzipien unterliegt. Er ist nun nicht nur funktionales Bauteil, sondern auch ein Stück herrschaftlicher Repräsentation. Der Groteskenfries in der Spiegelstube des Großen Wendelsteins ist eines der seltenen Beispiele einer erhaltenen Wandmalerei der Wittenberger Cranach-Werkstatt. Archivalien belegen zudem die Beteiligung Cranachs an der Ausgestaltung der Kurfürstlichen Gemächer im Jahre 1544.