Da die Bürger bereits Philipp den Treueeid geschworen hatten, rebellierten sie gegen Friedrich. Wenige Monate später ließ er die Stadt durch seine Truppen besetzen und drei Rädelsführer des Aufstandes hinrichten. Aus Angst, dass sich ein solcher Aufstand wiederholen könnte, ließ er das Schloss zu einem Wasserschloss ausbauen. Die Vils verband zwei Stadtgräben, von denen einer noch heute existiert. Die „Amberger Hochzeit“ , bei der Philipp Margarete, Tochter von Herzog Ludwig IX. von Bayern-Landshut ehelichte, stimmte das Volk wieder versöhnlich.
Im Hauptbau des Schlosses befanden sich im 18. Jhd. die Wohnräume des damaligen Statthalters Ludwig Graf von Holnstein. Die „vordere Kemenate“ musste 1768 einem Barockgarten weichen. Zum letzten Mal residierte Kurfürst Max IV. um 1800 im Kurfürstenschloss. Seit 1989 wird es als Verwaltungsgebäude des Landratsamtes Amberg-Sulzbach genutzt. Das Zeughaus stammt aus dem Jahre 1502, errichtet unter Kurfürst Philipp. Bauliche Veränderungen gab es einige, so zum Beispiel Einbauten von Stallungen für die Pferde der Kavallerie, die allerdings durch einen Großbrand von 1945 starke Schäden davontrugen. Der Wassertorbau, der 1454 als „Gang über die Vils“ errichtet wurde, wird im Volksmund „Stadtbrille“ genannt und gilt als Wahrzeichen Ambergs.
