Sein Nachfolger Kardinal Albrecht griff den Gedanken wieder auf, hielt es aber für ungünstig, das Stift direkt in der Moritzburg aufzurichten. Die Festung wäre dadurch möglicherweise angreifbar geworden.
Also erwirkte er die Erlaubnis von Papst Leo X., das Neue Stift in ein beliebiges Kloster der Stadt zu verlegen, die Klöster einzuziehen und die Mönche zu versetzen. Daraufhin ließ er das Kloster zum Neuen Werk und die Ulrichkirche abbrechen und nutzte die Baumaterialien zum Bau seines Neuen Stiftes. Das Dominikanerkloster St. Pauli zum heiligen Kreuz bestimmte Kardinal Albrecht zum Standort seines Neuen Stiftes und versetzte die Mönche in das Kloster St. Moritz.
Die Klosterkirche ließ Kardinal Albrecht zur Domkirche umbauen.
