Daher entfernten sich Otto III. und Papst Silvester II. aus Rom und zogen nach Norden in Richtung Ravenna. In der Folgezeit empfing Otto Gesandtschaften von Boleslaw Chrobry, vereinbarte mit einer ungarischen Gesandtschaft die Einrichtung einer Kirchenprovinz mit dem Erzbistum Gran als Metropole und sorgte dafür, dass der neue Erzbischof Askericus Stephan von Ungarn zum König erhob. Außerdem festigte Otto in dieser Zeit die freundschaftlichen Beziehungen zu Pietro II. Orseolo, dem Dogen von Venedig; mit ihm traf er sich heimlich in Pomposa und Venedig. Seinen Sohn hatte Otto schon 996 als Pate angenommen, 1001 hob er seine Tochter aus der Taufe.
Dagegen zeichneten die hagiographischen Quellen - die Romualds-Vita des Petrus Damiani und die Vita der fünf Brüder des Brun von Querfurt - in diesen Monaten das Bild eines seelisch zerrissenen Monarchen. Otto soll zur Fastenzeit 1001 den Einsiedler Romuald in Pereum aufgesucht und sich dort Buß- und Fastenübungen unterzogen haben. Die Aussagen dieser Zeugnisse gipfeln in einem Versprechen Ottos, die Herrschaft einem Besseren zu überlassen und in Jerusalem Mönch zu werden. Allerdings wolle er noch drei Jahre lang "die Irrtümer" (errata) seiner Regierung berichtigen. Welche Irrtümer er meinte, wurde nicht gesagt. Gegenüber anderen Herrschern des frühen Mittelalters ist die Dichte der Quellenaussagen über asketische Leistungen und monastische Neigungen des Kaisers in jedem Falle singulär.
Gegen Ende des Jahres 1001 zog er mit den Kontingenten einiger Reichsbischöfe, die sehr zögerlich in Italien eingetroffen waren, auf Rom zu. Doch stellten sich plötzlich starke Fieberanfälle ein und in der Burg Paterno unweit Roms verstarb Otto III. am 23. oder 24. Januar 1002. Mehrere Berichte betonen hierbei das ruhig-gefasste, christliche Sterben des Herrschers. Der Verfasser der Vita Meinwerci nahm an, Otto sei vergiftet worden.
Der Tod des Kaisers wurde zunächst geheim gehalten, bis die eigenen Aufgebote informiert und zusammengezogen waren. Daraufhin zog das Heer, ständig von Feinden bedroht, aus Italien ab, um den Willen Ottos zu erfüllen und ihn in Aachen beizusetzen. Als der Leichenzug im Februar 1002 von Paterno über Lucca und Verona nach Bayern zog, habe Herzog Heinrich, so Thietmar, in Polling den Leichenzug empfangen und die Bischöfe sowie Adligen in Gesprächen mit Nachdruck und unter Versprechungen aufgefordert, ihn zum König zu wählen. Um seinen Anspruch als König zu verdeutlichen, inszenierte er sich als legitimer Nachfolger, indem er sich um das Seelenheil seines Vorgängers kümmerte. Er ordnete an, dass die Eingeweide des toten Kaisers in der Kapelle des heiligen Ulrich in der Afrakirche von Augsburg beigesetzt werden. Das Totengedächtnis Ottos III. sicherte er mit einer reichen Schenkung. Jedoch habe keiner der am Trauerzug Teilnehmenden eine Nachfolge Heinrichs als König befürwortet - mit Ausnahme des Augsburger Bischofs. Die Vorbehalte, die die Gefolgsleute Ottos III. gegen Heinrich hegten, blieben im Einzelnen unbekannt.
Beim Begräbnis Ottos an Ostern 1002 in Aachen wiederholten die Verantwortlichen ihre Ablehnung, wobei nach ihrer Ansicht Heinrich aus vielerlei Gründen für das Königtum nicht geeignet war. Während in Italien bereits am 15. Februar 1002 lombardische Große in Pavia mit Arduin von Ivrea einen Gegner Ottos III. zum italienischen König wählten, konnte sich Heinrich II. erst in langwierigen Verhandlungen und Fehden durchsetzen.