V Byzancii bol vtiahnutý nielen do víru bojov na hraniciach ale i intríg v bojoch o cisársky trón.
Po smrti Michala IV nastúpil na trón [[Michal V]], ktorého pokus o reformy priviedol zdieraním a neschoponosťou unavený ľud k všeobecnému povstaniu, ktoré Michala V zvrhlo a na trón uviedlo cisárovnú [[Zoé]]. Harald, ktorý nového cisára nijako zvášť neobdivoval (a vôbec, bol celkom neutrálny ku ktorejkoľvek strane) dostal svojej prísahe a bránil so svojimi mužmi palác do poslednej chvíle, pobijúc nespčetné množstvo povstalcov. A hocihoi nakoniec, chtiac ušetriť svojich mužov od zbytočného krviprelievania, sa stiahol, dostalo sa mu nemilosti, od ktorej ho zachránila len cisárovná Zoé, ktorá chcela Haralda za svojho milenca. Haraldovo srdce ale už patrilo inej, Márii Skleraine, dvornej dáme cisárovnej. Kvôli láske k Márii bol Harald ochotný prehltnúť od Zoé mnohé urážky. Okrem toho bol neustále posielaný do rôznych bojov pod velením Georgiosa Maniaka. Posledný sa ale pre svoj hnev na jemu podriadeného (a mimochodom náramne neschopného) veliteľa z cisárskej rodiny dostal do nemilosti a bol uveznený. Toto sa stalo na Sicílii a následne ríša o Sicíliu prišla. Pod tlakom okolností bol neskôr Georgios prepustený a jeho hodnosť vrátená, ale krivdy, ktoré boli spáchané na jeho rodine ho prinútili vyhlásiť vojnu cisárovi. Po jeho smrti (zvíťazil ale padol) bol ale Harald, hoci sa ku Georgiosovi nepridal žiarlivou cisárovnou uväznený pod zámienkou podpory Georgia (a okrem iného aj dlhodobej sprenevery vojnovej koristi). Harald bol nútený konať a podarilo sa mu aj so svojimi priateľmi utiecť.
Po spektakulárnom úteku (dokázal so svojimi drakkarmi[[drakkar]]mi prekonať reťaz uzatvárajúcu [[zlatý roh]]). Tu ho stretla osobná tragédia, s ktorou sa už nikdy celkom nezmieril; Mária Skleraina sa (aj keď s ťažkým srdcom) rozhodla ostať v Byzancii z obavy pred pomstou cisárovnej Zoé na jej rodine. Po dlhej plavbe sa vrátil späť do Novgorodu.Tamkde zistil, že korisť ktorú nalúpil počas pôsobenia v garde Varjagov sa vďaka Jaroslavovej obchodnej zručnosti nesmierne rozmnožila.
Tu sa aj oženil s Jaroslavovou dcérou [[Ellisif]]. Manželstvo nebolo veľmi šťastné. Spolu mali neskôr dve dcéry; [[Mária Haraldsdottir|Máriu]] a [[Ingegerd Haraldsdottir|Ingegerd]].
