德罗二世无片刻闲暇享受生活，他紧张地筹备防务，密切关注海岸动静，时刻提防来自诺曼底的入侵，但给他带来头两波巨大麻烦的不是威廉，而是他弟弟托斯蒂格和挪威国王哈罗德·哈德拉德。

1055年，诺森伯利亚伯爵老斯沃德死后无嗣，忏悔者爱德华把他家的领地和爵位转封给了哈罗德的三弟托斯蒂格，至此，原来的四大伯爵领有三个归于戈德温家族。哈罗德曾把自己的东盎格利亚伯爵领赠送给麦西亚伯爵利奥弗克里的儿子埃尔弗格，以赢得对方的友谊。1057年，麦西亚老伯爵去世，埃尔弗格为了继承家业，被迫放弃他的东盎格利亚领地，这块领地被封给了哈罗德的二弟吉尔斯，与此同时国王又为哈罗德的四弟利奥弗文建立了一个新伯爵领。

戈德温家族在英格兰已无人能敌，新任麦西亚伯爵埃尔弗格决定奋起反抗，可实力太弱，他不惜把女儿埃尔德吉斯嫁给北威尔士酋长格鲁菲斯·阿普·卢埃林，结成同盟共同抗衡哈罗德。哈罗德1062年发兵击败两家联军，声望与地位达到巅峰，格鲁菲斯和埃尔弗格都在两年内先后离世，哈罗德把麦西亚伯爵领转给埃尔弗格的儿子埃德文，并着力栽培这位年轻人。国内一切政敌都被降服，哈罗德却万万想不到冒出一个诡异的致命死敌——新任诺森伯利亚伯爵，三弟托斯蒂格。

托斯蒂格在自己领地行事不公，为非作歹，杀害两位有声望的大乡绅，遭到领地内约克郡中小贵族们联合抗争，他们趁托斯蒂格外出，洗劫他的庄园，杀死他的侍从，宣布把他放逐。自行废黜领主不具备法律效应，得请示王国政府，反抗者们推举麦西亚伯爵的弟弟摩卡为首领，一路向南进军请愿。

忏悔者爱德华闻听此事召集重臣商讨对策，哈罗德没有偏袒自己弟弟的意思，还说服国王应同意抗争者们的正当要求，结果遭致托斯蒂格嫉恨，他认为兄长不但“袖手旁观”，而且很可能参与了推翻他的阴谋。国王原本打算让哈罗德领兵讨伐叛军，现在只好答应反抗者的条件，最终托斯蒂格被正式废黜，出国流亡，摩卡取代托斯蒂格继任为诺森伯利亚伯爵，四大伯爵领至此被两个家族平分。

托斯蒂格从此发誓，一生以消灭兄长哈罗德这个“叛逆”为己任。他先是前往苏格兰劝诱国王马尔科姆发兵英格兰，但苏格兰国王对此不感兴趣，他继而前往法兰西，到自己大舅子佛兰德斯伯爵鲍德文的领地流亡，鲍德文同时还是威廉的岳父，索性放任托斯蒂格以此为基地谋划推翻哈罗德。

因克努特大帝的缘故，当时的丹麦、挪威两位国王与克努特当过英格兰国王的两个儿子有