頼義ではなく義家が武門源氏の祖とみなされるようになったのは、足利氏が、頼朝との関係を相対化し、義光の子孫である武田や佐竹より優位に立つため。為義は、
摂関家の荘園を足がかりに地方に息子を派遣して勢力拡大を図ったが、一方、
国衙領系の武士と反目したところに院近臣を外祖父に持つことから
嫡流から外された義朝に組織される。院近臣の道を歩んだ義朝により、頼朝は
平治の乱後、年齢では清盛と匹敵する官位を得て、母方の縁もあり、貴種として抜きんでる。
義経は、常盤の夫との縁で
陸奥にいた基成を通じて平泉に迎えられ、さらに
検非違使となったことで頼朝に対抗できる存在となって、頼朝から冷遇されていた関東の武士たちを糾合する可能性があった。関東の武士は頼義以来の家人とか、兼参は許さないとかは、頼朝が作り上げた架空の
イデオロギーだったと。