遠山正直は蔵人正直とも言い、古河公方足利高基に仕えていたとされ、この正直が遠山郷に移り住んだという伝承もある。 神峰城(飯田市上久堅)の知久氏や、吉岡城(下伊那郡下條村)の下条氏とは同盟関係を結び、一方で新野(下伊那郡阿南町)の関氏とは対立した。 また隣接する遠江北部にも勢力を伸ばし、犬居城主・天野氏と対立した。 蔵人正直の子という遠山景廣だが、初めは長山城(名古山)を居城としていたが、16世紀中頃に和田城を築城して江儀遠山荘支配したとみられる。 天文23年(1554年)9月に、今川氏の同盟国である武田氏が伊那郡に侵攻すると、所領を隣接する遠江の天野景泰が遠山孫次郎(景廣)に武田氏への帰属を促した。景廣が武田氏との外交ルートを持つ天野氏を介して従属を図ったと推測される。 この際に天野藤秀が使者として武田氏の元に赴き、信州遠山氏の赦免を嘆願した。信州遠山氏は遠州の天野氏を介して武田信玄の配下