越前守・大江雅致と越中守・平保衡の娘の間に生まれる[2]。父の大江雅致は、一説には大江匡衡の兄であるとされる[1]。その場合、交流のあった歌人赤染衛門は義理の叔母になる。母の父・平保衡は、『尊卑分脈』によれば平元規の子とされ、子(和泉式部のおじ)に平祐挙がいる。 和泉式部には、姉妹が何人かいたことが歌集・『和泉式部正集(正集)』などから判明している[3]。「岩躑躅いはねばうとしかけていへばもの思ひまさる物をこそ思へ(正集・六九八)」の詞書には、人に知られず物思いをすることがあった折に「はらから」に歌を送っていることが記されており、相談内容から姉であると考えられる[3]。姉と思しき女性は、「播磨」の女房名で斎院・選子内親王の許に出仕しており、『後拾遺和歌集』の歌人である斎院中将・斎院中務姉妹の母にあたる[3]。 また、大江匡衡と赤染衛門の間の子・大江挙周と交際していたらしい女性が『赤染衛門集