男爵・西徳二郎の三男として東京市麻布区麻布笄町(現在の港区西麻布。住居は麻布桜田町付近)にて生まれた。正妻でない母は、出産後、家を出された。父は外務大臣や枢密顧問官などを歴任し、駐清公使時代には義和団の乱処理に当たった人物であった。義和団の乱の処理の際、清の西太后から中国茶の専売権を与えられ、巨万の富を手にしたといわれている。 学習院幼稚園を経て、学習院初等科時代は近隣の番町小の生徒と喧嘩を繰り返す暴れん坊であった。1912年(明治45年)には徳二郎が死去し、同年3月30日、その跡を継ぎ当主として男爵となる[3][注釈 1]後見人は西伊佐次。妻となる武子の祖父は川村純義海軍大将、父は伯爵・川村鉄太郎であり、武子の長姉・艶子は阪本釤之助の子で第二次世界大戦中の駐スイス公使時に終戦工作に奔走する阪本瑞男に嫁いだ。武子の次姉・花子は柳原白蓮の異母兄である柳原義光の後妻。子に長男の泰徳に、長女と次