この記事には参考文献や外部リンクの一覧が含まれていますが、脚注による参照が不十分であるため、情報源が依然不明確です。 適切な位置に脚注を追加して、記事の信頼性向上にご協力ください。(2020年1月) 関東大震災後の1925-1926年、渡辺は世界一周旅行に出かけた。帰国後、(関東大震災後の)区画整理が終るとバラック建ての自邸を本建築に改築する工事を始めた。着工は1927年12月頃で、自分で材木などを購入した渡辺は設計図もないまま口頭で大工に指示を出して建築させたが[1]、その指示がたびたび変わったために工事は何度も中断。1931年8月に新築(竣工)届が出されたが、その後も工事が続けられた。この間、渡辺の奇行に耐え切れなくなった家族は別居し、渡辺1人と女中のみが残っていた。その後、「電話返却事件」(後述)をきっかけに1936年4月24日に渡辺が加命堂脳病院に入院させられ、2年後の1938年4