ニューヨーク州のナイアックで、テキスタイルデザイナーで小売商のジョゼフと幼稚園教諭のヘレンとの間に生まれた。4人兄弟の第1子で、妹のエリザベス(1905年生)、ヘレン(1906生)、弟のロバート(1910生)がいた。両親共にオランダの名望家の家柄出身で、ニューヨーク州に老舗を構えていた。父が1917年に亡くなり、残された家族は苦しい生活を強いられ、同州クイーンズ行政区へ転居した。マサチューセッツ州のフィリップス・アカデミーに入学したが卒業しなかった。アカデミーでの3年半を除いて、生涯のほとんどを同州ユートピア・パークウェイの小さな木造の家で、母と小児脳性麻痺の弟と暮らした。彼の人生は弟の世話に捧げられた[2][3]。 ジョゼフは知らない人に対し臆病な性格だったので、孤立した環境でアートを独学した[3]。女優ローレン・バコールに恋をしたが、シャイな性格ゆえ叶わなかった。後年もニューヨーク州か