長野県南安曇郡南穂高村細萱(現・安曇野市)に、飯沼文五郎の五男として生まれた[1]。飯沼家は庄屋も務めた豪農だった[1]。3歳で母と死別し、以後祖母に育てられる[1]。 1924年(大正13年)、長谷川清澄(豊科町出身で日本初の一等操縦士)がサルムソン 2Aに搭乗して各務原飛行場から松本市に飛行している途中に南穂高村上空で旋回飛行をおこなった[注 1]光景を小学校の教室から目撃し、飛行機への憧れを抱く[1]。 1931年(昭和6年)3月、旧制長野県松本中学(現・長野県松本深志高等学校)を卒業し、第11期逓信省陸軍委託航空機操縦生として所沢陸軍飛行学校に入学した[1]。旧制高等学校に進学しなかった背景として、中学5年生時に父が死去したこと、不況により家産が減少したことなどが指摘されている[1]。飛行学校では藤田雄蔵の指導を受けた[1]。同年10月、最優秀の成績で卒業し二等飛行機操縦士[1]、