ドイツ南部のヴュルテンベルク州ヴァイスザッハに医者の息子として生まれる。第一次世界大戦敗戦後の貧困を避け、医師である父親は中国に渡って開業したため、湘江を臨む地で1929年(7歳)にその地で外国人排斥暴動がおこるまで生活した。帰国後はヴァイル(ドイツ語版)近郊に住んだ。ハルトマンは飛行機好きの少年として成長したが、母親が趣味で小型機スポーツ機の操縦をはじめたため、飛行機も飛行も身近な存在となった。1936年母親がグライダークラブを設立し、ハルトマンも14歳でグライダーのライセンスを取得、1937年にはヒトラー・ユーゲントのグライダーグループの有資格教官となった。ロートヴァイルの高校の軍隊的な規律を嫌ってコルンタールにある高校に転校し、生涯をともにする女性ウルスラ・ペーチュ(Ursula Paetsch、1924年生)と知り合う(一目惚れしたといい、戦争中に結婚する。その後長いソ連での抑留生