1908年7月2日にメリーランド州ボルチモアで生まれた。彼の祖父は奴隷だった。 1930年、マーシャルはリンカーン大学を卒業した。卒業後、彼はメリーランド大学法科大学院(英語版)に入学を志望した。しかし、白人と有色人種の分離政策のため学校側から受け入れを拒否された。そこで、代わりにワシントンD.C.にあるハワード大学に入学する。在学中の彼は、チャールズ・ハミルトン・ヒューストン(英語版)学部長に大きな影響を受けたとされている。マーシャルは、憲法のもとにおける平等という信条を全てのアメリカ人に実現したいという願望をもつようになる。また彼は、アフリカ系アメリカ人学生により1906年に創設されたフラタニティ「Alpha Phi Alpha(英語版)」のメンバーにもなった。 1933年、マーシャルはハワード大学を首席で卒業して法学学士の学位を授与され、ボルチモアで個人法律事務所を開業した。そして翌