安房国北西部、浦賀水道に面した勝山は良港の所在地である。戦国時代、港を見下ろす八幡山に安房正木氏の勝山城が築かれており、戦国大名里見氏のもとで水軍の拠点となっていた。 天正18年(1590年)の小田原征伐ののち、里見義康に安房一国9万2000石が安堵された。慶長5年(1600年)の関ヶ原の戦いで義康は東軍に与し、12万2000石まで加増されている(館山藩)。しかし慶長19年(1614年)、義康の子・里見忠義は大久保忠隣失脚に連座して安房国を没収され、伯耆倉吉藩に移封(実質的に流罪)された。以後、安房国は小藩や旗本領、他国の藩の飛地領によって細分化されることになる。勝山の地は、館山藩領の接収に従事した上総国佐貫藩主内藤政長に与えられ、4万5000石の所領の一部となった。 元和8年(1622年)9月、内藤政長が磐城平藩に移るとその所領は分割され、内藤清政(内藤政長とは同族だが別系統)が3万石を