周囲約7キロメートル (Km)、面積は約0.7平方キロメートルで、リアス式海岸である的矢湾の奥に位置し、的矢湾深部の外海から隔てられた島の西側海域は波が穏やかな海面で、古くより荒天時の避難場所・風待港として使われていた。 島内の住所は大半が志摩市磯部町渡鹿野であるが、一部に磯部町的矢の飛び地の小字間神・居森がある[6]。 的矢湾における渡鹿野島の位置 古くは伊雑宮の神領であったとも言われる。江戸時代に江戸と大坂を連絡する菱垣廻船・樽廻船が増え、避難・風待をする港としての重要性が高まった。船乗りなどのための宿のほか、風待ちの船乗りを相手とした把針兼(はしりがね)と言われた水上遊女なども集まり、遊廓街としても大いに栄えて女護ヶ島の別名を持った。史跡として江戸時代に灯台に使われた石柱などがある。 1931年に俳優の上山草人が映画『唐人お吉』の撮影で訪れた際、「こゝに愛着を覚え一泊したところ、これ