東京都島嶼部を除いた東京都の本州側では最南部に位置する。東京都南多摩地域5市のひとつであるが、多摩川に面する他の4市(八王子市・日野市・多摩市・稲城市)とは多摩丘陵で隔てられ、東京都内の自治体で唯一境川に面し、相模野台地に範囲が及んでいる。 当市域が神奈川県側に突き出ている都県境(1943年の東京都制施行以前は府県境)となったのは1893年の三多摩移管(神奈川県から東京府への北多摩郡・西多摩郡・南多摩郡の移管)以降である。南東へ流れる境川の対岸の高座郡(相模原市や大和市)と東隣の都筑郡(川崎市麻生区柿生・岡上地区や横浜市青葉区・緑区)はどちらも神奈川県に残留となり、南多摩郡の南部(当市)が神奈川県側に突き出ている府県境となった。日本の自治体で唯一政令指定都市3市に隣接しているが、北東は川崎市(麻生区)、南東は横浜市(青葉区・緑区・瀬谷区)、南西は相模原市(全ての区)と、3市とも神奈川県内の