連合艦隊は2個以上の艦隊で編成された帝国海軍の中核部隊である。明治初期、海軍はそれまで有力艦・新鋭艦で編成された主力部隊を「常備艦隊」、老巧艦などで編成された沿岸防備のための二線級部隊を「警備艦隊」と称していた。しかし、日清戦争開戦がせまってくるにつれ「警備艦隊」というのは戦時にふさわしくないという意見がでてきた。一時は警備艦隊を常備艦隊に統合する案が出たが、当時の軍令部官房主事である山本権兵衛大佐が警備艦隊を「西海艦隊」と改名し、常備艦隊と西海艦隊をもって「連合艦隊」を組織するという案を出した。これが連合艦隊編成のきっかけとなり、日清戦争開戦の6日後にはじめて連合艦隊が編成された。以降日露戦争など戦時や演習時のみ臨時に編成されていたが、大正12年(1923年)以降は「艦隊」の上位編成として常設された。後年連合艦隊を基幹に編成された海軍総隊と同様、編成は概ね陸軍における総軍に匹敵するもので