前回「Kaggleコンペに10分で挑戦、ChatGPTが変えるデータ分析の未来」でOpenAIのChatGPTと共に、Kaggleコンペの有名な「Titanic」データセットを使ったデータ分析に取り組みました。TitanicのデータはChatGPTが事前に知っているため、深いアドバイスが得られました。今回は、企業内で利用されるような、ChatGPTが事前に知らない実際のデータを対象に、データ分析の力を試してみたいと思います。 具体的には、全国1700を超える市区町村における13年分にわたる小売販売額データと人口データを組み合わせた分析を実施します。このような大規模なデータを扱う際には、データの前処理や分析が難しくなることがありますが、ChatGPTと一緒に作業することでスムーズに進めることができました。 データの前処理において、欠損値や不要な列の削除、データ型の変換などをChatGPTと行