外部データ取得と利用のテクニック - enechain Tech Blog

はじめに enechain データプラットフォームデスク エンジニアの鳥山です。 enechainでは電力取引に必要な情報（例えば電力需給や燃料価格）を外部から収集し、社内外に公開しています。 このデータ収集はAPI経由で有償購入しているものもあれば、オープンデータとしてwebサイトに公開されているものもあります。電力自由化以降、電力需給に関する情報の公開が進んでおり色々なデータが参照可能となっていますが、それらは必ずしもマシンフレンドリーなデータばかりであるとは限りません。これは電力に限らず、特定の業界特化のドメインデータにおいてはよくある状態です。 本稿では、このような不確実性の高いデータを収集・活用するにあたってのノウハウの一部をご紹介させて頂きます。 はじめに データ取得における問題 基本的な考え方 問題 対処 リトライとタイムアウトを設定する データを検査する rawデータを永続