はてなブックマーク

スクレイピング対策について 直近でECサイトをいくつかスクレイピングする業務に携わっていました。 ただ、スクレイピング用のスクリプトを回していてしばらくすると 以下のようなポップアップが出ることがあります。 例えばこのAmazonの例だと、このポップアップが出るとこいつが邪魔をして処理が進まなくなってしまいます。 サイト側も情報を取られたくないので、こういった外部からの機械的なアクセスを遮断するための対策を講じています。 「いやWebサイト上で誰でも見れる情報だから守る意味がないのでは？」と思った方もいるかもしれませんが、ECサイトではレビュー情報や販売データを企業に販売しているケースがあり、そのデータが勝手に抜かれていると困るのです。 私の場合ECサイトの動向を追うため定期的に同じサイトをスクレイピングしていたため、よくこの類のポップアップに邪魔されていました。 そうなってくると「スクレ

5/15より東大松尾研究室からDeepLearningエンジニア養成講座「DL4US」の演習コンテンツが無償公開されました。 ※講義パートは公開されていない DL4USコンテンツ公開ページ 私は業務でデータ分析に携わっており、sklern等での機械学習には触れたことがありますが Deep Learningは「いつか勉強しよう...」と思ってできていない状況でした。 ※一度Udemyで講座を受講しましたが、挫折しています。 まだDL4USのLesson0,1をやってみただけですが、非常に良いものだと感じたのでシェアしたいと思います！！ DL4USについて DL4USの紹介記事から本講座の特徴を引用させていただきます。 アプリケーション指向 高度な数学的知識は不要 1人1台独立した仮想GPU環境を用意 実際にモデルを学習させながら技術を習得 コードはすべてKeras （TensorFlow）と

はじめに データ分析業務の中でデータに「タイムラグ」があって困ったことはないでしょうか？ 今ここで言っているタイムラグとは時系列データにおいて「Aが増加してから、ある程度の時間が経ったあとにBが増加する」ことを指しています。 時間差での相関関係があるということです。 今回はデータのタイムラグについての対処で「相互相関関数」というものが有効なようなのでご紹介したいと思います！ 相互相関関数wiki タイムラグがあるとなぜ困るのか 上の画像を見てください。 全く同じ5000行のデータを用意して片方のみ10%(500行)ズラしたデータを用意したものです｡ その2つで相関係数を見ると0.18しかありません｡ これは相関が無いに等しい値です...データの形は全く同じなのに... (勿論ずらさなければ相関係数は1.0です) この問題もデータが大量に用意できれば､多少ずれていても関係を確認することができ