はてなブックマーク

近年Google検索は完全に情報収集の基本になっています。Webスクレイピングで自動情報収集をする場合、Google検索結果を扱えるようになると世界中の情報をシステマティックに処理できるようになります。ここでは、Google検索で得られるタイトルとURLを一覧で取得する方法を紹介します。 こんにちは。wat(@watlablog)です。 WebスクレイピングでGoogle検索結果を自在に操れるようになってきましたので、ここでは検索タイトルとURLを一覧で取得する方法を紹介します！ Google検索を自動化するメリット3選 ビッグデータを容易に取得できる Google検索は現代の情報収集の基本となっており、当ブログを始め様々なWebサイトがネットワークを介して検索できるようになっています。 Googleを始めとした検索エンジンからは、あらゆるブログ、公的機関、民間企業のページに繋がっているの

fitbitとは？ 電池の持ちが良いフィットネス用スマートウォッチ fitbit(フィットビット)とは、腕時計型の活動量計で、時計の裏の心拍数センサーで腕の血管から心拍数を計測する機能を基本に、歩数、消費カロリー、睡眠時間といったデータを自動で記録してくれます。フィットネスに特化しています。 僕はMacbook ProやiPhone、iPadをWindows機とは別に持っており、図らずとも準Apple信者のようになっていますが、fitbitを数年間使ってきた事で未だにApple Watchは購入していません。 fitbit購入当時のApple Watchはまだ心拍数センサーの精度の口コミ評価が微妙だったのと、電池の持ちが圧倒的にfitbit優位であった事を覚えています。 最新のApple Watchも充電は1日、2日に1回(1時間ほど)程度でしょうか？ そんな中、fitbitはバッテリー持

Pythonが遅い理由Pythonを高速化する前に、なぜPythonはこんなにも遅いのかを調べてみました。そういえばPython関係のブログを始めて1年ほど経ちますが、処理速度については全く意識していませんでした。 Pythonは特にfor文といったループ系の文が遅い遅いと世間で言われています。 でもなんで遅いのでしょう？ 正直僕はそんなに情報工学に詳しくないので、中々イメージできていませんでしたが、以下に理解の参考となったブログがありましたのでいくつかメモしておきます。 “GIL（グローバルインタプリタロック）であるため” “インタプリタ言語で、コンパイルされないため” “動的型付き言語であるため” POSTD:なぜPythonはこんなにも遅いのか？…Pythonが遅い理由には色々な要因が考えられるみたいですが、動的型付き言語であるというのが一番あやしいようです。 for文では逐一型チェ

第1次AIブーム(1950年代～1960年代) 推論と探索のAIでブームになった。 1966年に開発されたELIZA(イライザ)がルールベースで作られたにも関わらずチューリングテストの審査員を欺いた。 後にELIZAはPARRY(パーリー)とも会話している。 推論と探索ではトイ・プロブレムしか解けずに衰退した。 第2次AIブーム(1980年代) 専門家の知識を定式化するエキスパートシステムがごく一部の領域で成果を出したことでブームとなった。 (DENDRAL(デンドラル：有機化合物特定AI)やMYCIN(マイシン：抗生物質処方AI)) しかし、知識のボトルネックの問題で定式化が難しく複雑な問題に対応できなかったため衰退した。 第3次AIブーム(2000年代～) ディープラーニングが成果を出し現在までに至るブームとなった。 勾配消失問題を解消しつつネットワークを多層化することで多彩な表現力を

PythonでWebスクレイピングのコーディングをしていると、xpathによる情報抽出が便利であるとわかりました。しかしHTMLの構造を毎回解析するのはやっかいです。Chrome拡張機能である「XPath Helper」を使えば簡単に任意要素のxpathを取得することが可能です。 こんにちは。wat(@watlablog)です。 ここではxpathを簡単に取得するGoogle Chromeの拡張機能について、インストール方法と簡単な使い方までを習得します！ xpathを使うと何ができる？これまでのおさらい 「Python/Seleniumで便利なxpath検索をする方法！」では、Pythonというプログラミング言語で、Seleniumというパッケージを使ったWebスクレイピングの基礎を学びました。 xpathというロケーションパスを使うことで、簡単にWebサイトから目的の情報を取得すること

射影変換で自由自在に画像を変形させよう！ 射影変換とは？ 射影変換とは、画像の形状を変形させる変換手法の1つです。コンピュータグラフィックスの分野では画像を様々な形状に変形させることで、2Dを3Dに見立てたり、表面にテクスチャを貼ったりしたりすることができます。 画像形状の変換には下図のような変換があります。 (a)合同変換は画像の回転のみを許し、回転角度を合わせれば変換前後の画像は完全一致します。 (b)相似変換は(a)合同変換に加え、拡大と縮小を可能にした変換方法です。 (c)アフィン変換は(a)(b)に加えひし形の変形を可能にした変換方法です。 そして(d)射影変換は(a)(b)(c)の全ての機能に対してさらにどんな四角形にでも変換できる方法です。 射影変換でできることを確認しよう！ 画像処理は百聞は一見にしかず！まずは射影変換でできることを確認してみましょう。 以下の図は今回Pyt

PythonでWebスクレイピングを行う時に、seleniumを使えばGoogle Chromeブラウザを自動操作できるので単純にrequestsだけで出来ない操作ができるようになります。ここではChromeを自動操作する時に必要なchromedriverのインストールとパスの設定までを説明します。 こんにちは。wat(@watlablog)です。 chromedriverは他のパッケージと異なり少々設定がやっかいです。ここではchromedriverのインストールから実際に使えるようにパスを通すという設定までを説明します！ 当ブログで紹介している内容はWebスクレイピングの一例に過ぎません。僕はPython特化型学習サービス「PyQ（パイキュー）」で基礎を覚えました。体系的にPythonプログラミングやWebスクレイピングを覚えたい方は是非「PyQでPython学習！実際に登録してみた感