【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ~Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた~Pythonスクレイピングpandasデータ分析 やりたいこと はてなブックマークで、Python記事を検索しトレンドを分析 はてなブックマークにSeleniumでログイン ブックマーク数をスクレイピング 時系列比較を行う バズるタイトルを分析 実装方法 詳しくは下記記事を参考にしてください。Pandasを利用したデータ分析まで載せています。 【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ~Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた~ 実装 from selenium import webdri
こんにちは!ほけきよです! はてなブログをしている皆さんなら、当然アレ、気になりますよね?? そうはてブです。 自分の記事が拡散された時の満たされる感じは、クセになりますよね。 今回は、自分の記事のはてブがどのように増えて行くかを、APIを使って取得できるようにしてみました。 また、はてブが伸びるかどうかを左右する情報も取得できるようにしました!! 基本コピペでOKになっているはずなので、pythonを使っている方は、一回試してみると楽しいですよ! 必要なモジュール コード はてブの情報を取得 コード はてブの伸びを左右する情報たち コード プロットをする コード 実行してみる コード 結果 比べることもできる 結果 まとめと今後やりたいこと 必要なモジュール まず、モジュールをインポートしていきましょう。デフォルト以外で入れなければ行けないのは以下の二つ bs4 (webスクレイピング用
注:この猫ちゃん画像は昔私が撮影した猫ちゃんで、ネットから落とした画像ではありません 追記:現在このスクリプトは使用できないようです Yahoo画像検索の仕様が変わったらしく、2018/08/12 の時点でこのスクリプトは使用できないようです。仕様が変わると適用できなくなるのは、スクレイピングのスクリプトの宿命ですね。今のところ対応の予定はありません。申し訳ございません。 ネットから画像収集しようとしたら意外に大変だった 最近、以下で書いているように機械学習に興味津々だったりします。 機械学習やディープラーニングを試していると、やっぱり試したくなるのが、チュートリアルで使用しているデータセット以外のデータにも同じ手法が適用できるかどうかですね。 とりあえず画像をネットから収集しようかなと思い、googleの画像検索の結果を一つ一つ右クリックで落とし始めたのですが、どう考えても非人間的過ぎま
自分のブログを分析してみようと思い立った そういえば、自分のブログとか分析したこと無かったと思ったので、やってみることにしました。正確には、一応Google Analyticsは登録して設定はしているのですが、画面がたくさんあって何を見れば良いのかも分からず、あんまり興味も湧かなかったので放置していました。 そんな中、Pythonでブログを分析している人をみかけて「Pythonだったら、自分でソースも多少はいじれそうだし面白そう!」と思い、とりあえず試してみることにしました。具体的には、以下2つの記事を参考に、ほぼそのままやってみました。 ただ、いつものように自分の環境だとそのまま動かなかったり、多少工夫したりしたところがあるので、結果と合わせて備忘録として記録を残しておきます。 対象は、はてなブログを想定していますが、今回の内容なら多分他のブログプラットフォームでも多分大丈夫と思います(
この記事について 本記事はPythonを使ったWebスクレイピングのテクニックを紹介します。 ※お酒飲みながら暇つぶしで書いたので割と適当です。 今回紹介するテクニックを使えれば経験上大体どんな値でも取得でき、これらはRubyだろうがGolangだろうが同じ様に動作します。 Webスクレイピングが出来ないサイトがあればコメントにて教えてください。全身全霊を持ってやってみます。 また、Webスクレイピングをしたことが無い方は下記の記事を読むことをお勧めします。 Python Webスクレイピング 実践入門 - Qiita 追記更新 6/12 コメントに対応しました。 はじめに 注意事項です。よく読みましょう。 岡崎市立中央図書館事件(Librahack事件) - Wikipedia Webスクレイピングの注意事項一覧
ちょっと意識高そうなタイトルを付けてしまいましたが、皆さんどのような開発でお過ごしでしょうか。 Nagisa では現在フロントエンドエンジニアは1人です。長きに渡って1人で開発してきましたが、最近は iOS エンジニアやデザイナーも開発に参加することでスピードとクオリティを担保しています。 そこで今回はスキルや役割の違うメンバーで効率よく開発を進める。そしてコードをカオスに落とさず秩序を保つために行ったワークフローの改善や、取り入れたデザインパターンなどを紹介したいと思います。 複数人でチームを組んで開発をするのは、1人のときよりも難しいです。雰囲気で開発を進めていけばコードはカオスに陥り、スピードも品質も担保できなくなります。 他人のソースコードを引き継いだ時や3ヶ月前の自分 (殆ど他人) のコードを改修している時も似たようなことが起こります。 逆に、1人で開発して1人で継続的にメンテし
Let’s put it out there, I love dashboards. I find the way they help you gain a rapid understanding out of complex information really interesting. I have written real-time data visualisations in the past, but always thought that complete dashboards were really hard to implement. That was until I learnt React a while back, and then it clicked: I had finally found a tech that would make building dash
技術書典5 で本記事をさらにパワーアップさせた本を書いたのでよかったらどうぞ Chromeデベロッパーツールを使いこなそう Console編 Chrome デベロッパーツールの Console には Web 画面を解析するための便利な機能が備わっています。 この便利機能を覚えておくと Web 画面からの情報抽出 や、 Chrome Extension 開発 がとても捗ります。 ※ 筆者はこの機能を利用して、 ウェブスクレイピング時のDOMセレクタを調べたり、 Q Accelerator などの Chrome 拡張機能を開発しています。 本記事では、次の3つを解説します。 1. Console の便利機能 2. 実際に Qiita の画面を解析する手順 3. リアルタイムで評価結果を返す Eager Evaluation (Google IO 2018 で発表されました) 便利機能(コマンド
はじめに「はじめての正規表現」がホッテントリ入りしていますが、 導入としては、何に使うのかがわかりやすくて良いのではないかと思います。 あれを見て、基本機能をまとめてみたくなったので、正規表現の基本的な機能について書いてみます。 (正規表現が初めてという人は「はじめての正規表現」を先に見たほうがいいと思います。) 例では「検索」か「置換」をするものとして話を進めていきます。 (「はじめての正規表現」が実例を中心にしたのに対して、こちらは機能を中心に書きます) 正規表現は、プログラミング言語やその他のツールなど、それぞれで微妙な違い(方言)があるので、その点には注意が必要です。 (表記法が違ったり、ここに紹介する機能がサポートされていなかったり、逆に紹介していない機能をサポートしていたりする場合があります) メタ文字とリテラル文字正規表現には、メタ文字とリテラル文字というものがあります。 メ
まぁ、基本的な正規表現でみんなが利用するのはこの辺かな。 2. Javaで正規表現について javaで、正規表現をプログラミングに取り入れる場合はjava.util.regexを利用する事になる。JavaDocのURLはこれ。javadoc SE6 java.util.regex.Patternクラスには、正規表現についての詳細の説明が記述されている。Javaを利用して正規表現を極めたいと思ったら一度は読むべき。 ちなみに、java.util.regex.Pattenクラスの概要はこんな記述がされている。 つまり、Javadocをしっかり読めば正規表現を理解する近道になる。 コンパイル済みの正規表現です。 正規表現は、文字列として指定し、このクラスのインスタンスにコンパイルする必要があります。結果として得られるパターンは、Matcher オブジェクトを作成するために使用されます。 このオブ
一つの記事で正規表現全てについて書こうと思っていましたが無理でした。 4,5記事に分けて書くと思います。 とりあえず今回は基礎となる部分についてまとめようと思います。 Rubyバージョン 以下のバージョンで記事中のコードを書いてます。 ruby 2.2.3 パターンマッチの基礎 === あるパターンが含まれているかどうか判定するときに使用します。 戻り値としてtrue, falseを期待している場合に使います。 ※「===」演算子は「case等値」演算子と呼ばれています。 サブクラスで「===」を再定義していない限りは「==」と同じ動きをするようになっています。 Regexpの「===」は再定義されており、文字列が正規表現にマッチするかどうかを判定する動きをします。 ちなみにStringの「===」は再定義されておらず、右辺と左辺の値が同値であればtrueを返すので、パターンを指定するとき
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く