Scrapy + Scrapy Cloudで快適Pythonクロール+スクレイピングライフを送る - Gunosyデータ分析ブログ
はじめに こんにちは、データ分析部の久保 (@beatinaniwa) です。 今日は義務教育で教えても良いんじゃないかとよく思うWebクロールとスクレイピングの話です。 私自身、日頃は社内に蓄積されるニュース記事データや行動ログをSQLやPythonを使って取得・分析することが多いですが、Web上にある外部データを使って分析に役立てたいというシーンはままあります。 単独のページをガリガリスクレイピングしたいときなどは、下の1年半ぐらい前の会社アドベントカレンダーに書いたような方法でやっていけば良いんですが、いくつもの階層にわかれたニュースポータルサイトやグルメポータルサイトを効率よくクロール+スクレイピングするためには、それに適したツールを使うのがすごく便利です。 qiita.com そこでPython用スクレイピングフレームワークScrapyの登場です。 Scrapy | A Fast
【Python】いつまでprintデバッグで消耗してるの？ - らっちゃいブログ
Python を初めて間もない頃、自分も print デバッグしてました。効率の悪さを認識しつつも、IDEを導入してデバッグする方法を調べてセッティングして、という手順が面倒でずっと放置してました。 // 普段は vim で開発してます そうこうしてたら print デバッグではどうにもならないバグにぶち当たり、仕方なくデバッグポイントを置く方法を調べたわけです。するとどうでしょう。 ソースコード中に以下の一文を入れるだけではないですか。 import pdb; pdb.set_trace() たったこれだけで、上の一文を挿入した行で処理が停止し、コンソール上でステップ実行が出来るようになります。最高かよ。 個人的にですが、デバッガー起動中によく使うコマンドとしては以下です。 コマンド 説明 s(tep) ステップイン n(ext) ステップオーバー r(eturn) ステップアウト l(
Pythonにおける並列処理プログラミング入門 - MyEnigma
エキスパートPythonプログラミング改訂2版posted with カエレバMichal Jaworski,Tarek Ziade KADOKAWA 2018-02-26 Amazonで最安値を探す楽天市場で最安値を探すYahooショッピングで最安値を探す 目次 目次 はじめに subprocessによる複数子プロセス処理 concurrent.futuresによるマルチプロセス処理 Queueによる並行プログラミング 最後に 参考資料 MyEnigma Supporters はじめに 元々Pythonは、 そこまで処理速度が早い言語ではないので、 システムの処理速度を最適化したい場合は、 C++などで書き直した方が良いのかもしれませんが、 Pythonシステムをあと少し早くしたい時には、 並行処理プログラミングをしてみると、 効果があるかもしれません。 最近のコンピューターはマルチコア
Effective Pythonを読んで心に響いたこと - MyEnigma
Effective Python ―Pythonプログラムを改良する59項目posted with カエレバBrett Slatkin オライリージャパン 2016-01-23 Amazonで探す楽天市場で探すYahooショッピングで探す 目次 目次 はじめに Pythonのランタイムの種類 プライベート属性はアンダーバーを２つ先頭におく リストや文字列の空判定にlenなどは使わない mapやfilterよりもリスト内包表記を使う rangeよりはenumarateを使う オプションのキーワード引数は、位置ではなくキーワードで与えるとコードが読みやすい どんなクラスオブジェクトでも__dict__ですべてのフィールド辞書にアクセスできる Pythonコードのプロファイルを取るにはcProfileを使うと便利 参考資料 MyEnigma Supporters はじめに 以前、C++の名著Ef
ネットワーク分析ライブラリiGraphをPythonから使うための準備（Macの場合） - StatsBeginner: 初学者の統計学習ノート
ネットワーク分析のツール ネットワーク分析ってありますよね。 表面的な理解としては、こんな風情の図を描いたりするやつです。 頂点（node, vertex）と、頂点を結ぶ線（link, edge）の集まりとしての「グラフ」の性質を記述するグラフ理論というものがあって、これに基づいてたとえばソーシャル・ネットワーク上の人間関係とかが分析されたりするわけです。 ネットワーク分析のツールとしては、 igraph + Pythonによるネットワーク分析 ~ Blog of an immature researcher Python/NetworkXで簡単ネットワーク分析 - あんちべ！ 2章グラフ理論スピード入門 このあたりの記事を拝読すると、RやPythonのユーザとしては、iGraphってやつとNetworkXってやつを知っておけばよさそうです。 iGraphは（たぶん）Rのものが有名で、↑の
データサイエンティストを目指す人のpython環境構築 2016 - Qiita
pythonの環境構築について "python 環境構築"でググると20万件くらいヒットしますが、割と内容が古いです。 タイトルにはデータサイエンティストと書いてありますが、データサイエンティスト以外にもanacondaはおすすめです。 2.x or 3.x? 3.xは動かないライブラリが多いので2.x推奨 > 3.xで動かないライブラリがある、くらいまで来ました。 easy_installでpipを入れて、setuptoolsも入れて、でもwheelというのもあって... > 古いです。 virtualenv 必須 > そんなこともないです。 winでは64bitは不具合が多いので32bit推奨 > 古いです。 winでは非公式バイナリからダウンロードしてインストール > お世話になりましたが、最近は使っていません。 2016版 OS毎python環境構築法決定版 Windows: an
CodeIQについてのお知らせ
2018年4月25日をもちまして、 『CodeIQ』のプログラミング腕試しサービス、年収確約スカウトサービスは、 ITエンジニアのための年収確約スカウトサービス『moffers by CodeIQ』https://moffers.jp/ へ一本化いたしました。 これまで多くのITエンジニアの方に『CodeIQ』をご利用いただきまして、 改めて心より深く御礼申し上げます。 また、エンジニアのためのWebマガジン「CodeIQ MAGAZINE」は、 リクナビNEXTジャーナル( https://next.rikunabi.com/journal/ )に一部の記事の移行を予定しております。 今後は『moffers by CodeIQ』にて、 ITエンジニアの皆様のより良い転職をサポートするために、より一層努めてまいりますので、 引き続きご愛顧のほど何卒よろしくお願い申し上げます。 また、Cod
PythonでExcelのCSVファイルを扱う - Qiita
Pythonのcsvパッケージは大変便利です。面倒なエスケープ処理をちゃんと行ってくれます。とりわけ、Excelファイルで送られてきたファイルを処理するのに重宝します。なんといっても、dialect='excel'でExcel CSVをちゃんと読めます。 ところが、日本語が絡むと問題は途端に厄介になります。問題の本質は何か。まず、ExcelのTSVの扱いに関して、以下のことが知られています。 Excelのtsvエクスポートはutf-16（BOM付き）である Excelが直接読めるのはBOM付きutf-16のtsvである（カンマ区切りはウィザードが必要） csv（カンマ区切り）出力や読み込みも可能だがおすすめできない（後述） このことからわかるのは、BOM付きutf-16ファイルを扱うのが最善ということです。これを扱う一番の方法は、ioパッケージを使うことです。 さらっと書きましたが、ioパ
【チュートリアル】機械学習を使って30分で固有表現抽出器を作る - Qiita
はじめに 固有表現抽出は、テキストに出現する人名や地名などの固有名詞や、日付や時間などの数値表現を抽出する技術です。固有表現抽出は、質問応答システム、対話システム、情報抽出といった自然言語処理を用いた応用アプリケーションの要素技術としても使われています。 今回は機械学習技術を使って固有表現抽出器を作ってみます。 ※注意事項 理論的な話は一切出てきません。理論を知りたい方は他を当たってください。 対象読者 固有表現抽出を少しは知っている方 固有表現抽出器を作ってみたい方 Pythonコードを読める方 固有表現抽出とは？ ここでは、固有表現抽出の概要と方法について説明します。 概要 固有表現抽出は、テキストに出現する人名や地名などの固有名詞や、日付や時間などの数値表現を抽出する技術です。具体例を見てみましょう。以下の文から固有表現を抽出してみます。 上記の文に含まれる固有表現を抽出すると人名と
NumPy闇入門
NumPyのちょっと不思議な挙動などをまとめた資料です。クイズ形式で紹介＆解説をします。 PFIセミナー2016/01/28：NumPy闇入門 https://www.youtube.com/watch?v=fdLKVMCrzNE 2016/3/20 問題の一部を修正 Read less
Pythonでスクレイピング - Yahoo!ファイナンスから投資信託の基準価格を取得する - Qiita
この記事について Pythonとlxmlを使って、webスクレイピングでYahoo!ファイナンスから投資信託の基準価格を取得する方法を解説します。 [追記] Yahoo!ファイナンスからのデータスクレイピングは規約上禁止されているようなので、代わりの方法を利用ください。 Pythonでスクレイピング - 投信協会webから投資信託の基準価格を取得する 環境 Windows10 x64 Python 2.7.11 lxml 3.5.0 変更履歴 2016/1/16 lxml.html.parse()にurlを直接渡すようにした。urllib2のimportを無くした。 url生成の際に引数をdictに取ってからformat()で展開するようにした。 forの回し方を変更 ElementTreeからXPathで取得した要素に.encode('utf-8')する処理をあらかじめmap()でやって
iOS上で動作する革命的ものづくり環境「Pythonista 3」の魅力をとくと語る
iOS用のアプリは通常、開発アカウントを取得し、Macを使って開発します。 開発アカウントを取得するほどではないが、iOSデバイス上で何かやりたい処理がある、という人はいるでしょう。 あるいは、プログラム好きな人なら率先してiOSデバイス上でプログラミングをしたいと思うのではないでしょうか。 そうしたニーズに存分にこたえることができる、iOSデバイス上で動作する統合開発環境がPythonista 3です。 2016年9月21日に開催されたPyCon JP 2016で @equal_001 さんがPythonistaについて発表されていたのでご紹介。 Python支持者のことをPythonistaといいますが、アプリ名はそこから取ったんでしょうね。 正真正銘のPythonが内蔵されていて、ローカルで動きます。 [参考] Kazuhiro AbeさんはTwitterを使っています: 「インタプ
Python Jupyter + Cesium.js で 3D 地図が描きたい - StatsFragments
Cesium.js とは Web GL を利用して 3D 地図を描画する JavaScript ライブラリ。かなり多機能で様々な見せ方ができるようだ。詳しく知りたい方は公式サイトの Demos を見ればいい。 cesiumjs.org これを Jupyter Notebook に埋め込んで使いたい。Cesium.js には Python の wrapper などはないため、直接 JavaScript を書いて使う。従って、利用できる機能に差異はない。このエントリでは Cesium.js の機能の詳細には触れず、Jupyter に関係する内容のみ記載する。 具体的なやり方はこちらと同じ。 sinhrks.hatenablog.com データの準備 先日のエントリで作成した、 アメリカの国立公園 のデータを使う。 sinhrks.hatenablog.com 以降、すべて Jupyter No
Python でレコメンデーションを実装する - Qiita
みな味の好みがバラバラで、同じメニューでも人によって採点が高かったり低かったりしているようです。 元データの作成 まずは Python で扱える形でデータを用意し recommendation_data.py とします。 dataset = { '山田': {'カレー': 2.5, 'ラーメン': 3.5, 'チャーハン': 3.0, '寿司': 3.5, '牛丼': 2.5, 'うどん': 3.0}, '田中': {'カレー': 3.0, 'ラーメン': 3.5, 'チャーハン': 1.5, '寿司': 5.0, 'うどん': 3.0, '牛丼': 3.5}, '佐藤': {'カレー': 2.5, 'ラーメン': 3.0, '寿司': 3.5, 'うどん': 4.0}, '中村': {'ラーメン': 3.5, 'チャーハン': 3.0, 'うどん': 4.5, '寿司': 4.0, '牛
%2B%25BB%25FE%25B7%25CF%25CE%25F3%25B2%25F2%25C0%25CF)
(Python) 時系列解析 - Murakami's Memorandum
(工事中) データ型 移動平均・重み付き移動平均 単純移動平均 重み付き移動平均 スプライン補間 自己相関・相互相関 自己相関 有限複素フーリエ変換・有限フーリエ変換 データ窓 パワースペクトル コヒーレンス・偏コヒーレンス・マルチプルコヒーレンス データ型 リスト a=[1,2,3] アレイ import numpy as np a=np.array([1,2,3]) a*a # 要素毎の掛算 [1,4,9] となる a.dot(a) # 答えは14 行ベクトルと列ベクトルの掛算 マトリクス import numpy as np a=np.matrix([[1,2,3]]) # 行 b=a.transpose() # 列： a の転置 a*b # 行列の掛算 答えは14 a.dot(b) ＃行列の掛算(別の表現) # c=np.matrix([[1,2
Python 機械学習プログラミング データ分析ライブラリー解説編
「ITエンジニアのための機械学習理論入門」で提供しているサンプルコードに含まれるデータ分析ライブラリ（NumPy/pandasなど）を解説した資料です。 下記の書籍のサンプルコードが理解できるようになることが目標です。 - ITエンジニアのための機械学習理論入門(技術評論社) - http://www.amazon.co.jp/dp/4774176982/ 2015/10/25 ver1.0 公開 2015/10/26 ver1.1 微修正 2016/05/25 ver1.4 subplotの順番を修正 2016/11/15 ver2.0 改訂版公開 2016/11/16 ver2.1 改行幅修正 2017/01/10 ver2.2 微修正 2017/01/12 ver2.3 微修正Read less
デザインパターン（Design Pattern）#Singleton - Qiita
設計を意識したコードが書けるようになる為に、デザインパターン修行しました。 他のDesign Patternもちょくちょく出していきます。 前置き 増補改訂版Java言語で学ぶデザインパターン入門をJavaからPythonにしてます。（Pythonは3.4.2） githubにコード置いてあります（まだ動かないものもある） デザインパターンをどういう時に、何を、どう使うのかを理解することが一先ずの目標。 （Javaというか静的型付言語は初めてで、且つpython歴もそんなに長くないので、Pythonistaぽっくないところがあると思います。ご指摘ございましたらご教授ください。） まず、そもそもデザインパターンってどういうものかってとこから。 デザインパターンとは ソフトウェア開発におけるデザインパターン（型紙（かたがみ）または設計パターン、英: design pattern）とは、過去のソ
PythonでJavaScriptを使ったWebサイトをスクレイピングする - Qiita
概要 JavaScriptでDOMを作ってるサイトをPythonを使ってスクレイピングしたので、手順をメモ。 大雑把には、ScrapyとSeleniumを組み合わせてやった。 Scrapy Scrapyは、クローラーを実装するためのフレームワーク。 クローラーをSpiderのサブクラス、スクレイピングした情報をItemのサブクラス、スクレイピングした情報に対する処理をPipelineのサブクラス、という風にフレームワークが決めたインターフェースを満たすクラスとしてクローラーを実装する。 scrapyというコマンドが提供されてて、このコマンドを使って、作ったクローラーの一覧を見たり、クローラーを起動したりできる。 Seleniumは、ブラウザをプログラムから制御するためのツール（でいいのかな？）。Pythonも含めたいろんな言語で使える。 よくWebサイト/アプリの自動テスト文脈でよく出てく
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PythonによるDeep Learningの実装（Stacked Denoising Autoencoders 編） - Yusuke Sugomori's Blog
ディープラーニング－畳み込みニューラルネットワークとPythonによる特徴抽出 | POSTD