スクレイピングとPython5. Pythonとの関わり（１） • PyCon JP 2014 スタッフ • PyCon JP 2015 プログラムチーム副座長 • Pythonもくもく会（主催） 6. Pythonとの関わり（２） • LLDiver • PyCon JP 2014 • Phone Symposium Tokyo 2015 • PyCon mini Hiroshima (Today!!) • Pythonエンジニア養成読本（共著）
TensorFlowのTutrialの解説と機械学習の実験をした。 - のんびりしているエンジニアの日記
今日は様々な箇所で賑わっているTensorFlowを使ってみました。 皆さんこんにちは。 お元気でしょうか。朝弱いと結構困りますよね。 TensorFlowが盛り上がってたのでつい書いてみました。 TensorFlowとは http://tensorflow.org/ http://download.tensorflow.org/paper/whitepaper2015.pdf （詳細にライブラリのことを知りたい人はこちらのpdfへどうぞ） TensorFlowはGoogleが開発したデータフローグラフを使用した数値計算ライブラリです。 グラフの各ノードは数値計算のオペレータを示し、エッジはデータの配列を示す。 desktopやserverなどでのCPU,GPU演算をシンプルなAPIで実現することが可能です。 開発者は、GoogleのBrain Teamの研究者、エンジニアです。目的は、機
Tweepyを使って、PythonでTwitterのAPIを超簡単に操作する - StatsBeginner: 初学者の統計学習ノート
PythonでTwitterのAPIを触りたい PythonでTwitterのAPIを操作し、検索の自動化による情報収集・解析とか、自動でつぶやくbotの作成を可能にしたい。 そこでTweepyというライブラリを使うと、とても簡単に態勢が整いました。10行以内のコードで準備が終わります。 Tweepy ちなみにTwitterのAPIは「REST API」と「Streaming API」の2種類があって、今回使うのはREST APIのほうです。REST APIは（RESTというものの説明はREST - Wikipediaでもみてください）、HTTPリクエストを投げるとそれに対応した情報がjsonで送られてくるってやつで、特定のツイートやユーザの情報を取得したり、検索をしたり、つぶやいたりするのに使うものです。Streaming APIはTwitter上に流れる情報がリアルタイムに流れ込んでく
Scrapy 1.0が公開されました - orangain flavor
Pythonの有名なWebスクレイピングフレームワークのScrapyがバージョン1.0になりました。*1 0.24からの主要な変更点は下記のとおりです。 SpiderでItemの代わりにdictを返せるようになった Spiderごとにsettingsを設定できるようになった Twistedのloggingの代わりにPythonのloggingを使うようになった CrawlerのコアAPIがリファクタリングされた いくつかのモジュール配置場所が変更された 他にも数多くの変更点がリリースノートに記載されています。 Scrapy 1.0の感想 大きな機能の追加よりも、APIの整理と安定性の向上がメインのようです。これまではバージョンを重ねるごとに便利になっていくものの、あまりAPIが安定していない印象でしたが、APIを安定させた区切りのリリースと言えるでしょう。1.0というメジャーバージョンに到
Python pandas で日本の株価情報取得とローソク足チャート描画 - StatsFragments
以下の記事を読んでいて、pandas 標準では日本株式の情報が直接とれないことに気づいたのでやり方をまとめたい。 この記事では以下 2 点の処理について書く。 Yahoo! ファイナンス からの株価取得 ローソク足チャートの描画 補足 標準の v0.15.2 で簡単に動きをみているが、ちゃんとテストはしてない。特にローソク足チャートについては pandas の plot クラスにかなり依存しているため、バージョンが変わると動かなくなる可能性がある。 1. 株価の取得 まず、pandas には標準機能として外部サイトのデータを DataFrame で取得する機能 DataReader がある。DataReader では 日本株の情報は直接はとれないが、簡単に動きを書いておく。 DataReader での取得 DataReader では、0.15.2 現在で以下 6 つのデータソースをサポート
FF10の雷除けを自動化した話 - panchiga's blog
これはAizu Advent Calender 2014の9日目の記事です! Aizu Advent Calender 2014 前の人: @MiZuKi_Sonoko mizukindevelop: Hackathonに参加しよう {Aizu Advent Calendar 2014 [８]日目} 次の人: @a_r_g_v はじめに FF10はみんな知ってるよね? FF10には七曜の武器っていう伝説の武器みたいなものがあって、入手方法がゲーム中のミニゲームをなんかすごいやるみたいな感じ。 例) サブイベントの「とれとれチョコボ」をタイム0:0:0でクリアする(ティーダ) サブイベントの「サボテンダーの里」をクリアする(リュック) 召喚獣バトルに全部勝利する(ユウナ) その中で巨乳おっぱいさんルールーの「雷平原のサブイベント・雷除けを200回連続で成功する」というものがある。 おっぱいさ
機械学習はじめの一歩に役立つ記事のまとめ - その後のその後
「機械学習」というワードになんとなく惹かれつつも、具体的にやりたいことがあるわけでもないので、手を動かすことなくただひたすら「いつかやる」ために解説記事やチュートリアル記事を集める日々を過ごしていたのですが、このままじゃイカン！と Machine Learning Advent Calendar 2014 - Qiita に参加登録してみました。 が、やはり何もしないまま当日を迎えてしまったので、お茶濁しではありますが、せめて「機械学習ってどんな手法やライブラリがあって、どんな応用先があるのか？」というあたりをざっくり把握して最初に何をやるのか方向付けをするためにも、たまりにたまった機械学習系の記事をいったん整理してみようと思います。 機械学習の概要 特定のライブラリや手法の話ではなく、機械学習全般に関する解説。 機械学習チュートリアル@Jubatus Casual Talks 機械学習チ
xlwings·さよならVBA。PythonとExcelの相互コミュニケーションライブラリ MOONGIFT
Webアプリ全盛の現在とあっても、業務では未だにExcelが多く使われています。その結果としてVBAが活躍しており、メンテナンスが難しかったり、コピペされるコードが量産されていたりします。VBAがダメという訳ではないのですが、触りたくないと考えるプログラマは多いのではないでしょうか。 もっと自分が使い慣れたプログラミング言語でExcelを扱いたいと考える人に使ってみていただきたいのがxlwingsです。PythonとExcelで双方向の操作が可能になります。 xlwingsの使い方 デモ。ExcelからPythonを呼び出します。 xlwingsはPythonからExcelのデータを読み込んだり、ExcelからPythonをコールできます。その結果、PythonからExcelにデータを追加したり、検索結果を表示させることも可能です。VBAの代わりに使うことが可能です。 Pythonであれば
NHK 番組表 API を触る為の Python クライアント作った - 祢占堂
はい え！？有給休暇取ってないの！？翌日が祝日なのに！？なにすんの！？前日が日曜日で？次の日が建国記念日で？有給取らない？なにすんの！？なにすんのそれ！？え！？有給取らないの！？4連休に出来るのに！？なにすんの！？どこ勤務？どこ勤務？どこ勤務？どこ勤務？どこ勤務？どこ勤務？どこ勤務？ど— すぎやまたいち (@sgymtic) 2014, 2月 9 有給とったはいいけど自宅の空調から異音がして全取っ替えを頼んだら 5 時間近く立ち会いでどこにも行けず暇になったので作った。 Repository: drillbits/nhk-api · GitHub PyPI: nhk-api 0.0.2 : Python Package Index 使い方は README を、API の詳細は公式ドキュメントを読めばいいと思う。例によって Python 3.3 じゃないと動きません。 先行者たち PHP:
PythonとかScrapyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - orangain flavor
2016-12-09追記 「Pythonクローリング&スクレイピング」という本を書きました！ Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド- 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2016/12/16メディア: 大型本この商品を含むブログを見る 2015年6月21日 追記： この記事のクローラーは動かなくなっているので、Scrapy 1.0について書いた新しい記事を参照してください。 2014年1月5日 16:10更新： デメリットを修正しました。 以下の記事が話題になっていたので、乗っかってPythonの話を書いてみたいと思います。 Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - 病みつきエンジニアブログ 複数並行可能なRubyのクローラー、「cosmicrawler」を試してみた - プログラマにな
)
Mac で Python の開発環境構築(2013.11) - methaneのブログ
しばらく Mac からおさらばしていたのですが、ゆえあって戻ってきました。 Python 3.3 ベースで Python 環境の構築をしたので、参考までに手順を残しておきます。 1. Homebrew で Python 3 をインストール とりあえずベースになる Python を用意します。いまならもう Python 3 を普段使い用にできるので、 Python 3 を用意します。 $ brew install python3 MacPorts でも大丈夫だと思います。 2. 自分用のデフォルト環境を作る システムの Python に直接自分が普段使うツール類をインストールするのは憚られるので、自分用のデフォルト Python を用意します。 Python 3.3 では venv が標準ライブラリにあるので、この手順で virtualenv を手動で準備する必要がなくなりました。 $ mk
全てのwebエンジニアがPythonを勉強するべき2013年到来
あけおめ！今年は巳年。へび。へびと言えばPython。そう今年は全てのwebエンジニアがPythonを勉強する最高の環境が整った年なのです。 既にPerlやRubyを習得してるけど、それに加えてPython必要？必要です！必要だと思います。もはやPythonはwebエンジニアにとって必修言語となりつつあると思います。Linuxの多くの箇所でシステム言語として用いられ、可読性の高さから多くの技術系書籍のサンプルコードとして用いられ、科学技術系分野におけるエコシステムの充実っぷりはますます磨きがかかっており、様々なライブラリがどんどん出てくる現状を「Pythonわからないから自分には関係無い」と遠巻きに眺めるのはもったいないです。 習得するのにどのくらい時間かかるの？あなたが既に他の言語に慣れ親しんでいるなら、特にRubyなどに精通していれば「1週間」で基本的な読み書きは出来るようになるでしょ
「サーバーサイドの知識の無さに全俺が泣いた」レベルの入社当時の人に読ませたら少しはアドバイスになったであろうPythonとDjangoの前提知識メモ - 憧れ駆動開発
あの頃は青かった。教えるどころか無知をさらけ出すというのはこの事だった。死ぬほど恥ずかしいので消したかったけれど、この記事が一番アクセスがあって長い間いくらか読まれていたらしい。ためらった。ただ、かつての自分といくらかの人に参考になればうれしいけれど、そろそろ役目を終えたと信じたい。もし書きなおすのなら、もう少し違う言い方か伝え方にすると思う。 内容としては 当時の自分のスペック Pythonの言語で、当時の自分が知った方法(3項演算子とか) mercurial の基礎(init, commit, push, update, log) WAF(Django)の知識 URL(ディスパッチャ)をトリガーにして Viewで処理をかく ModelにDBの内容がある ORMでリレーションを簡単に記述できる テンプレートでViewで処理した内容を表示させる チラ裏に移動させた。
Pinterestの急成長を支えてきたアーキテクチャとは？ Pythonで開発しAmazonクラウドで運用
Pinterestの急成長を支えてきたアーキテクチャとは？ Pythonで開発しAmazonクラウドで運用 急速に人気が急上昇するWebサービスでは、どのようにスケールするアーキテクチャを構築し運用していくのかはサービスの成否を分けるほど重要です。Pinterestのように急成長してきたサービスのソフトウェア構成やリソース構成はどうなっているのでしょうか、Web上でいくつか情報が公開されているのでまとめてみました。 Pythonで開発し、Amazonクラウドで運用 1年ほど前なので少し古い情報ではあるのですが、Q&AサイトのQuoraにPinterestのco-founder Paul Sciarra氏が書き込んだソフトウェア構成の説明があります。 PinterestはPythonで開発されており、MemcachedやNginxなど高速なレスポンスに配慮した構成になっている様子がうかがえま
いかにしておっぱい画像をダウンロードするか〜2012 Python 版 - Memo
いかにしておっぱい画像をダウンロードするか〜2012 の Python 実装です。 Node.js 版は [twitter:@kumatch] さんの いかにしておっぱい画像をダウンロードするか〜2012 for Node.js :: kumatch's blogspot。 PHP 版は ゆーすけべーさんのおっぱいスクリプトをPHPで書き直してみた - maeharinの日記。 Ruby 版は 橋本商会 » いかにしておっぱい画像をダウンロードするか〜2012 をRubyで書いた。 言語に Py なんて名前が付いているからには Python でやらないとダメでしょう！！ requests モジュールを使えば簡単！ $ pip install requestsとかで requests をインストールして下さい。 さらに requests は async を実装してるので簡単！！ 一応 50
他の言語に慣れた人がPythonを使ったときにつまずきがちな10のポイント - 西尾泰和のはてなダイアリー
今日質問されて、以前Twitterで書いたのを思い出して、そして検索性が悪くて見つけ出すのに苦労した。こちらに転載しておく。詳細は気が向いたときに埋める。 オプション引数の評価タイミング Rubyではオプション引数は関数が呼ばれるたびに評価される。 def foo() print "foo!" end def bar(x=foo()) end bar #=> foo! と出力される bar #=> foo! bar #=> foo! Pythonでは関数の定義時に1回だけ評価される。 def foo(): print "foo!" def bar(x=foo()): pass #=> foo!と出力される bar() #=> 何も出力されない bar() 「引数が省略されたら今の日時」みたいな毎回評価したい場合はデフォルト値をNoneにしておいて「Noneだったら＝省略されていたら」のif
エンジニアが知っておくべき厳選英語Webサイトなど - YAMAGUCHI::weblog
はじめに こんにちは、Python界の情弱です。なんか「WEB屋が知っておくべき」ってエントリが出てたんですが、まあ自分はエンジニアの端くれなのでこのへんは読んでますよ、ってのをメモっておきます。僕は情弱なので、もっと素敵なサイトがあったら教えて下さい。 「英語だから…」なんて拒否っちゃ駄目なWEB屋が知っておくべき厳選ブログ、WEBマガジン色々 | バンクーバーのうぇぶ屋 僕は主にPython系の記事を読んでますが、他のテーマ（言語、OS、仮想化、DBなどなど）はきっと著名な方々がテーマに沿って書いてくれてたりするんじゃなかろうか、と思っています。 こんなのを読んでいる 公式サイト 公式サイト なにはともあれ公式サイトとかを見ておくのはマナー。例としてPythonの公式。更新に関するRSSがあればそれを登録すると便利です。 パッケージ管理レポジトリ 今日日のプログラミング言語だとパッケー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Python入門 : 4日間コース社内トレーニング
CoffeeScript 言語リファレンス
はてなブログ | 無料ブログを作成しよう
