python-dateutil - Labix
Description The dateutil module provides powerful extensions to the standard datetime module, available in Python 2.3+. News 2011-03-24 dateutil 2.0 is out! Ported to Python 3, by Brian Jones. If you need dateutil for Python 2.X, please continue using the 1.X series. There's no such thing as a "PSF License". This source code is now made available under the Simplified BSD license. See LICENSE for d
131:ディレクトリとファイル一覧を取得する
131:ディレクトリとファイル一覧を取得する os.listdir(path)を使うと、pathにあるすべてのファイルとサブディレクトリの名前からなるリストを返す。順番は不動。 http://www.python.jp/doc/release/lib/os-file-dir.html >>> os.listdir('c:/') ['PAGEFILE.SYS', 'WINNT', 'python22jp', 'ntldr', 'bootfont.bin', 'NTDETECT.COM', 'boot.ini', 'Documents and Settings', 'Program Files', 'CONFIG.SYS', 'AUTOEXEC.BAT', 'IO.SYS', 'MSDOS.SYS', 'notes.rip', 'FOUND.000', 'Python23jp', 'arcld
Python で TDD してみる - methaneのブログ
RSpec の入門とその一歩先へ がとてもよい記事だったので、 Python で写経させてもらいました。 https://github.com/methane/pytest-tut Ruby コミュニティと Python コミュニティの考え方の違いも見えて面白いと思います。 環境は Python 3.3 で、実行には py.test コマンドを使いましたが、 py.test の機能は特に使っていないので nose でもなんでも大丈夫です。 ファイルの作成 まずは空の実装とテストを作ります。 message_filter.py class MessageFilter: pass message_filter_test.py 最初のテストを書く py.test は .should といったメソッドを勝手に生やしたりはしません。普通に assert 文を書きましょう。 --- a/messege
Ansible AWX を使ってみる（1） - ようへいの日々精進XP
概要 Ansible が Web ユーザーインターフェースで利用出来る Ansible AWX を使ってみる Chef Server や Hosted Chef 等に似ている気がするなー Ansible AWX って車の名前みたいでカッコイイ 解りやすいドキュメントでとっても簡単 ただし無償版は 10 ホストまでしか登録出来ず、それ以上のホストを取り扱う場合には有償ライセンスを購入しなければいかんぜよ インストール インストールした環境 CentOS 6.4 x86_64 古いバージョンの ansible ではダメ ドキュメントを斜め読みした後、何も考えずに yum install ansible を行った後で wget http://ansibleworks.com/releases/awx/setup/awx-setup-1.2.2.tar.gz tar zxvf awx-setup-
PythonとかScrapyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - orangain flavor
2016-12-09追記 「Pythonクローリング&スクレイピング」という本を書きました！ Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド- 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2016/12/16メディア: 大型本この商品を含むブログを見る 2015年6月21日 追記： この記事のクローラーは動かなくなっているので、Scrapy 1.0について書いた新しい記事を参照してください。 2014年1月5日 16:10更新： デメリットを修正しました。 以下の記事が話題になっていたので、乗っかってPythonの話を書いてみたいと思います。 Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - 病みつきエンジニアブログ 複数並行可能なRubyのクローラー、「cosmicrawler」を試してみた - プログラマにな
pythonのフレームワークでサクッとクローラをつくる。"Python Framework Scrapy" - 忘れないようにメモっとく
そうだクローラつくろう 研究テーマを探しつつ、なんとなくネットワークが面白そうと思っていた今日この頃。 研究で扱うのは、通信技術のネットワークではなくて、ノードとリンクに一般化したやつ。 「スモールワールド(small world phenomenon)」や「六次の隔たり(six degrees of separation)」など、一般的に知られてる部分もあって、経済現象とか感染症の拡散の理論にも適用できる(と言われている)ので、関連する分野がめちゃくちゃ広い。 ただ、実際のデータを無料で手っ取り早く集めるとなると、web上のドキュメントを解析するのが楽そう。ということで、クローラをつくってみる。 集めたデータをどう扱うかはまだ決めてない(!!)けど、とりあえず非リンク数とかの解析から始めようかと考えております。 Scrapy(すくれぴー) pythonのフレームワークにもいろいろあるみた
スクレイピングするなら ScraperWiki 使うといいよ - ヤルキデナイズドだった
Web ページからデータを抽出してデータベースに突っ込むことに性的興奮を覚えるみなさん、 ScraperWiki 使うとキモチイイですよ。以上です。 そうではないみなさんには少々の説明が必要かと思いますので少々書きます。 ScraperWiki はスクレーパ（Web ページをスクレイピングするスクリプト）とスクレイピングで得られたデータを共有しようぜっという Web サービスです。Wiki と名が付いていますが Wiki っぽいページ構成になってるわけではなく、スクレーパやデータを誰でも編集できるようにして成果を共有するという理念が Wiki と共通しているのが由来みたいです。 ScraperWiki を使うとスクレーパを作るのがラクになります： Web ベースのエディタでスクレーパを書き、その場で実行できる PHP、 Python または Ruby が使える（HTML パーサなどのモジュ
ansibleを使ってみる — そこはかとなく書くよん。 ドキュメント
ansibleを使ってみる¶ Chefが猛烈な勢いで流行り始めている今日このごろですが、似たようなものは 世の中にいくつもあります。今日はその中の一つ、 Ansible を使ってみます。 書いていたらやたらと長くなったので何回か続きます。 軽くご紹介¶ インストールの前にどのようなツールなのかを軽く説明します。マシンの設定 を自動で行なってくれる、というツールなのはChefと同じです。 そのポリシーは githubのページ に書かれています。 シンプルな設定 最初から超速くて並列 サーバーやデーモンとかいらない。今あるsshdだけあればいい クライアント側になにもいらない モジュールは「どんな」言語でも書ける 超強力な分散スクリプトを書くためのイケてるAPI rootじゃなくても便利に使える 今までで一番使える設定管理システム さて、では見て行きましょう。 インストール¶ ansibleは
プリキュアハッカソンで pycure 作った - 祢占堂
プリキュアハッカソンは普通に映画館に参戦すると事案が発生してしまう大友たちがDVDでプリキュア映画を鑑賞しつつプログラミングするやつです。 ほとんどの人が映画に夢中でコードを書かない中、めずらしくまじめにハッカソンしてたらできた。映画もちゃんと見ました。 pypi: https://pypi.python.org/pypi/pycure github: https://github.com/drillbits/pycure Acme::PrettyCure インスパイアードです。 $ pip install pycureコマンド化してないので任意の対話シェルを起動するなどして動かす。 from pycure import Precure p = Precure.now p.title # -> 'ドキドキ！プリキュア' p.girls[0].name # -> '相田マナ' p.girls
#pyfes 2013.11に遊びに行ってきました。 - 納豆ペペロンチーノ日記
pyfes/201311.rst at develop · pyspa/pyfes Python Developers Festa 2013.11 - connpass Pyfesに行ってきました。土日に昼まで寝ている自分としては9時45分の開場期限に間に合っただけで快挙でしたが、Go, HTTP2.0, ストレージ, 構成管理と、今個人的に興味のある分野の話が聞けて有益な一日でした。会場のオラクル青山センターはトイレがオシャレでした。以下、発表内容メモ（聞き漏らし聞き間違いあり） Go ハンズオン @ymotongpoo 教材：Talks - The Go Programming Language P2Pチャットシステムを実装するハンズオン。自分は参加資格であるA Tour of Goが半分までしか終わらなかったので、参加するでもなく話を聴いてました。A Tour〜終わらせてから改めて挑
PyCon JP のフェイスブックページができました
こんにちは。メディアチームのいまづです。 PyCon JP では 11/29 より、フェイスブックページを開始しました！ これまで、お知らせは公式ページやツイッター、ブログで行ってきました。今後はそれらに加え、今後はフェイスブックページでも様々なお知らせをしていく予定です。 また、PyCon JP だけでなく、国内の Python 関連のイベントや海外の PyCon の情報もお知らせしていきたいと考えています。 できたてのページですが、皆さま、ぜひ"いいね！"をお願いいたします！ ▼ フェイスブックページ https://www.facebook.com/PyConJP ※ツイッターをメインで使用していて、PyCon JP のアカウントををフォローしてない方は、こちらもよろしくお願いします。 ▼ ツイッターアカウント https://twitter.com/PyConJ いまづ
hadoopの話とpythonでデータマイニングをする話 - gumi Engineer’s Blog
gumiの粟飯原です。 データマイニングやってます。しかしながら最近はあまりデータをいじる時間がなく社内でプレゼンばかりする日々で、社内でも私がなにやってるのかわからないというもっぱらの評判。そこで今回は一応データ解析もやってはいるんだよということを内外に主張するためにもデータマイニングの話をしようと思います。 アプリの基本的な日々の統計データ取得などは別の方々はやられているので、私からはhadoopを使った大規模解析の話や、そこで得られたデータを分析する環境の話をしたいと思います。コードを併記した具体例などは今回載せられないのですが、今後また紹介していければと思います。 大規模データの解析 日々のログ解析やDB解析はcronによる処理で毎朝レポーティングを行っているのですが、新しい情報を過去のアクセスログからまとめてどかんと取得したいと言う時はHadoopによる大規模解析を実行しています
Web開発にPythonを使う理由 - Web屋さんのアレ
僕の周りだけかもしれないですが、国内のWeb受託開発案件は「PHPで作るのが暗黙のルール」ってな勢いでPHP案件ばっかりなのですが、Python大好きな僕としては、何としてでもPythonを使って仕事をしたい！ なので頑張って布教活動をしているのですが、中々良い手応えが得られないのが現状です。。 という訳で、改めてPythonを使うメリットとか、安心してクライアントにPythonを進められる理由なんかをまとめてみました。 技術者がPythonを使うメリット 「今までPHPでやってきて何の問題もなかったし、これからPython始める意味なんてあんの？」 ぶっちゃけ、そんなにないですｗ 結果的に出来上がる物に関しては大差ないですからね。 ただし、開発効率やメンテナンス性は飛躍的に上がると僕は思います。 ライブラリがとても豊富 PHPも沢山ライブラリありますけど、Pythonだっていっぱいあるん
pythonの機械学習ライブラリscikit-learnの紹介 - 唯物是真 @Scaled_Wurm
scikit-learn(sklearn)の日本語の入門記事があんまりないなーと思って書きました。 どちらかっていうとよく使う機能の紹介的な感じです。 英語が読める方は公式のチュートリアルがおすすめです。 scikit-learnとは？ scikit-learnはオープンソースの機械学習ライブラリで、分類や回帰、クラスタリングなどの機能が実装されています。 また様々な評価尺度やクロスバリデーション、パラメータのグリッドサーチなどの痒いところに手が届く機能もあります。 インストール scikit-learnの他にもnumpyとかscipyとかが必要です。 Windows 64 bit版の人は以下のURLに色々なインストーラーがおいてあるのでおすすめ Python Extension Packages for Windows - Christoph Gohlke その他の人は以下のURLを見て
Pythonで実装されたMinecraft | HAPPY*TRAP
fogleman/Minecraft · GitHub Pythonで実装されたMinecraftですってよ、奥さん。しかも、ソースコードたったの1,000行未満！ YouTubeの動画をご覧になって。 というわけで、私の環境(Mac)でも試したら簡単に動いちゃいました。 手順は以下です。 ※GitHubにある指示に従ってPythonの32bitモード(?)で実行しています。$ sudo easy_install pip $ sudo pip install pyglet $ git clone https://github.com/fogleman/Minecraft.git $ cd Minecraft $ defaults write com.apple.versioner.python Prefer-32-Bit -bool yes $ arch -i386 p
PythonプログラマのためのErlang入門 — TRIVIAL TECHNOLOGIES 2.0
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー 例によって翻訳です。Erlang for Python Programmersという英文記事の翻訳です。 Pythonを使っている人が関数型言語の考え方を学ぶのによい記事になってます。 Pythonはコードが分かりやすいので，Pythonistaだけでなく，RubyやPerl，PHPそしてJavaのような命令型言語を使っている人にとっても有益な記事だと思います:-)。 初めに ここ数年，Erlangへの注目が高まっている。Erlangのプログラミングモデルはプロセス間でメッセージをやりとりするだけで実行する並行プロセスに根ざしている。それぞれのプロセスはとてもシンプルな関数型言語で作ら
AWS EC2 の Ubuntu に GUI を入れてブラウザ操作を自動化する話 - ウェブ雑記
こんにちは これからフロントエンジニアになる予定だけど、バックエンドも、というかクローリングが大好きな僕です。Amazon Web Service を駆使して、効率的かつスピーディーにデータを色々なところから情報を取ってきて、たくさん楽しいことをしたいわけです。 だが、現実はそんなに甘くない 実際にはブラウザを介さないと情報が取れないサイトもたくさんあります。「ちゃんとブラウザでクリックしてくれないと私、データあげないんだから＞＜」的なことを言われるのは日常茶飯事です。（要は javascript）そういう上品なウェブサイトには、ズケズケと土足で踏み込むのではなく、ちゃんと user agent をつけてあげたり、時にはブラウザを介してあげたりして、焦らずゆっくりと(wait() 的な意味で)、丁寧に接してあげなければなりません。 じゃ、ブラウザを使おう というわけで今回は AWS で立て
Go : 盛り上がり感 (hype) を実力にすることが重要 - ワザノバ | wazanova.jp
http://commandcenter.blogspot.se/2012/06/less-is-exponentially-more.html Goの開発メンバであるRob Pikeが、なぜRuby / Python経験者がGoに移ってくるのに、C++の開発者はあまり飛びついてこないのかについて昨年のブログで語ってます。 Goの開発のきっかけは、C++11の新機能の説明会に参加して、本質的でないと思う機能がどんどん追加されることに失望したから。 Cを元に開発しようという話しはでたが、実際のGoの開発過程では様々な言語のベストプラクティスを考慮してつくったので、Cがベースになったわけではない。 ただし、結果的には、 C / C++ と比較して相当シンプルになった。我々は、”Less is more” で、余計なものを入れずに本当に必要なものを揃えた方が問題を解決しやすい開発言語になると考え
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Ansible入門...?
Ansible Documentation