Scrapy + Scrapy Cloudで快適Pythonクロール+スクレイピングライフを送る - Gunosyデータ分析ブログ
はじめに こんにちは、データ分析部の久保 (@beatinaniwa) です。 今日は義務教育で教えても良いんじゃないかとよく思うWebクロールとスクレイピングの話です。 私自身、日頃は社内に蓄積されるニュース記事データや行動ログをSQLやPythonを使って取得・分析することが多いですが、Web上にある外部データを使って分析に役立てたいというシーンはままあります。 単独のページをガリガリスクレイピングしたいときなどは、下の1年半ぐらい前の会社アドベントカレンダーに書いたような方法でやっていけば良いんですが、いくつもの階層にわかれたニュースポータルサイトやグルメポータルサイトを効率よくクロール+スクレイピングするためには、それに適したツールを使うのがすごく便利です。 qiita.com そこでPython用スクレイピングフレームワークScrapyの登場です。 Scrapy | A Fast
XnView Portable (photo viewer, organizer and converter) | PortableApps.com
Import about 400 graphic file formats Export about 50 graphic file formats Multipage TIFF, Animated GIF, Animated ICO support Image IPTC, EXIF metadata support EXIF auto rotation support IPTC editing Resize, rotate, crop support Lossless rotate & crop (jpeg) support Adjust brightness, contrast... Auto levels, contrast Modify number of colors Apply filters (blur, average, emboss, ...) Apply effects
フランス政府、公共データの公開サイト「data.gouv.fr」を開設
フランス政府は12月5日付けで、政府機関が発行する情報を公開するプラットフォームとなるWebサイト「data.gouv.fr」を公開しました。政府機関が収集、発行するさまざまな統計情報、地理情報、環境情報、伝染病の情報、予算、支出、調達などを「オープンデータ」として公開します。 Open Data : une source d’informations qualifiées, un vecteur d’innovation et de développement 公共データをこのように公開することの目的は2つあると、サイトの記事「Open Data : une source d’informations qualifiées, un vecteur d’innovation et de développement」（オープンデータ：確実なデータソースからのデータ提供は、発展とイノベーション
クラウドに最適化したMySQLのフォーク「Drizzle」が正式版公開
MySQLからフォークし、クラウド用途に最適化して開発された「Drizzle」が3月15日に最初の正式版を公開しました。 MySQLはよく知られたオープンソースのリレーショナルデータベースです。そのMySQLを、トランザクション機能を維持したままクラウドのような大規模分散環境での並列処理とマルチコアCPUに最適化したのが「Drizzle」です。 多くのWebサービスのバックエンドでは、高速なデータベース処理を実現するために多数のMySQLサーバを用いた分散処理をしていますが、Drizzleではそうした用途に特化して設計されています。 NoSQLに対するSQLからの回答 Drizzleは、大規模なWebサービスのバックエンドデータベースとして利用することを想定しているため、Web系サービスのバックエンドとしてはほとんど使われないだろう機能が省かれています。例えば、ACL（アクセス制御リスト）
PythonでWebアプリつくるのにDotCloudに登録しない手はない - YAMAGUCHI::weblog
はじめに サエンバイノー（こんにちは）、Python界のメンソレータムです。さて猫も杓子もクラウドの時代ですが、みなさんいかがお過ごしでしょうか。先日ふと「DotCloud」というサービスを見かけてベータ登録したので、ご紹介致します。 DotCloudってなに？ dotCloud - One home for all your apps DotCloudはいままでWebアプリケーションホスティングサービスの中で期待されていた領域に切り込もうとしてますよ。まず使える言語はPHP, Ruby, Python, Javaがいまのbetaの時点で使えて、さらにこれからリクエストがある言語にも対応しようとしてます。（ErlangとかSchemeとか）で、DBとかMQとかすでに有名所はいくつか使えて、なんでもリクエストがあれば対応するぜ！っていう勢い。またスケールに関してもスケールアップ、スケールアウ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch
