Pythonでクローリング・スクレイピングに使えるライブラリいろいろ - orangain flavor
2016-12-09追記 「Pythonクローリング&スクレイピング」という本を書きました！ Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド- 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2016/12/16メディア: 大型本この商品を含むブログを見る これはクローラー／スクレイピング Advent Calendar 2014の7日目の記事です。 Pythonでクローリング・スクレイピングするにあたって、いろいろなライブラリがあるので一覧でまとめてみます。 以下の4つのカテゴリにわけて紹介します。 Webページを取得する Webページからデータを抜き出す Webページの自動操作 総合的なフレームワーク なんでこれが載ってないの？この説明はおかしい！などありましたらお気軽にお知らせください。なお、この記事はいろいろなライブラリを紹介することを目
必要なのはブラウザだけ。Python使ったWebサービス構築（画面を作ってみよう編） - 今日学んだこと
前回の続きになります 。きっと反響が少なかったのはタイトルが悪かったんだな！ということでタイトル変えました。(もし「お、いいかも」と思いましたら、ハテブよろしくです。モチベーション上がるので・・・) 前回で、環境を作ることができました。今回はページを作っていきます。 前回は「写経しよう！」が主な内容でしたが、今回からは好きなものを作っていこう！を主眼としようかと思います。 その前に・・・Webサービスってどうやって動くの？ 好きなものを作っていこう！と言いましたが、まずはWebサービス（プログラム）の概念的なイメージを抑えていた方がいいと思いまして。 基本的に、プログラムは単純化すると 入力→計算/保存→出力 というプロセスを経ることになります。これが、Webだと 画面で入力して→サーバーで計算/保存して→画面に描画する といった形になります。画面が２回出てくるので 画面をどうつくるか サ
みんなのPython Webアプリ編をHTMLで読めるようにしました | TRIVIAL TECHNOLOGIES 4 @ats のイクメン日記
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー 拙著「みんなのPython Webアプリ編」をWebでお読みいただけるようHTML化しました。スマホでも読めるよ:-)。 「みんなのPython Webアプリ編」は，Webアプリを開発するための方法を，Pythonを使い，基本的な事柄から積み重ね式に解説した書籍です。なお，HTML化にあわせて，本文を微妙に修正し，サンプルコードはPython 2.7で動くようにしてあります。 もともと，絶版になっていた書籍を，出版社にお願いして出版契約を解除してもらってPDFとして配布していたものを，つてがあってLindocで公開していました。Lindocがサービス止めるとのことで読めなくなってしまっ
PythonのWeb開発で使いたい高性能デバッガー·wdb MOONGIFT
wdbはPython製のWSGI用のWebベースデバッガーです。 スクリプト言語の開発のが個人的には手軽ですが、IDEを使ったコンパイル系言語の開発において羨ましいと感じるのがブレークポイントを含めたデバッガー機能です。そんなデバッグ機能をWSGIを使った開発に用いられるのがwdbです。 アクセスするとデバッガーが立ち上がります。 ステップ実行、コンソールでの出力ができます。 別なライブラリへ遷移します。 最後は結果が出力されて完了です。 wdbを実行すると、1984番ポートでWebサーバが立ち上がります。そして/wtfにアクセスするとwdb.set_trace()を実行した次の行からステップ実行が可能になります。最後までいくと画面に結果のHTMLが出力されて完了となります。変数の内容を見たり、ステップ実行もできるようになり、より開発がスムーズになりそうです。 wdbはPython製、GP
「コピペできない文章」がコピペできなかった理由 - てっく煮ブログ
html5先日公開した 絶対にコピペできない文章を作ったったwwww はおかげさまで好評だったようで嬉しい限りです。「不思議！」「どういう仕組みなんだ？」という声も多かったので裏側を紹介します。コピペできない訳ではないタイトルは「コピペできない」としていいますが、実際にはコピペはできます。正確に表現すると「コピーすると違う文字になる」という状態になっています。 ではなぜ違う文字になるのでしょうか。結論をいってしまうと「そこにある文字が、人間の目に見える文字とは違う」からです。といっても、これでは分からないですね。今回のために作成された独自フォントトリックの肝は「フォント」です。フォントといえば、文字の見た目を変えるために利用するものです。たとえば、「ほ」という文字を「メイリオ」フォントで表示するとこうなります。フォントを変えて「HG創英角ポップ体」フォントで表示すると、ポップな雰囲気になり
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
これ知らないプログラマって損してんなって思う汎用的なツール
