Pythonでスクレイピング 基本 - メモ
imabari.hateblo.jp Beautiful Soup Documentation — Beautiful Soup 4.4.0 documentation ウェブページをHTMLで保存し、サーバーへのアクセス回数を減らす 初回アクセス時にHTMLファイルを保存 from urllib.request import urlopen from bs4 import BeautifulSoup url = 'アドレス' html = urlopen(url).read() soup = BeautifulSoup(html, 'html.parser') # soup = BeautifulSoup(html, 'html5lib') # prettifyで整形されたファイルで保存 with open('test.html', mode = 'w', encoding = 'utf
Gentleちゃれんじ Tips -lxmlでhtmlを処理する-
lxmlでhtmlを処理する Pythonでhtmlを取り扱う際は、「htmllib(標準モジュール)」や 「Beautiful Soup」 といったモジュールがあります。 しかし、高速で柔軟な操作がしたい場合は、 「lxml」がいいということなので、 今回はlxmlでhtmlを操作する方法をメモしたいと思います。 lxmlは、Beautiful Soupより高速で、htmllibより柔軟なhtml(xml)操作を可能にするのですが、 日本語資料が少ないと言うのが難点でした。最低限のことならば、ちょっと英語を読めば、 何とかなりますが、ちょっと凝ったことをしようと思うと英語力がネックでつまづいてしまいました…。 そこで、今回は、自分がつまづいた所を中心に紹介したいと思います。 目次 htmlから情報を抽出する htmlソースを改変する まとめと補足 1. htmlから情報を抽出する htm
cheerio-httpcli
cheerio-httpcli - Node.js用WEBスクレイピングモジュール Node.jsでWEBページのスクレイピングを行う際に必要となる文字コードの変換と、cheerioによってパースしたHTMLをjQueryのように操作できるHTTPクライアントモジュールです。 特徴 取得先WEBページの文字コードを自動で判定してHTMLをUTF-8に変換 UTF-8に変換したHTMLをjQueryのように操作可能 フォームの送信やリンクのクリックをエミュレート フォーム送信時のファイルアップロード対応 Node.jsお馴染みのコールバック形式と最近の流行であるプロミス形式どちらにも対応 同期リクエスト対応 $('a')要素のリンク先をファイルとしてダウンロード可能 $('img')要素画像をファイルとしてダウンロード可能(LazyLoad対応) $('a,img,script,link')
node.jsでwebサーバーを立てるまでを理解する - 文系プログラマー
node.jsを使って、webサーバーを立てるまで方法をメモしておきます。 参考： MEANスタックで始めるWebアプリ開発入門（2）：いまさら聞けないNode.jsの基礎知識とnpm、Gulpのインストール (1/2) - ＠IT Node.js入門 (全16回) - プログラミングならドットインストール いまいちポートやらhttpモジュールやらわからないので後々勉強しておきます。 [Node.js] Webサーバ＋アプリ構築が速すぎる件 〜 JSおくのほそ道 #004 - Qiita 変更が楽なので、別ファイルにport,hostを設定しましょう。 //server.js var http = require('http'); //httpモジュールのインポート var server = http.createServer(); var settings = require('./se
CasperJSでWEBサイトをスクレイピングしてみる - Qiita
前回の投稿（CasperJSでWEBサイトの画面キャプチャを取得してみた）の続きです。環境構築の方法（Mac）については、前回の投稿をご覧ください。 はじめに とある事情で、Qiitaの Organizationページ(自社の) をWEBスクレイピングしました。 とある事情というのは、自社のブログ に、自社メンバーのQiita新着投稿をブログパーツ的に表示したかった。 Qiitaへゴリゴリ負荷をかけるものではないです^^; CasperJS は CoffeeScript をそのまま解釈してくれるので、今回は CoffeeScript で書いてみます。 ちなみに CasperJS は仮想ブラウザ？的に動いているので、対象ページが JavaScript 等で動的に描写されるページでも、スクレイピングできるはず..です。 今回の成果物 QiitaをWEBスクレイピングして、こういうブログパーツ（
PHP で h() を書くなら一緒に echo しよう。 - こせきの技術日記
名前が長い関数 htmlspecialchars() を h() と書けるようにすると便利、という話がある。 PHP: htmlspecialchars - Manual htmlspecialchars関数を簡単に扱えるようにする 第1回 CakePHPを使いたくなる5つの特徴：CakePHPで高速Webアプリ開発｜gihyo.jp … 技術評論社 htmlspecialchars() なんて長い名前は絶対忘れるし、ENT_QUOTESだのUTF-8だのも書き忘れるに決まっている。 h() は CakePHP でも使われていて、いいと思う。いいと思うんだけど、もうちょっといける。 <?php /** 改善前のエスケープ関数 */ function h($str) { return htmlspecialchars($str, ENT_QUOTES, 'UTF-8') } このようにエスケ
【CakePHP】初心者向け・レイアウトの変更方法 – atomicbox
前回、【CakePHP】初心者向け・基本の使い方に引き続きCakePHPの基本的な使い方について。 コントローラ（Controller）とビュー（View）を使って、URLをぽちぽちと指定すると自分が作ったViewのctpファイルの内容が画面に出てくる…ところまでやったので、「次はModelの使い方…データベースかな？」と思いきや今回は見た目、ヘッダーやフッターのレイアウトの話です。とりあえず見た目から入ってみましょう。 前提 CakePHP2系の内容になります。 レイアウトとは CakePHPでは、特に何もしなくてもなんとなくレイアウトされた状態でページができます。【CakePHP】初心者向け・基本の使い方でExampleというページを作りましたが、こんな感じの見た目で出てきます。 勝手にCakePHPのヘッダーとフッターがついていたり、CSSも指定していないのにh2タグが赤字になってい
jQuery – 目的の場所にさくっと要素を追加する | 1：n – DETELU Blog
「いろんなセレクタ指定方法＋αを覚えて、目的の要素をさくっと取得する」で要素をさくっと選択できるようになったら、次は選択した要素を元に、さくっと新しく要素を追加する方法を覚えて見ましょう。 「新しく要素を追加する」というのはAjaxで外部データを読み込み、リスト一覧を表示させる場合などに頻繁に利用します。たとえばtwitterからデータを読み込んでサイドバーに表示する、といった場合です。 他にもホームページに新しい商品を追加して「NEW」という画像を表示することがあると思いますが、一ヶ月後には消したいという場合、直接HTMLに書き込んでいると、いちいち修正しないといけません。それをうまくJavascriptで追加するようにして上げれば、修正の必要がなくなります。 class名に日時を添えて、そのclass名につけられた日時と現在の日時と比べて処理をさせます。少しスクリプトは荒い例ですが、下
【長文】WordPressでAMP対応をしたので、やったことをまとめてみる | 今日も8時間睡眠
先日「AMPについて、まじめに考えるか」と書きましたが、さっそく当サイトのAMP対応を行いました。今日はその作業内容をまとめてみます。 今日の記事は、技術的な話しかありません。 AMPとは AMPは、Googleなどが主導する、モバイルでのサイト閲覧の高速化を目指すプロジェクトのことです。高速化は、キャッシュの仕組みやページの軽量化により実現されています。サイト作成者がAMPに対応するには、「AMP HTML」というフレームワークの仕様に従ったページを作成しないといけません。 サイトによっては、AMP対応ができない場合もあります。AMP対応時に障害になりそうなものを挙げておきます。 JavaScriptが使えない（ただし、後述の通り、AdSenseやGoogle Analyticsは可） 外部cssも使えない（内部スタイルシートの上限は約50kb） 使えないタグや使用に制約のあるタグがある
PHP4 テンプレートクラスライブラリ改 - tmpl2.class.php
作成 2002-03-13 修正 2002-10-20 このクラスライブラリは 川里 様が公開しているPHP4テンプレートクラスライブラリ tmpl204.class.tar.gz(19KB) - v2.0.4 (2001/12/24) をベースに、多重ループ（ネスト）に対応したものです。 素晴らしいライブラリを公開し、またこのソース公開の許可を頂いた 川里 様に感謝します。 クラスライブラリ名を tmpl2.class.inc から tmpl2.class.php に変更しています。 最新版は 2002-10-20 Ver 0.7 （tmpl2.class.php,v 1.18） です。 ライセンス 元のクラスライブラリをベースにしているので、このクラスライブラリも同じ LGPL で配布します。 LGPL に関しては以下のリンクを参照してください。 GNU 劣等一般公衆利用許諾契約書 (
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Python、Seleniumの基本 - naritoブログ
ドラッグ＆ドロップでli要素の並べ替え→DB書き換え - Qiita
kudox.jp