Python Webスクレイピング テクニック集「取得できない値は無い」JavaScript対応@追記あり6/12 - Qiita
この記事について 本記事はPythonを使ったWebスクレイピングのテクニックを紹介します。 ※お酒飲みながら暇つぶしで書いたので割と適当です。 今回紹介するテクニックを使えれば経験上大体どんな値でも取得でき、これらはRubyだろうがGolangだろうが同じ様に動作します。 Webスクレイピングが出来ないサイトがあればコメントにて教えてください。全身全霊を持ってやってみます。 また、Webスクレイピングをしたことが無い方は下記の記事を読むことをお勧めします。 Python Webスクレイピング 実践入門 - Qiita 追記更新 6/12 コメントに対応しました。 はじめに 注意事項です。よく読みましょう。 岡崎市立中央図書館事件(Librahack事件) - Wikipedia Webスクレイピングの注意事項一覧
ウェブページの英単語に単語レベルを指定して日本語訳のルビをつけることが可能なGoogle Chrome拡張機能「Read Ruby」レビュー
英文のウェブサイトを読んでいる時に分からない単語が出てくると、いちいちソフトウェアやウェブ検索で意味を調べる必要があり、面倒なもの。そんな中、ページ上の英単語に日本語のルビを振ってくれるGoogle Chrome拡張機能「Read Ruby」が公開されています。ルビを振る単語レベルを指定可能なことから、自分の英語レベルで理解できなさそうな単語に絞って意味を表示してくれるという、便利なツールになっています。 Webページの英単語に日本語の意味を表示するChrome拡張「Read Ruby」を公開しました - drilldripper’s blog http://drilldripper.hatenablog.com/entry/2017/09/30/151737 まずはChromeウェブストアから「Read Ruby」のページを開き、「CHROMEに追加」をクリック。 「Read Ruby」
curl とxpath でお手軽スクレイピング - それマグで！
この記事は [クローラー／Webスクレイピング Advent Calendar 2015] の一つとして書きました。 公開遅いけど。ごめんね この記事の目標 curl コマンドの使い方を覚えつつ、スクレイピングをやっていきます。 この記事で紹介すること curl curl + grep curl -s curl + md5sum curl + md5sum + mail curl + cookie curl + cookie + xpath curl + xpath + xpath シェルスクリプト実行 用意するもの curl xpath libxml grep ruby nokogiri cookie pry 知っておくと便利な知識 css2 css3 xpath jq js への対応 基本方針は「JSに対応しない」 だって、リクエストヘッダ見てたらわかるもん。 curl コマンドでWE
JSCapture·こんなことまで！JavaScriptでスクリーンショット&キャストの保存 MOONGIFT
HTML5ではgetUserMediaを使ってWebカムにアクセスできるのは良く知られています。しかしデータの入力元は他にも考えられます。その一つがディスプレイです。画面に表示されている内容は確かに出力データになるでしょう。 そんな画面の内容をキャプチャできる機能が最新のGoogle Chrome（35以上）から登場しています。その実験とも使い方を紹介するのがJSCaptureです。 JSCaptureの使い方 まず最初にGoogle Chromeの設定を有効にする必要があります。 設定を有効にしたら再起動しましょう。 まずはキャプチャです。JSCaptureのサイトで実際に試すことができます。キャプチャをクリックするとダイアログが出ます。 画面共有の確認が出ますので、はいを押します。 見事キャプチャされました。Downloadを押して画像として保存できます。 次にレコーディングです。結構
Chrome の拡張 JSONView が便利ですね - latest log
この記事の賞味期限は2013年内です。10秒で読めます。 (ε・ ワ ・)з 勘違いがありまして、本文の趣旨が変わり Chrome の拡張 JSONView の機能紹介になりました JSONView をインストールした状態でhttp: や https: スキームで始まる JSONファイルを開くと、改行やスペースを含まない(圧縮された状態の)JSONも、適切に展開した状態で見ることができます。 この状態で、マウスを各要素にホバーさせると、画面下の薄い紫の部分に、要素にアクセスするためのパスが表示されます。 紫色の部分: tree[0].attrs.frame[3] xpath のようなこれは、json path とでも呼ぶのでしょうか? また、各ノードの左側にある - や + をクリックすると展開と折りたたみが行われます。 以下のパスを JSONView をインストールした状態で開くと、お試
理総研ブログ｜理総研Web＠中学受験専門理科総合研究所［［解決］ Shockwave Flash has crashed.］
ブログカテゴリー［我思う故にWareあり］の前回の記事で、FLASHを使用したサイトをChrome version21.0で閲覧していると今までのバージョンに比べて重いなぁ～と感じたり、タブをたくさん開いていくと 『Shockwave Flash has crashed.』 『プラグイン「Shockwave Flash」は応答していません。』 などといったエラーが発生し、他のタブまで真っ白けで閲覧すらできなくなる現象について書きました。 理総研Webに訪れる検索ワードを逆引きしてみたら、結構な訪問が件のブログ記事にあり、同じように苦しんでいる方々が多いんだな～と知って個人的にさらに調査を進めていました。 前回の記事に書いたとおり、Chromeはversion21.0からはFLASHの新しい拡張プラグインアーキテクチャであるPPAPIを採用しています。従来のNPAPIとは相容れない仕様である
こてさきAjax:chrome上で、Webサーバーを動かしてみた - livedoor Blog（ブログ）
Chrome Apps v2's socket api Chrome の Web appsが manifest v2 に変わり、その機能、特に Packaged Apps が大幅に変わっています。 What Are Packaged Apps? その中で僕が特に注目しているのが、socket api。ChromeのPackaged Appsから、生のソケットコーディングが出来るようになります。 この socket api ですが、これまで tcp ソケットでサーバーを立てることができなかった(listenとかacceptのメソッドが無かった)のですが、昨日 Google API Expert MTGで 吉川さんから、「昨晩Chromiumで実装されたみたい」との情報が。ということで、早速簡単なWebサーバーを動かしてみました・・・というのが今日のEntryです。(執筆時点では、すでに、ca
jQuery mobileの動作確認用Bookmarklet for Chrome - Tech-Sketch
はじめに jQuery mobile 使ってますか？ 同一ソースでPC用ブラウザからiPhone、Androidまで対応できる便利なフレームワークですが、開発中は基本的にGoogle Chromeを用いて動作確認や画面の確認を行なっています。 スマートフォンの通信・CPUが早くなったとはいえPCには敵いませんし、キーボードから手を離すのも億劫ですから、こうしてGoogle Chromeで確認している人は多いのではないでしょうか。 ＃ 個人的には普段はFirefoxを使っていますが、iPhone/Android向けWebサービスを作る場合には、同じWebkit系ブラウザ(Safari, Chrome, etc.)で動作確認した方が良いように感じます。 画面サイズの問題 さて、Google Chromeで確認する方法は大抵の場合うまくいくのですが、時々「これ、iPhoneの画面サイズで見たら
メモ: Chromium のビルド
最近は Firefox から心移りしてしまい Google Chrome ばかり使っている私ですが、そのベースとなる Chromium をビルドしてみました。 Chromium はオープンソースのウェブブラウザとして The Chromium Projects で公開されています。 ビルド環境は以下のとおりです。 OS: Windows 7 Ultimate (x64) CPU: Intel Core i7 965 3.2 GHz Visual Studio 2010 Professional SP1 メモリ: 12 GB 作業は、ほぼ Build Instructions (Windows) に記載の手順で行いました。 以下の説明で特に記載が無い場合、デフォルトの設定 (SDK などは C ドライブの規定の場所) でインストールしています。 なお、Chromium のソースや関連する
chrome extensionのXMLHttpRequestが改良された
Chromium Blog: Chrome Extensions: Now with more powerful scripts and improved proxy management. なんと、content scriptからクロスドメインなXMLHttpRequestができるようになった。これで、いちいちマヌケにもbackground pageを介してメッセージのやり取りをする必要はない。パフォーマンスも向上する。 この仕様は常々疑問だったのだ。background pageといえども、manifesto.jsonに指定したpermissionを無視したXMLHttpRequestはできない。それならば、content script内で、permissionを考慮したクロスドメインなXMLHttpRequestができてもしかるべきだ。何しろ、こちとらはエクステンションなのだ。 さっ
Early Access Releases - Google Chrome まとめWiki
2018-02-22 起動オプション2017-07-29 テーマ/作り方2016-12-15 雑記2016-10-24 キーボード ショートカット2016-09-18 FrontPage/コメントログ2015-06-29 起動オプション/コメントログ2015-04-20 テーマ2014-11-11 コメントページ2014-10-19 FAQ2014-10-05 エクステンション Early Access Releasesとは Google Chromeでは以下の3種類のチャンネルが用意されています。 Stableチャンネル Betaチャンネル Devチャンネル BetaチャンネルとDevチャンネルをまとめてEarly Access Releasesと呼びます。 注意：Early Access Releasesでは、新機能に関わる部分の文字列が英語のままで各国語に翻訳されていないことがありま
Experiments with Google
3D, A-frame, ARCore, Actions on Google, Android Live Wallpaper API, Android NDK, Android SDK, Android Things, Apps Script, Arduino, Augmented Reality, Blender, CLIP, Canvas, Canvas Quiz, Captive Portal, Cardboard SDK, Cast API, Cinder, Cloud Text-to-Speech API, Convnet.js, D3.js, Demoscene, Dialogflow, Firebase, Framer Motion, GAN, GLSL, GPT-2, Gamepad API, Google Assistant, Google Assistant SDK,
いつでもどこでもインラインで検索結果をポップアップして調べることが出来るGoogle Chrome拡張-Inline Search & Lookup - 適宜覚書-Fragments
いつでもどこでもインラインで検索結果をポップアップして調べることが出来るGoogle Chrome拡張-Inline Search & Lookup Firefoxを使っていた頃、GreaseMonkey+UserScriptでいつでもどこでも選択した語句を辞書や検索エンジンに投げる環境を便利に使っていました。正直この手のScriptがあるのでFirefoxを未だ手放せないのです。 今まで知らなかったのですが、Chromeでも似たようなことが出来る拡張Inline Search & Lookupがあるのですね。UserScriptほどの汎用性は無いのですが、インラインで検索結果をポップアップして調べることが出来ます。 TwitterのWeb版タイムライン画面でちょこっと調べたいけど別タブ開きたくない、なんてシチュエーションで重宝しますよ。（＾＾ 以下導入、利用法等説明します。
YouTube人気急上昇
【ゆっくり解説】DQN家族らが強風の忠告を受けるも、BBQを続け付近を巻き込む大火災に…「八街市 BBQを続けたDQN 11軒全焼」
DropBoxを使ってGoogle Chromeの設定を同期する – happymeme
※2009年2月21日 間違いを訂正しました。 設定フォルダごと同期は出来るのですが、Bookmarksファイルのみを同期するのはうまくいってなかったみたいです。 うまくいかないと悩んでた方がいましたらごめんなさい･･･。 設定フォルダごと（つまりブックマークだけじゃなく履歴とかも含めて）同期する場合は以下の手順で出来そうです。 Bookmarksファイルだけを同期するのは、なんだかうまくいかないので諦めました（教えてエライ人）。 DropBoxを使ってブラウザ（Google Chrome）のブックマーク設定フォルダを同期 DropBoxは、複数のPC間で指定したフォルダを自動的に同期してくれるオンラインストレージサービスです。 これが便利すぐる。 導入してからUSBメモリをまったく使わなくなりました。 DropBoxの詳しい解説はこちら。 で、ファイルを同期できるのはすばらしいのですが、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://bugs.chromium.org/p/chromium/issues/detail?id=138755
[chrome] Index of /
Chrome ウェブストア
Chrome Extensions API リファレンス