拡張ボタンからページ遷移なしでブックマーク！ ブラウザメニューのB!ボタンをクリックするだけで完了。 コメントやタグを付けて素早く保存できる公式ツールです。 使い方をみる
スマートフォンアプリ・ブラウザ拡張機能
拡張ボタンからページ遷移なしでブックマーク！ ブラウザメニューのB!ボタンをクリックするだけで完了。 コメントやタグを付けて素早く保存できる公式ツールです。 使い方をみる
Selenium・Pythonを用いた動的Webサイトのスクレイピング（初心者用） - Qiita
0 モチベーション 本稿は、スクレイピング初心者のPython使いを対象として書きました。筆者自身もスクレイピングの知識が不十分なところもあるかと思いますので、何かあればご指摘いただければと思います…。 スクレイピングに用いるモジュールとしては、urllibやbeautifulsoupなどがありますが、これらのモジュールでは動的なサイト（airbnbなど検索機能を用いたりする、javascriptなどを用いて構築されたサイト）は取得できません。 これらの動的なサイトのスクレイピングにはSeleniumが有用です。Seleniumは本来ウェブアプリケーションのテストのために開発されたソフトウェアであり、人間が実際にウェブを見る際の操作を模してくれるので、原理的にはどのようなサイトでもスクレイピング可能となります。 全体の手順の流れとしては、 モジュールのインポート⇒ ウィンドウを開く⇒ スク
【プログラミング初心者でもOK】WEB自動化ツール「iMacros」が便利すぎる！
大和正直公式ブログ 脱サラ成功を目指す副業サラリーマンの方やインターネットビジネスに挑戦している方へ大和正直の思考や経験に基づいた有益な情報を厳選してシェアしています。 「iMacros」はGoogle ChromeやFirefox、IEに対応した無料アドオンで、WEB上の操作をプログラミングによって自動操作することができる便利なツールです。 当ブログでは基本的にGoogle Chromeをベースにご紹介していくスタンスですが、今回のiMacrosは自動操作の特性上、僕が普段使っているGoogle Chromeとの競合操作を避けるためにFirefoxを使っていきたいと思います。 アドオンのダウンロード：iMacros for Firefox iMacrosで何が出来るのか？ iMacrosはブラウザ上でのWEB操作を自動化することができるツールです。 ということは、普段のパソコン操作を思い
Webアプリケーションを自動で操作してみよう - Qiita
はじめに Webアプリケーションに対してある種の繰り返しの操作を行ったり、定型処理を定期的に自動実行したい場合がよくあります。 大きくわけてWebアプリケーションの自動化には３種類のやり方が存在します。 1つ目はブラウザのGUI上の操作をプログラム上で真似して自動化する方法 2つ目はブラウザから送信しているデータを真似する方法 3つ目はWebアプリケーションが提供しているAPIを利用する方法 1つ目のブラウザのGUI上の操作をプログラム上で真似して自動化する方法は直観的にわかりやすいと言われますが、実際は最も難しい自動化の方法になります。また、アプリケーションのバージョンアップに伴い自動化用のプログラムが動作しなくなる可能性があります。 2つ目のブラウザから送信しているデータを真似する方法はプログラムで実装しやすいやり方ではありますが、Webアプリケーションがどのようなデータを送信している
Webパフォーマンス虎の巻
Webパフォーマンス向上施策のために、今更ながら超速本1を読んだので、今までの自分の知見と合わせてまとめてみます。 なるべく柔らかく、改善施策ってまず何をどうすればいいの？という疑問を持った人に向けて書いています。 ▪️格言 そもそもWebは速い。遅くしているのは我々です。大抵は技術の問題ではなくて、人の問題。 引用元： テクニックではなく、今、本気で取り組むべきWebパフォーマンス （html5jパフォーマンス部 部長 竹洞さん） 心得 パフォーマンス向上に対する施策は大別すると以下の２通り 軽量化 （単純にやりとりするデータ容量を小さくすること） 圧縮 削除 最適化 （その時に最も適している実装・実行をとること） 経路・順番の変更 非同期 もっとも遅くしている原因を探して、それを対策するのが原則。「対効果」が絶対的正義である。手段から入るのは愚策。まず先に原因を知ることが重要。 ▪️1
XPathのまとめ、要素の参照方法いろいろ
XPathとは XPath(XML Path Language)とは、XML形式の文書から、特定の部分を指定して抽出するための簡潔な構文(言語)です。HTML形式の文書にも対応します。 CSSではセレクタを使ってHTML文書内の特定の部分を抽出しますが、XPathはより簡潔かつ柔軟に指定ができるとされています。以下の例はbody以下のリンク要素(hogeクラス)を取り出す書き方です。 CSSセレクタ html > body a.hoge XPath /html/body//a[@class="hoge"] XPathを試してみる 上記のとおり、XPathはHTMLのパースに使えます。なのでHTMLに対してXPathでデータを抽出するのがお試しとしては簡単でしょう。 Google Chrome で XPath を書いてみる Google Chrome の開発者ツールには、XPathによる検索
【Python】Seleniumの使用方法メモ - Qiita
Seleniumとは Seleniumとは、Webの自動テストのためのライブラリです。 最近では、自動テストのため以外でもスクレイピングのために使用するひとも多いと思います。 かくいう、私もその一人です。スクレイピングのためにこれさえ知っていればできるということを紹介できればと思います。 インストール インストールは以下のコマンドでできます。 実装方法 ブラウザの指定 Seleniumでは、PythonのコードからWEBブラウザを操作します。操作するためには、WebDriverが必要なのですがそれらは各ブラウザの公式サイトからダウンロードしてください。 今回サンプルでは、firefoxを操作する場合と、Chromeを操作する場合のサンプルを記述してみます。 from selenium import webdriver #Chromeを操作 driver = webdriver.Chrome
Selenium WebDriver、Pythonをインストールし Chromeの自動操作の環境構築手順のまとめ
selenium WebDriverとは？ Seleniumは、ブラウザの操作を自動化することで、Webシステムのデバッグをするために開発されたプログラムです。 ですが、ブラウザを自動的に操作することができますので、デバッグのためのツールとしてだけではなく、ロボットツールとしても利用されているプログラムです。 Seleniumには、selenium Core、selenium RC、selenium IDE、selenium WebDriver．．．など開発の歴史の中でいくつものバージョンが作られてきましたが、基本的には Firefoxが密接な関係にあったブラウザですので、Seleniumというと Firefox、という感じなのですが、ここでは、Google Chromeを使って自動操作するための環境構築の方法を解説します。 selenium WebDriverの Firefox版と Ch
Excel/VBA : VBA Seleniumを利用してWeb情報を取得（基本操作編） | DN-Web64
Selenium VBAの基本的な使い方について取り上げます。各種サンプルソースを通じて動作確認してみるといいかと思います。 ※下記情報なども参考になります。 ・https://code.google.com/p/selenium-vba/ ・Selenium VBAのインストール先に格納されているヘルプファイル ⇒ SeleniumWrapper\SeleniumWrapperApi.chm ブラウザの起動・終了 Public Sub selenium_test1() Dim selenium As New SeleniumWrapper.WebDriver selenium.Start "chrome", "https://www.youtube.com" selenium.get ("channel/UCEgdi0XIXXZ-qJOFPf4JSKw") selenium.stop E
ChromeのヘッドレスモードをMacOSXで試してみた - Qiita
マストドンで盛り上がる最中、 こっそり一部で盛り上がってたChromeのヘッドレスモード MacOSXで少し試してみたいと思います。 開発中の機能ということで、仕様の変更もあると思いますが、2017/4/16段階ではちゃんと以下のやり方で動作してます:) 準備 Google Chrome Canaryをインストール 開発段階にある機能がのってるchromeです。ささっと入れちゃいます。 nodejsインストール(v6.3以上) ちなみに今回試したのはv7.9.0 シェルにCanaryバイナリへのエイリアスを作成します(僕は.zshrcに追加しました/bashの人は.bash_profileかな) alias chrome-c='/Applications/Google\ Chrome\ Canary.app/Contents/MacOS/Google\ Chrome\ Canary'
コード不要でWebスクレイピング可能な「Kimono」で、動画キュレーションプレイヤーを作ってみた！ - paiza times
どうも、まさとらん（@0310lan）です。 最近は、暇な時間を見つけると、ついつい「YouTube動画」をボーッと見てしまうのですが、同じような方はいらっしゃいますか？ 私の場合、YouTubeに時間を費やしてるうちに…、 「もっと効率よく、興味のある動画だけを見たい！」 という欲求が湧いてきたのでいろいろ模索した結果、簡単にWebスクレイピングができる「Kimono」で動画キュレーションプレイヤーを作る！…という結論に至りました。 そこで今回は、作り方をゼロから順を追ってご紹介しようと思いますので、快適な動画ライフを送りたい方はぜひ参考にしてみてください！ ■「Kimono」とは？ 「Kimono」を簡単に説明すると、任意のWebページのHTMLソースを定期的に取得し、必要な箇所だけを抽出して再利用できるようにしてくれるサービスと言えるでしょう。 例えば今回の事例だと、定期的にYouT
オンライン・ブラウザ上で、HTML＆CSSを作成・編集できるツール！｜まとめNEST
WEB上でちゃちゃっとHTMLやCSSを作成・修正したいときに使えるツールをコードエディタを中心に集めました！ オンライン超軽量・軽快エディタ系 ブラウザ上で、HTMLなどをリアルタイム反映して編集出来るWebサービス「Liveweave」 速度も速くて軽量です！ HTML5/CSS3にも対応、HTML/CSS/JavaScriptを整形・チェックするオンラインツール -Dirty Markup コードのチェックや整形までやってくれます！ 激簡単にHTMLとCSSの共有が出来るリアルタイムオンラインエディタScrathpadが良い感じ！ cssやjavascriptがすぐ反映されるWEBサイトツール「HTML Instant」 CSS編集がブラウザ上でリアルタイムに行えホスティングもしてくれる「WebPutty」 ブラウザデフォルトor拡張機能系 ブラウザ上で簡単CSS編集！Chromeの
ホームページビルダーを無料でお探しなら＞ホームページ作成ツール19個
1500以上の会社、お店が利用中の月額無料HP制作サービス 「HPの制作を安心して任せられる業者が見つからない＞＜」 そんなふうに頭を悩ますアナタ。 以下の「ウェブさえパック」はもうチェック済みですか？ HPを作るのに必要なものがパッケージになってるお得なサービスです。 料金と事例を見てみる 【発表】最新のHP作成方法はこちらへ ホームページビルダーを無料でお探しのあなた。 ホームページビルダーといえば、これ↓ 「ジャストシステムのホームページビルダー」なら、こちらですぐにダウンロードできます。 しかし、焦らずちょっと待ってください。 web制作歴14年目の僕は、ジャストシステムのホームページビルダーをおすすめしません。 なぜなら、このJustSystemホームページビルダーには以下のようなデメリットがあるからです。 ダウンロードしてからインストールするのが面倒 レンタルサーバーも必要。そ
Cookieとセッションをちゃんと理解する - Qiita
引用/参考書籍 「よくわかるPHPの教科書」 「初めてのPHP5」 「パーフェクトPHP」 「体系的に学ぶ安全なWebアプリケーションの作り方」 「PHPスーパーサンプル」 「プロになるためのWeb技術入門」 インターネット上で情報をやりとりするということは、大事な内容をはがきに書いて相手に送るようなもの。その情報が相手に届くまでに誰に見られるかわからない。 概要 HTTPはステートレスなプロトコル。「状態」を持てない。 例えば、「ログイン」ページの場合、「ログインしているかどうか」のチェックをする必要がある。 NG例) http://www.littleforest.jp/itemlist?login=ok loginパラメータを調べてokかどうかを調べる。 →→パラメータを容易に改変できてしまう。 解決策として、Cookieとセッションを使う。 Chromeで、Cookieを確認するに
PHP製のWebアプリが遅い場合の基本チェック6点 - ほんじゃらねっと
先日別のチームから、 「PHPで作成したWebアプリの速度が遅いので助けてくれー」 という相談を受けた。 対応したものの、結構時間がかかって面倒だったので、 今後こういった問題が起こった時に使えるよう、チェックリストをまとめてやった。 基本的な内容だけど、 このチェックリストの内容をやってみて、それでもダメなら相談しなさい、 と伝えておくことで相談を減らすフィルタとして働いてくれるはずだ。 PHPプロジェクトに限らず、バックエンドでデータベースを使用している Webアプリのプロジェクトなら試す価値のあるものが多いはず。 調査や対応方法の手軽さ順で並べるとこんな感じ: Webブラウザのデベロッパーツールでレスポンスを計測する Webサーバ(Apache)のリクエスト時間をログに出力する ログ解析ツールでURL毎の付随リクエスト数を確認する データベースのスロークエリログを出力する プロファイ
iPhoneSafariのデバッグ方法｜iPhone｜モバイル／スマートフォン｜PHP & JavaScript Room
Windows環境のChromeでiPhoneSafariのデバッグをする Edge Inspect使用 2012/11/6 iOS5までは、端末のSafariに開発メニューがあり、そこからコンソールログなど、Webサイトのデバッグ表示ができたのですが、見当たらないと思ってたら、iOS6からはWebインスペクタに変わっていました。 weinreというリモートで動くWebサイトのデバッグツールが使われています。 Adobe Community: Forum: Edge Inspect どんなものか試してみましたので、ここではWindows環境のChromeでiPhoneSafariをデバッグする手順を簡単にご説明します。 必要なものはこちら。一度インストールしてしまえばあとは接続するだけなので簡単です。 iPhone：実機（WiFi接続）＋「Edge Inspect」アプリ Windows：
Chrome デベロッパーツールで知っていると、Webサイトやアプリの制作が捗る便利なテクニックのまとめ
先日「Chrome デベロッパーツールの使い方」で華麗に使いこなすテクニックを紹介しましたが、それとは異なるデベロッパーツールの便利な使い方を紹介します。 Webサイトやアプリの制作時に、非常に役立つテクニックが満載です。 ※画像は元記事のものではなく、当方の環境のものを使用しています。 デベロッパーツールの便利な使い方 タブ「Elements」を選択 DOM要素を選択 右パネルのタブ「Computed」を選択 「Computed」には、選択したDOM要素に適用されている全てのスタイルが表示されます。そのプロパティの頭にある虫眼鏡アイコンをクリックすると、そのスタイルがあるCSSファイルとそのセレクタの指定を表示します。 これは大きなサイトを制作している時に、非常に有用です。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ChromeでWEBページ全体をフルスクリーンショット！見ているページの全画面キャプチャー画像をダウンロードする方法
ブラウザの操作を自動化してくれる！便利すぎるWEB自動化ツール「iMacros」に関する参考サイト＆記事まとめ
Chrome Developer Toolsを使いこなそう！
