Nightmareがv2(Electronベース)になり、使いやすく感動したのでLIGブログのPV/UUデータ取得を自動化してみた。 - Qiita
LIGアドベントカレンダー1日目です！ こんにちは@n0bisukeです。 Nightmareを久々に使ってみたら起動したタイミングでElectronが起動してびびってたらそういうことになったみたいです。 Google Analyticsにログインしてカスタムレポートの値を取得する作業を自動化してみました。 あとでもうちょい細かく書いてLIGブログでまとめてみます(予定)。 Nightmareとは NightmareまたはNightmare.js http://www.nightmarejs.org/ ヘッドレスブラウザでJSの自動テストなどを行うPhantom.jsのラッパーツール・ライブラリです。 ログイン処理やボタンを押した際の挙動などを自動テストする際に使います。 yahooにアクセスしてgithub nightmareで検索する処理を書いた時の比較です。左がPhantom、右がN
jssha256: SHA256 in JavaScript
jssha256: SHA256 & HMAC-SHA256 in JavaScript jssha256 is a compact JavaScript implementation of the SHA256 secure hash function. HMAC calculation is also available. Example The following code example computes the SHA256 hash value of the string 'abc'. SHA256_init(); SHA256_write("abc"); digest = SHA256_finalize(); digest_hex = array_to_hex_string(digest); Get the same result by calling the shortcu
Google Calendar API(1/6):JavaScript/Ajaxライブラリ入門 - libro
Googleカレンダーは、各種のスケジュール管理をするためのサービスです。このカレンダーを自分のWebサイトなどから利用したい、と考える人のために用意されているのが、Google Calendar APIです。これにより、JavaScriptを使ってカレンダーにアクセスすることが可能です。 が！ 実を言えば、単にカレンダーをWebページに埋め込んで表示するだけなら、スクリプトなど書かなくとも可能なのです。Google Calendar APIのサイトには、カレンダーの埋込み用タグを作成するツールが用意されています。まずはこのページにアクセスしましょう。 http://www.google.com/calendar/embedhelper ここで、カレンダーの表示や大きさなどに関する諸設定を行うと、その状態でカレンダーを表示するための<iframe>タグが自動生成されます。このタグを、そのま
ヘッドレスブラウザ(Chrome)を使ってSPAをスクレイピングする - Qiita
一般的なスクレイピング手法とその問題点 スクレイピングというと、HTTPクライアントライブラリを用いてHTML取得し、HTML/XMLパーサーで解析するというのが一般的だと思います。 この手法の場合、以下の場合にうまく処理できません。 ターゲットのページがJavaScriptにより動的にDOMを操作する場合 HTML/XMLパーサーが取得したHTMLを正しく解釈できない場合(正しくないHTMLでもブラウザはなんとか処理するが、パーサーライブラリは正確なHTMLでないと処理できないことがある) 特に問題になるのは前者でしょう。最近のWebサイトではJavaScriptでDOMを操作することは珍しくなくなってきています。SPAであればなおさら難しく、もはやこういった手法によるスクレイピングは不可能でしょう。 ヘッドレスブラウザによるスクレイピング 動的なDOMやパーサーがうまく解釈できないとい
Selectors - jQuery 1.3.2 日本語リファレンス
Selectors/API/jQuery 基本 #id 指定されたidを持つ要素を選択する。 element 指定されたタグ名の要素を選択する。 .class 指定されたクラスを持つ要素を選択する。 * 全ての要素を選択する。 selector1, selector2, ..., selectorN 複数のセレクターを指定して集合要素を選択する。 階層 ancestor descendant ancestorを先祖に持つdescendantを選択する。 parent > child 親子関係を指定して要素を選択する。 prev + next 前後関係を指定して要素を選択する。 prev ~ siblings prev以降の兄弟関係にある要素を選択する。 基本フィルタ :first 先頭の要素を選択する。 :last 末尾の要素を選択する。 :not(selector) 指定したセレクターを
PhantomJS でログインが必要なページでも自由自在にスクレイピング - 凹みTips
はじめに PhantomJS - Scriptable Headless Browser PhantomJS はヘッドレスな（ブラウザ画面のない）QtWebKit ベースのブラウザで、JavaScript の API を通じて、そのブラウザを自由自在にあやつることが出来ます。使用シーンとしては、Jenkins などの CI ツールとの組み合わせによる Web ページの GUI の自動テストや、Web ページのスクリーンキャプチャ、スクレイピングなどが挙げられます。 今回は、ログインが必要なページの情報をパースして自分専用に RSS 化したいなと思い、３つ目のスクレイピング用途をベースに調べてみました。その内容を備忘録として残しておきます。 出来るようになること ログインが必要なページの HTML を取ってくる ログインが必要なページのスクリーンキャプチャを撮る PhantomJS の導入
selenium-webdriverの紹介とAPI翻訳 - Qiita
こんにちは、中島 (@nazomikan)です。 ※この記事は2016年に書かれた記事でver2系を対象に書いています。 ver3,4-betaで色々変わってるのでその辺についてのキャッチアップはこちらの記事をご利用ください 最近のselenium-webdriverの話 本記事は株式会社ネクスト(Lifull) Advent Calendar 2016の1日目の投稿です。 ブラウザベースのテストツールのseleniumをコードから実行するselenium-webdriverのnode版について導入からAPI紹介までしていきます。 あと手元で作業するにあたってAPIの翻訳(ソース上にうまってるdocsの翻訳)をしてたのでそれも載せておきます(むしろそっちメイン) 導入 webdriverのテスティングについて テストの書き方 よくある使い方 API翻訳 driverのAPI navigat
Webブラウザのプッシュ通知を簡単に実装！「Push.js」の使い方を徹底解説
スマートフォンアプリではおなじみのプッシュ通知。 実は、Webブラウザからもできることをご存知でしょうか。 JavaScriptの*「Web Notification API」*というプッシュ通知を制御するAPIを使うことで、モバイルだけでなくデスクトップにもWebサイト経由でプッシュ通知ができるようになります。 しかし、モダンブラウザの多くがサポートを始めている一方で、まだ利用したことがないひとも多いのではないでしょうか。 今回は、Web Notification APIを簡単に扱うことができるPush.jsを使って、簡単にブラウザ通知を実装する方法をご紹介します。 プッシュ通知とは？ これまでは、ホームページの更新を通知する方法としてはRSSやメールなどを利用している人が多かったのではないでしょうか。 しかし、RSSはRSSリーダーに登録する手間が必要で、メールでもメールアドレスをユー
くだらないAPIなんていらないよ – 2016年のウェブスクレイピング事情 | POSTD
ソーシャルメディアのAPIとそのレート制限は、あまり気分のよいものではありません。特にInstagram。あんな制限つきAPIを欲しがる人がいったいどこにいるんでしょうね？ 最近のサイトは、スクレイピングやデータマイニングの試みを阻止するのがうまくなってきました。AngelListはPhantomJSすら検出してしまいます（今のところ、他のサイトでそこまでの例は見ていません）。でも、ブラウザ経由での正確なアクションを自動化できたとしたら、サイト側はそれをブロックできるでしょうか？ 並行性を考えたり、さんざん苦労して用意した結果として得られるものを考えたりすると、Seleniumなんて最悪です。あれは、私たちが「スクレイピング」と聞いて思い浮かべるようなことをするためには作られていません。しかし、賢く作り込まれた今どきのサイトを相手にして、インターネットからデータを掘り当てるための信頼できる
Google Analytics APIでPVを集計しよう【準備編】 | 株式会社LIG(リグ)｜DX支援・システム開発・Web制作
こんにちは、エンジニアのしょごです。 11/28（土）に開催されるMTDDC TOKYO 2015で登壇することになりました。。 MT界隈で名のある方々によるセッションは勉強になると思いますので、ぜひ足をお運びいただければと思います。 閑話休題、メディアサイトにはよくランキング機能が搭載されますよね。 CMSによってはランキングを作ってくれるプラグインもあり、詳細ページにアクセスした際にSQLを発行して、閲覧したカウントを保持するものが多いかと思います。 ただそのような形だと、アクセスが急増した場合などに負荷をあげるボトルネックになりかねないので、個人的には好きじゃないです（というかプラグインはあまり使いたくないタイプなので。。） そこで、大抵のサイトが導入しているであろうGoogle Analyticsを使ってPVを集計する方法を公開します。 AnalyticsでPV管理をおこなっている
ASP.NET WebAPIでAPIを作ってJavaScriptから呼ぶまで - かずきのBlog@hatena
ということで、タイトル通りのことをしてみようと思います。空のASP.NETのプロジェクトからいろいろ足していく形でやろうと思います。 プロジェクトの作成とAPIの作成 まず、空のASP.NETのプロジェクトを作ります。 ASP.NET WebAPIに必要なアセンブリを追加します。特に縛りがない限りは最新を利用したほうがいいのでNuGetからMicrosoft ASP.NET Web API 2 Web Hostをインストールします。ぱっと見た感じ以下のアセンブリが参照に追加されました。 Nwetonsoft.Json System.Net.Http System.Net.Http.Formatting System.Web.Http System.Web.Http.WebHost 次にプロジェクトに以下のものを追加します。 プロジェクトの右クリックメニューから「追加」→「フォルダ」を選びC
jQueryのメモリーリークの傾向と対策 — KaoriYa
Web開発にとても便利なjQueryですが、 実はメモリーリークを誘発しやすい構造であることは あまり知られていないようです。 本記事ではメモリーリークが発生する傾向と対策を紹介します。 皆さんjQueryは使ったことありますよね。Webでの開発ではとても便利で、ほぼ必須と言っても過言ではありません。しかしながらこのjQueryはメモリーリークを誘発しやすい構造であることはあまり知られていません。 GCのあるJavaScriptでメモリーリークが発生するとは何を言っとるんだ、と思われる向きもあるやもしれません。しかしGCがあっても、もう使わなくなったオブジェクトを配列やテーブル(Object)にしまいこんでいて、それを回収するタイミングが存在しなければ積もり積もってメモリを圧迫する、メモリーリークとなりうるというのは想像に難くないでしょう。jQueryで起こりうるメモリーリークはそのような
Pusherでお手軽WebSocket - iPhoneから加速度をリアルタイム送信
はじめに タイガーマスクが貢いでくれるのを待っている皆さんこんばんは。 前振り考えるのが面倒なので結論から書くと、今日はWebSocketについて扱おうと思います。iPhoneを使って↓こんなサンプルを作ってみました。 Safari上のJavaScriptと、WebSocketをWebサービスとして提供しているPusherを利用して、サーバサイドの言語を使わずに実装しています。 WebSocketってなぁに？ httpおさらい Webの通信に使われる皆さんお馴染みのhttpは、クライアント（ブラウザとかね）とサーバが常に「問い合わせ（リクエスト）と返答（レスポンス）」のペアでやりとりをおこないます。 クライアント(FirefoxやChromeなど): 「情報ください」 サーバ(Apacheやnginxなど): 「はい、どうぞ」 このシンプルな仕組みがhttpの強みであり、URLと共にここま
jQueryのbind/live/delegateの違いまとめ、と新API .on()の使い方 - y-kawazの日記
jQueryのイベント記述方法はいくつかあり、大雑把におさらいしたのが以下の3パターンです。 まず一番基本的なのが $("a").click(fn) や $("a").bind('click', fn) です。click(fn)はbind('click', fn)の省略形です。 次にjQuery1.3で $("a").live("click", fn) という機能が出来ました。liveの良いところはDOM操作で出たり消えたりするエレメントに対して再バインド無しでイベント定義ができる利便性と、内部的にはbind個所がdocumentの1か所になり複数個所へのbindが無くなることによるメモリ効率と実効速度の向上です。 更にjQuery1.4.2で $("#foo").delegate("a", "click", fn) という書き方が出来るようになりました。これは特定要素以下に限定するliv
Webアプリ開発者のためのHTML5セキュリティ入門
Enterprise x HTML5 Web Application Conference 2014の発表資料です。
» Twitterストリーミングのサンプル» Weblet
TwitterのストリーミングはFireFoxで動くサンプルが Ajax+Streaming API — 開発な日々 にあるのだが、これがFireFoxでしか動かなかったので、IEでどうにか動かないものかと模索してみたが、IEではAjax経由でストリーミングのデータを取得しようとするとストリームの受信状態を示す readyState=3の時に受信済みのデータ、responseTextを扱うことが出来ず、IEでは「この操作を完了するのに必要なデータは、まだ利用できません。」というJavaScriptエラーが発生する。 以前は、responseStreamで扱えたようなのだが、IEのセキュリティパッチで封印されて今は使えない模様。したがって接続の都度APIに接続・切断を繰り返してタイムラインを取得するようにすると使えるのだが、いくらAPI制限が無いStreamingでも接続と切断を繰り返してい
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
今更だけどPromise入門 - Qiita
http://blog.cloud.nifty.com/4053/
Windows ストアアプリから使かえるセンサーAPIとデバイスAPI
連載インデックス「HTML5“とか”アプリ開発入門」 - ＠IT
