ヘッドレスブラウザ(Chrome)を使ってSPAをスクレイピングする - Qiita
一般的なスクレイピング手法とその問題点 スクレイピングというと、HTTPクライアントライブラリを用いてHTML取得し、HTML/XMLパーサーで解析するというのが一般的だと思います。 この手法の場合、以下の場合にうまく処理できません。 ターゲットのページがJavaScriptにより動的にDOMを操作する場合 HTML/XMLパーサーが取得したHTMLを正しく解釈できない場合(正しくないHTMLでもブラウザはなんとか処理するが、パーサーライブラリは正確なHTMLでないと処理できないことがある) 特に問題になるのは前者でしょう。最近のWebサイトではJavaScriptでDOMを操作することは珍しくなくなってきています。SPAであればなおさら難しく、もはやこういった手法によるスクレイピングは不可能でしょう。 ヘッドレスブラウザによるスクレイピング 動的なDOMやパーサーがうまく解釈できないとい
あなたの開発、Hype(誇大宣伝) Driven Development になっていませんか？ - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 去年ですがmediumで話題になっていた記事にHype(誇大宣伝) Driven Development(HDD)というものがあります。 国内でもこれで失敗している例をよくみかけますし、とても共感したので紹介できればと思います。 翻訳ではなく、自分なりに噛み砕いて個人的な考えなども入れています。 概要 HDDとは一言でいえば、技術選定という重要なプロセスを他人任せにしてはならないという啓蒙です。 誰かが良いと言っているという理由で技術選定をしてはいけません。 例えば以下を理由に技術選定するのは Hype Driven Developme
国内初のウェブプッシュサービスbpushのOSS化と運営して学んだことについて - Qiita
bpushをオープンソースにしてみた 下記の記事を投稿したのが 2015年04月28日 で、もう少しで２年になります。 ウェブにプッシュ通知をもたらすウェブサービス「bpush」を作った この記事を投稿してから bpush はほんの少し話題になりました。それから約２年。 クラウドサービスとしてのbpushは2017年3月末をもってサービスをクローズし、 大幅に機能拡充してオープンソースソフトウェアとして公開することになりました。 主な機能追加 Firefoxサポート(VAPID対応) 日々の送受信数などの統計ページの用意 ユーザーをタグ付けするAPIの用意(指定タグのユーザーにAPI経由で通知を送信) golangによる高速なAPIの追加 余談ですが、クリック数の計測のためのAPIがPHPだと間に合わないという問題がありまして、わりと最近ですがクリック数計測のAPIをgolangで書きまし
快適なUXを実現するOptimistic Updates(楽観的更新)とは何か
先日、とあるJavaScript関連の記事を読んでいたところ、"Optimistic Updates" という技術が紹介されていました。 日本語に直すと "楽観的更新" といったところでしょうか。 はじめて聞いた言葉で、日本語の記事も見当たらなかったため記事にしてみます。 #Optimistic Updatesとは Optimistic Updatesというのは、ネイティブアプリやSPA(Single Page Application)などで使われる技術で、非同期の通信処理が成功するという前提(楽観)のもとに、通信のレスポンスを待たずに次の処理を行うというものです。 最も多いOptimistic Updatesの使い方は、UIへの反映をリクエストの結果を待たずに行うというものでしょう。 #Optimistic Updatesの例 例えば、よくある「いいね」ボタンのようなものにOptimis
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
