PuppeteerでWebページからメインコンテンツっぽいところを抽出してみる - Qiita
最近、Webページからざっくりメインコンテンツっぽいものを探し出すプログラムを作成しましたので得られた知見についてまとめてみます。本文などの情報を利用せずに汎用的にメインコンテンツを探したかったので、Elementの位置、幅、高さ(以下rect)等の視覚的な情報を使用して抽出してみました。具体的には puppeteerでページをスクレイピングして各Elementの情報をまとめたツリー構造を作る Elementにスコアを付けて尤もらしいものをメインコンテンツとする というステップで抽出します。 メインコンテンツを抽出する完全なコードについてはgistのサンプルを参照してください。 ページのスクレイピング puppeteerを使ってページをスクレイピングします。最初にdomツリーを探索して必要な情報をjsonとて抽出します。視覚的な情最新のとして各Elementごとにrectの情報を取得します
markdownより1ファイルなHTMLを吐き出すツール(md-standalone)を作った - Qiita
mdst -h Usage: mdst [options] path/to/doc.md Options: -s, --style Stylesheet path(css, scss or less). [default: "/path/to/md-standalone/lib/style/style.scss"] -o, --output Output path(default STDOUT). -l, --level Headings level [default: "1-6"] -c, --code Code Theme [default: "tomorrow-night-eighties"] -m, --minify Minify -t, --toc Toc Tree -j, --js Js Path [default: "/path/to/md-standalone/lib/de
UTF-8で作ってたら、サーバに置いてあるファイルがShift_JIS, EUC-JPだった - Qiita
var xhr = new XMLHttpRequest; xhr.responseType = 'blob'; xhr.open(method, url); xhr.onloadend = function() { var fr = new FileReader; fr.onloadend = callback.bind(fr, fr.result); fr.readAsText(xhr.response, encoding); }; xhr.send(params); Register as a new user and use Qiita more conveniently You get articles that match your needsYou can efficiently read back useful informationYou can use dark the
waterfall, parallel再発明 - Qiita
async.jsなどにあるwatarfallとparallelを再発明してみた。 Callbacksクラス まずはCallbacksクラスを作ります。 使い方は簡単で、まず、非同期関数はCallbacksを返すようにします。次に、処理完了時のコールバック関数をdone、failの引数に渡します。そして、非同期関数内で処理が完了したらdoneCallback、failCallbackを実行するだけです。 var Callbacks = (function() { var noop = function(){}; function Callbacks() { this.doneCallback = this.failCallback = noop; } Callbacks.prototype.done = function(callback) { this.doneCallback = cal
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
WebAssembly binary encoding version 0x1 - Qiita
