Node.jsのスクレイピングモジュールcheerio-httpcliがとても便利
こんにちは。エンジニアのKです。 先日、自社サイト上にて静的HTMLで公開している100ページ近くあるコンテンツを、 改めてDBに登録したいという要望がありました。 幸い、対象のページはHTML的に似た構造をしていたので、スクレイピングで上手いことデータを抽出できないかと調べていたところ、 Node.jsで動く「cheerio-httpcli」を見つけ、とても便利だったので紹介したいと思います。 作者様のGitHubとか GitHub - ktty1220/cheerio-httpcli Node.js用のスクレイピングモジュール「cheerio-httpcli」の紹介 スクレイピングって？ ウェブスクレイピング - Wikipedia ひとことで言うと、「ウェブサイトのHTMLを取得して、その中から必要な情報を取り出す」処理になるでしょうか。 再帰的にリンクを辿って行く場合、大量のリクエ
僕がnpm installに-gをつけないわけ - Qiita
Node.js開発に欠かせないnpm install その中でもgulpやmochaみたいにコマンドから起動する類のものには-gオプションをつけることが多いかと思います。 ていうかサンプルとかだと普通に「-gつけてね」みたいな感じのノリです。 例:npm installでググってみたら上の方に出たやつ(注:リンク先の記事ではnpm install -g gulpとなってますが、2016-04-14現在公式でnpm install -g gulp-cliが推奨されています) しかし私は極力-gを使いたくないのです。ていうか全く使わなくていいのではとさえ思っています。 というわけで-gについて徒然なるままに心にうつりゆくよしなし事を書き綴ります。 なぜ-gが必要か そもそもなぜ-gが必要なのでしょうか。 -gをつけないとパスが通らないからですね。 gulpで試してみましょう。 当然「そんなコマ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
