[サーバレス] Googleスプレッドシートでスクレイピング - Qiita
スクレイピングがやりたかったんだけど、サーバの管理がめんどくさくなったので、Googleスプレッドシートの上でスクレイピングを出来るようにした。 やりたいこと 献血で、400mlAB型の血液が不足してます、A型は今大丈夫です、みたいな情報が、献血センターのwebサイトに掲載されるようになった。 たとえば 宮城県赤十字血液センターの今週の献血状況。AB型の人は成分献血にするか、次の機会にしたほうが良いらしい。 これ以外の県も、各県の献血センターに掲載されている こういう情報をオープンにしてくれたのはとてもうれしいことなんだけど、webページに掲載されたって、ぼくらがわざわざ見に行かない限り気が付かない。できればこう、SNSで「今週の献血状況」みたいなことを発表してくれるといいよね。そしたら、「あ、AB型足りない？今週は余裕があるからじゃあぼく行くね」みたいなことが出来ていいと思うのよ。 ない
![[サーバレス] Googleスプレッドシートでスクレイピング - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/887726243bc177ea271bd5e4156739bf5152ac79/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUUzJTgyJUI1JUUzJTgzJUJDJUUzJTgzJTkwJUUzJTgzJUFDJUUzJTgyJUI5JTVEJTIwR29vZ2xlJUUzJTgyJUI5JUUzJTgzJTk3JUUzJTgzJUFDJUUzJTgzJTgzJUUzJTgzJTg5JUUzJTgyJUI3JUUzJTgzJUJDJUUzJTgzJTg4JUUzJTgxJUE3JUUzJTgyJUI5JUUzJTgyJUFGJUUzJTgzJUFDJUUzJTgyJUE0JUUzJTgzJTk0JUUzJTgzJUIzJUUzJTgyJUIwJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1jMDMxYmRhZGMzYzgxODQ4YzQ4OWVjOTIzYTk5NjgzNg%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBtb2d5YSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9Y2Y1YTI5ZDlmNGVjNjYwMWRkYjAyNjZiM2UyMTMyMDg%26blend-x%3D142%26blend-y%3D436%26blend-mode%3Dnormal%26txt64%3DaW4g6YGL5Za26ICF44Ku44Or44OJ%26txt-width%3D770%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%2523212121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D156%26txt-y%3D536%26s%3D6702fb6f54a8fa3741edd3899a82a324)
Node.js でお手軽スクレイピング 2020 年夏 - Qiita
皆さんは Web ページのスクレイピングって書いた事ありますか？私はあります。だってどんなに平和で平穏な生活を送っていても数年に一度はスクレイピングってしたくなりますよね。「うわーまじか！API ないのかよ…。」的な。 そうしたら HTTP クライアントと HTML パーサのライブラリを探してきてインストールした上でごりごり書くことになると思います。でも実際に書いてみると、そうやってライブラリのインストールをしたりサンプルコードで動作確認している時間よりも、HTML を解析して実際にパースしたところから対象の要素を取得して欲しい値を取り出す試行錯誤の時間の方が長かったっていう事はないですか？ 今日ご紹介する Node.js でお手軽スクレイピングは、その辺の試行錯誤の手間を極力減らすことが出来る方法です。2020 年夏の最新版です。 まずは環境から。特に古いものを使う理由もないので 202
年末年始の新幹線をPythonで予約する - ふしみのブログ
年末年始の新幹線はすぐに予約で一杯になってしまう。最近はエクスプレス予約のWebサイトを使えばスマホやPCから即時予約できるようになったが、年末年始の「都合が変わって1週間前など新幹線を予約したい」みたいな状況では難しい。ぼくはエクスプレス予約の割引額が増えるJ-WESTカードを持っているのだけど、特にキャンセル待ちなどに優遇があるわけではないので、CYBER STATIONという空席確認Webサイトでじっといい時間の空席が現れるのを待つしかない。 というわけでPythonで解決しよう。 この記事は ふしみ Advent Calendar の10日目の記事です。 CYBER STATIONは (見た目的にも) パースがとても簡単そうなので、素直なスクレイピングが通用しそうだ。予約サイト (エクスプレス予約) は自動操作が難しそうだが、Pythonに空席状況を監視してもらって、空席が見つかっ
ブログの読者と記事数をGoogle Apps Scriptでクロールしてグラフにする話と今年作ったお弁当の話 - #つくりおき
id:hitode909です。今日はSpradsheetの話とお弁当の話をします。 本ブログ「つくりおき」の読者がそこそこ居る事に気づき、いつの間にこんなに増えたのかという話になり、読者数がどのような動きをしているかグラフにしてみることにしました。 数字を得る aboutページにブログ記事数と読者数が出ているので、これを使うことにします。現在778名の方々に読んでいただいているようで、不思議ですね。 このブログについて - #つくりおき クロールする Google Apps Scriptを使ってクロールしましょう。UrlFetchAppを使って内容を取得、正規表現で数字を抜き出し、SpreadsheetAppを使って日付とともにappendRowします。1日1行、最新の値を追記していく作戦です。 https://gist.github.com/hitode909/41947f3978240
Steamでゲームをプレイした時間を「Google Apps Script」で記録する
この記事は、PCゲーム Advent Calendar 2018の23日目の記事です。 PCゲーム販売プラットフォームの「Steam」で、自身のプロフィールページ中段に「最近のアクティビティ 過去2週間で ●●時間」と表示されているのはご存じでしょうか？ Steamには、2週間前から現在までの間に遊んだゲームのプレイ時間を、プロフィールページに表示する機能があります。プレイヤーはこの表記を見て、2週間の間に何時間ゲームを遊んだのか把握できます。 しかし、実際には「●月●日に何時間ぐらいPCゲームで遊んでいたのか」知りたかったり、「平日のプレイ状況を俯瞰したい」と調べたくなったりします。Steamが提供するWebAPIでは、2週間に何時間遊んだかを取得するAPIしか公開されていないため、知ることができません。つまり、そういったことを知りたくなったら、どうにかしてシステムを自作する必要がありま
無料で爆速なWebアプリケーションを作ろう！ - Qiita
動機 日本語にはこんな格言があります。 「ただより高いものはない」 「時は金なり」 じゃあ、無料サービスで爆速Webアプリケーションを作れば最高じゃない？？ →作りました。 Qiita-Trend-PWA Qiitaいいね数ランキング表示サイト ランキング上位タグの可視化 構成 サーバ 『now』(Node.jsサーバ) データストア 『Firebase』 フレームワーク 『Next.js』+『next-offline』 『now』(Node.jsサーバ) 役割 SEO対策+パフォーマンス対策のためのSSR メリット OSSプラン - FREE → 無料 サブドメイン取得可能 HTTP2対応済 → 爆速 HTTPS対応済 『Firebase』 役割 Qiitaいいね数スクレイピング結果の取得 (CloudFirestore + CloudFunctions + CloudHosting)
Google Apps Scriptではてなブログの週間PV数をスクレイピングして、Spread Sheetへ書き込むところまで自動化してみた - むにえる牧場
概要 11月からカックさん( id:kakku22 )のブログメンターを受けています。 そこでKPIとして、 Twitterフォロワー数 ブログ週間PV ブログ読者登録数 の3つをGoogle Spread Sheetに記録しています。 毎週末に記録しているのですが、手作業でやる作業ではないな！と思い立ったため、Google Apps Script(以下GAS)を利用して自動化することにしました。 今回はブログ週間PVのみ記事にします。 GASでログイン処理 はてなブログの週間PVはログインしたあとでないと見ることができません。 そこで、はてなブログのログインで利用されるURLに対して、POSTでログイン情報を送ります。 はてなブログのログインで利用するURLはここ https://www.hatena.ne.jp/login それではこのURLに対してPOSTリクエストを送ります。 va
5ch(旧2ch)をスクレイピングして、過去流行ったネットスラングの今を知る - にほんごのれんしゅう
5ch(旧2ch)ではここ数年はTwitterを使用するようになってしまいましたが、ネットのミームの発信地点であって、様々なスラングを生み、様々な文化を作ってきたと思います。 学生時代、2chまとめとか見ていたので、影響を受けてきたネット文化で、感覚値からすると、どうにも流行り廃りがあるようです。 5chの過去ログを過去18年ほどさかのぼって取得する方法と、懐かしいネットスラングのドキュメントに占める出現具合を時系列でカウントすることで、時代の変遷でどのように使用の方法が変化したのか観測することができます。 文末に「orz」って付けたら若い人から「orzってなんですか？」と聞かれて心身共にorzみたいになってる— ばんくし (@vaaaaanquish) October 19, 2018 図1. 今回集計したorzの結果 例えば、今回集計した5chの書き込み500GByte程度のログからで
Python・PHP・Perl・Bash・Rubyで簡単にWebスクレイピングする方法を解説する - paiza times
Photo by Ted Eytan 秋山です。 最近PythonでWebスクレイピングしたりする記事をよく目にする気がするので、私も書いてみようと思います。 ちなみにPythonはNumpyやPandasなどの分析に便利なライブラリやツールがあったりするので使いやすい部分はあると思いますが、「Webスクレイピングに向いてる言語はPython！」というわけではありません。 スクレイピングは別にPython以外の言語でもできますし、むしろ単純なデータの抽出程度なら無理にPythonを使うよりも、自分がふだんからよく使っている言語でやったほうがよいかと思います。 今回は、Python・PHP・Perl・Bash・Rubyを使って、Webスクレイピングを試してみたので、各言語でのやり方を説明していきます。 ■Python・PHP・Perl・Bash・RubyでWebスクレイピングする 今回、作業
SCOUTER開発者ブログ
2024-04-29 CSSってどんな勉強をしたらいいの？おすすめの勉強法3選！ 文字やタブなどWebサイトのデザインを作成するマークアップ言語がCSSです。 CSSを勉強すると、おしゃれなWebサイトやかっこいいWebサイトが作れるようになります。 また、Webサイトを作るときに必要なHTMLを理解するのにも役立ちます。 CSSを勉強するならできるだけ効率よく勉強できるようになりたいですよね。 ではCSSの勉強法はどのようなものがあるのでしょうか。 CSSの勉強法は、スクール […] 2024-04-29 WEBエンジニアから見たXserverの使い勝手と評判 レンタルサーバーのおすすめサイトを見ると、大体どこでも上がってくる有料のレンタルサーバーの一つに「Xserver」があります。 このXserverとは、どのようなサーバーで、サービスにはどのようなものがあるのか。 ホームページ関連
GASでセブンイレブンの今週の新商品をスクレイピングして通知する - Qiita
普段コンビニでお昼を取らないのですが、最近何度か足を運びまして。 いざ昼食を選ぼうとするとその商品の量に圧倒されます。 さらに驚くべきことに毎週のように新商品がでるんです！ 店頭では見分けがつかないので、ネットで追うにしても毎週は大変だぁ…(公式アプリがあるそうですが) というわけで、毎週更新なら週一回スクリプトを走らせて普段見ているSlackに投げちゃいましょう。 GASは手軽に定期実行が出来ていいですね！ 今週の新商品｜セブン‐イレブン～近くて便利～ スクリーンショット 対象は http://www.sej.co.jp/i/products/thisweek/kinki/ です。 変更履歴 2018/11/09 9月ごろから構成が代わり失敗していたので修正。 画像の持ち方がsrcからdata-originalに変更。 コード var REGION = '近畿' var REGIONS
Python Webスクレイピング テクニック集「取得できない値は無い」JavaScript対応@追記あり6/12 - Qiita
この記事について 本記事はPythonを使ったWebスクレイピングのテクニックを紹介します。 ※お酒飲みながら暇つぶしで書いたので割と適当です。 今回紹介するテクニックを使えれば経験上大体どんな値でも取得でき、これらはRubyだろうがGolangだろうが同じ様に動作します。 Webスクレイピングが出来ないサイトがあればコメントにて教えてください。全身全霊を持ってやってみます。 また、Webスクレイピングをしたことが無い方は下記の記事を読むことをお勧めします。 Python Webスクレイピング 実践入門 - Qiita 追記更新 6/12 コメントに対応しました。 はじめに 注意事項です。よく読みましょう。 岡崎市立中央図書館事件(Librahack事件) - Wikipedia Webスクレイピングの注意事項一覧
【プログラミング】初心者がPythonでウェブスクレイピングをするためのURL資料まとめ : KNN KandaNewsNetwork 4knn.tv
【プログラミング】初心者がPythonでウェブスクレイピングをするためのURL資料まとめ JavaScriptにPHPに覚えることが山ほどあるにもかかわらず、Pythonにも興味が湧いてきた…。どうやら、ウェブの情報をスクレイピング(自動収集)できる。これだけでもかなり魅力的だ。さらにAI化することもできるらしい…。 ということで2018年からPython生活もスタートするためにも資料URLを集めてみたよ…。 ❏Python(パイソン)は、汎用のプログラミング言語である。コードがシンプルで扱いやすく設計されており、C言語などに比べて、さまざまなプログラムを分かりやすく、少ないコード行数で書けるといった特徴がある ❏Pythonは、オランダ人のグイド・ヴァンロッサムが開発した。名前の由来は、イギリスのテレビ局 BBC が製作したコメディ番組『空飛ぶモンティ・パイソン』である。Pythonとい
【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ～Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた～ - Qiita
【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ～Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた～Pythonスクレイピングpandasデータ分析 やりたいこと はてなブックマークで、Python記事を検索しトレンドを分析 はてなブックマークにSeleniumでログイン ブックマーク数をスクレイピング 時系列比較を行う バズるタイトルを分析 実装方法 詳しくは下記記事を参考にしてください。Pandasを利用したデータ分析まで載せています。 【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ～Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた～ 実装 from selenium import webdri
機械学習を使って東京23区のお買い得賃貸物件を探してみた 〜スクレイピング編〜 - データで見る世界
こんにちは、Shoです。 今年の6月にミシガン大学ロスを卒業し、晴れてMBAホルダーとなりました。12月までは大学に残って機械学習の研究をしているのですが、いよいよ帰国の時が近づいてまいりました。 来年の頭から東京に戻るので、どのへんに住もうかなぁと思案しておるところです。 しかし住居選びというのは考えなければいけない要因が多くて大変ですね。なるべくお買い得な物件を選びたいところですが、どの区がいいのか、広さはどのくらいの部屋にしようか、2LDKと3Kだとどっちがいいの？とか、これは人間の頭で考える案件ではありませんね。コンピューターができることは全部自動化してしまいたい。 ということで、やってみました。 機械学習を使って東京23区のお買い得賃貸物件を探してみた 物件情報サイトは色々ありますが、今回はSuumoさんを選択。著作権に関しては、利用規約に以下のように書いてあります。 「ユーザー
ヘッドレスブラウザ(Chrome)を使ってSPAをスクレイピングする - Qiita
一般的なスクレイピング手法とその問題点 スクレイピングというと、HTTPクライアントライブラリを用いてHTML取得し、HTML/XMLパーサーで解析するというのが一般的だと思います。 この手法の場合、以下の場合にうまく処理できません。 ターゲットのページがJavaScriptにより動的にDOMを操作する場合 HTML/XMLパーサーが取得したHTMLを正しく解釈できない場合(正しくないHTMLでもブラウザはなんとか処理するが、パーサーライブラリは正確なHTMLでないと処理できないことがある) 特に問題になるのは前者でしょう。最近のWebサイトではJavaScriptでDOMを操作することは珍しくなくなってきています。SPAであればなおさら難しく、もはやこういった手法によるスクレイピングは不可能でしょう。 ヘッドレスブラウザによるスクレイピング 動的なDOMやパーサーがうまく解釈できないとい
PythonでWebスクレイピングする時の知見をまとめておく - Stimulator
- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ
Go言語でお手軽スクレイピング | LINKBAL Blog
準備 今回は下記のパッケージを利用させていただいております。 https://github.com/PuerkitoBio/goquery パッケージインストール [code lang=text] go get github.com/PuerkitoBio/goquery [/code] ソースコード 実行結果 さいごに 非常に簡単にスクレイピングを行うことができました。 Go言語は並列処理が強みの一つなので、並列でスクレイピングすることにより、 時間を短縮することができますね。(用法用量は守って正しく…) 弊社ではエンジニアを大募集しております。 ご興味ある方はこちらからお問い合わせください。 http://linkbal.co.jp/recruit/ ※ 著作権注記 The Go gopher was designed by Renee French. (http://reneefre
MozillaのスクレイピングフレームワークFathomを試してみる - たけぞう瀕死ブログ
こちらのOSDNの記事で知ったのですが、MozillaでFathomというJavaScript用のスクレイピングフレームワークを開発しているようです。仕事でクローラーを作ったりしていたこともあり、面白そうだと思ったので軽く調べてみました。 mag.osdn.jp 以下のGitHubリポジトリで開発されています。GitHub Pagesに詳しいドキュメントもあります。 github.com OSDNの記事で触れられている開発者のErik Rose氏のブログエントリはこちら。 hacks.mozilla.org ドキュメントやErikさんのブログエントリなどをざっと眺めてみたところ、それほど複雑なものではなく、ある程度曖昧なルールとスコアリングを定義しておき、最もスコアの高い要素の選択するというのが基本的なコンセプトのようです。 なにはともあれ試してみます。まずは適当なディレクトリを掘り、np
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
記事のスクレイピングを機械学習で自動化 - Qiita
