[GAS] Webスクレイピングで価格comから最安値を取得する - 自動化.work
商品の価格情報を簡単に取得したい時とかありますね。さらにリストにして一気に取得したい。取得した価格情報を使って何かをしたい。 そういった時にはスクリプトで価格情報を一括して素早く取得できれば楽です。 今回はGAS(Google Apps Script)で指定したURLの商品名、価格情報を取得するスクリプトです。 価格comのHTMLを確認 商品名 価格comの商品名は以下のようにh2タグで囲まれています。 <h2 itemprop=”name”>iPhone X 256GB SIMフリー</h2> そのためh2タグで囲まれている部分の文字列を取得するようにします。 しかし残念ながらGASでは指定したタグを取得するgetElementsByTagNameが使えません。 そのためタグから文字列を取得する関数を作って対応します。 参考 GASでのgetElementsByTagNameっぽいもの
Google Apps Script 講座中級編「GASでGoolge検索結果をスプレッドシートに自動で貼り付ける」 - Google Apps Script @福岡
はじめに 後藤銃士です。最近の趣味はWebプログラミングスクールのマネタイズの仕組みを調べることです。 そのために Google で検索をしているのですが、こういうのって1度に50〜100サイトぐらいざっとみないと大枠がつかめないことが多いと思うのです。で毎回感想を簡単に記録しておきたい。 そのために検索結果からリンクを踏んで該当サイトへいき、URLとサイト名を手でスプレッドシートに書くのは億劫！というわけで、 「Google検索結果のURLとタイトルを自動でスプレッドシートに追加する」GASを作りましたので共有いたします。 予め用意しておくのは、スプレッドシートと「検索ワード」という名前のシートです。検索する際、「検索ワード」シートに検索文字をいれてGASを起動すると、「検索ワード」でシートを追加し、そのシートに検索結果を追加してくれます。私的にすこぶる便利。 この機能が役に立つのは 広
株式会社InitialSite
自由で楽しい社風を心掛けています。 しかし、決して楽な会社ではありません。 自分で考え、工夫し、あきらめずにやり遂げる、ベンチャースピリットを持った人材を待っています。
Easy data scraping with Google Apps Script in 5 minutes
I'm using Google Apps Script for a lot of things - from automate tasks to data analysis. I have discovered, that there was repetitive use-case: scrape data from web and parse exact value from HTML source code. If you are novice in programming, you probably know, that's difficult to write and use regular expresion. For me too :) I have written Google Apps Script library, which helps you to parse d
Google Apps Scriptで出退勤の発報botを作った - Kuzunoha-NEのブログ
Google Apps Scriptで出退勤の発報botを作った こんばんは、葛の葉です。 ちょっと前に、GoogleAppsScriptでdiscordのbotを作ったのですが、なんか社長が偉く気に入ったらしくブログの記事に書いてちょんまげって言われて、まぁ、書くことにしました。 Google Apps Scriptで出退勤の発報botを作った どういうbotを作ったのか botの作り方 GoogleSpreadsSheetsのGoogleAppsScriptとDiscordのWebhookの連携。 編集されたセルの行と列の番号を取得する。 編集された氏名と日付を取得する。 当日を含めた一週間の日付データを取得しリストに格納する。 日付が当日を含めた一週間(8日間)の中に存在しているかを確認する。 セルの編集前の値と編集後の値を取得する。 Discordのwebhookを使って送信する。
GASを使って運転日報のWEBシステムを作ってみた話
GASでこんな事が出来るよ。という一例として書かせていただきます。 事の成り行き 事の始まりは、ある飲み会の時に自社の営業部門のマネージャ（M）から言われた一言。 M「あのさ。今、うちって社用車を使ったら紙に運転日報を記録して管理してるじゃん？それをやめようと思ってスプレッドシートで管理しようとしたんだけど、毎回スプレッドシートにアクセスして記入するのって億劫だしiPhoneからだと入力しにくくて。。。なんか良い感じに、アプリケーション作ってくれない？」 私「あ、なるほど。ならGsuite(google)だけで完結する、アプリケーション作りますよ。ちょうど明日から出張だったんで、行き帰りの新幹線の中ででも作っときますね。」 という事があり、運転日報をGASで運転日報を作りました。 まずは、完成して現在運用している画面を見てください。 後半で画面の全体と説明を行いたいと思いますが、このような
Trelloのカード管理と生成は自動化すべきって話をしてきた。 - そーだいなるらくがき帳
qiita.com このエントリーはAtlassian（JIRA , Confuence, Trello, Bitbucket）のTips Advent Calendar 2017の6日目です。 第25回 Tokyo Atlassian ユーザーグループで同名の登壇をしてきました。 augj.connpass.com soudai.hatenablog.com soudai.hatenablog.com soudai.hatenablog.com 登壇資料の中にも書いたけどTrelloで見たいのはカードの状態ですが、ついつい作るのが面倒なタスクはカードを作らずにシュッとやってしまいがちではないでしょうか。それ自体はすごく気持ちがわかりますが「シュッとやるタスクが沢山ある」場合に作業が暗黙的になりがちです。ですのでカードの管理を自動化するのはとても良いことです。 やり方は色々あって繰り返し作
初心者がGASで同窓会の参加受付から名簿更新までを自動化した話 - ytmatsuge's log
この記事は CAMPHOR- Advent Calendar の16日目の記事です。 ytmatsuge です。 普段は六本木の会社で新規事業のビジネスサイドを担当しております。 本日は、非エンジニアの私が、同窓会委員の負担を減らすべく、出欠確認・名簿更新の自動化に携わった話をまとめてみます。 自動確認メールの送信 自動更新名簿の作成方法 上記のような技術的な話はもちろんですが、「母世代でも利用しやすいサービス企画・設計」「最小限のコストで問題解決する方法」など、業務上の目的で実際に利用されるサービスをつくるにあたっていくつかハードルがあったので、少しでも参考にしていただければと思います。 改善前の状況 改善前の状況では、同窓会事務局と卒業生がメールでやり取りをし、 その情報をエクセルに転記しリストを作成していました。図にすると次のような流れになります。 これを見た若者は いや、 LINE
GAS(google app script)で指定ラベルのGmailをslackに通知
gistfile1.gs ��dT�U �\lT�U // slackのwebhook URL var postUrl = "https://hooks.slack.com/services/xxxxxxxxxxx"; // 通知したいslackのチャネル（部屋） var postChannel = "#n_app_review"; // 抽出元のGmailのラベル var checkLabel = "TO_ME"; function myFunction() { // 未読の指定ラベル を検索 var threads = GmailApp.search('is:unread label:' + checkLabel); var count = threads.length; Logger.log("対象件数:" + threads.length); for(var i = 0; i <
Extract Data from XPath via Google Apps Script (Example)
You can get/extract data from a URL via Google Apps Script, Just pass the XPath and URL to monitor. I have setup a Script that continuously monitors YCombinator's Top post, When it changes I get a Mail with the link. function getDataFromXpath(path, url) { var data = UrlFetchApp.fetch(url); var text = data.getContentText(); var xmlDoc = Xml.parse(text, true); // Replacing tbody tag because app scri
GoogleスプレッドシートでGET/POST通信を行いコンテンツを取得する - ソフラボの技術ブログ
必要なもの ネット環境 Google SpreadSheet スクリプトの作成 1.Googleスプレッドシートを開き、ファイルメニュー「ツール」→「スクリプトエディタ」と選択します 2.スクリプトエディタのファイルメニュー「ファイル」→「新規作成」→「スクリプトファイル」を選択します スクリプトファイル名は拡張子を除いて入力すると、自動的に「.gs」ファイルとして作成されます。 GET // アクセス先 var url = "http://www.google.co.jp/" // GETリクエスト var response = UrlFetchApp.fetch(url); // HTMLの結果を取得（引数のcharsetは設定したほうが良い） var content = response.getContentText("UTF-8"); POST // POSTデータ var pay
Google Apps ScriptでBasic認証がついてるページをスクレイピングする | この先生きのこるには
Google Apps Scriptは、結構なんでもできて、特定URLにアクセスして、その情報を取得したりもできる。 例えば定期的にcsvをとってきて、それをスプレッドシートに書き込んだりできる。 Basic認証付きのURLにアクセスする場合は以下のようにする。base64の関数がデフォルトで用意されてるとかいろいろ気がきいてますね。 var url = "http://example.com/admin/"; var user = "hoge"; var pass = "huga"; var options = { "headers" : {"Authorization" : " Basic " + Utilities.base64Encode(user + ":" + pass)} }; var response = UrlFetchApp.fetch(url, options); 本
Google Apps Scriptでトリガーを活用しよう【GAS】 🌴 officeの杜 🥥
Google Apps Scriptの中で地味ながら、その活用の幅が実に広いものとして、スクリプトトリガーがあります。いわゆる時限式で作動させるための仕組みなのですが、スクリプトトリガーは、スクリプトエディタの画面から入り、手動で登録するのが通常のフローです。しかし、「スクリプト内でテンポラリで時間トリガーを設置したい」であったり「トリガーの設置し直し」など、スクリプトエディタにいちいち入らず設定したいシーンがボチボチあります。そういった場合には、スクリプトからトリガーの設置や削除が出来ると便利です。二重に登録してしまったりすると、二回発動したり、片方しか発動しなかったりするので、慎重に設置をしましょう。 これらトリガーは大きく分けて４種類あり、１．時限作動式 ２．開いた時 ３．編集時 ４．フォーム送信時を設置することが可能です。主に使うのは時限作動式と、フォーム送信時の２つになります。但
Google Apps Scriptで指定した日時に処理を自動実行する
Google Apps Scriptで指定した日時に処理を行わせるようにしてみます。 使い方・注意点 前回の記事ではスプレッドシートを操作するためにスプレッドシートからエディタを開きましたが、今回はGoogleアカウントにログインして、Google Apps Scriptのエディタに直接アクセスして使用します。 指定した時間から15分前後の誤差がある場合があるようです。 そのため、厳密な時間指定はできないようなので注意が必要です。 スクリプトファイルが不要になって削除しても、トリガーは残ります。 そのため、例えば毎週処理を実行するような指定をしていた場合、スクリプトファイル削除後も処理は実行され続けます。 この記事の最後に記載していますが、スクリプトファイルを削除する前にトリガーを削除するようにしてください。 X秒/分/時間後に実行する 一定時間後に処理を実行したい場合、after()を使
Google Apps Scriptでクレジットカード利用明細を毎月自動で奥さんにメール送信する - Qiita
はじめに 多くのプログラマーにとって、最大の関心事は主に2つです。 いかに良いコードを書くか いかに奥さんのご機嫌を取るか 今回のテーマは「2. いかに奥さんのご機嫌を取るか」という課題をGoogle Apps Scriptで解決するという話です。 夫婦円満の秘訣は、財布を奥さんに預けることである 先人達は、後世の若者たちのために良い知恵を遺してくれました。リスクを共にする夫婦間でお金の管理をクリアーにすることが夫婦円満の秘訣ということです。我が家でも先達の知恵に倣い、お給料を全て奥さんに預けてお小遣い制を導入しています。 しかし、お金の管理を不透明にするやっかいな代物があります。ネットショッピングに欠かせないクレジットカードです。10年ほど前であれば、クレジットカード利用明細が毎月カード会社から郵送されてきたので、奥さんが利用明細を見ることで出費の透明性が担保されていました。しかし、最近
GoogleAppsScriptメモ：トリガーの利用 - Qiita
GASにはトリガーというものを作ることが出来るのだが、これはかなり便利だと思う。 例えばこんな感じ MorningMail.gs function doGet(){ var trigger = ScriptApp.newTrigger('mornigMail'); // トリガーで動かす関数名を引数に渡す trigger.timeBased() // トリガーを時間ベースに設定 .everydays(1) // 一日おき（毎日）の .atHour(7) // ７時に .create(); // 関数を実行するトリガーを作成 } function morningMail(){ MailApp.sendEmail("hogehoge@mail.com", "Good morning!", "Let`s eat breakfast!!"); } 「Webアプリケーションとして公開」設定をしている
Google Spreadsheet, Google Drive, Google Apps Scriptでレポーティングの簡単自動化 - Reports
この記事は CyberAgent エンジニア Advent Calendar 2014 12日目の投稿です。 昨日は yoheiMune さんのフロントエンドエンジニアにもできるMongoDBを使ったログ分析でした。 明日はT_2さんです。 はじめに Webサービスを運営する上で、サービスは現在どういう状態なのか？ サービスを改修したことで何が変わったか？ を知ることは非常に重要です。弊社ではHawkeyeという内製のレポーティング・分析システムを開発し、日々のPDCAに活かしています（参考: Amebaソシャゲ分析事例のご紹介）。 見るべきKPIや行うべき分析を定型化し、それに最適なデータとUIを設計し、システム化することは重要ですが、一方でそれをするには設計・開発に時間がかかってしまいます。また、実際に運用してみないと本当に有用なレポート・分析であるかどうか判断が付きにくい場合もありま
Google Apps ScriptでスクレイピングしてSlackに定期ポストするbotを瞬殺で作った - Qiita
お金とかソース管理とか何も考えなくていいスクレイピングbotを作りたい 「SlackにStackShare.ioからトレンドランキング拾って投稿するbot作って」「ほいきた」 Slackのbotってhubotとかいう奴の事でしょ？皆作ってるし余裕だろ、と何も考えずに引き受けたら何やらサーバが必要だわyo hubotしたらファイルが2000個自動生成されるわ、で速攻ぶん投げたくなりました。目的が単純ならその実装も運用も管理も可能な限りシンプルにしたいものです。探してみたところ、Google Apps Scriptが一番手軽そうだったので早速やってみました。 PaaSやIaaS系のサービスとかでは全然無いです。ざっくり言えばGoogleドライブにスクリプトをアップしておくだけ。 新規⇢アプリを追加⇢Apps Scriptを検索、追加しておきます。 プログラミング 新規⇢その他⇢Google A
Google Drive: Sign-in
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SlackのPublicチャネル一覧を書き出すGoogle Apps Script