誰も教えてくれなかったログインの話 〜GASスクレイピング編(ID/パスワード認証) - Qiita
はじめに 「GASでスクレイピングしたいんだけれど、ログインできなくて...」 「ログインできず、結局Seleniumを使うことに...」 といったお悩み、ありませんか？ 本記事では実業務で今日から使える、ID/パスワード方式のログイン画面を突破するための知識と技術について解説します。 まずはスクレイピングに必要な周辺知識を、そして会計freeeのログインを例に実装に必要な分析を、 最後にGASでの実装手順について書いていきます。 具体的には、デベロッパーツールでWebブラウザが行なっている通信の内容を解析し、 それと同じことをGASで実装して再現するという内容になります。 この知識を抑えておけば、他の言語や技術でも応用が可能です。 注意事項 (2021年6月 追記) 本記事のビュー数やリアクションが増えてきました。ありがとうございます。 スクレイピング技術が広範になるに連れ、スクレイピン
Google Apps Script× BigQuery × Googleスプレッドシート × データポータルで簡易CRMを作ってみた - BASEプロダクトチームブログ
こんにちは!! BASE BANK 株式会社 Dev Division にてSoftware Developerをしている永野(@glassmonkey)です。 普段はGo/Python/PHPを主に生業に開発・運用から何でもござれの精神でフルサイクルエンジニアをしています。 現在、自分たちのプロダクトであるYELL BANKの分析基盤を構築しています。 その際に、BigQueryで扱っているデータをGoogle App Script(以下GAS)、Googleスプレッドシートとデータポータルで簡易CRMをビジネスサイドのメンバーである猪瀬 (@Masahiro_Inose)と協力して作ったのでそのご紹介です。 いざ実施してみるとハマってる点もそこそこ多く、意外とGASやBigQueryの連携している情報が少なかったので、誰かの助けになれば幸いです。 thebase.in 簡易CRMツール
APIで取得したJSONをいい感じにスプレッドシートに展開したい - 自動化厨のプログラミングメモブログ │ CODE:LIFE
SlackなどのAPIからJSONデータを取得したあとそれをスプレッドシートに展開する場合、オブジェクトのkeyを一個ずつ指定して二次元配列を作ってシートに展開...みたいなことをやっていました。 しかし、いちいちkeyを指定してやるのが面倒だしコードも見やすくはないのでkeyを全てシートの1行目に展開、対応する値を行ごとにセットする方法を考えてみました。 やりたいこと ネストされたJSONをテーブルにするため「フラット化」する 今回の肝になる flattenObj 関数 SlackAPIのユーザ情報をスプレッドシートに展開してみる 各ステップの解説 配列内のObjectをフラット化 1つ目の配列のkeyをヘッダーとして定義 headers をループして生成した配列を body 配列にまとめる headers と body を結合 setValues あとがき やりたいこと 画像左のSla
[サーバレス] Googleスプレッドシートでスクレイピング - Qiita
スクレイピングがやりたかったんだけど、サーバの管理がめんどくさくなったので、Googleスプレッドシートの上でスクレイピングを出来るようにした。 やりたいこと 献血で、400mlAB型の血液が不足してます、A型は今大丈夫です、みたいな情報が、献血センターのwebサイトに掲載されるようになった。 たとえば 宮城県赤十字血液センターの今週の献血状況。AB型の人は成分献血にするか、次の機会にしたほうが良いらしい。 これ以外の県も、各県の献血センターに掲載されている こういう情報をオープンにしてくれたのはとてもうれしいことなんだけど、webページに掲載されたって、ぼくらがわざわざ見に行かない限り気が付かない。できればこう、SNSで「今週の献血状況」みたいなことを発表してくれるといいよね。そしたら、「あ、AB型足りない？今週は余裕があるからじゃあぼく行くね」みたいなことが出来ていいと思うのよ。 ない
![[サーバレス] Googleスプレッドシートでスクレイピング - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/887726243bc177ea271bd5e4156739bf5152ac79/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUUzJTgyJUI1JUUzJTgzJUJDJUUzJTgzJTkwJUUzJTgzJUFDJUUzJTgyJUI5JTVEJTIwR29vZ2xlJUUzJTgyJUI5JUUzJTgzJTk3JUUzJTgzJUFDJUUzJTgzJTgzJUUzJTgzJTg5JUUzJTgyJUI3JUUzJTgzJUJDJUUzJTgzJTg4JUUzJTgxJUE3JUUzJTgyJUI5JUUzJTgyJUFGJUUzJTgzJUFDJUUzJTgyJUE0JUUzJTgzJTk0JUUzJTgzJUIzJUUzJTgyJUIwJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1jMDMxYmRhZGMzYzgxODQ4YzQ4OWVjOTIzYTk5NjgzNg%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBtb2d5YSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9Y2Y1YTI5ZDlmNGVjNjYwMWRkYjAyNjZiM2UyMTMyMDg%26blend-x%3D142%26blend-y%3D436%26blend-mode%3Dnormal%26txt64%3DaW4g6YGL5Za26ICF44Ku44Or44OJ%26txt-width%3D770%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%2523212121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D156%26txt-y%3D536%26s%3D6702fb6f54a8fa3741edd3899a82a324)
Google Apps Scriptを使って運行状況をメールで知らせる
使い方 Googleドライブでスプレッドシートを新規に作成します。 メニューの ツール – スクリプトエディタ で空のプロジェクトを作ります。 下のコードを貼り付けます。{メールアドレス}を自分のメールアドレスに変えます。 メニューの リソース – 現在のプロジェクトのトリガー でトリガーを設定します。私は「5分ごと」にしています。 コード function myFunction() { var url, mail, title; var result, html, ms, info_new, sheet, info_old; url = "http://www.keio.co.jp/unkou/unkou_pc.html"; mail = "{メールアドレス}"; title = "京王線運行状況"; //情報を取得 result = UrlFetchApp.fetch(url); ht
Google Apps ScriptでCSVファイルを取り扱う【GAS】 🌴 officeの杜 🥥
Googleスプレッドシートを使用していてぶつかる厄介な問題がCSVファイルの取り扱いに関する問題。主に、GoogleスプレッドシートからエクスポートしたCSVファイルをExcelで読み込めない問題や、逆に大量のCSVファイルをインポートを読み込みたい（しかもローカルPCから）となると、非常に融通の効かないアプリケーションだなと今でも思います。 これらの問題は、前者はGoogleスプレッドシートからエクスポートされるテキストがUTF-8でエンコードされたもので、取り分け日本やEXCELで普通に扱うShift-JISでエンコードされたCSVファイルではないから起き、後者はそもそも標準機能だと１個ずつしか読み込めないなどの仕様があるからです。後者の複数ファイルを読み込む件に関しては、Google Picker APIを使ったドライブから複数ファイルの読み込みや、HTML5を利用したローカルPC
GASで文字コード指定してファイルを書き出す - Qiita
方法 以下の処理により文字コード指定してファイルを書き出すことが可能になる。 空のBlobを生成 Blobに書き出したい文字列と文字コードをセット Blobをファイルに書き出し コードで表すと以下のとおり var blob = Utilities.newBlob("", contentType, fileName); blob.setDataFromString(string, charSet); DocsList.createFile(blob); 解説 GASから任意の文字列をテキストファイルとして書き出すにはDocsList.createFile(string, contentType)により可能だが、文字コードを指定して書き出すことはできない。そこで、文字コード指定のできるBlob生成をしてからDocsList.createFile(Blob)することで、指定した文字コードでファイ
GoogleスプレッドシートでSEOキーワードの検索サジェストをさくっと取得する方法
Googleなど検索サジェストからキーワードのヒントを得ることは多いですよね。そのサジェストをGoogle Apps Script（GAS）でも取得できます。 Googleサジェストを調べる方法 Google Apps Scriptでは、標準でhttp通信をする関数を持っています。以下のGIFアニメのように、セルにその関数を記述するだけで自動的に検索キーワードを拾ってきてくれます。 IMPORTXML()関数 IMPORTXML()は、スプレッドシートからXMLを取得する関数です。公式のヘルプには、WikipediaからAタグのリンクをひっぱってくるコードが紹介されています。 IMPORTXML("https://en.wikipedia.org/wiki/Moon_landing", "//a/@href") Googleサジェストの仕組み Googleサジェストは、検索窓への入力を検知
GAS と Stackdriver(Logging, Error Reporting) を連携させる - Qiita
Apps Script Advent Calendar 2017に App Maker 記事ばっかり書いてきたけど最後の日なので GAS ネタを書く。 以前 GAS のログ出力方法について記事を書いたのだけれど、このときは Stackdriver についてよく知らなかったので、Googleドキュメントに出力するというやり方で書いた。 Google Apps Scriptのログ設計 #gasja - Qiita 上記記事を書いた後に Stackdriver を使う機会があって、こいつはかなり便利 というのがわかったので Stackdriver と連携させるとどんな感じなるのかを解説する。 Stackdriver には3種類ある。 Stackdriver Logging Stackdriver Error Reporting Stackdriver Monitoring 本記事では Loggi
全角ひらがな⇔全角カタカナ⇔半角ｶﾀｶﾅ変換をするコードを書いた話 - Qiita
はじめに はじめまして、@satoshiks です。 今回Apps ScriptのAdvent calender2017の24日目に投稿させていただきました。 仕事やプライベートでGoogle Apps Scriptを書き続けていますが、まだまだ知らないことだらけです。 かつてGUIビルダーが存在していた時は、UIのパーツに直接プログラムを設定できるのが面白くて遊んでいましたが廃止となり、それでもUIを作るのが面白くてUi ServiceでいろいろUIを作ることにはまっていたらそれも廃止になり、何となくニッチな方向に傾倒している自分に気づきながら、その度に新しい技術や別の手段を使って試行錯誤をしています。 UIは今ではHTML Serviceを使ってHTML、CSS、JavaScriptで以前よりも書きやすくなりました。（当時けっこう必死で覚えたUi Serviceのpanelとかgrid
【スプレッドシート】更新時間を自動記入させる方法 - miari’s blog
スプレッドシートに文字を書いたら、その書いた日付を横のセルに残したい時の方法です。 スプレッドシート ⇒ツール ⇒スクリプトエディタ ⇒以下をコピー＆ペースト function insertLastUpdated() { var ss = SpreadsheetApp.getActiveSheet();//現在触っているシートを取得 var currentRow = ss.getActiveCell().getRow(); //アクティブなセルの行番号を取得 var currentCell = ss.getActiveCell().getValue(); //アクティブなセルの入力値を取得 var updateRange = ss.getRange('A' + currentRow) //どの列に更新日時を挿入したいか。この場合はA列 Logger.log(updateRange); //
Google Apps Script でライブラリを作成する - 鯛めしのお釜
最近、Google Apps Script（略して GAS ）で社内系ツールを開発する機会が増えてきている。作る側としては、短期間ですぐ作れる＆修正できる手軽さがすごくいい。 開発の中ではライブラリを作る機会が多々あり（やはり共通処理はキレイにまとめておきたい）、今回はその手順についてメモしておきたい。まずはいつものように公式ドキュメントを参照する。 Libraries | Apps Script | Google Developers https://developers.google.com/apps-script/guides/libraries#top_of_page --- ＜ライブラリ化の流れ＞ ライブラリ化したいプロジェクトを用意する 「ファイル」→「版を管理」からバージョンを発行する 「ファイル」→「プロジェクトのプロパティ」から「スクリプトID」をメモしておく --- ＜
Google Spreadsheet シート名を取得 [Google Apps Script] | MT.Net
GAS独自関数の作成 今回は、Google Spreadsheetで実装する自分だけの関数、独自関数の作成です。 話は簡単です。 要するに、Google Spreadsheetからスクリプトエディタを開き、その中で関数を定義するだけ。 当然引数を持たせることが可能です。 ソースコード 具体的なソースコードは以下の通りです。 ※関数名は好きなようにつけてください。 //引数に指定したシートのgidを取得 function wmap_getSheetId(sheet_name) { var sheet = SpreadsheetApp.getActiveSpreadsheet().getSheetByName(sheet_name); var tmp = sheet.getSheetId(); return tmp; } //シート名をすべて取得 function wmap_getSheets
![Google Spreadsheet シート名を取得 [Google Apps Script] | MT.Net](https://cdn-ak-scissors.b.st-hatena.com/image/square/73d5bd351289500e60d8e08feaa0ee6e073da4eb/height=288;version=1;width=512/https%3A%2F%2Fwww.marketing-technologist.net%2Fimage%2Farticle%2F20210321_gas.jpg)
Google Apps Script の新しいXMLパーサーに対応してみる【GASでXMLが読めなくなった同志へ】
去年の11月頃にGoogle Apps ScriptのXMLパーサーやJSONパーサーの関数が使えなくなりました。 ぐぐると今でも使えなくなった関数を含んだサンプルコードがごろごろしています。 GASでXMLを扱おうとネットでサンプルコードを拾ってきても「動かない！」って人も多いハズ。公式のチュートリアルですら対応していないのでもう何が何やらわかりません。 僕の記事もその影響を受けてるので新関数に対応したサンプルコードを作ってみます。(かなり時間が開いてしまいましたｽｲﾏｾﾝ) このブログの記事のサンプルコードをベースに必要なところだけ書き換えます。(参考のため修正前のコードもコメントアウトで残しています。) function autoTweet() { // フィードのURL var feedURL = "http://unguis.cre8or.jp/feed"; // フィードを取得
UrlFetchApp.fetch() などのレスポンスをGoogleドキュメントに保管 - Qiita
Google Apps Scriptでの開発時の簡単なTips。 Google Apps Scriptではデバッグ用にLogger.log()を使って出力することがありますが、ログ領域にはサイズ制限があるため、出力が途中で途切れてしまうことがままあります。特に、サーバーから得た情報を確認したい場合などにこの問題に遭遇します。また、ログ領域では検索などもやや不便です。 そんな時には、Googleドライブにドキュメントを作成し、そこに出力することが便利です。 たとえば、UrlFetchApp.fetch()の出力をドキュメントで作成するには、次のようなコードを入れるだけです。 var response = UrlFetchApp.fetch(url); var doc = DocumentApp.create('デバッグ用のFetch結果'); var body = doc.getBody()
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GASのJDBCサービスでCloud SQLのデータベースに複数のSQLを一括で実行する方法
boost
Google Apps Script(GAS)のログ出力はLogger.logだけじゃないよ、console.logもあるよ. - オーカワblog
google-spreadsheet - 関数 - スプレッドシート 検索結果 取得
CSSの非表示(display:none)を使った広告の切り替えについて - Google グループ