Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
こんにちは。 LocoPartnersでReluxのサーバーサイドを担当している@shintarowです。 この記事は「Relux Advent Calendar 2018」9日目の記事です。 弊社サービスではよくパラメータを付与したURLを短縮URLに変換して、シェアなどを行っています。 2,3個であれば手動で行うのもそれほど苦ではないですが、10,20となってくると単純な作業ではあるのですが、ミスも発生しやすく、何よりかなり面倒です。。。 こういった作業はできれば、自動化するほうが良いので、今回はGoogleAppsScript(以下GAS)を利用して、GoogleSpreadSheet(以下GSS)から短縮URLを生成し元のシートに書き込こもうと思います。 1. bitlyAPIを利用できるようにする。 こちらのDocumentに従い、アクセストークンを取得する。 https://d
はじめに 新型コロナウイルスの影響で自粛期間が長らく続いていましたが,6月あたりから感染対策を実施した上で各大学,企業でのが行われるようになりましたね. 僕の大学では研究室の入退室時間を管理することが義務付けられました.これは感染者が出た場合に,感染経路及び感染した可能性のある人を特定するためだと思われます. 他の大学や企業でもこのような感染対策を実施しているのではないでしょうか. 特に管理法についての指定はなかったので,googleカレンダーに記入することで入退室時間を記録することになったのですが,研究室全員で使用するアプリはできる限り少ない方が効率的であるため,指導教員の先生からSlackだけで入退室時間を管理できるようにうまいことやってくれないかと依頼されました. そこでSlackに勤怠管理チャンネルを作り,「おはよう」や,「さようなら」と呟けばgoogleカレンダーに予定が追加され
2021年時点でも、そこそこ参照されているため、BigQuery Advent Calendar 2021 25日目の記事としてアップデートします。 BigQuery リソースのアクセス権設定は難しいですが、データ資産の保護と活用のバランスを自由に設計できます。組織に合わせたアクセス権をうまく設定 & 設計して、データ資産を活かしていきたいですね。 本稿では、アクセス権の設定方法と、叩き台になりそうな具体的な設計例について述べます。 アクセス権の設定方法 BigQuery リソースのアクセス権設定にあたり、覚えておく軸は 3 つです。 具体的な人間やアカウントを示すプリンシパル、権限範囲の対象(プロジェクトやデータセット)を示す対象レイヤ、具体的な一つ一つの権限、これらをおさえておけば、BigQuery の権限設定は安心です。 プリンシパルは Google アカウントを筆頭に 7 種類 以
bashコマンドのバックグランド実行方法について、まとまっている記事が見つからなかったのでまとめメモ 通常のバックグラウンド実行 &でバックグランド実行 参考:http://kazmax.zpp.jp/linux_beginner/process_background.html もっとも基本的なバックグランド実行、コマンドの後ろに&をつけて実行する。 ターミナルの切断が切れたりしてログアウトした場合に、 この方法で実行したプロセスはkillされてしまうので注意する。 途切れたら困る処理の場合はtmuxのセッション上で実行、 もしくは後述するnohupコマンドでのバックグラウンド実行推奨。 # バックグラウンド実行 $ sleep 5 & [1] 21871 # プロセス確認 $ ps $! # ps 21871 PID TTY STAT TIME COMMAND 21871 pts/0 S
※ かなり前の記事ですが、未だに引用されるので一応追記しておきます。タイトルと画像がキャッチーなのはちょっと反省していますが、これを見てBigQuery使うのを躊躇している人は多分あまり内容を読んでいないので気にする必要はないです。自分は当時の会社でも今の会社でも個人でも普通にBigQuery使っていて解析用データなどはBigQueryに入れる設計をよくしています。また、アドベントカレンダーだったのでネタっぽく書きましたが事前に想定できる金額です。 ※ 代役:プロ生ちゃん(暮井 慧) 巷のBigQueryの噂と言えば「とにかく安い」「数億行フルスキャンしても早い」などなど。とりわけ料金に関しては保存しておくだけであれば無視できるほど安く、SQLに不慣れなプロデューサーがクエリを実行しても月数ドルで済むなど、賞賛すべき事例は枚挙に暇がありません。 しかし、使い方によってはかなり大きな金額を使
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 最初は安く収まっていた BigQuery の費用もだんだん膨らんできた ので、自分(社内)用にまとめたものです 広告事業(アドネットワーク)のログを BigQuery に入れているので、それなりにデータ量も増えてきて、こういうことも考えていかないといけなくなってきました どの操作にお金がかかるのか データを保存しておく データを Streaming Insert(≒ 追加)する データを走査して取得する クエリを発行する データの保存 $0.020 per GB, per month 1 TB を 1 ヶ月保持すると、$20 かかる デ
最近、あまりプログラミングが得意でない人のサポートをする形で、長い時間にわたってペアプログラミングを行っている。そのなかで、気がついた悪い習慣と成長するための良い習慣というものをまとめてみる。 この記事のバックグラウンドとなる体系的知識が本になりました。 エンジニアリング組織論への招待 ~不確実性に向き合う思考と組織のリファクタリング あわせて読みたい 経営者マインドが足りない!vs. 現場に任せてくれない!の対立をなくすカードゲームをつくった話 新人プログラマに知ってもらいたいメソッドを読みやすく維持するいくつかの原則 新人プログラマに知っておいてもらいたい人類がオブジェクト指向を手に入れるまでの軌跡 ペアプログラミングして気がついた新人プログラマの成長を阻害する悪習 あきらめるにはまだ早い!ソースコードの品質向上に効果的なアプローチ 心理的安全性ガイドライン(あるいは権威勾配に関する一
はじめに 4月26日に「Re:ゼロから始めるweb開発 (GAS使用) Part0」を投稿しましたが,現状すぐに作りたいものがなかったので,GASの練習も兼ねて,簡単なスクレイピング処理を書いてみました. 普段はpythonのプログラム書いて,cronで定期実行することでスクレイピングしていて不自由は感じていなかったのですが,パソコンの電源をずっとつけておかないといけないため,自宅のパソコンずっとつけっぱなしなのは嫌なので,GAS使ってやってみようかなと思いました. GASについて GASについてや,メリットに関しては,「Re:ゼロから始めるweb開発 (GAS使用) Part0」ですでに書いたので,そちらを見てもらえたと思います. GASによるwebスクレイピングのアウトライン データの保存先となるGoogleSpreadSheetを作成 スクリプトファイルを作成し,いろいろ書いて保存
サービスについて Skillfulsというプログラマのスキルのレベルを記録して、その情報を元にスキルマップを簡単に作ることができるWebサービスです。作ったきかけは、僕自身が様々な技術を扱ってきて、自分のどのスキルがどのくらいできるのだろう?という疑問を可視化して解決できないかと思ったことです。 また、個人のスキルをデータとして蓄積すると、それを活用して開発チームのメンバーのスキルマップを簡単に作れると気づき、スキルマップ作成機能もつけてみました。 スキルマップはチーム内で技術の得意、不得意を一覧で見ることができ、技術選定の参考や特定の技術に詳しい人に質問しやすくなったりするようです。 URL: https://skillfuls.dev ↓スキルを記録 公開ページ ↓複数人の情報をまとめてスキルマップに 公開ページ 技術構成 Nuxtとnestjsを採用し、TypeScriptで型共有が
0. 概要 この記事は、これから先 LaTeX を用いて論文やレポートを作成する人たちに、「少しでも楽に」TeXを書いてもらえるようにオンラインエディタ「Overleaf」の使い方を紹介するものである。 もちろん私は Overleaf の回し者ではない。「数式とか図を頻繁に入れるレポートならTeXのほうが楽なのに・・・」と心で思っている大学生である。 余談だが、私自身はAtomで快適にTeXを書いている。ふぉふぉ。 #1. LaTeX 導入最初の壁 : 【環境構築】 「TeX の環境構築は面倒くさい」とよく言われる。私もそう思う。過去数回、環境構築をしたことがあるが中々根気がいる。 昔、その手順をまとめたことがある → https://qiita.com/Mizuto_Kadowaki/items/f8878140125ad40ac56e この記事をチラリと覗いていただくとわかるのですが、
この記事は DevFest 2020 の Google Apps Script 入門 2020 で紹介しました。 はじめに Google Apps Script では非常に簡単に Google Apps (スプレッドシート、 Google カレンダー、 Gmail、 Google Drive など) 間の連携ができます。例えば Google カレンダーのイベント一覧をスプレッドシートにエクスポートする際には以下のような処理の流れになります。 Google カレンダーからイベント一覧を取得 スプレッドシートに入力する形式にデータ変換 Google スプレッドシートに値を挿入 1, 3 のような Google Apps から取得、挿入する部分はよく使い回す部分となるので、スニペットとして使い回すと便利です。今回は私がよく使うスニペット集を紹介しようと思います。 スプレッドシート スプレッドシー
はじめに 今まで自分が使ってきた中で、これは生産性が爆上げする!と思うものを厳選しました 是非最後までご覧ください 1. Biscuit 公式サイト -> Biscuit 複数のアプリをグループ分けしたり、まとめることができるアプリケーション 調べ物が多いエンジニアは、Chromeのタブがカオスになっていることがよくあります 個人的にはあれこれなんでも登録するのではなく、よく使うアプリだけをまとめるのが良いかなと思っています 設定のインポートやエクスポートも簡単なので、別のPCへの移行も楽チン 僕のBiscuitはこんな感じです⬇︎ 2. Notion 公式サイト -> Notion 結論から言うと、私はNotionがないとダメな体になっています 出会いは2020年の2月頃、メモ帳よりも自由度が高くて何か良いものはないだろうかと模索していた頃にジャストフィットしました 単純なメモも取れる、
こんにちは。プライベートではいろいろ模索中の @wezardnet です👻 それはさておき Google Apps Script(GAS) エキスパートの @soundTricker さんが何やらつぶやいていたので目を留めて見ると、やっと GAS に実装されたのか!と思い試してみることにしました (゚∀゚)キタコレ!! NextでGASのアップデートは特になかった(GSuite Add-onsはベータになりました)ですが、少し前(4/5)にいくつかアップデートがありました 大きいのはSheetsでFind TextがGASから使えるようになりました。 #gasja — おーはし(さんとりー) (@soundTricker318) April 11, 2019 これまでスプレッドシートで文字列を検索する機能は GAS にはなく、自力でがんばるしかありませんでした💦💦 今回は TextF
詳細手順 1.BigQueryとのコネクト 1-1.データ>データコネクト>BigQuery 1-2.プロジェクトを選択してコネクト 1-3.Queryを書く 1-4.結果を挿入する 2.マクロの設定方法 2-1.一度別タブに遷移しマクロの記録を開始 マクロの記録を開始する際は別のタブからデータシートへ遷移するところからはじめる 2-2.データシートのタブに遷移しQueryの更新をして、記録を保存 2-3.スクリプトエディタに遷移 2-4.現在のプロジェクトのトリガーへ遷移 2-5.トリガーを設定する 僕はだいたいこういう設定をします。毎日朝更新。 3.グラフを作る 最後に 毎日やるような作業はどんどん自動化して楽をしていきましょう QueryとGAS(この場合はGAS書いてもない)で、業務効率化はどんどんできます データ見るの大事です おまけ こんなスクリプトです。セルの選択などいらない
2020/9/30追記 本記事は元々、「SQL記述者全員が理解すべきSELECT文の実行順序のお話」というタイトルで投稿しておりました。 しかし、知見のある方からのコメントと自分でも調べてみた結果、今回紹介している順序はあくまで論理的な処理順序であり、実行順序とは別物ということがわかりました。 誤った知識を布教してしまい申し訳ございません。 2020/9/30のタイミングで、本記事のタイトルを「SQL記述者全員が理解すべきSELECT文の論理的な処理順序のお話」に変更させていただきました。 はじめに 「SQLといえば、エンジニアが扱うスキル」と思われがちですが、最近はマーケターや営業など、非エンジニアの方もSQLを使って、自らデータを抽出し分析する方が増えてきています。 またエンジニアの方でも、ORM任せでなんとなく理解している状態の方もいるのではないでしょうか? 今回は、そんな方々にこそ
posted articles:trocco:82%BigQuery:60%Looker:28%DataStudio:22%redshift:22%
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く