BigQueryで全テーブルのメタ情報を一括で取得する方法
この記事は GMOアドマーケティング Advent Calendar 2019 25日目の記事です。 こんにちは、GMOアドマーケティングのmizkichです。 アドテクなマイクロサービスをGCPのKubernetesで運用しています。 最近、私が扱っているBigQueryのテーブル数が1万を超えてしまいました。 これらのテーブルから、レコード変更があったテーブルだけを抽出する業務があります。 公式に書かれたテーブル最終更新日の取得方法だと、1テーブルあたり2秒ほど掛かります。1万テーブルだと約6時間です。 この取得方法を変更することで、全テーブルの最終更新日を1秒未満で完了できるようになりました。 本記事では、テーブルのメタ情報を取得するための、三つの方法を紹介させて頂きます。 1. bqコマンドでの取得 bqコマンドにはテーブル情報を知る方法が二つあります。 bq lsでは、全テーブル
vim-lsp の導入コストを下げるプラグイン vim-lsp-settings を書いた。 - Qiita
これら全ての機能は、テキストエディタと Language Server との間で JSON-RPC を使い、ソースコード本体、コード補完候補、座標情報などを交換する事で実現されています。 温故知新 実は Language Server Protocol は OmniSharp というソースコード補完サーバがベースとなっています。 OmniSharp は元々、Vim で C# のコードを補完する為に作られた Vim プラグインでした。当時は Vim が curl コマンドで通信できる様に REST サーバとして作られていました。それを Microsoft が双方向の通信を行える様に通信仕様を JSON-RPC に定め、汎用化の為に仕様として策定した物が現在の Language Server Protocol です。 Language Server Protocol は Visual Stud
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
