BigQueryの承認済みビューを利用した社内データ公開設計 - enechain Tech Blog
はじめに 旧BigQuery構成と課題点 新GCP Project/BigQuery構成 承認済みビューの設定 結果 終わりに はじめに enechainのデータプラットフォームデスクで2年目エンジニアをしている菱沼です。 本記事では、社内ユーザに対する閲覧権限をBigQueryの承認済みビューを用いて改善した例をご紹介します。 事業規模の拡大に伴い、各種データへのアクセス権限整備の重要性が増し、BigQuery上のデータも厳密な権限管理が求められるようになりました。 今回は、我々が抱えていたBigQueryアーキテクチャの権限管理上の課題と、その課題に対する取り組みについて具体的にご紹介します。 ぜひ最後までお付き合いください！ 旧BigQuery構成と課題点 データプラットフォームデスクで構築しているデータ基盤の1つに、 外部データソースから取得したデータを収集・蓄積するためのETLパ
Next.jsをFirebaseにデプロイしたら高額請求がきて貯金がなくなりかけた話 - Qiita
はじめに こんにちは！！@Sicut_studyです！ クラウド破産しかけました！ギリギリ払えるくらいやばかったです！！ 普段サービスを Firbese でデプロイしているのですが、この度自分でサービスをリリースした時に破産しそうになった話を共有していきます。 自分が使うためのサービスとみんなに利用してもらうためのサービスではこの点が大きく違うんだなとしみじみ感じたので、自分以外が使うサービスをリリースする方には参考になるかと思います 0. アラートは突然に とあるメールが自分のもとに届きました !?!??!??!??!?!!!?? やばいまだ11月始まって6日なのに予算の半分を使ってしまっただと！？！ とくにリリースなどは行っていなかったのでなぜか今月になって請求額があがるようになっていました 仕事中にメールが来たのですが、気になりすぎてまったく集中できませんでした😅😅😅😅 1.
【総額350万】高額請求がきたエンジニアの失敗から学べること - Qiita
はじめに 成功よりも失敗を学ぶ方が再現性が高く成果を出しやすい これは私がアウトプットをする上で常に心がけていることです。 あなたは普段自分の経験や体験を記事として発信しているでしょうか？ おそらく多くの人ができていないはずです。 今回は私が過ごしてきたエンジニア人生4年の中で、特に大きかった失敗談をまとめて紹介していきます。 それぞれの失敗談の詳細はリアルタイムに記事を投稿しているので、ぜひ気になった方は最後にリンクを載せていますので確認いただけると良いかと思います。 この記事はQiita Engineer Festa 2024 〜しくじりエンジニア！私みたいになるな！～の登壇内容を記事にまとめたものになります。 失敗こそアウトプットせよ 「成功よりも失敗を学ぶ方が再現性が高く成果を出しやすい」という言葉の通り、成功は人それぞれバックグラウンドが違っていたり、運も絡んでいるので再現性は低
BigQueryのオンデマンドクエリの利用量にフタをする (上限を設ける) - G-gen Tech Blog
G-gen の杉村です。BigQuery のオンデマンドクエリの利用量にフタをする、つまりスキャンデータ量に上限を設けて突発課金を防止する工夫について紹介します。 はじめに 割り当て (Quota) の設定 Query usage per day 設定手順 割り当て画面へ遷移 対象の割り当てをフィルタ 編集ボタンをクリック 割り当てを設定 新しい割り当ての確認 動作確認 クエリのサイズ上限設定 クエリ単位での上限設定 設定手順 (コンソール) クエリ設定を開く 詳細オプションの設定 動作確認 設定手順 (bq コマンドライン) はじめに BigQuery の課金体系にはオンデマンドと Editions の2つから選択できます。前者はスキャンしたデータ量に応じた従量課金です。後者は確保するコンピュートリソースの量に応じた課金で、オートスケールの幅 (上限と下限) を設定できます。 Editi
Pokémon GO が数百万ものリクエストへの対応を実現している方法 | Google Cloud 公式ブログ
※この投稿は米国時間 2021 年 10 月 27 日に、Google Cloud blog に投稿されたものの抄訳です。 ポケモンを捕まえたことはありますか？Pokémon GO は何百万人もの人がプレイする人気ゲームですが、非常に優れたスケーラビリティを実現しています。このブログでは、Pokémon GO のエンジニアリング チームがどのようにこの大規模なサービスを管理し、維持しているのか、その舞台裏を紹介しています。Niantic Labs のシニア エンジニアリング マネージャーで、 Pokémon GO のサーバー インフラストラクチャ チームを率いる James Prompanya 氏に、この大人気ゲームを支える アーキテクチャについてお話を伺いました。動画をご覧ください。 Priyanka: Pokémon GO とは？ James: これは典型的なモバイルゲームではあ
WCSC31でDeep Learning勢が振るわなかったのは何故ですか？ | やねうら王 公式サイト
WCSC31(第31回 世界コンピュータ将棋選手権)の決勝に進出した8チームのうちDL勢はPALのみ。昨年末の電竜戦で優勝したGCTは、そこから+R250ぐらいになっているにも拘らず予選落ち。強くなっているとは何だったのだろうか？ 長い時間での伸び WCSC31の持ち時間(15分1手5秒加算)は、電竜戦の持ち時間(10分1手2秒加算)よりもずいぶん長い。長い持ち時間になった時に従来型の将棋ソフト(NNUE勢)と、DL勢とでは、どちらが有利なのだろうか。 私が以前計測した時は、電竜戦優勝modelのGCTで3000ノード(RTX 3090で0.05秒ぐらいに相当)と240ノード(RTX 3090で4秒ぐらいに相当)に増やした時の伸びは、NNUEを同じだけの倍率だけ探索量を増やした時と同じ程度であった。 // 将棋ソフト、長時間の対局は、Deep Learning系に軍配が上がるのか？ : h
【CloudRun】Apache+Laravelの環境構築｜sumi｜note
Cloud Runを使ってApache + Laravelのアプリケーションをデプロイする方法です。（Cloud SQLについては触れていません） Cloud Runについては過去にnoteを書いてますので見てみてください。 デプロイの流れ分かりやすいようにざっくりイラスト化してみました ファイル構成srcディレクトリにはLaravelのプロジェクトコードが入っています。 Dockerfileの作成CloudRunはDockerComposeではなくDockerfileを簡単にデプロイするサービスなので、同じコンテナにLaravelとApacheの環境を作ります。 イメージはcomposerとphp-apacheを利用します。 FROM composer:latest as build WORKDIR /app COPY . /app FROM php:7.3-apache COPY ph
Google Compute EngineにJupyterをインストールしてブラウザからアクセスできるようにする - Deep Karmaning
概要 前回構築したGCPのデータ分析環境にJupyter等を入れてブラウザでアクセス出来るようにし、分析を実行できる環境を構築する方法のメモです。 rf00.hatenablog.com Anacondaのインストールと、ファイヤーウォールの設定のみで簡単に可能です。 Anacondaのインストール まずはインストールする対象のインスタンスをSSHで接続します。 今回は画像の用にCompute Engie>VMインスタンスの画面から「SSH」をクリックしブラウザからアクセスします。 ダウンロード用のフォルダを作って、そこにanacondaのインストール用ファイルをダウンロードします。 mkdir downloads cd downloads wget http://repo.continuum.io/archive/Anaconda3-4.0.0-Linux-x86_64.sh bash
Google Functions: console.infoやconsole.errorなどとログビューアの「重大度」の関係性 - Qiita
Google Functions: console.infoやconsole.errorなどとログビューアの「重大度」の関係性JavaScriptNode.jsGoogleCloudFunctionsGoogleCloud JavaScriptのConsole APIには、ロギングで良く使うconsole.log以外に、console.infoやconsole.errorなど、ログに「情報」や「エラー」といった色をつけるメソッドがあります。 一方、Google Cloud Platform(GCP)のログビューアの「重大度(SEVERITY)」という概念があり、ログごとに「INFO」や「ERROR」などの意味合いを持たせることができます。 では、Console APIとGCPの「重大度」はどのような関係になっているのでしょうか？ 実験してみたので、この投稿ではその結果をお伝えしたいと思いま
Google Functions & Node.js: winstonで高レベルなロギングをする方法 - Qiita
本稿では、Google Could Platform(GCP)のGoogle Cloud Functions(GCF)で、Node.jsのロギングライブラリwinstonを使ったログの記録方法を説明します。 この投稿で学べること winstonをGoogle Cloud Functionsの関数に組み込む方法 winstonのメソッドの呼び出し方 winstonでオブジェクトの値をロギングする方法 winstonで記録したログの読み方 この投稿では説明しないこと winstonを使ってStackDriverにロギングする方法 winstonを使ってStackDriverに「重要度」をつけながらロギングする方法 winstonとStackDriverを組み合わせると、より自由度が高く分析しやすい構造でロギングすることが可能なりますが、この投稿ではそれについては説明しません。winstonを単
Google Functions: Node.jsで重要度付きのロギング - Qiita
前回、Google Functions: console.infoやconsole.errorなどとログビューアの「重大度」の関係性という記事を投稿しました。そこではconsole.errorやconsole.infoなどのConsole APIでは、GCP上のログの重要度(severity)は、DEFAULTかERRORの二択になるということを説明しました。 GCP上の重要度はこの2つしか無いわけではなく、以下の9つのレベルがあります。 この投稿では、Google Cloudのロギングクライアントライブラリを使って、Cloud Functionsでも重要度を指定したロギングをする方法を説明します。 この投稿で学ぶこと Google Cloud Function & Node.jsで@google-cloud/loggingを使って重要度をつけたログを記録する方法 そして、その面倒くささ。
Google Functions & Node.js: console.logを使った最低限のロギング - Qiita
この投稿では、Google Cloud Platform(GCP)のGoogle Cloud Functions(GCF)のNode.js環境で、console.logを使った最低限のロギング手法について解説します。 この投稿で学ぶこと Google Cloud Functions & Node.jsでは、console.logで最低限のロギングは可能。 2行以上に渡るログは行ごとに分解されるので注意。 jsonPayloadを意識すると、オブジェクトの構造をログに出すことも可能。 GCFではconsole.logでログを残せて、「ログビューア」で確認できる まず、Google Cloud Functionsでどのようにロギングし、そのログをどうやって確認するのかを学びます。シンプルに1行のメッセージをconsole.logで記録してみましょう。
Google Cloud 料金計算ツール
United States Dollar (USD)Australian Dollar (AUD)Brazilian Real (BRL)Canadian Dollar (CAD)Swiss Franc (CHF)Czech Koruna (CZK)Danish Krone (DKK)Euro (EUR)Great Britain Pound (GBP)Hong Kong Dollar (HKD)Indonesian Rupiah (IDR)Israeli New Shekel (ILS)Indian Rupee (INR)Japanese Yen (JPY)South Korean Won (KRW)Mexican Peso (MXN)Malaysian Ringgit (MYR)Norwegian Krone (NOK)New Zealand Dollar (NZD)Polish Zl
API 設計: gRPC、OpenAPI、REST の概要と、それらを使用するタイミングを理解する | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 4 月 11 日に、Google Cloud blog に投稿されたものの抄訳です。 ほとんどのソフトウェア デベロッパーがご存じだと思いますが、API 設計には RPC と REST の 2 つの主要なモデルがあります。モデルに関係なく、ほとんどのモダン API は、なんらかの方法で同じ HTTP プロトコルにマッピングすることによって実装されます。また、RPC API 設計では、RPC モデルの範囲から外れずに HTTP から 1 つまたは 2 つのアイデアを採用することが一般的になっています。これにより、API 設計者に提示されるオプションの範囲が広がりました。この投稿ではこれらのオプションについて説明し、どれを選ぶか決める際に役立つガイダンスを提供します。 gRPC は RPC API を実装するためのテクノロジーで、HTTP 2.0 をその基盤
Google Cloud Speech-to-Text API を完全に理解する - Qiita
公式ドキュメント 対象 ・ターミナル、テキストエディタ(vimなど)の扱いができる方 ・音声ファイルを自動で書き起こししたい方 料金 最初の60minは無料です。 また、音声ファイルから、翻訳された音声の長さに基づいて算出されるそうです。 詳しくは公式ドキュメントをご覧ください。 https://cloud.google.com/speech-to-text/pricing?hl=ja 向いている音声 ・複数人ではなく、1-2人の音声 ・雑音が少なく、はっきりと聞き取れる音声 当方の環境 ・Mac（catalina 10.15.3） 事前準備 1 まず、GCPアカウントを作成し、コンソールにログインし、適当なプロジェクトを作成する → クレジットなど、支払い情報も登録しておくこと 2 ナビゲージションメニューから、「APIとサービス」を選択しダッシュボードに入ってください。 3 認証情報か
IAPに対応しているGAEにアクセスする - Qiita
概要 GCPにあるGAEに対してアクセスする場合、認証のためにIAPをつけることが多いハズ その際にrequest clientに対して認証情報を付ける方法についてまとめる サービスアカウントを作る サービスアカウントは以下の通りに作成できる https://cloud.google.com/iam/docs/creating-managing-service-accounts?hl=ja 先程のサービスアカウントをIAPのアクセスユーザとして追加する 先程のサービスアカウントに対してGAEに対する権限を付ける。（IAP-secured Web App Userとして先程のサービスアカウントをつける。 コードのサンプル実装 dependencies { implementation "org.jetbrains.kotlin:kotlin-stdlib-jdk8" // https://m
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS/Azure/Google Cloudサービス比較 2023.12 - Qiita
https://twitter.com/KUMAN_R/status/1453157889929924608
BigQuery サンドボックスを有効にする | Google Cloud
Jupyter ノートブックで BigQuery データを可視化する | Google Cloud