BigQuery のアーキテクチャの変遷を論文 Dremel: A Decade of Interactive SQL Analysis at Web Scale から読み解いてみた
はじめに皆様、こんにちは。Google Cloud Japan Customer Engineer Advent Calendar 2020 の 8 日目は 今年公開された BigQuery のリサーチペーパーを読んでみて個人的に興味があった点をまとめてみようと思います。2020 年で 10 周年を迎えた BigQuery の進化の過程が理解できるので皆様もお時間あればご一読を！ TL;DRこのホワイトペーパーは、Dremel （BigQuery のクエリエンジン） が採用している主要なアーキテクチャや考え方（これらのいくつかはクラウドネイティブなデータウェアハウスではトレンドとなりつつあります）がこの10 年間でどのような進化を経て現在の BigQuery になったのかを、Seattle Report on Database Research というレポート内で述べられている主要な 5
Firebase Auth のトークン解説
こんにちは、Cloud Support の Rnrn です。今日は Firebase Authentication (以下 Firebase Auth) で登場する「トークン」について掘り下げてみたいと思います。一口にトークンといっても Firebase Auth にはいくつか種類の異なるトークンがあるため、整理しておくと Auth フローがよりわかりやすくなりますよ！ ※ 本記事は公式ドキュメントを読み込むための足がかりのような立ち位置を想定し、厳密な正確さよりもわかりやすさに重点を置いています。 Firebase Auth でサポートされている認証方法は大きく分けて 3 種類あります。1 つがメールアドレス/パスワードや電話番号などを使う Firebase サービスによる認証、もう 1 つが Google や Facebook などのフェデレーション ID プロバイダによる認証、そして
SwiftUIに適したアプリケーション設計を思考する
2019年はWWDCでSwiftUIが発表されて大きな話題となっています。 もちろんエウレカの中でもSwiftUIについて研究したり話し合ったりしています。 SwiftUIの登場により、いままでのiOSアプリ開発が変わることは確かだと思います。 その中でも特に私が関心を持っている部分として、 UIKitによるUIドリブンなプログラミングからSwiftUIによるデータドリブンなプログラミングになる というところです。 この変化がアプリケーションの状態管理をより強くできる可能性があると考えています。 そこで、SwiftUIを使ったときの設計について考えてみました。 結論までは到達していませんが、これまで考えてきたことを考察としてまとめます。 複雑化する状態の組み合わせを上手く管理するためにアーキテクチャを選択するフロントエンド(UI)を持つソフトウェアで最も気合をいれて取り組むべきと感じるとこ
WhisperをFine Tuningして専門用語を認識可能にする
Whisperを少量のデータセットでFine Tuningして専門用語を認識可能にする方法を解説します。Tacotron2の合成音声でデータセットを作成することで、専門用語を認識可能なWhisperモデルを作成します。 WhisperについてWhisperはOpenAIの開発した音声認識モデルです。日本語を含む多言語に対応しており、高精度な音声認識が可能です。ただし、学習時に使用していない専門用語は認識できないという問題があります。 Whisperのアーキテクチャ（出典：https://huggingface.co/blog/fine-tune-whisper）Whisperにおける専門用語の扱いについてWhisperで専門用語を取り扱う場合、initial_promptに専門用語を埋め込むという方法があります。しかし、initial_promptにはコンテキストサイズの半分の224トーク
NVIDIA Docker って今どうなってるの？ (20.09 版)
※ この記事は以前私が Qiita に書いたものを、現状に合わせて更新したものです。(内容、結構変わりました) ※ 2021/01/08 CUDA Toolkit 11.2 のリリースに伴い、「NVIDIA ドライバのインストール」節を更新しました。 ※ 2020/09/24 CUDA Toolkit 11.1 のリリースに伴い、「NVIDIA ドライバのインストール」節を更新しました。 エヌビディアの佐々木です。 この記事では、Docker 等のコンテナで GPU を利用するための「NVIDIA Docker」の現状を紹介します。 「Docker で GPU を使うためにあちこち調べてみたけれど、nvidia-docker コマンドを使えばよいとか、--rutime=nvidiaオプションが必要とか、はたまた Docker が標準で GPU をサポートしたとか、色々な情報があってよくわか
Ingress の進化版 Gateway API を解説する Part 1 (シングルクラスタ編)
2022 年 4 月 27 日 追記: 2022 年 3 月末に GKE で Gateway API の v1alpha2 が利用可能になりました。それに伴い本記事の内容も v1alpha2 を前提としたものに更新しています。 重要 2022 年 4 月 27 日時点の既知の問題として、元々 v1alpha1 CRDsをインストールし利用していたクラスタに v1alpha2 CRDs をインストールした場合、新規設定が可能になるまで最大 1 週間程度が掛かる場合があります。元々 v1alpha1 を使っていたクラスタとは別のクラスタを用意して v1alpha2 を試して頂くことを推奨します。 Kubernetes / GKE ファンの皆様、こんにちは。Google Cloud の Kazuu (かずー) です。 さて、2021 年に一番話題に挙がった GKE のアップデートと言えば、GKE
踏み台EC2を廃止してSession Manager接続に置き換えました
こんにちは、エウレカ SRE チームの原田です。 今年 (2021年) エウレカでは、公開鍵認証で接続するEC2の踏み台サーバを廃止し、代わりに各サーバへの接続をIAMで認証できるSSM Session Managerへのリプレースを行いました。本記事ではそのモチベーションや、実装のポイントを紹介していきたいと思います。 旧来の踏み台サーバ 旧来の踏み台サーバエウレカで長く運用されていた踏み台サーバ (Gateway) は以下のようなものでした。 各開発者は、自分の秘密鍵を使って踏み台サーバへSSHを行う ( 踏み台サーバ上には各開発者の個別ユーザーおよび公開鍵が登録されている )踏み台上では、接続が許可されているSSH対象のサーバの秘密鍵がユーザー毎に配置されており、その鍵で各サーバにSSHするMySQL / Elasticsearch / Redis など、Private Subnet
Firebase Authentication の基本的な使い方
To sign a user into your app, you first get authentication credentials from the user. These credentials can be the user… 以下、5ステップに渡って順に説明していきます。主にiOSアプリ・自前APIサーバーの組み合わせ前提ですが、それ以外の構成とする場合でも参考になるはずです。 1. クライアントでFirebase Authenticationのtoken取得認証方法は、以下に対応しています。 GoogleFacebookTwitterGitHubメール電話番号メール認証では確認メール送信、電話番号認証は認証コード発行部分までFirebase側でやってくれて、すごく良くできています👏 また、匿名認証も対応しているので、アプリをインストール・起動するだけでユーザー操作なしで
Himeji: A Scalable Centralized System for Authorization at Airbnb
The ProblemOver the last couple of years, Airbnb engineering moved from a monolithic Ruby on Rails architecture to a service oriented architecture. In our Rails architecture, we had an API per resource to access the underlying data. These APIs had authorization checks to protect sensitive data. As there was a single way to access a resource’s data, managing these checks was easy. In the transition
ミルクボーイがアジャイルを説明したら
序章駒場「最近、うちのおかんがシステム開発に興味を持っててなぁ、名前は忘れたらしいんやけど、迅速に開発できて、仕様変更にも対応できる、素晴らしい開発手法を取り入れてるところがあるらしいんやわ〜。」 内海「そんなもんアジャイルに決まってるがなぁ〜! 今やシステム開発と言えば、アジャイル。素早く変化に対応できるってゆーのが特徴なんよ。そもそも名前が “迅速” を意味する英語やねんから、アジャイルに決まってるがなぁ〜。」 チームの人数駒場「最初、オレもそう思たんやけどな、なんでも 40 人ぐらいで開発してるらしいんやわぁ〜。」 内海「ほなぁ、アジャイルちゃうかぁ…。アジャイルでは 5〜9 人ぐらいが推奨されてるからなぁ〜。40 人もおったら、とてもやないけど、コミュニケーションが成立するとは思われへんなぁ〜。効率の悪い伝言ゲームになるのは目に見えてるからなぁ〜。おかん、他にもなんか言うてなかった
suitebook infrastructure has moved on from ElasticBeanstalk to ECS on Fargate
@laugh_k です。先週 SQUEEZE のソリューション事業のプロダクトである suitebook のインフラ環境をローンチ当初から使われていた ElasticBeanstalk ベースの環境から ECS on Fargate の環境への移設を行いました。今回はその移設がどのような検証・手順を経て行ったのかを紹介します。 背景ElasticBeanstalk 時代ElasticBeanstalk は Heroku を使うような感覚でAWS上で手軽にアプリケーションを動かせるのが魅力で、スタートアップのサービスローンチ当初にはさくっとデプロイできる感じもマッチしていました。ですが、プロダクトの成長とともに問題も多く発生していきました。 手軽に利用できる半面、Python3.6 への対応がなかなか来なかったり、Apache + mod_wsgi 以外の Web サーバが選択できなかったり
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Vector Databases: Unlock the potential of your data
Enabling High Fidelity, Low Latency Live Streaming with NGINX
Networking and API Structure using Combine
Firebaseを使った認証・認可①
Cloud Firestoreの勘所 パート2 — データ設計
Deploy your Jekyll Site using AWS Amplify — with only a few clicks
ゼロからElixir+Phoenixに入門する（1）
Announcing k0s, the Smallest, Simplest Kubernetes Distribution
Video metadata caching at Vimeo