Google Kubernetes Engine 上でコールド スタートによるレイテンシを減らす 4 つの方法 | Google Cloud 公式ブログ
※この投稿は米国時間 2024 年 1 月 27 日に、Google Cloud blog に投稿されたものの抄訳です。 Kubernetes でワークロードを実行しているなら、「コールド スタート」の経験がおありではないでしょうか。コールド スタートとは、ワークロードがまだホストされたことがない新しいノードにスケジュールされ、Pod をあらためてスピンアップする必要が生じ、アプリケーションの起動が遅れる現象を指します。起動に時間がかかると応答が遅くなり、ユーザー エクスペリエンスの悪化につながります。特に、アプリケーションがトラフィックの急増に対処するために自動スケーリングが行われるときに、この影響が顕著になります。 コールド スタートでは、何が起きているのでしょうか。コンテナ化されたアプリケーションを Kubernetes 上でデプロイするには、通常、コンテナ イメージの pull、コ
Cloud Run + Litestream で RDB を使いつつ費用を格安に抑える
前から気になっていた Litestream を Cloud Run で使ってみたので、そのメモです。 Litestream とは？ サンプルコード 手順 動作確認してみる 制限事項 おまけ まとめ 参考 Litestream とは？ Litestream は、 SQLite のデータベースファイルを Amazon S3 や Google Cloud Storage などのオブジェクトストレージにリアルタイムでレプリケートすることができるオープンソースのツールです。 例えば通常 Cloud Run で DB エンジンとして SQLite を使用しようとしても、コンテナが破棄されると同時に毎回 SQLite のデータベースファイルも消えてしまうため、データを永続化することができません。 しかし Litestream を使用すれば、 SQLite のデータベースファイルをオブジェクトストレージに
AWSによるクラウド入門
真野 智之 (Tomoyuki Mano) <tomoyukimano@gmail.com> version 1.0, 2020-06-19
Let’s Architect! Designing architectures for multi-tenancy | Amazon Web Services
AWS Architecture Blog Let’s Architect! Designing architectures for multi-tenancy Understanding architectural patterns for multi-tenancy has become crucial for architects and developers aiming to deliver scalable, secure, and cost-effective solutions. Isolating tenant data is a fundamental responsibility for Software as a Service (SaaS) providers. In this edition of Let’s Architect!, we talk about
APIを作成する -Google Apps Script（GAS）を利用する- - Qiita
概要 バックエンド（サーバ側）の機能を開発していきます。 まず、お問合せページから送信されたデータを受け取り、スプレッドシートに蓄積した機能（API）を作成したのち、その機能に対してデータを送信できるようお問合せページを改修したいと思います。 APIとはApplication Programming Interfaceの略で、システム間で機能を連携させるための仕組みと理解しておけばいいでしょう。Web記述を利用して提供・連携するAPIを特にWebAPIと言ったりします（ここでは開発するものはWebAPIです）。 今回のAPIはGoogle Apps Scriptで実装します。 Google Apps ScriptとはGoogleが開発・提供しているプログラミング言語（と環境）です。JavaScriptをベースに設計された言語でGoogleが提供している各種サービスと連携した各種アプリケーシ
AWS、オープンソースのコンテナ開発ツール「Finch」のWindows版リリース。コンテナのビルドや実行環境一式
AWS、オープンソースのコンテナ開発ツール「Finch」のWindows版リリース。コンテナのビルドや実行環境一式 AWSは、ローカルマシン上にLinuxコンテナのランタイム、ビルドツール、コマンドラインツールなど一式を簡単にインストールし、コンテナを用いた開発環境を開始できるソフトウェア「Finch」のWindows版を公開しました。 Finchは以前からIntelプロセッサもしくはAppleシリコン搭載のMacに対応していました。今回のWindows対応によってmacOSとWindowsの両方に対応したことになります。 Finch 1.0 has arrived! The #opensource source project has reached a significant breakthrough. Finch is now available for Windows Develo
Kubernetesクラスタの可観測性の隙間を埋めるeBPF - LIFULL Creators Blog
KEELチームの相原です。 今回はeBPFを利用してKubernetesクラスタの可観測性の隙間を埋めている話です。 前回のエントリではLLMにうつつを抜かしていたので本業(?)の話をしようと思います。 www.lifull.blog LIFULLの可観測性の現在地 eBPFとは 可観測性の隙間 NAT Loopback eBPFを実行するには BPF CO-RE libbpf-rsを利用したNAT Loopbackの検知 1. (ユーザ空間) コマンドライン引数として受け取ったDNSをTTLごとに名前解決してIPアドレスを取得する 2. (ユーザ空間) IPアドレスに変化がある度にカーネル空間で動くBPFプログラムにそのIPアドレスのリストを渡す 3. (カーネル空間) Kprobesで tcp_v4_connect/tcp_v6_connect にフックを仕込む 4. (カーネル空間)
Kubernetes初学者が担当したGKE移行プロセスの全貌 - Gaudiy Tech Blog
はじめまして。Gaudiyでエンジニアをしているあんどう（@Andoobomber）です。 クラウドネイティブ全盛の世の波に乗り、この度 Gaudiy では Cloud Run から Google Kubernetes Engine (GKE) への移行を行いました。 この記事では、その移行プロセスの全体像を共有し、得られた教訓と今後の展望を探ってみたいと思います。 1. Before After: 移行の概観 1-1. Before 1-2. After 2. なぜGKE環境に移行したのか 3. 移行のプロセス 3-1. Kubernetesを学ぶ (1週間: 2023/10/01~) 3-2. Dev on GKE環境作成 (2-3週間) 3-3. Staging on GKE環境作成 (2日) 3-4. Private Clusterへの移行 (1-2週間) 3-5. Prod on
Go 1.22リリース連載始まります & ループの変化とTinyGo 0.31 | フューチャー技術ブログ
Go 1.22のトピックとしては以下のようなものがあります。だいぶ安定版になってきたからか、言語もライブラリもこつぶなものが多くなってきたかな、という印象です。 ループ変数の挙動の変化 ツール系 GO111MODULE=offオプションの廃止 トレースツールのUI改善 net/httpのServeMuxでパス変数が扱えるように go vet強化 コンパイラでGCが1-3%高速化。PGOで2-14%改善 リンカーの生成するバイナリがよりデバッガフレンドリーに ライブラリ math/rand/v2追加 database/sql.NUllの追加 net/httpのルーターがパスパラメータをとれるように その他 個人的に注目しているHTTP/3やQUICへの対応は、準標準ライブラリのgolang.org/x/net/internal/quicの中で進行中。将来的にはinternalが外れたgola
Slack アプリを作成してincoming Webhook URLを設定する - Qiita
概要 Slackにてアプリを作成してincoming Webhookを設定する方法をまとめる。 前提 作成するアプリを連携するワークスペースとチャネルが事前に作成されていること。 方法 下記にアクセスする。 https://api.slack.com/apps?new_app=1 「sign in to your Slack account」をクリックしてログインする。 「Create an App」をクリックする。 「From scratch」をクリックする。 「AppName（アプリ名 任意）」を入力し、「Pick a workspace to develop your app in：」で作るアプリを入れるワークスペースを選択する。 遷移先のページ（今作成したアプリの詳細）のサイドバーで「Incomming Webhooks」をクリックする。 スライダーを「On」にする。 「Add N
How to become a platform engineer | Google Cloud 公式ブログ
※この投稿は米国時間 2024 年 1 月 12 日に、Google Cloud blog に投稿されたものの抄訳です。 あなたは Acme Corp という架空の会社のエンジニアで、CI / CD と自動化を用いたソフトウェアの統合と配信、データ主導型の指標およびオブザーバビリティ ツールの実装を行う大型プロジェクトに関わっているとします。しかし仲間のエンジニアの多くは、認知負荷が高すぎることで苦戦しています。Kubernetes クラスタのデプロイと自動化、CI / CD パイプラインの構成、セキュリティに関する懸念事項など、検討すべきことはさまざまです。会社の拡大と成長を支援するには、そのような課題の解決方法に関する考え方を改める必要があるとあなたは気付きます。そこで役立つ可能性があるのが、プラットフォーム エンジニアリングです。 プラットフォーム エンジニアリングは「コンピューティ
GoogleチャットのWebhookとは？GASと組み合わせてボットを作成する方法 | AutoWorker〜Google Apps Script(GAS)とSikuliで始める業務改善入門
Googleチャットの有料版では、外部からメッセージ投稿できるWebhookを設定することができます。 GoogleチャットでのWebhookの解説と、Google Apps Scriptを使ってボットを作成する方法を紹介します。 Googleチャットの有料版(Google Workspace)では、Webhookという機能が用意されています。 GoogleチャットのWebhookはIncoming Webhookと呼ばれる、外部からチャットメッセージを投稿できる仕組みです。 Webhook用のURLにメッセージを送ると、グループチャットやチャットルームに送信したメッセージが投稿されます。 Webhookの機能を使うことで、他のサービスの情報をGoogleチャットに通知するボットを作成することができます。 ただし、GoogleチャットのWebhook機能は有料版限定で、無料のGoogleア
Google Chat に自動投稿する方法
Google Chat のルームにプログラムで自動投稿する方法についてです。 事前に想像したよりかんたんであっけなかったですが、また次久しぶりにやるときに少し時間がかかるかもしれないので、かんたんに方法をまとめておきます。 Google Chat をプログラムから利用するパターンは大きく 2 つがありますが 呼びかけに応答する bot を作る 一方的に投稿だけする bot を作る 今回は後者の「投稿だけする方法」について扱います。 実装の選択肢 選択肢は大きく 3 つあります。 A) Google Chat のウェブフックを使う Using incoming webhooks | Google Chat API | Google Developers B) Google API のクライアントライブラリを使う Client libraries | Google Chat API
そこまで大規模じゃない EKS環境を（あまり）頑張らずに 最新化し続けたい / FamilyAlbum EKS Continuous Improvement
Kubernetes活用の手引き 私たちの基盤構築・運用事例 Lunch LT https://findy.connpass.com/event/307447/
BigQuery で Vertex AI の LLM を使用して SQL のみで RAG を構築する
はじめに こんにちは、Google Cloud Partner Top Engineer 2024 を受賞いたしました、クラウドエース データソリューション部の松本です。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があれば エントリー をお待ちしております！ 今回は、BigQuery で Vertex AI の LLM を使用して SQL のみで RAG を構築する方法についてご紹介します。 この記事はこんな人にオススメ BigQuery の SQL のみで LLM を使った問合せシステムを構築したい BigQue
ゲーム開発に所謂なアプリケーション設計パターンを適用するのは難しい - hadashiA
ゲーム開発ひいてはクライアントサイドの開発において「クリーン」かどうかは正直けっこうどうでもよく、設計すべき一番のポイントは「制御フロー」にあります。 じゃあ具体的にどういう設計がいいのか、ていうのは、やはりjs界隈みたいにフレームワークになっていないとなかなか伝わらないようです。そういうのもそのうちつくってみたいなあと最近思ってます。 以下、以前ブログに書いたものの転載。 -- Unityで長らくゲーム開発をやっているけれど、Web界隈などで色々と発達しているアプリケーション設計パターンをおいそれと持ち込めば良いわけではないと感じているので、それについて考えてみようと思う。 ここでいう設計パターンていうのは、たとえばUIとかをつくるフレームワークの競争で発達してきた MVC派生 や ReactとかのElmアーキテクチャに影響を受けたものたち、はたまた、Webサーバ(HTTPサーバ) を書
オープンソースツールキット『PLATEAU SDK』、Unity版v2.3.0とUE版v2.2.0が公開。地物タイプに応じてマテリアル分けが可能に
PLATEAU、『PLATEAU SDK for Unity v2.3.0』『PLATEAU SDK for Unreal v2.2.0』を公開 v2.1.0-alphaで実装されていた地形モデルへの航空写真貼付け機能などが追加 地物タイプに応じてマテリアル分けする機能も実装された PLATEAUは、『PLATEAU SDK for Unity v2.3.0（※）』『PLATEAU SDK for Unreal v2.2.0』をGitHubにて公開しました。 ※ 記事執筆時点の最新バージョンは、PLATEAU SDK for Unity v2.3.1 PLATEAU SDK for Unity/Unreal 2.0をリリースしました！ 1.0の機能に加え、地形モデルへの航空写真貼付け機能、デフォルトテクスチャ機能、地物タイプ別のマテリアル設定機能など様々な新機能を実装しています。 ぜひお試
Google Cloudのサーバレスなイベント駆動処理 - Cloud Runアプリをいい感じにTerraformで管理する - Lean Baseball
元・野球エンジニア*1, 現・Google Cloud Partner Top Engineer 2024*2の人です. 相変わらず仕事も趣味もGoogle Cloudで何かをやっているのですが, この年末年始に以下の絵のようなシステムを作りました（正確には「元々あった別システムを作り直しました*3」）. この記事の全体像 Baseball Savantから取得*4した投打のデータ（トラッキングデータ）のCSVをBigQueryのテーブル（事前に定義済み）に突っ込むシステムなのですが, こちらを作る過程で, Cloud RunをPub/Subのメッセージをトリガーとしたイベント駆動で動かす アプリケーション（Goで実装）を純然たるWeb APIとして実装（Pub/Sub専用のアプリではない） 上記の構成をサービスアカウントなどの権限設定含めてTerraformでIaC（Infrastruc
Unity Learnチュートリアル「ML-Agents：ハチドリ」で強化学習を始めよう｜①Flowerクラスの実装
ML-Agents：ハチドリ Unityには、強化学習を構築するためのフレームワークであるML-Agentsがあります。また、Unityの公式なチュートリアル&コースウェアを提供するUnity Learnにおいて、このML-Agentsのチュートリアルを提供する「ML-Agents：ハチドリ」があります。 「ML-Agents：ハチドリ」は、Humming bird (ハチドリ)が蜜を吸うゲームの中で、ハチドリが効率的に蜜を吸うことをゴールとして、強化学習を用いてハチドリをトレーニングするための学習コンテンツです。 この記事は、私が「ML-Agents：ハチドリ」を学習した際に、重要だと考えた事項を備忘用にメモするためのものです。 プロジェクト:①Flower.cs 本プロジェクトでは、個々の花の機能のスクリプトを作成します。ハチドリはこの花と直接やりとりをするので、適切な反応をする必要が
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How to find closest point on line?