AWSだ! Google Cloudだ! Azureだ! 認証連携だ！昨今は、さまざまな要因から、複数のクラウド（IaaS）プロバイダーを活用することが多くなりました。例えば、サービスのワークロードはAWSだが、データ分析はGoogle CloudのBigQueryを使うなどです。異なるプロバイダー間でのリソースにアクセスするには、認証が必要であり、シークレットを安全に発…
Vertex AI Embeddings for Text で実現する LLM のグラウンディング | Google Cloud 公式ブログ
Ivan CheungDeveloper Programs Engineer, Google Cloud ※この投稿は米国時間 2023 年 5 月 26 日に、Google Cloud blog に投稿されたものの抄訳です。 いま多くの人々が、ジェネレーティブ AI や大規模言語モデル（LLM）を実運用サービスにどのように導入すればよいか検討を始めています。しかし、例えば「既存の IT システムやデータベース、ビジネスデータと LLM や AI チャットボットをどのように統合すればいいだろうか」、「数千もの製品を LLM に正確に覚えさせるにはどうすれば良いだろうか」、あるいは「信頼性のあるサービスを構築するためにハルシネーションの問題をどのように扱えば良いか」といった課題と直面することになります。 これらの課題に対するシンプルな解決策となるのが、エンべディング（embeddings）と
［速報］Google Cloudでのシステム開発について何でもAIが教えてくれる「Duet AI for Google Cloud」発表。Google I/O 2023
［速報］Google Cloudでのシステム開発について何でもAIが教えてくれる「Duet AI for Google Cloud」発表。Google I/O 2023 Googleは5月10日（日本時間5月11日未明）、米カリフォルニア州マウンテンビューで開催中のイベント「Google I/O 2023」で、Google Cloudでのシステム開発についてAIが支援してくれる「Duet AI for Google Cloud」を発表しました。 Duet AI for Google Cloudは経験豊富な専門家から入門レベルまで、利用者のレベルに関わらず、Google Cloudでのシステム開発について生成的AIがチャットやコード生成機能などにより支援してくれます。 自然言語での質問、コードの自動生成など Duet AI for Google Cloudは「Codeアシスタンス」と「Cha
Introduction to data masking | BigQuery | Google Cloud
Send feedback Stay organized with collections Save and categorize content based on your preferences. Introduction to data masking BigQuery supports data masking at the column level. You can use data masking to selectively obscure column data for users groups, while still allowing them access to the column. Data masking functionality is built on top of column-level access control, so you should fam
Terraform リソースの再作成の強制 | Google Cloud 公式ブログ
※この投稿は米国時間 2022 年 4 月 1 日に、Google Cloud blog に投稿されたものの抄訳です。 Google Cloud などのパブリック クラウド上で実行されている環境で Terraform リソースをプロビジョニングしていて、そのリソースを破棄、再作成してクリーンな状態から開始する必要があるとしましょう。 Terraform には、これを実現するための 2 つのツールが備わっています。 terraform taint コマンド。Terraform 状態でオブジェクトを tainted としてマークするように Terraform に指示します。オブジェクトが tainted としてマークされている場合、Terraform はそのオブジェクトの置き換えを提案します。（このコマンドは非推奨とされています）。 terraform apply と terraform p
Google Forms API登場。プログラミングでGoogleフォームの作成や編集が可能に
アンケートなどを簡単に制作できるGoogleフォームをAPI経由で作成、編集できる「Google Forms API」が発表されました。 The #DeveloperCommunity has more power! Thanks to the new Google Forms API, you have the ability to build powerful integrations on top of forms. Check out automation use cases https://t.co/3rwg3qr5Vg — Google Developers (@googledevs) October 12, 2021 Googleフォームは、質問項目や選択肢が並んだフォーム画面を作り、公開すると、自動的に結果がGoogle Spreadsheetに集計され、容易にグラフ化など
GCP の Application Default Credentials を使った認証 - ぽ靴な缶
公式ドキュメントで説明されているけど、同僚に何度か説明する機会があったり、作る必要のないサービスアカウントキーを目にすることも多いのでまとめておく。 認証情報が登場しないアプリケーションコード 例えば以下のコードで Secret Manager に保存したトークンを取得することができる。SecretManagerServiceClient にサービスアカウントキーを渡さずとも動作する。 const {SecretManagerServiceClient} = require('@google-cloud/secret-manager'); const client = new SecretManagerServiceClient(); (async () => { const [secret] = await client.accessSecretVersion({ name: 'proj
Which Go Modules Does Google Use?
The Google GitHub org has over 2k public repositories. At the time of writing, 200+ are Golang codebases (at least according to GitHub’s primary_language field), and 125 of those repos have a go.mod file. Can we compose a query that finds the most commonly declared dependencies in these 125 go projects? Absolutely! Brace yourself for some SQL 😃. First, let’s use the AskGit export command to save
はじめてのAI
講座内容 人工知能、AI、機械学習、ニューラルネットワーク、ディープラーニング…これらの言葉が世間ではよく聞かれるようになっています。 よく聞く言葉だけれども、よくわからない、自分の身近なものではなさそうと思っている方も多いのではないでしょうか。 本講座では、AI に関わる基本知識だけでなく、事例や具体的にそれがどのような仕組みで動いているかも紹介します。 AI の基礎を理解し、AI をどう活用できるかのヒントがつかめるように、本講座で学びます。 第 1 章 はじめに 1-1：ケーススタディ 1 生活の中での AI 1-2：ケーススタディ 2 AI の活用事例を知る 1-3：本講座のゴール 機械学習について知る 第 2 章 機械学習でできること 2-1：レッスン 1 普通の IT と機械学習の違い 2-2：レッスン 2 画像認識の例 2-3：レッスン 3 音声認識と文章理解の例 第 3 章
ZOZOTOWNを支えるリアルタイムデータ連携基盤 - ZOZO TECH BLOG
こんにちは、SRE部MA基盤チームの谷口（case-k）です。私達のチームでは、データ連携基盤の開発・運用をしています。 データ基盤には大きく分けて2種類あり、日次でデータ連携してるものとリアルタイムにデータ連携しているものがあります。本記事ではリアルタイムデータ連携基盤についてご紹介します。 既存のデータ連携基盤の紹介 リアルタイムデータ連携基盤の紹介 なぜ必要なのか 活用事例の紹介 データ連携の仕組みと課題 リプレイス後のリアルタイムデータ連携基盤 SQL Serverの差分データの取り方を検討 アーキテクチャ概要と処理の流れ Fluentdのプラグインを使った差分データの取得 Dataflowでメッセージの重複を排除 Dataflowで動的にBigQueryの各テーブルに出力 Pub/Subのメッセージ管理 イベントログ収集基盤 個人情報の取り扱い ビルド・デプロイ戦略 監視 データ
AWS Lambda からサービスアカウントで Google APIs を叩くまでにやったこと | DevelopersIO
コンサルティング部の西野です。 AWS Lambda からサービスアカウントを使用して Google APIs を叩く機会がありましたので、その手順を紹介します。 やりたいこと G Suite ドメイン内のユーザーによって Google Drive 上に保存されたファイルの名称を AWS Lambda 経由で取得することをゴールとします。 構成図 server-to-server (Lambda to Google API) で API をコールするためサービスアカウントを用いる Using OAuth 2.0 for Server to Server Applications AWS リージョンはアジアパシフィック（東京）/ ap-northeast-1 を使用 API コール用のサービスアカウントキーを SSM Parameter Store に SecureString として保存す
Google、セキュリティスキャナー「Tsunami」をオープンソースで公開。ポートスキャンなどで自動的に脆弱性を検出するツール
Google、セキュリティスキャナー「Tsunami」をオープンソースで公開。ポートスキャンなどで自動的に脆弱性を検出するツール Announcing the release of the Tsunami security scanning engine to the open source communities to protect their users’ data, and foster collaboration.https://t.co/qrvmilHm1r — Google Open Source (@GoogleOSS) June 18, 2020 Tsunamiは、アプリケーションに対してネットワーク経由で自動的にスキャンを行い、脆弱性を発見してくれるツールです。 Googleは、現在では攻撃者が自動化された攻撃ツールへの投資を続けており、ネット上に公開されたサービスが攻
Kubernetes Engine で動作するアプリでのロギングの使用 | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 5 月 12 日に、Google Cloud blog に投稿されたものの抄訳です。 アプリケーションのデバッグを行うデベロッパーにとっても、また複数の本番環境クラスタにわたってアプリケーションをモニタリングする DevOps チームのメンバーにとっても、ログは IT 組織の生命線といえます。Google Kubernetes Engine（GKE）を導入している場合、Cloud Logging を使用できます。これは、GKE に統合されているさまざまなサービスの一つで、有用な情報の検索に使用できます。 Cloud Logging とそれに付随するツールの Cloud Monitoring は、双方とも GKE に密接に統合されたフル機能のプロダクトです。このブログ投稿では、GKE でロギングが機能する仕組みとログ収集のベスト プラクティスをご紹介します
Google社のテクニカルライティングの基礎教育資料がとても良かったので紹介したい - Qiita
はじめに エンジニアにとって、仕様書などの技術的な文章を書くこと（テクニカルライティングとも言います）は避けて通れません。ただ20年来多くのエンジニアの方々と同僚として接してきて思うことは、エンジニアの方の中には「文章を書く」ということに苦手意識がある方が一定数いるということです。 でもこの「テクニカルライティング」のスキルは、才能というよりは一種の「技能」だと思うんです。ある一定の原理原則を理解して実践を繰り返すことで、必ず一定レベルで習得できるものだと著者は信じています。 もしこのテクニカルライティングの原理原則をまだ体系的に学習したことがない、または過去学習したが改めて再学習したいという方に、お勧めのコンテンツを見つけたのでご紹介します。 https://developers.google.com/tech-writing Every engineer is also a write
ゴールデンウィークは自宅で学習だ！Google Cloud のトレーニングラボが30日間無料で利用できます！ #うちで過ごそう | DevelopersIO
Pluralsight および Coursera はキャンペーン期間終了後、通常料金が課金されますのでご注意ください。 今回は無料で利用可能な Qwiklabs と Pluralsight を申請しました。招待メールは各サービスごとに届きます。 お得な利用方法 無料期間の開始は、特別オファーの申請時点ではありません。各種サービスでサブスクリプション登録が完了してから 30 日間になります。 どちらもそれなりにボリュームがありますので、最初にいずれか一方を有効化し、5月31日までにもう一方を有効化すると、実質的に 2 ヶ月弱の間、無料で GCP の学習環境が利用可能になります。 もちろんハンズオン中心の Qwiklabs と、講義動画および確認テスト中心の Pluralsight を同時に進めたい場合は同時に利用しても良いでしょう。 Qwiklabs（セルフペースハンズオン） まずは Qwi
Google Cloud Platform のトレーニングコース、ハンズオンを 1 か月間無料で提供 | Google Cloud 公式ブログ
COVID-19 感染拡大を受けて多くの人が在宅勤務や家庭学習に切り替えましたが、自宅にいながらスキルアップを図りたい、知識を増やしたいと考えている人もたくさんいます。こうしたご要望にお応えするため、Google Cloud Platform のトレーニング コースや Qwiklabs のハンズオンラボなどの各種学習リソースを 5 月 20 日まで無料で提供しています。 下記オンデマンド トレーニング、ハンズオンラボよりご希望のトレーニングをお選びいただけますので、是非ご活用ください。 Qwiklabs Pluralsight（英語のみ） Coursera お申し込み、詳細はこちらをご覧ください。 また、Google Cloud では、オンデマンド トレーニングやハンズオンラボ以外に、ウェビナーもご提供しております。各トレーニングリソースについては以下をご覧ください。 オンデマンド トレー
API 設計ガイド | Cloud API Design Guide | Google Cloud
フィードバックを送信 API 設計ガイド コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 変更履歴 はじめに これは、ネットワーク API の一般的な設計ガイドです。2014 年以来 Google 内部で使用され、Cloud API やその他の Google API を設計するときに Google が従うガイドです。この設計ガイドは、外部のデベロッパーへの情報提供と、互いの連携作業の効率化のためにここで共有されています。 Cloud Endpoints のデベロッパーには、このガイドは、gRPC API を設計するときに特に役立つことがあり、そのような場合にはこれらの設計原則を使用することを強くおすすめします。ただし、このガイドの使用は必須ではありません。Cloud Endpoints と gRPC はガイドに従わなくても使用できます。 このガイドは、gR
API 設計: gRPC、OpenAPI、REST の概要と、それらを使用するタイミングを理解する | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 4 月 11 日に、Google Cloud blog に投稿されたものの抄訳です。 ほとんどのソフトウェア デベロッパーがご存じだと思いますが、API 設計には RPC と REST の 2 つの主要なモデルがあります。モデルに関係なく、ほとんどのモダン API は、なんらかの方法で同じ HTTP プロトコルにマッピングすることによって実装されます。また、RPC API 設計では、RPC モデルの範囲から外れずに HTTP から 1 つまたは 2 つのアイデアを採用することが一般的になっています。これにより、API 設計者に提示されるオプションの範囲が広がりました。この投稿ではこれらのオプションについて説明し、どれを選ぶか決める際に役立つガイダンスを提供します。 gRPC は RPC API を実装するためのテクノロジーで、HTTP 2.0 をその基盤
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - google/budoux
GitHub - google/zx: A tool for writing better scripts
