一人でインフラ周りなど色々と見て毎日を過ごしているのですが、ある日「そういえば全然Billing情報確認してないぞ」となり確認してみるとえらいことが。 なんか一部のSKUで料金が爆上がりしてる！！！ サービス全体からするとそこまで大きなインパクトではない額だったのですが、それでも見過ごせない不穏な上がり方です。 10/1を契機に上がっていたので、GCPのお知らせを確認してみると・・・ cloud.google.com これや〜〜〜 GKEでContainer Registryを利用していたので、Podを生やす際にContainer Registryからイメージをダウンロードしてくるタイミングで新たにお金がかかるように😇 えらいこっちゃとすぐさまダウンロード時の料金がかからないArtifact Registryへの移行を準備しました。 Artifact Registryへの移行 まずはCD
いわゆる「APIエコノミー」と呼ばれる時代がやってくると、多くの企業が自社のサービスをAPIとして外部に公開し、さまざまなサービスに利用してもらうようになると考えられています。 例えば小売業が自社の在庫状況をAPIで公開することで、いちいち営業担当に電話で問い合わせてもらわなくてもよくなり、手間やコストが省けます。製造業なら商品一覧と納期をAPIで公開することで、サプライチェーンのシステムとの連携が容易になるでしょう。 企業がいままで自社システムの中だけで管理していた情報をAPIを通じて公開することで、企業間での取引やシステムに大きな変化と効率性、迅速性、低コスト化などをもたらすことができるようになります。 しかしこのAPIエコノミーの基盤となるAPIを公開するためには、社内のレガシーなアプリケーションの内部情報をモダンなRESTful APIに変換し、接続相手を認証し、アクセス状況の管理
Google Cloudが推進する、さまざまな「サーバレス」：Google Cloud Next ‘18発表まとめ（1） Googleのクラウド事業部門Google Cloudが、2018年7月にサンフランシスコで年次カンファレンス「Google Cloud Next ‘18」を開催した。本連載では、同イベントにおける数々の発表を、クラウドエースおよび吉積情報のエンジニアが解説する。第1回として、アプリケーション開発関連の発表をまとめる。 2018年7月24～26日、Google Cloud Next ’18が米サンフランシスコで開催された。同カンファレンスで頻繁に聞かれたワードの1つは「サーバレス」だった。また、Googleは今回サーバレスにまつわるサービスを複数発表した。本稿では同カンファレンスの前に発表済みのものも含め、アプリケーション開発に関係のある動きを取り上げる。最後にGoog
G-gen の杉村です。BigQuery のオンデマンドクエリの利用量にフタをする、つまりスキャンデータ量に上限を設けて突発課金を防止する工夫について紹介します。 はじめに 割り当て (Quota) の設定 Query usage per day 設定手順 割り当て画面へ遷移 対象の割り当てをフィルタ 編集ボタンをクリック 割り当てを設定 新しい割り当ての確認 動作確認 クエリのサイズ上限設定 クエリ単位での上限設定 設定手順 (コンソール) クエリ設定を開く 詳細オプションの設定 動作確認 設定手順 (bq コマンドライン) はじめに BigQuery の課金体系にはオンデマンドと Editions の2つから選択できます。前者はスキャンしたデータ量に応じた従量課金です。後者は確保するコンピュートリソースの量に応じた課金で、オートスケールの幅 (上限と下限) を設定できます。 Editi
こんにちは、エンジニアリンググループ、データ基盤チームの木田です。 最近我が家では手作りピザがブームになっており、週末になると度々生地をこねては家庭内ピザパーティーを開催しております。 息子が盛り付けた手作りピザ (本文とは特に関係ありません) さて、エムスリーではBigQueryをメインのデータウェアハウスとして活用していますが、費用最適化の取り組みの 1つとして一部のデータマートでクラスタ化テーブルの活用を始めました。本日はその導入効果をご紹介できればと思います。 この記事は【データ基盤チーム ブログリレー4日目】です。データ基盤チーム設立の経緯についてはブログリレー1日目の鳥山の記事をぜひご覧ください。 www.m3tech.blog はじめに 費用最適化のアプローチ クラスタ化テーブルとは クラスタ化テーブルの作成方法 実際に速く・安くなるのか 複合キーによるクラスタリング クラス
CloudGarage の無償インスタンスを利用して kubernetes クラスタを構築してみる - えいのうにっき
定額型パブリッククラウド という触れ込みで先日ローンチされたCloudGarage。 cloudgarage.jp そのフレーズのとおり、「1Core/ 1GB/ 50GB なクラウド VM インスタンスが3インスタンスで 1,480円/月 固定（転送量など込み）」という月額定額制のサービスメニューが用意されていて画期的。すでに趣味用途で AWS や GCP などにインスタンスをいくつか立ててる僕にはとても興味深いサービスなわけなんだけど、さらに魅力的なポイントとして、CloudGarage では「Dev Assist Program」なる、開発者向けインスタンス無償提供制度がある。 cloudgarage.jp この申請に通ると、上述の「1Core/ 1GB/ 50GB なクラウド VM インスタンス x3」が1年間無料で利用できる。そして先日、めでたく僕もこの制度の適用申請が通った。あ
技術書典#16向けに 「The Cloud Run (Google Cloudコンテナ設計本)」を執筆しました - How elegant the tech world is...!
はじめに お久しぶりです。iselegantです。 今日は技術書典#16向けに執筆した「The Cloud Run」本の紹介をさせてください。 今回のテーマは「Google Cloud」です！ 特に、コンテナサービスとして代表的な「Cloud Run」のアーキテクチャ設計をテーマに執筆しました。 techbookfest.org これまで、「クラウドネイティブシリーズ」と称して3冊執筆してきましたが、その第4弾の位置付けになります。 いつもであれば、わりとゆるくかわいい感じの表紙でしたが、今回は「ちょっと本気でCloud Runに向きあって、読者のみなさまに価値を届けようか」とのコンセプトなので、本気度を表現するためにシリアスな表紙を作成いただきました。 今回の書籍のコンセプト 僕たちが今回の書籍を執筆する際、2つのコンセプトを大切にしています。 実務に通用する学びを届ける とにかく楽しく
Google Cloudも大規模データ転送を物理ドライブで。「Transfer Appliance」発表。ラックマウント可能な100TBと480TBの2モデル － Publickey
Google Cloudも大規模データ転送を物理ドライブで。「Transfer Appliance」発表。ラックマウント可能な100TBと480TBの2モデル Googleは、オンプレミスからGoogle Cloud Platformへ物理ドライブを送付することでオンライン経由よりも迅速にデータ転送を行うアプライアンス「Transfer Appliance」を発表しました。 「Transfer Appliance」はデータセンターの19インチラックに収まる大きさ。2Uで100TBの容量持つモデルと4Uで480TBの容量を持つモデルの2種類が用意されます。 それぞれの容量は物理容量で、ここにデータが圧縮されて保存されるため、論理的には物理容量の2倍程度のデータが保存可能とされています。 Transfer Appliance導入の理由は、大規模データをオンラインで転送すると時間が掛かりすぎるか
G-genの杉村です。Google Cloud (旧称 GCP) の Identity and Access Management（略称 IAM）は、きちんと使いこなすことで強力なセキュリティ統制を効かせることができます。本投稿では、その内部構造まで解き明かしていきます。 Cloud IAM とは ID (アカウント) Google Cloud におけるアカウント管理 AWS の IAM User との違い Google アカウントとグループ サービスアカウント 解説記事 IAM の仕組み IAM とリソースの関係 継承 許可と拒否 IAM の内部構造 (IAM Policy とは) gcloud コマンドによる IAM Policy 操作 AWS IAM との比較と連携 概要 ID (IAM User) 概念の違い 用語の違い AWS IAM と Google Cloud IAM の連携
完全招待制のオンラインカンファレンス「PIXIV MEETUP 2023」。「創作活動を、もっと楽しくする。」というミッションを遂行するために、メンバーが普段行っている業務について、自らの言葉で語り、その想いと技術を共有する場です。sue445氏は、 ピクシブ社における、パブリッククラウド活用の取り組みについて発表しました。全2回。前半は、sue445氏が入社後に取り組んだ、GitLab CIのオートスケール化やTerraform導入などについて。 登壇者の自己紹介 sue445氏：「pixiv Cloud Journey」というタイトルで発表させてもらいます。 こちらの発表資料ですが、先ほど「X」にハッシュタグ付きで流しているので、後から見返したいという方は、そちらのURLをご覧ください。 自己紹介させてもらいます。末吉剛といいます。SNSでは「sue445（すえよんよんご）」というID
Google Cloud Next ’24. Explore keynotes, live demos, and content from around the world from visionaries, thought leaders, developers, and Google experts.
Google Cloud Platformのモニタリングツール「Google Stackdriver」の不具合が原因の障害が発生し、日本時間の午前4時過ぎから約1時間、Discordなど多数のサービスでアクセスできないなどの状態が続いた。 日本時間の7月18日の午前4時過ぎから約1時間、Google Cloud、Discord、Spotify、Pokemon Goなど、多数のサービスでアクセスできない問題が発生した。 米GoogleのGoogle Cloudダッシュボードには、米太平洋時間の17日午後0時25分に「モニタリングツールのGoogle Stackdriver関連の問題を調査している」とあり、午後1時23分には「Google Stackdriverの問題は午後1時5分に解消した」とある。
Google Cloud Platform (Google App Engine, Compute Engine, BigQuery や Container Engine など）の情報の日本公式ブログ
『Terraform と gcloud CLI を使用した完璧な Google Cloud インフラストラクチャの構築』は本当に完璧なのかやってみた - Commune Engineer Blog
はじめに コミューンのインフラにおける課題 使ってみた 既存のGCPのリソースをTerraform形式でエクスポートする main.tfを作成する 既存のGCPリソースをインポートする terraform planで実行計画を見る 1. google_compute_route 2. google_compute_ssl_certificate 3. google_storage_bucket 4. google_logging_log_sink 検証結果 感想 良い点 GA版に期待すること さいごに エンジニア募集中！ 注釈 注1 注2 はじめに SREチームの川岡です。 もうそろそろコミューンのインフラをコード化しなきゃと考えていたときに、Google Cloudのブログで『Terraform と gcloud CLI を使用した完璧な Google Cloud インフラストラクチャの
GCPに構築したシステムを安全に運用するための一時権限付与の仕組みについて - TVer Tech Blog
データシステム担当の黒瀬です。 こちらは、TVer Advent Calendar 2022の9日目の記事です。 この記事では、TVerで運用しているデータシステムの基本的な権限管理ポリシーについてご紹介します。 大まかな内容 GCP上に構築しているデータシステムをメンテナンスする際の権限を、従来は管理者が手動管理していたが、この運用にはリスクがありました。 そこで、権限を付与するためのサービスアカウントを経由する仕組みおよびその趣旨を明確にするルールを導入しました。 結果、管理者に依存せずにメンテナンスができる運用が可能になりました。 背景 TVerでは、主にBigQueryに視聴ログなどのデータを集約し、その上で集計や分析をするという方針をとっています。 ログを収集するシステムはAWSやGCPなど要件に合わせて各所に構築されていますが、これらからBigQueryへデータを収集・集約する
TL;DR先日、GAとなったConfig Connector を使うと、Kubernetes のリソースのようにGCPのリソースを作成・管理できます。 はじめに昨今、クラウドを利用することが増えてきたエンジニアの方々は、様々な構成管理システム、API、ツールなどを組み合わせてインフラを管理していると思います。これらの要素は、どんどん複雑化し把握するのも困難になってしまいがちです。Config Connectorは、Kubernetesを介して、Google Cloud Platform 上でリソースの構成をシンプルにしてくれます。 Config Connectorとは?Config Connector とは、Kubernetes を介して Google Cloud のリソースを管理出来るようにするための、Google Kubernetes Engine（GKE）のアドオンです。Agones
データマーケティングの強い味方！？BigQueryと大規模言語モデル(LLM)の統合で始める検索意図分析の事例｜田口 信元
データマーケティングの強い味方！？BigQueryと大規模言語モデル(LLM)の統合で始める検索意図分析の事例 初めまして、Ubie Product Platformのグロースチームでエンジニアをしてる田口です。「健康が空気のように自然になる世界」を目指し、症状検索による発症から受診までのサポートするサービス症状検索エンジン「ユビ―」を提供しています。 さて、サービスを成長させる上で、ユーザーの行動を理解することが不可欠です。ユーザーが何を求め、どのようにサービスを利用しているのかを知ることで、サービスの満足度を向上させるための改善策が見えてきます。 しかし、大規模なウェブサイトの場合、分析すべき検索クエリが膨大になっているという課題がありました。 今回は、ML.GENERATE_TEXTを用いてプロンプトベースのデータパイプラインを作り、ユーザーの検索意図分析を行ってみた事例を紹介します
Cloud RunとCloud PubSubでサーバレスなデータ基盤2024 with Terraform / Cloud Run and PubSub with Terraform
Google Cloudのサーバレスなサービスでデータ基盤を作った話.
はじめに こんにちは。検索基盤部の倉澤です。 私たちは、ZOZOTOWNの検索機能の改善に取り組んでいます。ZOZOTOWNのおすすめ順検索ではランキング学習を用いた検索機能の改善に取り組んでおり、A/Bテストにて効果を測定しています。 ランキング学習やElasticsearch Learning to Rankプラグインについては過去の記事で紹介していますので、併せてご覧ください。 techblog.zozo.com techblog.zozo.com 私たちは、機械学習モデルの開発からデプロイまでの一連の処理を実行するワークフローの構築にGoogle Cloud Platform（GCP）のVertex AI Pipelinesを利用しています。 本記事では、Vertex AI Pipelines採用前の運用とその課題点について説明し、次にVertex AI Pipelinesで構築し
Google Cloud で生成 AI アプリケーションを作ろう！パート 0：Google Cloud の生成 AI ソリューション
本シリーズの執筆者 Google Cloud で生成 AI アプリケーションを作ろう！ シリーズの記事は、Google Cloud Japan の下記の有志メンバーが共同で執筆しています。 執筆者 下田倫大（Norihiro Shimoda, Google Cloud AI/ML Practice Lead） 中井悦司（Etsuji Nakai, Google Cloud Solutions Architect） 木村拓仁（Takuto Kimura, Google Cloud Customer Engineer） RyuSA レビュアー 牧 允皓（Yoshihiro Maki, Google Cloud AI/ML Specialist） 鈴木かの子（Kanoko Suzuki, Google Cloud Associate Customer Engineer） 吉田望（Nozomu Y
「Google Compute Engine 入門」を読んで、AWS と GCP の違いをまとめてみた - えいのうにっき
先日発売されたばかりの「Google Compute Engine 入門」（吉積 礼敏 氏 著）を読んだ。kindle版が出ていたので、買いやすかったし、読みやすかった :) 全体を通しての感想は「GCE（を中心とした、GCP）の紹介本みたい」、というかんじ。AWS の現在の状況（隆盛）を考えると、GCP に関しては、このレベルの書籍が今、ようやく出版された段階だということは、厳しいけれどまごうことなき現実なんだよなぁ、と思った。 （ちなみに、gcutil のコマンドリファレンスまであるのはちょっとやり過ぎでは...と思った。Web のリファレンス では不足があるんだろうか？） でも、この本を読むまでは「 AWS ではなく GCP をわざわざ選ぶ理由がわからない（デメリットを上回るメリットが感じられない） 」という気持ちしかなかった自分が、読み終わったときには「 課題はいくつかあるけれど、
次世代クラウドへの布石 : GCP の新技術、新サービスを Next '17 で発表 | Google Cloud 公式ブログ
サンフランシスコ発 ― 私たち Google は、Google Cloud Next '17 の会場で、Google のプラットフォームに対応した次世代クラウド アプリケーションの設計、構築、実行に役立つ新しい Google Cloud Platform（GCP）製品、テクノロジー、サービスを発表しました。 App Engine のコンセプトを維持しながら大幅に拡張 サーバーレス ランタイム環境の先駆けとして私たちが Google App Engine をリリースしたのは、2008 年のことでした。App Engine を使えば、Google の規模とスピードを利用して、ウェブ アプリや API、モバイル バックエンドを構築できます。それから 10 年近くの間に、最もイノベーティブな複数の企業が、世界中のユーザーにサービスを提供する App Engine 対応のアプリケーションを構築してき
Google Cloud、アーカイブ向けの低価格な「Cloud Storage Coldline」登場。ミリ秒単位でデータを取得、従来のストレージとAPI互換で置き換え可能
Google Cloud、アーカイブ向けの低価格な「Cloud Storage Coldline」登場。ミリ秒単位でデータを取得、従来のストレージとAPI互換で置き換え可能 Googleはデータを長期保存するアーカイブ用途向けに新しいクラウドストレージサービス「Cloud Storage Coldline」を発表しました。 Coldlineのコストは、1ギガバイトあたりの保存に月額0.007ドル（1ドル100円換算で0.7円）、1ギガバイトあたりのアクセスに0.05ドル（1ドル100円換算で5円）と安価に設定されているにもかかわらず、データへのアクセスに数ミリ秒程度しかかからない低レイテンシであることが大きな特長です。 また、低レイテンシかつ従来のストレージAPIと互換性を持つため、アプリケーションに対する変更なしに簡単にColdlineを利用できるようになるとも説明されています。 Col
グーグル・クラウド・ジャパン（Google Cloud）は2022年8月29日、グーグルが提唱する「SRE（Site Reliability Engineering、サイト信頼性エンジニアリング）」に関する記者説明会を開催した。グーグルからSREの基本な考え方が説明されたほか、ゲストとして実際にSREチームを組成しているジェーシービー（JCB）も出席し、SRE導入と実践の経験を紹介した。 SREとは？ システム運用チームとSREチームとはどう違うのか？ グーグル シニアデベロッパーリレーションズ エンジニアの山口能迪氏はまず、SREとは「本番システムを信頼性高く開発／運用するための一連のプラクティスと心構え、および職務を指す」言葉だと説明する。現在のような変化の多い時代においては、頻繁なサービス開発／リリースや、ユーザーニーズの変動に応じた急なスケール変更などが求められる。ただし、それらは
Explaining an index structure of Google Cloud Datastore as well as underlying components such as Google File System (Colossus), Bigtable and Megastore. Session video (Japanese) https://youtu.be/H-tZUZGBo60?t=8524 2016/11/08 ver1.0 Published 2016/11/11 ver2.0 Add notes on Spanner 2017/02/09 ver2.1 Fix on Spanner's consistency description.
Google Cloud accidentally deletes UniSuper’s online account due to ‘unprecedented misconfiguration’
UniSuper and Google Cloud have apologised to members left without account access for more than a week after a ‘misconfiguration’ problem. Photograph: Ammentorp Photography/Alamy UniSuper and Google Cloud have apologised to members left without account access for more than a week after a ‘misconfiguration’ problem. Photograph: Ammentorp Photography/Alamy
可観測性に関するオンラインイベント「Observability Japan Online #1」が2020年3月17日に開催されました。Google CloudでDeveloper Advocateを務める山口能迪（ymotongpoo）氏は、「オブザーバビリティについて」という講演テーマで、プロファイラーを活用するメリットや利用方法について語りました。当日のスライドはこちら。 Observabilityにおけるプロファイルの重要性 山口能迪氏（以下、ymotongpoo）：山口です。Google CloudでDeveloper Advocateをしていて、担当はObservabilityとGoです。 つい最近までは「Stackdriver」と呼ばれている製品群があったのですが、名前が変わりまして「Cloud Operations」という名前になっています。「Stackdriver」という
ちょっと気が早いですが, Cloud Functions第2世代を試してみた - 現バージョンからの移行とその注意点 - Lean Baseball
今日のテーマ ※【2022/8/4更新】正式版がGAとなりました, ブログ記載の内容と異なる所がある可能性があるのでご注意ください&本番などで使っても大丈夫です！&別のブログも書いたのでその話も追加 仕事もプライベートもよくGoogle Cloud（GCP）を使っている人です. 最近はGoogle Cloudの資格取得, 頑張ってます*1. ちょっとしたSlack Botを作りたい ちょっとしたデータ収集クローラー（Webクローラー&スクレイピング）がほしい ちょっとした「CSVとかJSONのファイルをBigQueryに放り込む）簡単なETLがほしい なんて時に, Cloud FunctionsというGoogle Cloudのサーバレスな従量課金FaaS（Function as a Service）でシュッと関数作って運用しているのですが, つい最近そんなCloud Functionsの第
GCP 版 Dataform がついに GA になりましたね。同時に定期実行の仕組みも出て、一通りの機能が揃った感がある。いまこそ買収以前の SaaS 版(Legacy 版)から GCP 版に移行する時!! しかし GitHub リポジトリと連携する場合、登場人物が多くて難しくなっていると思う。 特に GCP に馴染みがなかったりデータ分析がメインの人は困りそう。公式ドキュメントには step by step で書いてあるものの、なぜ必要なのか分からないまま設定することになる。 なので全体像を図にしたり補足するという趣旨のエントリです。 Dataform とは Dataform とは...という話はしません。公式ドキュメントや世間のブログ記事を読もう。 Dataform を使うと、テーブル同士の依存に基づいて順番に SQL を実行してデータパイプラインを作ったり、依存関係を可視化したり、デ
(2021 年 12 月 14 日 21:00 JST 追記：WAF ルールのチューニングについて続編を書きました) Google Cloud Japan Advent Calendar 2021 の 12 日目…ではありません。（12 日目の記事はこちらです。お、たまたま脆弱性関連ですね。） 年の瀬も差し迫った 2021 年 12 月 10 日（金）、Apache Log4j 2 の脆弱性に対するゼロデイ攻撃が可能であることが明らかになりました。 Google Cloud の WAF サービスである Cloud Armor でも、本脆弱性への対策の一つとして使える WAF ルールがリリースされたのでご紹介します。 Cloud Armor WAF rule to help address Apache Log4j vulnerability | Google Cloud Blog
gcloud CLI にカレントプロジェクトをなるべく持たせないようにして暮らしている。 gcloud はデフォルトでカレントプロジェクトのリソースを操作する。操作するプロジェクトが 1 つなら良いけど、仕事でも遊びでもいくつもの GCP プロジェクトを扱っているので、うっかり異なるプロジェクトのリソースを操作してしまったり、意図しないプロジェクトに費用が計上されてしまうのが嫌だから。 カレントプロジェクトは設定しないようにして、gcloud を使う時は都度 --project=PROJECT_ID で渡すようにしている。 # カレントプロジェクトを確認するには以下のコマンドなど $ gcloud config get-value project $ gcloud config list # カレントプロジェクトの設定を消す $ gcloud config unset project ロー
Running the Ruby Bookshelf on Kubernetes Engine | Ruby | Google Cloud
This page shows you how to do the following: Create a Hello World app. Package the app into a container image using Cloud Build. Create a cluster in Google Kubernetes Engine (GKE). Deploy the container image to your cluster. The sample is shown in several languages, but you can use other languages in addition to the ones shown. To follow step-by-step guidance for this task directly in the Cloud Sh
Yellow, an asset financier for solar energy and digital devices in Africa has raised $14 million series B funding in a round led by Convergence Partners with participation from the Energy Entrepreneur Fisker, the electric carmaker founded by the Danish auto designer Henrik Fisker, is gearing up to enter the Chinese market where competition is increasingly cut-throat, following in the footsteps of
Microsoftやウィスコンシン大学マディソン校などの研究チームが開発し、2023年4月17日に公開した「LLaVA」は「視覚」を持つAIで、画像を入力するとその画像に基づいて返答を行うことができます。2023年10月5日に登場したLLaVA-1.5はさらにクオリティが向上しているとのことなので、実際にGoogleのクラウドコンピューティングサービス「Google Cloud Platform(GCP)」上で動作させてみました。 LLaVA/pyproject.toml at main · haotian-liu/LLaVA https://github.com/haotian-liu/LLaVA 2023年4月にリリースされた旧バージョンの性能や、デモサイトの使い方については下記の記事で確認できます。 画像を認識して年齢推測可能＆人名クイズにも正答できる無料の高性能チャットAI「LLa
G-gen の佐々木です。当記事では、Google Cloud (旧称 GCP) のサーバーレスコンテナサービスである Cloud Run の Direct VPC Egress 機能について解説します。 前提知識 Cloud Run とは サーバーレス VPC アクセスコネクタとは 概要 Direct VPC Egress とは 使用方法 サーバーレス VPC アクセスコネクタと Direct VPC Egress の比較 コスト パフォーマンス 構成図 比較表 ユースケース 制限事項 スケーリングの上限 サポートされているリージョン サブネットに十分な IP アドレスが必要 その他の制限事項 ロギング・モニタリングに関する制限事項 セキュリティに関する制限事項 Cloud Run jobs の実行時間に関する制限事項 Cloud Run 前提知識 Cloud Run とは Cloud
Fastly の導入事例 : 履歴統計 DB を MySQL から Cloud Bigtable にダウンタイムなしで移行 | Google Cloud 公式ブログ
Fastly の導入事例 : 履歴統計 DB を MySQL から Cloud Bigtable にダウンタイムなしで移行 （この記事では、米 Fastly から許可をいただき、先日同社が公開したブログ記事 How we moved our Historical Stats from MySQL to Bigtable with zero downtime の日本語訳を掲載します） - By Toru Maesaka, Senior Software Engineer at Fastly 過去から学ぶことは意思決定に不可欠なステップの 1 つです。私たち Fastly は、お客様が過去のイベントに基づいて迅速かつ的確に決定を行えるよう支援するため、Historical Stats API を提供しています。この API を使用すれば、分や時間、日単位でキャッシュに関するあらゆる統計情報を取
2月7日、Google Cloudがブログで紹介したところによると、大規模言語モデル（LLM）をGPUなしでローカル実行できる新しいツール「localllm」を発表した。localllmはCPUとメモリでLLMを実行可能にし、特にGPUの不足が課題となる開発者に新たな選択肢を提供する。 このアプローチでは、Google Cloudの完全管理型開発環境であるCloud Workstations内で、GPUなしでLLMを実行できる。具体的には、HuggingFaceの「TheBloke」リポジトリのLLMモデルを使用し、CPUや低消費電力GPUで動作できるように最適化された量子化手法を採用している。 量子化モデルは、制限された計算リソースを持つローカルデバイスで効率的に動作するように最適化されたAIモデルだ。例えば、以下の利点が挙げられる： パフォーマンスの向上: 低精度データ型を使用すること
Google Cloud、GPUを仮想マシンに追加可能に。1つの仮想マシンにGPUプロセッサを最大8基で処理時間を大幅に短縮
Google Cloud、GPUを仮想マシンに追加可能に。1つの仮想マシンにGPUプロセッサを最大8基で処理時間を大幅に短縮 GoogleはGoogle Compute EngineとCloud Machine LearningでGPUが利用可能になったと発表しました。 GPUやCPUに比べて行列演算のような比較的単純かつ大量の演算を高速に実行する能力が高いため、機械学習などを高速に処理できるようになります。 新しく提供されるGPUサービスでは、Google Compute Engineの仮想マシンに対して最大4つの「NVIDIA Tesla K80 GPU Accelerator Board」を接続できます。このGPUボードには最新のKeplerベースのGPUプロセッサを2つ、GPUプロセッサごとに12GBのGDDR5メモリを搭載しており、利用者は仮想マシンにアタッチするGPUプロセッサ
クラウドサービスプロバイダー大手のAmazon Web Services（AWS）は米国時間11月28日から年次イベント「AWS re:Invent 2016」をラスベガスで開催中だ。このイベントを機会に、パフォーマンスやアジリティを考慮した価格に関する話題があちこちで取り上げられることになるだろう。 AWSは今回のイベントに先立って、さまざまなインスタンスの価格を引き下げている。このため、GoogleやMicrosoftも価格の引き下げを発表する可能性が高い。 しかし、コンピュートインスタンスの価格比較は一筋縄ではいかなくなってきている。価格の比較に際しては当然ながら、割引を考慮に入れる必要がある。エンタープライズ向けのテクノロジでは普通のことだが、通常価格と、特定条件下で適用される価格がある。MicrosoftやGoogle、AWSはいずれも、価格の割引に対してそれぞれ異なるアプローチ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Container Registryから脱却してコスト削減した話 - 生涯未熟
GoogleがApigeeを買収。Google CloudでAPIの外部公開や管理などが容易に
Google Cloudが推進する、さまざまな「サーバレス」
BigQueryのオンデマンドクエリの利用量にフタをする (上限を設ける) - G-gen Tech Blog
BigQuery上のデータマートをクラスタ化したらクエリコストが９割カットできた話 - エムスリーテックブログ
これで分かった！Google CloudのIAMの仕組みやAWSとの違い - G-gen Tech Blog
「僕が今のピクシブのAWSやGCPの形を作ったと言っても過言ではない」 クラウド推進の生き字引が語る、これまでの取り組み
Experience Google Cloud Next ’24
SpotifyやPokemon Goが早朝ダウン、原因はGoogle Cloudか（復旧済み）
東京 GCP リージョン の正式運用を開始しました
もっとGCPが使いやすくなる!? GKE Config Connectorを試してみた！
Vertex AI Pipelinesによる機械学習ワークフローの自動化 - ZOZO TECH BLOG
ファミリーマート、機械学習でおむすびの発注を改善、「Google Cloud」で企業改革【Google Cloud Next ’17 in Tokyo】
SREとは？ Google Cloudがその基本を説明、JCBも導入／実践経験を紹介 (1/5)
Google Cloud Datastore Inside-Out
オブザーバビリティにおけるプロファイルの重要性 pprofを活用するメリットをGoogle CloudのDeveloper Advocateが語る
Google Cloud 版 Dataform と周辺リソースの図 - ぽ靴な缶
Cloud Armor の WAF ルールで Apache Log4j の脆弱性対策をする
gcloud にカレントプロジェクトを設定しない派 - ぽ靴な缶
TechCrunch | Startup and Technology News
画像を見て質問に答えられるオープンソースなGPT-4レベルのAI「LLaVA-1.5」をGCP上で動作させてみた
Cloud RunのDirect VPC Egressを解説 - G-gen Tech Blog
Google、GPU不要でLLMの実行を可能にするツール「localllm」を公開
AWS、Google Cloud、Microsoft Azure：クラウド価格の最新調査--RightScale