Magic Moment の @aqlwah です。 私たちが開発している Magic Moment Playbook では、インフラにGoogle Cloudを活用しています。 このたびGoogle Cloud Japan様よりご招待をいただき、特別トレーニングプログラム「Google Cloud Innovators Gym Japan」に参加してきましたので、そのレポートをお届けしたいと思います。 Google Cloud Innovators Gym Japan とは 「Google Cloud Innovators Gym Japan」（以下、G.I.G.）とは、Google Cloudが主催しているGoogle Cloud利用者向け技術スキル習得プログラムです。 3回のオンラインセッションと無料のCoursera講座を用いて学習を進め、Google Cloud認定資格の取得（な
Google Cloudで実践！ クラウドネイティブな開発 サービスメッシュを活用して、クラウドアプリケーションのオブザーバビリティを高める 本連載は、Google Cloudのアプリ開発とDBプロダクトにおけるスペシャリスト達が、Google Cloudプロダクトを利用した、クラウドネイティブな開発を実践する方法を解説しています。 第6回では、サービスメッシュについて紹介します。 主に対象となる読者は、クラウドを利用してアプリケーションを開発するエンジニア、またはその基盤を構築するエンジニア、サービス開発に携わるプロダクトマネージャーを想定しています。 マイクロサービスアーキテクチャの課題 これまでの連載ではクラウドネイティブなアプリケーションの開発について紹介しました。小さい独立して動作するサービスが連携するマイクロサービスアーキテクチャは、スケーラビリティ、独立した開発の容易さ、
Ubuntu Weekly Topics Ubuntu LTSの「12年サポート」の可能性、Ubuntu 24.04 LTS（noble）の開発 / GNOME 46への切り替えと古いリリースのメンテナンス 「12年サポート」の可能性 昨年のUbuntu Summitにおいて、Destination LinuxがMark Shuttleworthへの独占インタビューを行っており、最近この内容が公開されました。このインタビューの中に非常に興味深い発言が含まれています。 その内容は「今後のLTSにおいては『少なくとも12年』のサポートの提供を予定している」というものです。現時点ではまだUbuntu/Canonical的なアナウンスはなく、確定された情報ではない点で不明瞭な面はありつつ、次のようなことは言えそうです。 24.04 LTS（と、すでにリリースされているLTSのうちひとつ）は12
はじめに こんにちは。カナリーでソフトウェアエンジニアをしている @yoshi-jr です。 私たちは 【もっといい「当たり前」をつくる】 をミッションに掲げている不動産テックカンパニーです。弊社では、現在下記のプロダクトを運用しています。 「Canary」: BtoC の部屋探しポータル（アプリ/Web） 「Canary Cloud」: BtoB SaaS（不動産の仲介会社様向けの顧客管理システム） この記事では、 CANARY のウェブ版（以降 CANARY Web）で利用している技術スタックをまとめています。 この記事を読んでわかること CANARY Web について技術スタックの全体像・概要が理解できる 話すこと CANARY Web のアーキテクチャ CANARY Web で利用しているモジュールとその歴史 話さないこと CANARY Web 視点以外でのアーキテクチャ 各モジュ
以下の記事が面白かったので、簡単にまとめました。 ・Gemma: Introducing new state-of-the-art open models 1. Gemma「Gemma」は、「Gemini」と同じ技術を基に構築された、軽量で最先端のオープンモデルです。「Google DeepMind」と「Google」の他のチームによって開発された「Gemma」は、「Gemini」からインスピレーションを受けており、その名前はラテン語で「宝石」を意味するgemmaを反映しています。モデルの重み付けに伴い、開発者のイノベーションをサポートし、コラボレーションを促進し、「Gemma」の責任ある使用をガイドするためのツールもリリースします。 「Gemma」は本日より世界中で利用可能になります。 知っておくべき重要な詳細は次のとおりです。 ・「Gemma 2B」「Gemma 7B」の2つのサイズの
この記事はエムスリーAdvent Calendar 2023とMLOps Advent Calendar 2023の12日目の記事です。 AI・機械学習チームの北川です。 最近は猫のかまってアピールがすごすぎて、よく仕事の邪魔されます。 かまって欲しがる猫 現在AI・機械学習チームではMLのバッチをGoogle Kubernetes Engine(GKE)上で運用しています。 現在数えてみたところ240個以上のバッチがGKE上で動いているようです。 AI・機械学習チームでは2019年頃から約４年ほどGKE上でMLバッチを運用しています。 その間にコストの最適化や安定したバッチの運用などに力を入れてきました。 この記事では、主にスケールインとコスト最適化について説明しようと思います。 チームのMLについて全体を把握したい場合は以下の記事が詳しいです。 www.m3tech.blog GKEの
At Google, we believe in making AI helpful for everyone. We have a long history of contributing innovations to the open community, such as with Transformers, TensorFlow, BERT, T5, JAX, AlphaFold, and AlphaCode. Today, we’re excited to introduce a new generation of open models from Google to assist developers and researchers in building AI responsibly. Gemma open modelsGemma is a family of lightwei
ストリートファイター6 のゲーム体験を最良にするため、拡張性と安全性を備えた Google Cloud を採用 ※この投稿は米国時間 2023年 8 月 28 日に、Google Cloud より発表された Google Cloud Press Release の抄訳です。 【サニーベール発- 2023 年 8 月 28 日】 - Google Cloud は本日、家庭用ゲームの企画、開発、製造、販売、配信会社である 株式会社カプコン （以下、カプコン） との新たなパートナーシップについて発表しました。すでにカプコンは、拡張性と安全性を備えた Google Cloud を活用して開発した新たなゲーム 「ストリートファイター6」を世界中で配信しています。 ライブゲームが成功するかどうかは、ゲームの発表当日にスムーズに運用できたかどうかで決まるといわれています。ゲーム会社にとって、プレイヤー
LLMを活用したサービスを社内外でリリース・運用した経験のある3社のエンジニアが登壇し、実運用を経たからこそ見えた課題やその解決策、運用を見据えた設計・実装の知見などについて語る「LLM in Practice -3社の実例から見るLLM活用サービスを運用した課題と学び -」。ここで株式会社HRBrainの鈴木氏が登壇。ChatGPTを活用してコードの行数を400行から54行に圧縮した事例を紹介します。 本セッションの概要 鈴木悠大氏（以下、鈴木）：鈴木です。よろしくお願いします。オフラインはそんなに人がいなくて、オンラインにいっぱいいるので超不安です。思ったより聞いている人がいるんだろうなと思いながら話すのが不安です。 HRBrainの鈴木です。大学では経営工学を学んでいて、コードは今も昔もたくさん書いています。HRBrainでは、今はプロダクトチームのテックリードとプラットフォームチー
Kubernetesエキスパートが注目する「Platform Engineering」とは何か？ 一体何が新しいのか？ 近年、多くの企業が取り組もうとしている「クラウドネイティブ」なインフラ構築やアプリ開発の領域では、コンテナやKubernetes、アジャイルやDevOpsなど、新しいテクノロジーやコンセプトが次々と登場し、進化を続けています。組織がそうした進化に追従しながら、継続的に「クラウドネイティブ」のメリットを得られるようにするための考え方として、今「Platform Engineering」が注目されています。今回は、ヤフーとサイバーエージェントでKubernetesのエキスパートとして、社内のプライベートクラウド整備に尽力する2人に、Platform Engineeringの考え方や、それに基づいて、実際に自社のプラットフォームをどう進化させているか、今後どうしていきたいかとい
Google Cloud Next '23 参加レポート 〜Google本社にも行ったよ！〜 - ZOZO TECH BLOG
こんにちは、MA部MA開発1ブロックの齋藤（@kyoppii13）です。 8/29-8/31に開催されたGoogle Cloud Next '23へ参加してきました。今年は4年ぶりとなるオフライン開催で、アメリカ・サンフランシスコで開催されました。弊社からはMA部の齋藤・松岡・中原の3名が参加しました。 今年は生成AIにフォーカスした内容がとても多く、それに関連する新サービスの発表も多くありました。本記事では、現地での様子と特に興味深かったセッションをピックアップして紹介します。 現地での様子 3日間に渡って開催されたGoogle Cloud Nextの会場はモスコーニ・センターという大きな展示施設で、メインルームではキーノート、他ルームでセッションが発表されるというものでした。発表以外にもワークショップやたくさんの企業ブースがあり大変賑わっていました。 Moscone Center Ma
GoogleとHugging Faceが戦略的提携、Hugging FaceユーザーがNVIDIAのH100やGoogleのTPUなどの強力な計算資源を利用可能に
機械学習モデルの配布やデモの実行が可能なAI開発プラットフォーム「Hugging Face」がGoogle Cloudと戦略的パートナーシップを提携しました。この提携により、Hugging FaceのユーザーはGoogle Cloudの強力な計算資源を手軽に利用可能となります。 Hugging Face and Google partner for open AI collaboration https://huggingface.co/blog/gcp-partnership Google Cloud and Hugging Face Announce Strategic Partnership to Accelerate Generative AI and ML Development - Jan 25, 2024 https://www.googlecloudpresscorner.
ファンコミュニティのUGCを効率的に届けるためiALSベースの協調フィルタリング推薦システムを作った話 - Gaudiy Tech Blog
はじめまして。GaudiyでMLエンジニアをしているMomijiと申します。主に推薦システムの開発を担当しています。 今年4月から、Gaudiyが開発・提供するプロダクト「Gaudiy Fanlink」に協調フィルタリングベースの推薦機能を追加したので、本記事ではそのロジックとシステムアーキテクチャについて書いてみたいと思います。 1. 「Gaudiy Fanlink」における推薦 2. 協調フィルタリングによるパーソナライズ推薦 2-1. 学習 2-2. バッチ推論 2-3. リアルタイム推論 3. システムアーキテクチャ 4. これから 1. 「Gaudiy Fanlink」における推薦 Gaudiy Fanlinkは、IPファンが集う、SNS型のコミュニティプラットフォームです。そこにおける「推薦」の役割は、ユーザーとコンテンツのマッチングを促進し、コミュニティ内の活動総量を増加させ
Golden paths for engineering execution consistency | Google Cloud Blog
Light the way ahead: Platform Engineering, Golden Paths, and the power of self-service Imagine that you're a Java developer who has just joined a new company, and you're tasked with creating a small Java service. In a DevOps model, the shared responsibility between Development and Operations teams might mean that you'll not only be expected to write Java code, but also operations code like build p
こんにちは、エンジニアの岩松です。 この記事はScala Advent Calendar 2023 20日目の記事となります。つまり今日は12月20日です。 AssuredではバックエンドアプリケーションにScalaおよびPlayframeworkを採用しており、直近メジャーアップデートとなる3.0.0が公開されたため、2.8.x→3.0.0のアップデート対応をしていました。作業メモとして公開しますのでご参考になれば幸いです。 何が変わったのか？ ハマったこと Pekko関連ライブラリがバージョン解決できずDI(Dependency Injection)が失敗する 設定ファイル経由でのExecutionContext生成ができない Dockerコンテナが動かない おわりに 何が変わったのか？ Playframeworkのメジャーアップデートは久しぶりで、今回2.9.0と3.0.0が同時期に
エムスリー Advent Calendar 2023 五日目担当、AI・機械学習チームの横本（yokomotod）です。前日は同じくAIチーム大垣さん(id:Hi_king)からの「画像を理解するGPT-4 Visionで、既存の画像認識モデルを説明可能にする」でした。 たまたま並んでしまいましたが、昨日のAIチームのMLエンジニアリングな話に続けて、今日はMLOpsやインフラについてのお話です。 （さらに本日はmabl Advent Calendar 2023としてQAチームの城本さん（@yuki_shiro_823）から「mabl Experience'23で「複数チームでmablを活用する際の課題と対応」について話しました 」も公開されています！） どうやらエムスリーAIチームも2017年の発足からもう6年が経過しているようです。 私がチームに参加したのは2019年ごろですが、見てき
Google Cloud ComposerでGPUを使ったタスクを安定稼働するために行ったこと - ZOZO TECH BLOG
はじめに こんにちは、ML・データ部MLOpsブロックの松岡です。 本記事ではCloud Composerのワークフローにおいて、GPUを使うタスクで発生したGoogle CloudのGPU枯渇問題と、その解決のために行った対策を紹介します。 ZOZOが運営するZOZOTOWN・WEARでは、特定の商品やコーディネート画像に含まれるアイテムの類似商品を検索する類似アイテム検索機能があります。本記事ではこの機能を画像検索と呼びます。 画像検索では類似商品の検索を高速に行うため、画像特徴量の近傍探索Indexを事前に作成しています。近傍探索Indexはワークフローを日次実行して作成しています。 このワークフローでは大きく次のように処理を行っています。 当日追加された商品の情報を取得し、商品情報をもとに商品画像を取得する。 物体検出器で商品画像から商品が存在する座標とカテゴリーを検出する。 検出
Cloud Storage FUSE が GKE と AI ワークロード向けに最適化 | Google Cloud 公式ブログ
※この投稿は米国時間 2023 年 8 月 25 日に、Google Cloud blog に投稿されたものの抄訳です。 Google Cloud の Cloud Storage は、AI ワークロードへのトレーニングと処理に必要な大量のトレーニング データ、モデル、チェックポイントを格納でき、クラウド ストレージ システムの特徴であるスケール、パフォーマンス、シンプルさ、優れた費用対効果を備えています。ただし、AI ワークロードが実際にそのデータにアクセスする際、常に簡単にアクセスできるとは限りません。AI ワークロードのほとんどが、Cloud Storage から提供されるオブジェクト セマンティクスではなく、ファイル システム セマンティクスを必要とするからです。 Linux の Filesystem in Userspace（FUSE）は、ファイル システムを Linux カーネル
Workers Tech Talks #1 - Gyazo の素朴な Workers - 株式会社Helpfeel 開発チーム 採用情報
https://workers-tech.connpass.com/event/287490/ - Workers Tech Talks #1 2023-07-19 (Wed) 日比谷 15分 -> 20分 hiroshi.icon 右側の２つ目のアイコンから Start Presentation を選択するとスライド的に見えます 自己紹介 株式会社 Helpfeel 去年の10月ぐらいに Nota から社名変更 Gyazo, Scrapbox, Helpfeel の会社 齋藤 宏 https://github.com/hiroshi Gyazo 開発チーム エンジニア app バックエンド側、インフラ, etc その昔はプレステ2でプラレールのゲーム作ったり DHH による Rails 登場で web 系に Gyazo と Cloudflare Gyazo の origin server
本連載は、Google Cloudのアプリ開発とDBプロダクトにおけるスペシャリスト達が、Google Cloudプロダクトを利用した、クラウドネイティブな開発を実践する方法を解説しています。 第3回では、サーバーレス開発とGoogle Cloudのサーバーレス製品であるCloud Runに焦点を当てます。 まず、サーバーレス開発の基本概念と利点について説明し、従来のサーバーに依存しないアプリケーション開発手法の重要性を探ります。次に、Cloud Runの概要を紹介し、コンテナイメージの実行をサポートするサーバーレスプラットフォームとしての役割を説明します。この回を通じて、サーバーレス開発の基礎を学び、Cloud Runを利用して効率的なアプリケーション開発を実現する方法を理解できます。 主に対象となる読者は、クラウドを利用してアプリケーションを開発するエンジニア、またはその基盤を構築する
ネットワーク サービス スタンダード ティア向け Cloud NAT サポートの一般提供開始のお知らせ | Google Cloud 公式ブログ
※この投稿は米国時間 2023 年 8 月 12 日に、Google Cloud blog に投稿されたものの抄訳です。 Google はこのたび、ネットワーク サービス スタンダード ティア向け Cloud NAT サポートの一般提供を行うことになりました。スタンダード ティアは、Google Cloud リソースから外部システムにインターネット経由でトラフィックを配信します。プレミアムとスタンダードはインターネット上のシステムと Google Cloud インスタンス間の接続性を最適化できる Network Service Tiers です。プレミアム ティアは Google のプレミアム バックボーンでトラフィックを配信し、スタンダード ティアは通常の ISP ネットワークを使用します。スタンダード ティア向け Cloud NAT サポートにより、スタンダード ティアによる費用削減と
爆誕予定のテレメトリー集約/可視化基盤を晒してみる - NTT Communications Engineers' Blog
この記事は、NTT Communications Advent Calendar 2023 8 日目の記事です。 はじめに こんにちは、イノベーションセンターでノーコード分析ツール「Node-AI」開発チームの林です。 業務としては Node-AI のフロントエンドやバックエンド開発、最近では監視/可視化のプラットフォーム開発に携わっています。 本記事ではこの監視/可視化のプラットフォームについて、検討段階ではあるのですがアーキテクチャを中心にまとめていきたいと思います。 Node-AI について Node-AI はノーコード分析ツールとなっていて「予測/異常検知モデルをすぐに・簡単に・わかりやすく作成可能」といったところを推しているツールとなっています。 インフラとしては、Google Cloud を利用しており Google Kubernetes Engine (以下、GKE)の上でア
Amazon EKS の Ingress を考える ~ AWS Load Balancer Controller + Istio ~ - 東京ガス内製開発チーム Tech Blog
みなさんこんにちは、杉山です。花粉症に必死に抗う毎日ですが、気づいたら3月も残りわずかですね。同士のみなさん、がんばって乗り越えましょう！ さて今回は、私の前回記事：Amazon EKS 導入に続いて、少しだけ深堀りして Ingress の部分について書いてみたいと思います。 Amazon EKS の Ingress を考える ALBC + Istio 全体構成 構築してみる - ALBの作成 - Istio コアコンポーネントのインストール Gateway リソースの作成 Virtual Service の作成 実際にやってみて さいごに Amazon EKS の Ingress を考える ━ クラウドベンダーが提供するマネージド Kubernetes をやるということは、 Ingress を考えるということだ ━ このような言葉を、偉大なる先人の方に聞いたことがあります。（ないです）
AI・機械学習チームの(中村@po3rin)です。 今年もこの季節がやってきました。エムスリーAI・機械学習チームの最強MR決定戦のお時間です。 MRとはMerge Requestの略称です。 GitHubでいうところのPR (Pull Request) にあたります。 この記事ではAI・機械学習チームが毎年恒例で行なっているベストMRのトップ10について発表します。 このベストMRはチーム内でこれは最高だった！というMRをノミネートしていき、その中で決選投票をしてベスト10を決めました。 今年も熾烈な闘いを勝ち上がった至極のMRがノミネートされました。 では、10位からご覧ください。と、言いたいところですが、今年は同票のため11位から紹介します。 このブログの内容は、投票した人の中から紹介者を決めて、実装者のやったMRを紹介するスタイルで書かれました。 第11位 CronJobの監視シー
Cloud Spannerを使う大規模アプリケーションの負荷試験におけるアプローチとチューニング | BLOG - DeNA Engineering
2024.05.14 技術記事 Cloud Spannerを使う大規模アプリケーションの負荷試験におけるアプローチとチューニング by tomohiro.katsukura #loadtest #google-cloud #spanner ゲームサービス事業本部の勝倉です。 この投稿では、Cloud Spanner を使う大規模アプリケーション 1 での負荷試験の方法論と、チューニング方法について記述しています。 前半は、従来的な負荷試験の手法が抱える課題を整理し、それらを解決する新しい方法論を紹介しています。 後半は、Cloud Spanner で秒間500万超のクエリ(5M+ QPS)の負荷を捌くまでに出てきたボトルネックの見つけ方と潰し方について紹介しています。 1. 負荷試験の悩みどころ バックエンドアプリケーションの開発において、負荷試験は重要なチェックポイントになります。 これ
道を照らす: プラットフォーム エンジニアリング、ゴールデンパス、セルフサービスのパワー | Google Cloud 公式ブログ
※この投稿は米国時間 2023 年 9 月 12 日に、Google Cloud blog に投稿されたものの抄訳です。 入社したばかりの Java デベロッパーが、簡単な Java サービスを作る仕事を割り当てられたとしましょう。DevOps モデルでは開発チームと運用チームが責任を共有するので、Java コードだけでなく、ビルド パイプラインやモニタリング計測のような運用コードの作成も求められるかもしれません。しかも、クラウド プラットフォームは以前の仕事で覚えたものとは異なります。 あっという間に YAML ファイルの山に溺れ、簡単な Java サービスの構築が難事業になってしまいました。決めなければならないことがたくさんあります。コードの構成はどうしよう？継続的デリバリーにはどのツールを使用したらいいのだろう？ DevOps モデルは開発者に耐えられないほどの学習の手間をもたらすこ
Vertex AI Pipelinesを用いて爆速ML開発の仕組みを構築する #LayerXテックアドカレ - LayerX エンジニアブログ
こんにちは。LayerXのバクラク事業部で機械学習エンジニアをしている@shimacosです。 最近、体重が増える一方で危機感を感じ始めたので、ダイエットを始めました。 ダイエットを始めて早3ヶ月ほどですが、一向に痩せません。何故でしょう？ この記事はLayerXアドベントカレンダー11日目の記事です。 昨日は@upamuneが「Slack × Zapier × MiroでKPTでの振り返りをラクにする」という記事を書いてくれました。 明日は@itkqが、楽しい話を書いてくれる予定です。 はじめに バクラクの機械学習チームでは、AI-OCRという請求書や領収書などの帳票から、仕訳などの経理業務や電子帳簿保存法の要件を満たすための項目を抽出する機能を構築しています。 AI-OCR機能については、以下の資料などで詳しく述べられています。 バクラクでは、ありがたい事に導入社数が順調に伸びており、
Ubie Engineering Advent Calendar 2023 の22日目の記事では、Ubieのプラットフォームで生じていた課題と、それを解決するためにサービステンプレーティングツールを開発・導入した取り組みについて紹介します。 はじめに プラットフォームエンジニアリングとは 具体的な課題 解決法 具体例 実装 CUE CI/CD マニフェストの更新 サービスカタログ ubieformの現在と今後 おわりに おまけ はじめに アドカレ初日の記事で紹介があったように、Ubieではモジュラモノリスとマイクロサービスアーキテクチャの両方を採用しており、独立して動くサービス数は現在70近くに及んでいます。それらのインフラの大部分はGoogle Cloud上のGKEかCloudRunで動いており、その管理と運用が私の所属する基盤チームの責務になります。 新たなマイクロサービスを立ち上げる
こんにちは！エムスリー Advent Calendar 2023 7日目担当の小栗 (@irungo_ic)です。私は東京大学 電子情報工学科で学生(B4)をしており、エムスリーには業務委託で参画しています。 今回はgokartの分散並列化ライブラリkannonをエムスリーの実プロダクトに組み込んだ取り組みについて紹介します。結果として、社内のとあるプロダクトのIntegration TestのJobを7時間30分から2時間20分に短縮するという、約3.2倍の高速化を達成できました！それまでに生じた苦労、kannonへの追加機能などについてお話しします。 kannonとは？ kannonとは、M3が主体となって開発しているOSSのデータパイプラインライブラリgokartをk8s上で分散並列実行するためのライブラリです。私が今年3月に参加したAIチームでのインターンで開発したライブラリで、そ
G-gen の杉村です。Google Cloud (旧称 GCP) 上のネットワークに対する可視性を高めるためのツールである Network Intelligence Center を紹介します。 Network Intelligence Center とは 接続テスト 概要 分析の仕組み テスト可能な通信 対応ノード 対応しているネットワーク機能 料金 ネットワークトポロジ 概要 エンティティ データの鮮度 料金 パフォーマンスダッシュボード 概要 プロジェクトのパフォーマンスビュー Google Cloud のパフォーマンスビュー 確認可能な指標 料金 ファイアウォールインサイト 概要 シャドウルール 制限が過度に緩いルール ヒットのある拒否ルール 料金 ネットワークアナライザ 概要 VPC ネットワーク ネットワークサービス Google Kubernetes Engine (GKE
Google、オープンソースの高速で安全な式言語「Common Expression Language」を発表
Googleは2024年6月18日（米国時間）、パフォーマンスが重視されるアプリケーションにおいて、高速かつポータブルで安全に実行できる汎用（はんよう）の式言語「Common Expression Language」（CEL）を発表した。 CELは、式の評価に共通のセマンティクスを実装するオープンソースの非チューリング完全言語であり、異なるアプリケーションの相互運用を容易にする。 CELは単独で使用することも、大規模なプロダクトに組み込むこともできる。リモートプロシージャコール（RPC）のルーティングからセキュリティポリシーの定義まで、さまざまなアプリケーションに適している。拡張可能でプラットフォームに依存せず、1回のコンパイル／評価のワークフロー向けに最適化されている。 CELの記述例 関連記事 Google、Kubernetes1.29に対応した「Google Kubernetes E
はじめに こんにちは、情報システム部 SRE 橋本です。 今回はQiitaのNew Relic Advent Calendar 2023の14日めの記事として書きました。 担当しているシステムでサービス監視やSLI/SLOを用いて、どのようにしてサービスの健全性を知るのか？というのを考えていく中でNew Relicが課題解決に繋がるかもしれないと思い、直近でチームで評価を行いました。 この記事では、どのような課題感を持っていたのかというのと、その課題感に対して当該プロダクトがどう刺さったのかを簡単にお話したいと思います。 サービスとその信頼性 BtoBやBtoCなどで違いはあると思いますが、サービスがあり（中央）、サービスの提供者（下）、サービスを利用するお客様などの利用者（上）という3つの関係性で整理できます。 この関係性の中で、我々は利用者が正常にサービスを利用できているかを知りたいと
Ubuntu Weekly Topics Ubuntu 24.04（noble）の開発 / デスクトップのロードマップ、新時代の印刷スタック noble（Ubuntu 24.04）の開発 / デスクトップのロードマップ nobleの姿が少しだけ見えてきました。nobleで実現されるデスクトップ関連の機能について、ロードマップが公開されています。 驚きの新情報というものは含まれていないものの、宣言されている内容は次のようなものです。気になる点としてはgsuite・Office 365をサポートするSnapアプリケーションというものがどのようなものなのか（たとえばブラウザだけを隔離したものなのか、あるいはもう少し「うまく」扱えるように調整したものなのか）が挙げられそうですが、これは実際に出てきて触ってみないとわからないものとなりそうです。 「新しい」ソフトウェアセンターにおける、「トップ
10X の Kubernetes おじさん兼娘ちゃん好き好きおじさんこと SRE の @tapih です。 この記事は 10X プロダクトアドベントカレンダー2023 の 8 日目の記事です。昨日は PdM の @enaminnn さんの記事でした。 note.com 本記事では、 2023 年 1 月頃に行っていたインフラコスト削減の施策についての話をご紹介します。 施策を行った背景 Goals / Non Goals Node pool の命名規則 Pod の移行 AOT コンパイル リソース設定 振り返り インスタンスコスト削減 CronJob 実行時間の短縮 リソース使用の安定化 今後について マニフェストレポジトリの統一と自動化 Re-architecture の機運 Wrap up 施策を行った背景 弊社が提供している Stailer では、サービスローンチ当初から Kuber
「Akamai World Tour 2023」はAkamai社が主催する年次最大のユーザーイベントです。2023年9月に開催された本イベントでは、Akamai社が提供するセキュリティ、CDN、クラウドコンピューティングを切り口に、安全で可用性の高いアプリケーションの維持や構築・展開における課題について考察しました。カスタマーセッションでは、株式会社AbemaTVの西尾氏が登壇。「ABEMA」のCDNの1つにAkamaiを選定した理由と、ライブ配信構成においてAkamaiをどう使っているかについて話します。 西尾氏の自己紹介と、本セッションのアジェンダ 西尾亮太氏：みなさまこんにちは。株式会社AbemaTV CTOの西尾と申します。会場が広くてだいぶ緊張しているんですが、本日はよろしくお願いします。会場が歩ける感じになっていますが、僕はここで突っ立ったまましゃべるので、スライドに集中して聞
この記事は新野淳一氏のブログ「Publickey」に掲載された「Google Cloud、解約時のデータの外部転送料金を無料にすると発表。安心してクラウドを切り替えられるとアピール」（2024年1月12日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 米Google Cloudは、顧客がGoogle Cloudを解約してデータを他のクラウドやオンプレミスへ転送する場合のデータ転送量を無料にすると発表しました。 これによりGoogle Cloudの顧客は、転出コストを気にせずにGoogle Cloudを利用できるようになります。 データを人質にしているとも指摘されていた 多くのクラウドにおいて従量課金制はネットワーク上のデータ転送にも適用されるため、クラウドのデータベースやストレージにデータを蓄積すると、万が一クラウドの利用を中止してデータを他のクラウドやオンプレミ
はじめに こんにちは、情報システム部 SRE 橋本です。 今回は我々のチームで運用効率化として構成しているVMインスタンスの自動的・自律的な構築を行う仕組みについて紹介したいと思います。 昨今、クラウド・プラットフォーム上で様々なマネージド・サービスが利用可能になっていますが、10年スパンで継続運用されているシステムでは移行難易度的にそれらのサービスを使うことが難しく、従来構成を維持してVMインスタンスを大量に構築する機会があります。我々の運用システムでもフロントエンドはGKE/コンテナ化が進みつつありますが、DBやKVSなどのデータストアはVMインスタンスで構築しています。 またMySQLなどのデータベースサーバではパフォーマンス等の要件により垂直・水平分割がすすんだ結果、構築台数が多くなるというケースはしばしば発生すると思われます。このようなサーバを構築・運用する場面で以下のような経験
![[概要編] GCPでVMインスタンスを自動・自律的に構築する仕組み](https://cdn-ak-scissors.b.st-hatena.com/image/square/b6c83e0da9cd9453ec981b33d979f2fba9e9457b/height=288;version=1;width=512/https%3A%2F%2Fblog.jp.square-enix.com%2Fiteng-blog%2Fposts%2F00053-overview-of-autonomous-instance-setup%2Feyecatch.png)
ABEMA におけるマイクロサービスデプロイ状況可視化のための内製モニタリングツールの開発 | CyberAgent Developers Blog
こんにちは！2023 年 7 月より 約 ２ヶ月間、株式会社 AbemaTV Cloud Platform チームにて内定者バイトをしていた 24 卒 SRE 内定者の 後藤 廉（X（Twitter） : @ren510dev）です。 内定者バイト期間では、主に、ABEMA を構成するマイクロサービスのデプロイ状況を可視化するべく、独自のモニタリングツールの開発に従事しました。 また、既存の運用・監視体制への導入・統合、開発組織への推進等を実施し、プラットフォームエンジニアリングに挑戦しました。 今回のブログでは、配属部署やチーム内ミッションステートメントの紹介を交えつつ、私が内定者バイト期間中に取り組んだこと、成果を紹介します。 目次 ABEMA Cloud Platform チームの紹介 ABEMA が抱える運用課題 仕様策定 アーキテクチャ 処理フロー マルチリージョン展開 デプロイ
Googleは2024年2月21日（米国時間）、新世代の大規模言語モデル（LLM）「Gemma」を提供開始した。Googleの生成AI（人工知能）「Gemini」と同じ研究、技術に基づいた軽量のオープンモデルファミリーだ。 20億パラメーターの「Gemma 2B」と70億パラメーターの「Gemma 7B」がリリースされており、それぞれ事前トレーニング済みモデルとインストラクションチューニング済みモデルが用意されている。 事前トレーニング済みモデル：Gemmaのコアデータトレーニングセット以外の特定のタスクや手順ではトレーニングされていない。チューニングした上でデプロイ（展開）する必要がある インストラクションチューニング済みモデル：人間の言葉による操作でトレーニングされており、チャットbotと同様に会話の入力に応答できる これらのモデルはノートPC、ワークステーション、「Google Cl
【ArgoCD🐙️】KubernetesのマルチテナントパターンとArgoCDの実践テナント設計 - 好きな技術を布教したい 😗
この記事から得られる知識 この記事を読むと、以下を "完全に理解" できます✌️ Kubernetesのマルチテナントパターンの種類 マルチテナントパターンをArgoCDで実践する場合にオススメのパターン (★) ArgoCDのNamespacedスコープモードとClusterスコープモード ArgoCDのテナントが防いでくれる誤った操作の具体例 記事のざっくりした内容は、以下のスライドからキャッチアップできちゃいます！ この記事から得られる知識 01. はじめに 02. なぜマルチテナントが必要なのか シングルテナントの場合 マルチテナントの場合 03. Kubernetesのマルチテナントパターン マルチテナントパターンの一覧 Clusters as-a-Service Control Planes as-a-Service Namespaces as-a-Service カスタムリソ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Cloud Innovators Gym Japanに参加してきました
サービスメッシュを活用して、クラウドアプリケーションのオブザーバビリティを高める | gihyo.jp
Ubuntu LTSの「12年サポート」の可能性、Ubuntu 24.04 LTS（noble）の開発 / GNOME 46への切り替えと古いリリースのメンテナンス | gihyo.jp
2024年｜CANARY Web の技術スタック
Googleのオープンモデル Gemma の概要｜npaka
GKEでMLバッチ運用のコツ - エムスリーテックブログ
Gemma: Introducing new state-of-the-art open models
Google Cloud、カプコンとの新たなパートナーシップを発表 | Google Cloud 公式ブログ
文法を知らぬまま、ChatGPTとの会話で作り上げたコード コード行数を13.5パーセント圧縮させた、やりとりの流れ
Kubernetesエキスパートが注目する「Platform Engineering」とは何か？ 一体何が新しいのか？
Playframework 3.0.0にアップデートしてみた - Assured Tech Blog
AI・機械学習チーム流MLOpsの歴史 - エムスリーテックブログ
サーバーレス開発の基本と簡単に使い始められるCloud Runの特徴 | gihyo.jp
AI・機械学習チーム最強MR(Merge Request)決定戦2023 - エムスリーテックブログ
Ubieにおけるプラットフォームエンジニアリングの取り組み2023 - 電気ひつじ牧場
kannonを実プロダクトに組み込んで3倍高速化を達成した話 - エムスリーテックブログ
Network Intelligence Centerを徹底解説！ - G-gen Tech Blog
しんどくないSLI/SLOプラクティスをNew Relicで？
Ubuntu 24.04（noble）の開発 / デスクトップのロードマップ、新時代の印刷スタック | gihyo.jp
Kubernetes のインスタンスコストを 0.6x した話 - 10X Product Blog
「ABEMA」がCDNの1つにAkamaiを選定した3つの理由 キャッシュ効率・可用性・オリジントラフィックへの貫通などが求められる環境におけるメリット
Google Cloud、解約時にデータを外部転送する料金が無料に 安心してクラウドを切り替えられるとアピール
[概要編] GCPでVMインスタンスを自動・自律的に構築する仕組み
Google、商用利用可能な軽量オープンAIモデル「Gemma」を公開