こんにちは。メルカリでSoftware Engineerをやっているakkie30です。 この記事は、Mercari Advent Calendar 2021 の5日目の記事です。 私のチームでは半年ほど前からGoのORMライブラリとしてentを採用しています。本記事ではentに関する知見を紹介したいと思います。 entとは 新しいMicroserviceを実装する際に必ず議論になるのが、データベースと、そのデータベースの読み書きを行うライブラリの選定です。メルカリのMicroservicesでは主にGCPを採用しているため、Spanner, CloudSQL, BigTable, Datastoreなどを用いることが多いです。 私のチームでは現在新規サービスを開発しており、サーバ費用を低く抑えつつ機能性も求めた結果CloudSQLを採用しています。Souzohの技術選定にも影響を受け、私
この記事はMLOps Advent Calendar 2020の17日目の記事です。 もともとはGoogle Cloudからもうすぐ出てくる予定のFeature Storeの紹介でも書こうかと思ったのですが、まだ出てこないな...と思ってたら、Google Cloud ソリューションアーキテクトの中井さん（@enakai00）がいい感じのサーバレスMLOpsソリューションをタイミングよく公開されてたので、紹介させていただくことにしました。 できた。https://t.co/COMDamTMQb This example shows how you can use Cloud Run and Cloud Workflows to create a simple ML pipeline. The ML usecase is based on the babyweight model examp
はじめに お仕事でプリセールスをしているため、お客様やSIパートナー様といっしょに「ぜったいにサービスを止められないシステム」について議論することが多くあります。 一方、クラウドはオンプレに比べてスケーラブルな構成をとることが得意です。したがって、ユーザーの利用が時間的にばらつきがあるシステムやスパイクアクセスが発生するシステムなどの場合は、クラウドを提案する良いチャンスだったりもします。 このブログではそのようなニーズを満たすクラスターを運用するときに気を付けたいことや、私自身が検証していて気づいたことをホワイトボードに書く感覚で、だらだらと書きとめます。 なお、本内容はたまたまAzureが提供するKubernetesマネージドサービスである「Azure Kubernetes Service（以下AKS）」を使って検証しましたが、基本的な考え方はやGoogle CloudのGKEやAWS
KubernetesベースのCI/CDシステムProwに入門してみた | CyberAgent Developers Blog
こんにちは、技術本部 OpenSaaS Studioでサーバサイドエンジニアをしている安里です。2019年5月に開催された社内勉強会のレポートをお届けします。 技術本部ではエンジニアの技術向上を目的として定期的に勉強会を開催しており、 今回は同じくOpenSaaS Studioのメンバーである安井さん(@gkuga)に講師をお願いし、ProwというKubernetesベースのCI/CDシステムの勉強会を行いました。 勉強会の様子 Prowについて 勉強会の前半では、こちらの資料をもとにProwの成り立ちや機能、仕組みが説明されました。 KubernetesのCI/CDは元々Jenkinsで行なっていましたが、以下のような運用上の課題を抱えており、これらを解決するためにProwが開発されたとのことです。 Jenkinsのバージョンを上げる際に全ノードを停止する必要がある Githubと連携す
最新のGoogleオープンソースセキュリティスキャナー「Tsunami」を使って脆弱性診断してみた - GMO Research & AI Tech Blog
こんにちは。GMOリサーチでインフラを担当しているオカモトです。 コロナの影響で引きこもり生活が続く中、皆様いかがお過ごしでしょうか。 今回、Googleが先日公開した「Tsunami」というオープンソースのセキュリティスキャナーを試してみたのでその内容をご紹介します。 １．Tsunamiって何？ Tsunamiは、2020年6月18日木曜日（現地時間）にGoogleがオープンソースのプロジェクトとして公開したセキュリティスキャナーです。 GoogleではGKE（Google Kubernetes Engine）を使ってインターネットからアクセスを受けているシステムの脆弱性診断にTsunamiを使っているそうです。 ・Tsunamiのリリースに関する記事は以下のURLから確認できます。 Google Open Source Blog https://opensource.googleblo
Google Cloudで実践！ クラウドネイティブな開発 サービスメッシュを活用して、クラウドアプリケーションのオブザーバビリティを高める 本連載は、Google Cloudのアプリ開発とDBプロダクトにおけるスペシャリスト達が、Google Cloudプロダクトを利用した、クラウドネイティブな開発を実践する方法を解説しています。 第6回では、サービスメッシュについて紹介します。 主に対象となる読者は、クラウドを利用してアプリケーションを開発するエンジニア、またはその基盤を構築するエンジニア、サービス開発に携わるプロダクトマネージャーを想定しています。 マイクロサービスアーキテクチャの課題 これまでの連載ではクラウドネイティブなアプリケーションの開発について紹介しました。小さい独立して動作するサービスが連携するマイクロサービスアーキテクチャは、スケーラビリティ、独立した開発の容易さ、
There will be cases like the serverless compute engine ECS Fargate, Google Cloud Run, etc., where some of these pieces are out of our control, so we work on a shared responsibility model. The provider is responsible for keeping the base pieces working and secured And you can focus on the upper layers. Prevention: 8 steps for shift left security Before your application inside a container is execute
研修資料・動画一覧Git研修 ( 動画 / スライド )データベース研修 ( 動画 / スライド1, 2 / リポジトリ )テスト・設計研修 ( 動画 / スライド )コンテナ研修 ( 動画 / スライド1, 2 )iOSアプリ開発研修 ( 動画 / スライド / リポジトリ )Androidアプリ開発研修 ( 動画 / スライド / リポジトリ )Flutter研修 ( 動画 / スライド / リポジトリ )フロントエンド研修 ( 動画 / スライド / リポジトリ )ゲーム開発(Unity)研修 ( 動画 / スライド1, 2, 3, 4, 5, 6, 7 / リポジトリ )AI研修 ( スライド / リポジトリ)データマネジメント研修 ( 動画 / スライド )セキュリティ研修 ( スライド )インシデントハンドリング研修 ( 記事 )チーム開発研修 ( スライド )Git研修チーム
ChatGPT APIを使うためのWebUI（BetterChatGPT）を社内公開した話 - LIVESENSE ENGINEER BLOG
これは LIVESENSE madeブログ 4月のお題 の参加記事です。 データプラットフォームグループの富士谷です。 ChatGPTのAPIの提供とポリシーの改変から、はや1ヶ月半くらい経ちました。弊社でも、ChatGPT（OpenAI API）を使った機能を開発し、転職会議や面接支援ツールのbatonnで、すでにリリースしています。 転職口コミサイト『転職会議』、ChatGPTのAIを活用した企業口コミの要約情報を提供開始 | 株式会社リブセンス 【業界初】面接最適化クラウド『batonn』、「ChatGPT」のAIを活用した面接内容の要約機能をリリース | 株式会社リブセンス 転職会議については、開発の裏側もブログで公開しています。 made.livesense.co.jp APIを使った機能開発や業務効率化は今後も模索していきたいと考えています。 重要なのは、各々がどのように使える
2021年12月をもってZOZOを退職してUbie Discoveryに転職しました。この記事では転職に至る意思決定や入社後の感想を書きます。 自己紹介こんにちは。中山貴博といいます。インターネット上では@civitaspoというIDで活動しています。職種的にはエンジニアで、技術領域的にはDE（データエンジニアリング）やMLOps、SREを主戦場にして戦ってきました。DeNA -> Gunosy -> ZOZOと歩んできて、Ubie Discoveryで4社目です。Ubie DiscoveryではSREやDE、Product Securityを戦場にして戦っていきます。福岡在住のリモートワーカーで、二児の父でもあります。 ZOZOでの思い出ZOZOには2020年6月に入社し1年半在籍していました。ZOZOで目標としていたのは「キャリアの方向をマネジメント職からスペシャリスト型の技術職方面へ
こんにちは。 GMOアドマーケティングの@zakisanbaimanです。 この度弊社のDMPであるMinervaのバックエンドを兼任することになり、その際の所感をまとめておきます。 DMP（Data Management Platform）とは 一言でいうと「インターネットユーザをセグメント化し、管理できるプラットフォーム」です。 ここで言うセグメントとは「車好き」や「ジャニーズ好き」、「30代」などの属性のことであり、それらをユーザ1人1人のCookieに付与してインターネット広告のターゲティングに役立てることを目的としています。 自身のアドテク開発歴 2017年夏にGMOアドマーケティングにジョインし、現在（2021.04）までアドネットワークであるAkaNeのバックエンドを担当。 AkaNeの主な採用技術として、Java、Apache、サーブレット、GCPが挙げられます。 担当着任
楽々スケール Digdag on GKE Autopilot の紹介とその運用Tips - ZOZO TECH BLOG
こんにちは、MA基盤チームの田島です。私達のチームでは複数のワークフローエンジンを利用し、メールやLINEなどへの配信を含むバッチ処理を行っていました。今回それらのワークフローエンジンをすべてDigdagに統一しました。そして実行環境としてGKEのAutopilot環境を選択したことにより、柔軟にスケールするバッチ処理基盤を実現しましたのでそれについて紹介します。 また、その中で得られた運用Tipsについても合わせて紹介します。 目次 目次 Digdag on GKE Autopilotの構成 Digdagの4つの役割 Worker Scheduler Web API Kubernetes Command Executor Workerでのタスク実行の問題 Command Executor Kubernetes Command Executorの利用 GKE Autopilot環境でのKu
Ubuntu Weekly Topics Ubuntu LTSの「12年サポート」の可能性、Ubuntu 24.04 LTS（noble）の開発 / GNOME 46への切り替えと古いリリースのメンテナンス 「12年サポート」の可能性 昨年のUbuntu Summitにおいて、Destination LinuxがMark Shuttleworthへの独占インタビューを行っており、最近この内容が公開されました。このインタビューの中に非常に興味深い発言が含まれています。 その内容は「今後のLTSにおいては『少なくとも12年』のサポートの提供を予定している」というものです。現時点ではまだUbuntu/Canonical的なアナウンスはなく、確定された情報ではない点で不明瞭な面はありつつ、次のようなことは言えそうです。 24.04 LTS（と、すでにリリースされているLTSのうちひとつ）は12
本記事は Classi Advent Calendar 2020 15日目の記事です。 こんにちは。データAI部でデータエンジニアをしている@tomoyanamekawaです。 GCPにはデータ処理関連のサービスが複数あり、「Aにあるデータを加工してBに置きたい」といった処理（ETL処理）の実現方法がGCP内のサービスに限っても様々な選択肢があります。 また、data*といった似た名前のサービスが多く、初見だとわかりづらい部分があります。 そこでそれらサービスの使い分けの参考になればと思ってまとめます。 GCPにあるETL処理関連のサービス紹介 ETL処理に関連するサービスだけでも下記のように複数あります。 Cloud Composer Apache Airflowをベースにしたワークフロー管理サービス。 裏でGKEが立っていてユーザーからクラスターやインスタンスも見えて、少し管理が必要な
機械学習基盤をGKE Autopilotに移行してコストを削減した - LIVESENSE ENGINEER BLOG
リブセンスで機械学習基盤の開発・運用をしている赤坂（yyyyskkk）です。 我々のチームでは今年の７月ごろにGKE Standard（以下Standardクラスタ）上に構築していた機械学習基盤をGKE Autopilot（以下Autopilotクラスタ）に移行しました。GKE Autopilotとはノードやポッドを自動で管理してくれるクラスタです（詳しくはGoogleのブログをご覧ください）。この記事ではなぜAutopilotクラスタに移行したのか、移行する上でどんな作業が必要だったかという話を書きます。 なぜAutopilotクラスタに移行したのか 高額なノードが複数立ち上がる問題 system podが原因？ StandardクラスタとAutopilotクラスタの違い 検証 移行に必要だった作業 Argo WorkflowsのExecutorを変更した メモリ不足が発生したためres
著者 鶴田 博文, 坪内 佑樹 所属 さくらインターネット株式会社 さくらインターネット研究所 研究会 第8回WebSystemArchitecture研究会 1. はじめに インターネットを介して利用するシステムの大規模化に伴い，システムの構成要素数の増大や，構成要素間の関係性の複雑化が進んでいる． そのため，システムの性能に異常が発生したときに，システムの状態を示す指標であるメトリックをシステム管理者が網羅的に目視することや，メトリック間の関係性を把握することができず，システムの異常原因を特定することが難しくなっている． この問題を解決するために，深層学習などの機械学習モデルを用いて，システムの異常の原因を診断する手法が提案されている[1,2]． これらの手法は，システム管理者が異常の根本原因を絞り込むために活用することが期待できる． しかし，原因診断を行うためには，事前に機械学習モデ
[DevOpsプラットフォームの取り組み #8] Qmonus Value Streamを支えるアーキテクチャの紹介 - NTT Communications Engineers' Blog
DevOpsプラットフォームの取り組みを紹介する8回目の記事です。 Qmonus Value Stream 開発チームの浅井です。 連載第8回では、Qmonus Value Streamのアーキテクチャとその技術スタックについて紹介します。 これまでの連載ではQmonus Value Streamで利用している技術要素として、第4回ではデータ記述言語であるCUE言語を、第5回ではKubernetes NativeなオープンソースフレームワークであるTektonを紹介してきました。 Qmonus Value Streamではこれらの技術要素に加え、複数のGCPプロダクトやSaaSを利用することでシステムを構築しています。 本記事では、Qmonus Value Stream全体のアーキテクチャと、利用している主要なフレームワークやサービスについて紹介します。1つ1つの要素についての説明は少ない
![[DevOpsプラットフォームの取り組み #8] Qmonus Value Streamを支えるアーキテクチャの紹介 - NTT Communications Engineers' Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/8531aa9198d2c16dd56a5704906cc8b67453a466/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2FN%2FNTTCom%2F20221107%2F20221107085951.png)
Introducing GKE Autopilot: a revolution in managed Kubernetes In the years since Google invented Kubernetes, it has completely revolutionized IT operations, becoming the de facto standard for organizations looking for advanced container orchestration. Organizations that need the highest levels of reliability, security, and scalability for their applications choose Google Kubernetes Engine (GKE). I
How to secure your Kubernetes cluster on Google Cloud - セキュアなGKEクラスタのつくりかた
2021年10月14日 Google × mercari に学ぶ！Kubernetesの活用法とセキュリティ
Cloud Composer 2上でApache Airflow 2のワークフローを実装する - ZOZO TECH BLOG
はじめに こんにちはZOZOデータサイエンス部MLOpsブロック松岡です。 本記事では先日リリースされたGCP（Google Cloud Platform）Cloud Composerの最新バージョンCloud Composer 2について紹介します。 ZOZOTOWNでは、多種多様な商品が毎日新たに出品されています。現在MLOpsブロックでは、機械学習で商品情報の登録を補佐するシステムを開発しています。 このシステムでは商品情報を保存するデータベースへ大量の書き込み処理が発生します。このアクセスによる負荷が日常業務に影響を及ぼすリスクを最小限に抑えるため、推論処理は夜間に行います。夜間に処理を完了させるには強力なマシンリソースを使用する必要があります。コストの観点から処理が行われていない時間はマシンリソースを使用停止する必要もあります。また、人手を介さずに安定して稼働出来る仕組みも求めら
Beatrust で SRE をやっている Yuta（中川 裕太）です．運用がラクにできるように色々と改善したり，セキュリティ向上したり，インフラ作ったり API 開発したりしています． 今回のブログではご縁があって登壇させていただいた Google Cloud 主催の Born Digital Summit でのサマリと振り返りをしていきます． Born Digital Summit 登壇 「事業成長とともに歩む Cloud Run→GAE→GKE Autopilot の旅路」というタイトルで Google Cloud 主催の Born Digital Summit で登壇してきました． Beatrust 創業から現在まで約2年半でのビジネスの成長とともに，システムのアーキテクチャ変遷とその理由を振り返りました．最初はビジネスドメインが固まっておらず，要件の全容が見えていなかったからこそ
デスクトップにもKubernetesの波が来る Docker Desktopは、コンテナをはじめて扱うときにほとんどの人が選ぶ個人端末上のコンテナ動作環境だと思います。 一方で、本番環境でコンテナを動かすときは、パブリッククラウド上のマネージドKubernetesを利用することが最近はトレンドとなっていると思います。 ・AWSならAmazon EKS（Amazon Elastic Kubernetes Service） ・AzureならAKS（Azure Kubernetes Service） ・GoogleならGKE（Google Kubernetes Engine） ・IBM CloudならIKS（IBM Cloud Kubernetes Service） ・Oracle CloudならOKE（Oracle Cloud Ingrastructure Container Engine f
old schoolerなネットワークエンジニアがIAP Connectorを試してみた - エニグモ開発者ブログ
お疲れ様です。インフラチームの山口です。 この記事は Enigmo Advent Calendar 2020の18日目の記事となります。 2020年はコロナ禍でほぼ全社的にリモートワークになったこともあり、 前職のネットワークエンジニアだった頃のWANやビデオ会議の思い出を思い返す機会が多い一年でした。 強く思い出に残っているのは大概、障害と機器の不具合などのトラブル系しかなく、それだけでお腹いっぱいになる感じです。 話は変わりますが、アドベントカレンダーは業務から少しずらした内容で書くポリシーなので、現行の業務とはあまり関係ない、リモートワークに伴ってよく起こりがちなネットワークのごまかしの話をします。 今年、私の業務何やってたかなというとEKSの運用サポートとオンプレの保守対応が多かったので、業務からずれた内容をエイヤで書き下します。 1.はじめに 本記事はオフィスおよびオンプレミスの
EKSの運用を楽に安くするためにSpotinst Oceanを使って工夫してる話 - ABEJA Tech Blog
こんにちは。ABEJAのインフラ管理してる村主 @rwle1221 です。 この記事は Amazon EKS Advent Calendar 2019 2日目の記事です。 1日目は AWSの中の方が re:Invent 直前のアツい想いを書く ということで、ハードルが上がってそうですがそんなことは気にせずに書いていきたいと思います。 [課題] ワーカーノードを管理したい EKSのコントロールプレーンは簡単に作れる => AWS マネジメントコンソール の開始方法 この手順だと、単純な種類のワーカーノードをデプロイするだけに止まり、複数種類のワーカーノードを管理しようとすると自分でCloudFormationなどを作る必要がある CloudFormationでワーカーノードを作るのはやぶさかではないが、CloudFormationはあくまでAutoScalingGroupを作っているだけでワ
IT Cutting Edge ─世界を変えるテクノロジの最前線 第19回Kubernetesはメインストリームのフェーズに入った ―ガートナー 桂島アナリストに訊く2020年後半のKubernetesトレンド 7月8日（英国時間）、コンテナマネジメントサービスを提供する米国のスタートアップRancher Labsが大手LinuxディストリビュータのSUSEに買収されるというニュースが発表されました。買収金額は数億ドルにも上るといわれており、あらためて現在のエンタープライズITにおけるKubernetesの存在感の大きさが浮き彫りになったニュースだったといえます。 日本では開発者以外にはあまり知られていなかったRancherですが、今回のSUSEによるRancher買収はについて、ガートナージャパン リサーチ＆アドバイザリ部門 テクノロジ＆サービスプロバイダ ITインフラストラクチャ/
以下の記事が面白かったので、簡単にまとめました。 ・Gemma: Introducing new state-of-the-art open models 1. Gemma「Gemma」は、「Gemini」と同じ技術を基に構築された、軽量で最先端のオープンモデルです。「Google DeepMind」と「Google」の他のチームによって開発された「Gemma」は、「Gemini」からインスピレーションを受けており、その名前はラテン語で「宝石」を意味するgemmaを反映しています。モデルの重み付けに伴い、開発者のイノベーションをサポートし、コラボレーションを促進し、「Gemma」の責任ある使用をガイドするためのツールもリリースします。 「Gemma」は本日より世界中で利用可能になります。 知っておくべき重要な詳細は次のとおりです。 ・「Gemma 2B」「Gemma 7B」の2つのサイズの
初めてのVue.js（Nuxt.js）開発業務を始める前に学んでよかった技術書・記事まとめ - 仮想サーファーの日常
フロントエンド開発の経験がなかったのですが、4ヶ月ほど前に始めた副業先で急にVue.js（Nuxt.js）でフロントエンド開発することになりました。 「急いでVue.jsを学ばないと！フロントエンド開発はじめてだけど何から学べば！？」 と色んな情報や学習ツールをあさりつつ四苦八苦したので、後世のフロントエンド（Vue.js）開発入門エンジニアに向けて参考になった情報をまとめておきます。 これからVue.js（Nuxt.js）で開発をしようとしている方の参考になれば幸いです。 Vue.js（Nuxt.js）の学習内容と技術書・記事 Vue.jsを業務で扱えるようになるために学習したい内容には、ざっと以下があります。 Vue.jsを業務で扱えるようになるために学習したい内容 JavaScriptの基本（Vue.jsの理解を進めやすくするために必要） JavaScriptの開発方法（JavaSc
CloudNative Days Tokyo 2020実行委員会は、2020年9月8・9日に開催される「CloudNative Days Tokyo 2020」についての記者発表会を開催した。初のオンライン開催に向けイベントプラットフォームは独自開発した経緯やイベント内のコミュニケーション活性化の施策、クラウドネイティブ技術にまつわる幅広いセッションや見所について説明が行なわれた。 コミュニケーションを重視すべくイベントプラットフォームを独自開発 CloudNative Daysはコンテナやクラウドネイティブ技術を取り扱うイベントで、「コミュニティ、企業、技術者が一堂に会し、クラウドネイティブムーブメントを牽引することを目的としたテックカンファレンス」を謳う。2018年に開催された「Japan Container Days」を前進とし、CNCFやグローバル企業のスポンサーを受けて実施。昨年
本連載「これから始める企業のためのKubernetes実践講座」では、Kubernetesのメリットと主要機能を紹介してきました。最終回となる今回は、Kubernetesはどのような環境で構築すればいいのかについて、具体的な方法やポイントを解説します。 Kubernetesの4つの構成方法 Kubernetesの構成方法には、ニーズや環境、役割によって4つのパターンが考えられます。 クラウド（以下、パブリッククラウドのことを指す）事業者のマネージドサービスを利用する クラウドのIaaS上に自前で構築する オンプレミスのサーバ環境に構築する オンプレミスの開発端末に構築する この中で一番簡単な方法は、クラウド事業者のマネージドサービスを利用することです。Amazon Web Services（AWS）のEKS（Amazon Elastic Container Service for Kube
この記事はエムスリーAdvent Calendar 2023とMLOps Advent Calendar 2023の12日目の記事です。 AI・機械学習チームの北川です。 最近は猫のかまってアピールがすごすぎて、よく仕事の邪魔されます。 かまって欲しがる猫 現在AI・機械学習チームではMLのバッチをGoogle Kubernetes Engine(GKE)上で運用しています。 現在数えてみたところ240個以上のバッチがGKE上で動いているようです。 AI・機械学習チームでは2019年頃から約４年ほどGKE上でMLバッチを運用しています。 その間にコストの最適化や安定したバッチの運用などに力を入れてきました。 この記事では、主にスケールインとコスト最適化について説明しようと思います。 チームのMLについて全体を把握したい場合は以下の記事が詳しいです。 www.m3tech.blog GKEの
At Google, we believe in making AI helpful for everyone. We have a long history of contributing innovations to the open community, such as with Transformers, TensorFlow, BERT, T5, JAX, AlphaFold, and AlphaCode. Today, we’re excited to introduce a new generation of open models from Google to assist developers and researchers in building AI responsibly. Gemma open modelsGemma is a family of lightwei
Security Kubernetes Security: 10 Best Practices from the Industry and Community Kubernetes requires extensive configuration, and keeping container security at the right level is always challenging. One of the best ways to tighten your clusters’ security is by implementing tactics that have become industry-standard.4 Here are 10 most important ones. 10 best practices for Kubernetes security 1. Don’
Catalin Cimpanu （ZDNET.com） 翻訳校正： 矢倉美登里 吉武稔夫 （ガリレオ） 2019-06-27 14:27 「Kubernetes」プロジェクトは米国時間6月26日、危険なセキュリティ脆弱性を修正した。巧妙なハッキングによって、攻撃者がホストマシン上でコードを実行できてしまう脆弱性だ。 脆弱性はKubernetesシステム自体ではなく、Kubernetesを操作するための公式コマンドラインユーティリティ「kubectl」に影響する。 セキュリティ研究者らは、コンテナからユーザーのホストマシンへファイルを転送するために利用される「kubectl cp」（コピー）操作にセキュリティ脆弱性があることを発見した。 ハッカーは「コピー」操作を通じてコードを実行可能 Kubernetes製品セキュリティ委員会のメンバーであるJoel Smith氏は、次のように述べている。
著者 坪内 佑樹(*1), 鶴田 博文(*1), 古川 雅大(*2) 所属 (*1) さくらインターネット株式会社 さくらインターネット研究所、(*2) 株式会社はてな 研究会 第7回Webシステムアーキテクチャ研究会 2010年代のクラウド技術であるコンテナオーケストレーション、サーバーレス、マイクロサービス、さらにはエッジコンピューティングなどの普及により、分散システムとしての複雑度が高まっている。このまま複雑度が高まっていくと、人手によるルールベースの運用にいずれは限界が訪れるのではないかと考えている。そこで、最近は、このようなクラウドを中心とするSRE分野の課題に対して、機械学習やその他の数理的アプローチを適用するアプローチを模索している。特に、SREの中でも、システムに発生する異常への対応については、現場のエンジニアの経験に基づき直感に大きく依存している。 異常への対応を構成する
任天堂：新しい汎用ゲームサーバーを Google Kubernetes Engine、Cloud Spanner などを駆使して構築 | Google Cloud 公式ブログ
任天堂：新しい汎用ゲームサーバーを Google Kubernetes Engine、Cloud Spanner などを駆使して構築 世界中で愛好されている任天堂株式会社（以下、任天堂）の家庭用ゲーム機「Nintendo Switch」。そのオンライン マルチプレイを担う汎用ゲームサーバーの動作基盤に新たに Google Cloud が採用されました。多くのユーザーとの通信を処理しなければならないこの仕組みを、なぜ Google Cloud 上に構築したのか。どのような工夫を施すことで、安定性・可用性と運用負担の軽減を両立させたのか。構築に携わったエンジニアのお二人に話を伺いました。 利用しているサービス： Google Kubernetes Engine、Agones、Anthos Service Mesh、Cloud Spanner、Cloud Load Balancing、Cloud
Google AnthosがMicrosoft Azureに正式対応。これでGoogle、AWS、Azureを連携させたマルチクラウドでのKubernetesやCloud Runなどの統合運用などが可能に
Googleは、Kubernetesをベースにしたマルチクラウドプラットフォームを実現するAnthosがMicrosoft Azureに正式対応したことを発表しました。 Anthosは、Kubernetesによってインフラレイヤを抽象化することにより、コンテナ化したアプリケーションをクラウドやオンプレミスなどインフラの種類や場所を気にせず実行できるハイブリッドクラウド／マルチクラウドを実現する基盤です。Googleがマネージドサービスとして提供し、利用者は全体をAnthosのコンソール画面から統合管理可能になります。 パブリッククラウド環境としてはGoogle Cloud、オンプレミス環境としてはVMwareなどに対応するGKE On-Prem（Google Kubernetes Engine On-Premise）をサポートし、昨年4月にAWSへの正式対応を実現していました。 参考：Go
Conftest で CI 時に Rego を用いたテストを行う こんにちは。青山（@amsy810）です。 実は少しだけ PLAID さんでお手伝いをしており、CI に Conftest を組み込んで Kubernetes マニフェストのポリシーチェックを行うようにしたので、その時の備忘録を書いておきます。 PLAID さんでも GKE を基盤として選定して開発しています。 Conftest とは？ Conftest は Rego 言語で記述したポリシーを用いて、JSON や YAML などがポリシーに合致しているかをチェックする OSS です。 今回は Kubernetes のマニフェストがポリシーに合致しているかどうかを判別するために利用します。 例えば下記の例では、Deployment や StatefulSet などの Workloads リソースの Selector や起動して
昨日、GKE&Spanner 勉強会に参加しました。 本日はそのレポート。。ではなく、その勉強会で利用していたGoogleスライドの使い方を紹介したいと思います。 みなさん勉強会等でこんな場面に遭遇したことはありませんか？？ 発表者：それではXXの発表を終わります。最後に質問ある方いらっしゃいませんか？？ 会場：ざわざわ（質問するの恥ずかしい。。） GoogleスライドのQA機能を使うとこの部分を効率化できます。 使い方 Googleスライドでプレゼンター表示をクリックします。 ユーザーツールから新しいセッションの開始をクリックします。 表示されたURLを参加者に共有します。 参加者は以下のような形で質問を投稿できます。Googleアカウントのユーザーとして質問することもできますし、匿名でも質問ができます。 また、参加者は特定の質問にLikeをつけることもできます。 発表者はここから質問を
【2024/03/30 更新】DMMプラットフォームのマイクロサービスアーキテクトグループのエンジニア募集について - pospomeのプログラミング日記
このドキュメントは何? 現在もエンジニアを募集しているのか? DMMプラットフォームとは? マイクロサービスアーキテクトグループとは? マイクロサービスアーキテクトグループが設立された背景 マイクロサービスアーキテクトグループの組織体制 認証チーム 認可チーム プラットフォームチーム SREチーム Developer Productivity Team 利用するテクノロジースタックとツール 各チーム共通となるテクノロジースタック 各チーム共通となるツール（技術領域以外のもの） リモートワーク環境におけるコミュニケーションツール マイクロサービスアーキテクトグループの開発の進め方 Daily Standupによる進捗確認 プランニングによる作業実行計画 新規タスクの優先度確認ミーティング KPTミーティング 個人の判断で必要に応じてミーティング どのような人を求めているのか? マイクロサービ
VMwareは3月10日（日本時間3月11日未明）、オンラインイベント「App Modernization in a Multi-Cloud World」を開催。Kubernetesの導入から展開までをカバーする「VMware Tanzu」を発表しました。 Today, we are excited to announce new products and services to help our customers modernize their applications and infrastructure—with our newly expanded #VMwareTanzu portfolio. #AppModernization2020 https://t.co/fBjGjCnolE pic.twitter.com/NxcBTk5tPK — VMware News (@vmwa
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
entを使った省エネバックエンド開発 | メルカリエンジニアリング
Cloud RunでサーバレスMLOpsを試してみた - Qiita
高可用性かつスケーラブルなKubernetesクラスターを運用するときに気を付けたいこと - Qiita
サービスメッシュを活用して、クラウドアプリケーションのオブザーバビリティを高める | gihyo.jp
Container security best practices: Comprehensive guide
今年もMIXIの23新卒技術研修の資料と動画を公開します！
ZOZOからUbie Discoveryに転職しました｜civitaspo
DMP（Data Management Platform）開発を担当した際の所感
Ubuntu LTSの「12年サポート」の可能性、Ubuntu 24.04 LTS（noble）の開発 / GNOME 46への切り替えと古いリリースのメンテナンス | gihyo.jp
GCPのデータ処理・ETL系サービスの使い分け - Qiita
機械学習モデルの局所的な解釈に着目したシステムにおける異常の原因診断手法の構想 - Fire Engine
Introducing GKE Autopilot | Google Cloud Blog
ブログ書いたら Google Cloud イベントに登壇できた件 - Beatrust techBlog
現段階のKubernetesに望むこと - orangeitems’s diary
第19回 Kubernetesはメインストリームのフェーズに入った ―ガートナー 桂島アナリストに訊く2020年後半のKubernetesトレンド | gihyo.jp
Googleのオープンモデル Gemma の概要｜npaka
イベントプラットフォームの独自開発に踏み切ったCloudNative Days Tokyo 2020
マネージドサービス？ 自前構築？ Kubernetesを本番環境で使うにはどうすればよいのか
GKEでMLバッチ運用のコツ - エムスリーテックブログ
Gemma: Introducing new state-of-the-art open models
Kubernetes Security: 10 Best Practices from the Industry and Community
「Kubernetes」のCLIツールに脆弱性--攻撃者がホストマシンでコードを実行可能
マイクロサービスにおける性能異常の迅速な診断に向いた時系列データの次元削減手法 - ゆううきブログ
Conftest で CI 時に Rego で記述したテストを行う - @amsy810's Blog
勉強会のQAが簡単に！！Googleスライドで質問を受け付けよう | DevelopersIO
［速報］Kubernetesレイヤでマルチクラウドを実現する「VMware Tanzu」正式リリース