はじめに DRE Team の hyamamoto です． 皆さん，Spark は利用されていますか？ Gunosy では Digdag + Athena によるデータ整形が増えてきており，徐々に Spark の利用は減ってきています． 思い返すと，昨年入社後の OJT も Spark から Digdag + Athena への書き換えタスクでした． 一方で，決して多くはないものの，この構成ではカバーし切れない処理もあり，そういったものに関しては Spark を用いています． 話は少し飛びますが，DRE Team では Digdag や派生するバッチ処理を実行するための Kubernetes Cluster を EKS 上に構成しています． また，一部のタスクは Kubernetes の Job として Digdag から投げることで，リソースをスケールさせつつ様々な処理が可能となっていま
Unlocking eBPF power
My first steps with eBPF. In this article I'm describing how I used bluetooth tracing with eBPF to handle locking of my laptop. I heard “eBPF” so many times in recent days that I’ve decided to give it a try. I have very limited knowledge about kernel tracing so I thought it is good opportunity to learn something new. One particular talk (by Brendan Gregg) especially caught my attention and I recom
日比谷音楽祭おさんぽアプリ2020 開発の裏側を語る / サーバー編 | BLOG - DeNA Engineering
この記事は20新卒、21卒内定者が開発に参加した『 日比谷音楽祭公式おさんぽアプリ2020 』(以下、おさんぽアプリ)開発の裏側、サーバー編です。 この記事の概要 .protoファイルのおかげでモックの作成とチーム間コミュニケーションがスムーズになった チケット抽選機能の要件に適したCloud Functionsを使った Cloud Loggingで構造化ロギングを利用してアラート設定をした Trace IDを一致させ、Cloud Traceでウォーターフォールビューを見られるようにした 日比谷音楽祭2020とおさんぽアプリ 2020年5月30日-31日の2日間、東京・日比谷公園で開催される予定だった『 日比谷音楽祭 2020 』。「フリーで誰もが参加できる、ボーダーレスな音楽祭」として去年に引き続き第2回の開催を予定していましたが、残念ながら新型コロナウイルス感染拡大の影響により中止とな
Hosted Redash(app.redash.io) から Self-Hosted Redash(GKE) への移行 - CADDi ENGINEER Tech Blog
こんにちは。Platform チームの飯迫 (@minato128)です。 CADDi ではこれまで Hosted Redash(app.redash.io) を利用していたのですが、残念ながら 2021/11/30 に End of Life になるので、10 月末に Self-Hosted Redash 環境を構築して移行しました。今回はそのときやったことを紹介します。 移行の流れ 新しい Redash 環境を v10 で構築する 公式の移行ツールを利用してデータ移行する 監視を追加する 新しい Redash 環境を v10 で構築する まず、移行ツールは移行先として v10 を前提としているので、新しい環境は v10 である必要があります。ちなみに、v10 は 10/2 にリリースされた現時点の最新版です。 v10 であればどんな方法で構築しても問題ないのですが、今回は社内用 GKE
今年も一年の振り返りを簡単にまとめました。 私生活 体調管理 1 日も風邪をひくことなく元気に過ごせました 仮にコロナにかかると、子どもが濃厚接触者になります。その間仕事は休まないといけなくなるので、市中感染が多いときは積極的に在宅するようにしてました。 お手伝い 12/31 にコミックマーケット９９（通称、冬コミ）の手伝いに行きました。二年ぶりでオペレーションを忘れているかと緊張しながらスペース設営に望みましたが、だんだんと勘を取り戻せて無事一年を締めくくれました。入場者数に制限がかかっていたため、常に怒号が鳴り響くこともなく、また、間違って人流に逆らった瞬間命の危険を感じることもなく、例年に比べると随分と落ち着いたイベントでした。 サークル入場開始直後の東ホール NFTs and a Thousand True Fans[1] で引用されている a Thousand True Fans
サービスの信頼性をあげるため用いられる前衛的なデプロイメントパターンの一つであるProgressive Deliveryについて説明します。 来週からのKubecon 2019 North Americaでもこれに関するセッションがあり、注目に値すると思いますので興味があれば一読お願い致します。 KubeCon + CloudNativeCon North America 2019: Leveling Up Your CD: Unlocking Progressi... Speakers Principal Engineer, Intuit Jesse is a Principal Engineer at Intuit and a core contributor and technical lead…
削除する Google Service TGカルチャー アプリケーション開発 コンサルティング セミナー テックブログ デザイン デジタルプロダクト開発 開発実績 ニュース 2025年の崖(1) 5G(1) AI(39) AI Hub(1) AI Platform(1) AlloyDB(12) AlloyDB for PostgreSQL(6) AlphaZero(1) Analytics HUB(1) Android(11) Android アプリ(1) Anthos(6) API(12) API エコノミー(1) APP(2) App Engine(2) App Maker(2) AppServer(1) AppSheet(3) arduino(1) Authentication(1) AutoML(4) AWS(12) AWS (Amazon Web Services)(1) AWS
Google Cloud ComposerでGPUを使ったタスクを安定稼働するために行ったこと - ZOZO TECH BLOG
はじめに こんにちは、ML・データ部MLOpsブロックの松岡です。 本記事ではCloud Composerのワークフローにおいて、GPUを使うタスクで発生したGoogle CloudのGPU枯渇問題と、その解決のために行った対策を紹介します。 ZOZOが運営するZOZOTOWN・WEARでは、特定の商品やコーディネート画像に含まれるアイテムの類似商品を検索する類似アイテム検索機能があります。本記事ではこの機能を画像検索と呼びます。 画像検索では類似商品の検索を高速に行うため、画像特徴量の近傍探索Indexを事前に作成しています。近傍探索Indexはワークフローを日次実行して作成しています。 このワークフローでは大きく次のように処理を行っています。 当日追加された商品の情報を取得し、商品情報をもとに商品画像を取得する。 物体検出器で商品画像から商品が存在する座標とカテゴリーを検出する。 検出
こんにちは、インフラ部の id:sue445 です。 前回に引き続きGitLabのGCP移行について紹介します。 前編の記事はこちらになります inside.pixiv.blog 今回の目次 今回の目次 やったこと2: 実際にGCPに構築した GitLab構築に関係するリポジトリの構成 gcp-gitlab-terraform gcp-gitlab-playbook gcp-gitlab-helm 備考 全体の構成図 webservice (GitLab本体) GitLab CI 3rd party製のDockerイメージから公式のDockerイメージに移行した Docker Swarmは継続利用 GitLabを複数ゾーンで動かすための準備だけした やりたかった構成 現在の構成 Cloud IAPとTunneling SSH Connectionsを利用したgitアクセス Tunnelin
Introducing the Anthos Developer Sandbox | Google Cloud Blog
Introducing the Anthos Developer Sandbox—free with a Google account Your colleagues in IT operations talk about needing a platform that can run a wide variety of apps: new or existing, running on Linux or Windows, long-running or serverless, capable of rapidly scaling up and down according to demand. Anthos is Google Cloud's answer to these requirements for hybrid and multi-cloud. With Anthos, you
動作検証しながら理解する「Kubernetes Gateway API」と「GKE Gateway Controller」 - ZOZO TECH BLOG
はじめに こんにちは、技術本部 データサイエンス部 MLOpsブロックの鹿山（@Ash_Kayamin）です。 みなさんは2021年4月にGCPから「GKE Gateway コントローラによる Kubernetes ネットワーキングの進化」という記事が投稿されたのを覚えていますでしょうか。 cloud.google.com この記事は、Kubernetesコミュニティが発表したKubernetes Gateway APIに対し、そのGKE（Google Kubernetes Engine）版実装であるGKE Gateway Controllerのリリースをアナウンスするものでした。 それから半年が経ち、本番導入の可能性を模索するためにKubernetes Gateway APIとGKE Gateway Controllerを調査、動作検証しました。本記事では、Kubernetes Gate
Cloud Run の Always on CPU で Cloud Pub/Sub から Pull する worker を試してみた
TL; DRCloud Run の Always on CPU を使うと、Cloud Pub/Sub から Pull する Worker を Cloud Run で実行出来ます。ただし、スケーリング等にいくつか諸注意があります。 はじめにCloud Run の Always on CPU が Preview でリリースされて、バックグラウンド タスクや非同期処理で使えると Twitter で宣伝したところ、私の tweet 史上、一番の反響を頂きました。ありがとうございます。また同僚の Shingo-san が素敵な解説記事を書いてくれたり、同じく同僚の Pottava-san も素敵なサンプルコードを書いてくれてたり。「tweet してるだけでいいのかい？本当に？」という私のエンジニアとしての良心の呵責があったため、私もこうして記事を書いています。 試したこと以前、お客様から Cloud
[DevOpsプラットフォームの取り組み #2] Qmonus Value Streamを使ってみた(前編) - クラウド基盤の構築 - NTT Communications Engineers' Blog
はじめに DevOpsプラットフォームの取り組みを紹介する2回目の記事の前半です。 こんにちは。Qmonus (クモナス) Value Streamの開発チームの松本です。 前回の記事では、Qmonus Value Streamの概要を紹介しました。 連載第2回となる今回は、Qmonus Value Streamの重要で特徴的な機能の1つであるCloud Native Adapterを使い、アプリケーションをデリバリする事例を2つ、前編と後編の2回に分けて紹介します。 前編では、Cloud Native Adapterを用いたクラウド基盤の構築を中心に説明します。 クラウド技術の多様化・複雑化 近年のアプリケーション開発において、GCP/Azure/AWS等のパブリッククラウドの利用はデファクトスタンダードとなりました。 また、多くのプロダクトはコンテナアプリケーションとして開発され、Ku
![[DevOpsプラットフォームの取り組み #2] Qmonus Value Streamを使ってみた(前編) - クラウド基盤の構築 - NTT Communications Engineers' Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/3a008324acac2c6ac384cd959d9cd36a462eb1f6/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2FN%2FNTTCom%2F20220707%2F20220707164309.png)
Kubernetesとは 概要や、Dockerとの違いを5分で入門 こんにちは。クラウドエース編集部です。 さまざまな企業・サービスが登場し続け、毎日いくつものアプリケーションが開発されている現在。 「複数ホストでの管理が煩雑になってきた」 「アプリ公開や修正が自動化できれば良いのに」 そんな風に感じる場面もありますよね。 そんな中、複数コンテナを管理・自動化できるプラットフォームとして注目されているのが Kubernetes です。 本記事では、Kubernetes とは何かという基本的な部分から、Docker との違い、利用する具体的なメリットまで解説していきます。 Kubernetes とは？ Kubernetes とは、コンテナの運用管理と自動化を行うために設計されたオープンソースソフトウェアです。読み方は「クバネティス」もしくは「クーベネティス」。ギリシャ語で、操舵手・パイロット
Google Cloud (旧称 GCP) の 学習に役立つオンラインコンテンツ をサービスカットや分野別でまとめました。Google Cloud の基本的な学習のほか、資格取得にも役立つコンテンツ集となっておりますので、お役立てください。 はじめに Google Cloud 全般 課金・コスト削減 アーキテクチャ・ベストプラクティス セキュリティ・統制 (非ネットワーク) セキュリティ (ネットワーク) コンピューティング ネットワーク ストレージ データベース データ分析 AI / ML (機械学習) 開発・IaC 監視・運用・SRE その他・Google プロダクト Google Workspace Google Cloud 認定資格 はじめに 当ページでは Google Cloud (旧称 GCP) の基礎学習や試験対策に役立つオンラインコンテンツを、サービス名別や分野別でまとめま
こんにちは。 GMOアドマーケティングの@zakisanbaimanです。 GMOアドマーケティングのDMPサービスであるMinervaはGKEを利用しているのですが、Googleから以下のメールが届きました。 Kubernetes v1.26 以降にて GKE クラスタに引き続きアクセスするためには、gke-gcloud-auth-plugin という新しいバイナリを Kubectl（および Kubernetes カスタム クライアント）とともにインストールする必要がございます どうやら1.25以前で利用していた認証方法が利用不可になり、代わりに新しいプラグインを利用して欲しいとのことのようです。 なぜ認証方法が変わるのか？ 背景を知ることは作業の精度を上げるためにも重要です。 KubernetesはOSSであり、OSSをそのまま使ったりサービスプロバイダー（GCPのGKE、AWSのEK
Kubeflow PipelinesからVertex Pipelinesへの移行による運用コスト削減 - ZOZO TECH BLOG
こんにちは、技術本部 データシステム部 MLOpsブロックの平田（@TrsNium）です。約2年半ぶりの執筆となる今回の記事では、MLOps向け基盤を「Kubeflow Pipelines」から「Vertex Pieplines」へ移行して運用コストを削減した取り組みを紹介します。 目次 目次 はじめに Vertex Pipelinesとは Vertex Pipelinesへの移行 Vertex Pipelinesへ移行するワークフロー 1. ワークフローのKubeflow Pipelines SDK V2への移行 コンパイラのデータ型の制約が厳しくなった ContainerOp APIが非推奨になった Kubeflow PipelinesのPlaceholderを使用できなくなった 2. スケジュール実行されているワークフローへ前回実行分が終わるまでの待機処理を追加 3. Vertex
Google Kubernetes EngineがWindows Serverコンテナをサポート。同一クラスタ内でLinuxコンテナとWindows Serverコンテナが共存可能
Google Kubernetes EngineがWindows Serverコンテナをサポート。同一クラスタ内でLinuxコンテナとWindows Serverコンテナが共存可能 Googleは、Google Cloudで提供しているKubernetesのマネージドサービス「Google Kubernetes Engine」（GKE）で、Linuxコンテナに加えてWindows Serverコンテナのサポートをベータ版として開始したと発表しました。 Kubernetes自身は2019年3月にリリースされたKubernetes 1.14からWindows Serverコンテナへの対応を実現しています。 それを受けて、Google CloudのサービスであるGKEとしてもWindows Serverコンテナのサポートを開始したことになります。 Windows Serverコンテナのサポートに
Kubernetes上でのGoによるシンプルなAPIの開発と、その効率化のためのcookiecutter templateを作った話 - エムスリーテックブログ
エンジニアリンググループ AI・機械学習チームの笹川です。 これはエムスリー Advent Calendar 2019の12月4日の記事です。 前日は、CTO 矢崎による 1つの terraform で複数 AWS Account をまとめて構築・管理する でした。 今回は、AIチームでのAPI開発で利用している技術の紹介と、開発の効率化のため、プロジェクトの雛形を自動的に生成するcookiecutterのプロジェクトテンプレートを作成した件について紹介します。 qiita.com 背景 プロジェクトテンプレートの実装 APIとリポジトリの構成 プロジェクトの内容 GoaのDSLファイル Dockerfile Kubernetesの設定ファイル各種 負荷試験用のシナリオファイル まとめ We're hiring! 背景 エムスリーでは、早くからマイクロサービス化に取り組んでおり、m3.co
Cloud Storage FUSE が GKE と AI ワークロード向けに最適化 | Google Cloud 公式ブログ
※この投稿は米国時間 2023 年 8 月 25 日に、Google Cloud blog に投稿されたものの抄訳です。 Google Cloud の Cloud Storage は、AI ワークロードへのトレーニングと処理に必要な大量のトレーニング データ、モデル、チェックポイントを格納でき、クラウド ストレージ システムの特徴であるスケール、パフォーマンス、シンプルさ、優れた費用対効果を備えています。ただし、AI ワークロードが実際にそのデータにアクセスする際、常に簡単にアクセスできるとは限りません。AI ワークロードのほとんどが、Cloud Storage から提供されるオブジェクト セマンティクスではなく、ファイル システム セマンティクスを必要とするからです。 Linux の Filesystem in Userspace（FUSE）は、ファイル システムを Linux カーネル
Workers Tech Talks #1 - Gyazo の素朴な Workers - 株式会社Helpfeel 開発チーム 採用情報
https://workers-tech.connpass.com/event/287490/ - Workers Tech Talks #1 2023-07-19 (Wed) 日比谷 15分 -> 20分 hiroshi.icon 右側の２つ目のアイコンから Start Presentation を選択するとスライド的に見えます 自己紹介 株式会社 Helpfeel 去年の10月ぐらいに Nota から社名変更 Gyazo, Scrapbox, Helpfeel の会社 齋藤 宏 https://github.com/hiroshi Gyazo 開発チーム エンジニア app バックエンド側、インフラ, etc その昔はプレステ2でプラレールのゲーム作ったり DHH による Rails 登場で web 系に Gyazo と Cloudflare Gyazo の origin server
SREのたっち(@TatchNicolas)です 本記事は、先日の弊社主催のTechトークイベントで発表した内容について、もうすこし詳細に書いてみます。 jxpress.connpass.com TL;DR; GitLabのenvironmentとHelmのreleaseを対応させることで動的な環境の作成・削除を実現した CIOpsとGitOpsを使い分けて、「ちょうどいい」使用感を目指した 環境の順番待ちがなくなった！ 背景 JX通信社のサーバサイド開発では、ECSによるコンテナベースでの開発・デプロイが主流です。*1 環境としては ローカル環境: docker-composeやgo run yarn run などで起動する、文字通り手元のマシンのローカル上で動かす環境 開発版環境: SQSやFirestoreなどのマネージドサービスや、ローカルで立てるのが大変な別のAPI*2との繋ぎ込
週刊Railsウォッチ（20191008後編）Ruby 2.7のInteger#[]でバイナリチェック、rubyzip gemは強力、13KBのJavaScriptゲームほか｜TechRacho by BPS株式会社
2019.10.08 週刊Railsウォッチ（20191008後編）Ruby 2.7のInteger#[]でバイナリチェック、rubyzip gemは強力、13KBのJavaScriptゲームほか こんにちは、hachi8833です。今夜のノーベル賞は物理学賞ですね。 各記事冒頭には⚓でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 毎月第一木曜日に「公開つっつき会」を開催しています: お気軽にご応募ください 今回も第15回公開つっつき会を元にお送りします。 ⚓Ruby ⚓Ruby 2.7でInteger#[]にrangeを扱う機能が追加（Ruby Weeklyより） 訂正（2019/10/09）: 見出しに「にrangeを扱う機能」を追加しました
![週刊Railsウォッチ（20191008後編）Ruby 2.7のInteger#[]でバイナリチェック、rubyzip gemは強力、13KBのJavaScriptゲームほか｜TechRacho by BPS株式会社](https://cdn-ak-scissors.b.st-hatena.com/image/square/e261e6d74656a4bb6568a00ee1851e326ee9dc1b/height=288;version=1;width=512/https%3A%2F%2Ftechracho.bpsinc.jp%2Fwp-content%2Fuploads%2F2019%2F10%2Frailswatch_20191008_eyecatch.png)
Container-native load balancing on GKE now generally available | Google Cloud Blog
Container-native load balancing on GKE now generally available Last year, we announced container-native load balancing, a feature that allows you to create services using network endpoint groups (NEGs) so that requests to your service get load balanced directly to the containers serving the requests. Since announcing the beta, we have worked hard to improve the performance, scalability and user ex
「JX通信社Advent Calendar 2019」24日目の記事です. 昨日は@kimihiro_nさんによる, 「Immutable Python ~ NamedTuple で書く副作用のないプログラム」の話でした. こんにちは. JX通信社でシニア・エンジニア&データ基盤エンジニアおよび野球*1をしています, @shinyorke（しんよーく）と申します. JX通信社では, データ駆動での意思決定および施策実施をより円滑に進めるため, データ基盤の構築・運用を進めています. その過程でいろんなFrameworkやサービスを試して...の一つの成果として以前こんな話をしました.*2 tech.jxpress.net このエントリーではもうちょっとプラットフォーム・基盤に寄り添ったテーマで, 同僚氏に「K8sいいぞ！」と布教活動を受けた結果, 4日で本番運用までこぎつけた話 をしたいと
Linux経験ゼロからCKAD（Certified Kubernetes Application Developer）に合格するまで - Qiita
Linux経験ゼロからCKAD（Certified Kubernetes Application Developer）に合格するまでkubernetesckad この記事について この度、Cloud Native Computing Foundationが認定するKubernetesの開発者向け資格「Certified Kubernetes Application Developer（CKAD）」に合格することができました！ 合格証↓ この記事では、資格に向けた勉強方法などを共有しようと思います。 守秘義務があるため、「どんな問題が出たか」は書いていません 僕の前提知識 僕のキャリアはJava開発者から始まり、その後は長くJava系の研修講師をしています。担当する研修はほとんどがSpringやJava EEなどのアプリケーション開発系であり、実務・研修ともインフラ系の経験はほとんどありませ
MLOps年末反省会: Triton Inference Server を深層学習モデル推論基盤として導入したので振り返る | CyberAgent Developers Blog
MLOps年末反省会: Triton Inference Server を深層学習モデル推論基盤として導入したので振り返る この記事は CyberAgent Developers Advent Calendar 2022 の5日目の記事です。 AI事業本部でソフトウェアエンジニア（機械学習 & MLOps領域）をしている yu-s (GitHub: @tuxedocat) です1。現在は 極予測LP という、広告ランディングページの制作をAIにより刷新するという目標のプロダクトに関わっています。 この記事では本プロダクトのMLOpsの取り組みのうち、特に深層学習モデルをデプロイして運用する基盤についての技術選定を振り返ってみます。 タイトルにあるとおり Triton Inference Server というOSSの推論基盤を導入しました。 前置き: プロダクトやチームなどの環境と経緯 本記
IoTと業務システムをつなぐgRPC/RESTサービスの開発と運用 | BLOG - DeNA Engineering
はじめに こんにちは。オートモーティブ事業本部の藤田泰介と吉江智弘です。 DeNA TechCon 2020 にて発表する予定だった内容をBlog記事としてお届けします。 今回は「IoTと業務システムをつなぐgRPC/RESTサービスの開発と運用」と題してお送りします。 Centralサービスの概要と全体のアーキテクチャ(前半) 目次(前半) タクシー配車サービスMOVの紹介 MOV Centralサービスの紹介 Centralサービスの特徴 Centralサービスが扱うデータ Centralサービスのアーキテクチャ タクシー配車サービスMOVの紹介 サービスインしてから間もなく2年 MOVキービジュアル MOVとは 乗りたいときに、スマホひとつで簡単にタクシーが呼べるサービス ITのチカラでタクシー利用を進化させる 提供エリア 神奈川 東京 大阪 京都 兵庫など 車両台数 数万台規模に拡
執筆時点で Public Preview な内容を扱っています。GA になった際に内容に誤りが生じる場合があるため、最新の一次情報も確認してください。 https://cloud.google.com/iap/docs/enabling-cloud-run Cloud Run は Google Cloud Platform (GCP) で提供されている Serverless Computing の1つで、Container のフルマネージドホスティングサービスです。 Identity-Aware Proxy (IAP) は GCP で提供されている、アプリケーションレベルの認証、承認のためのアクセス制御サービスです。 これまで、IAP は GCE や GKE、GAE でしか使えませんでした。 そのため Cloud Run で認証を行う場合はアプリケーションに実装するか、Cloud Endp
たった23行で Amazon ECS にデプロイできた。あらゆるプラットフォームでアプリケーションをビルド、デプロイする Waypoint を使ってみた。 | DevelopersIO
先日、Terraform でお馴染みの HashiCorp 社から ”Waypoint" という新たなオープンソースプロジェクトが発表されました。 アプリケーションのビルド、デプロイ、リリースといったワークフローを、Kubernetes/AWS/GCP/Azure など 12 以上のプラットフォームで利用可能。マルチプラットフォームに対応しているだけならば同様のツールはあるかもしれませんが、Waypoint は各プラットフォームごとのお作法などを抽象化し、開発者にインフラを意識させることなくデプロイ出来ることを目指したツールのようです。（位置づけてきに Spinnaker に近い？） まだプロジェクトの初期ということで本番環境で利用できるものではないと思いますが、ひとまず ECS へのデプロイをサクッと試してみました。 Waypoint とは まずは Waypoint のコンセプトや目標に
本連載は、Google Cloudのアプリ開発とDBプロダクトにおけるスペシャリスト達が、Google Cloudプロダクトを利用した、クラウドネイティブな開発を実践する方法を解説しています。 第3回では、サーバーレス開発とGoogle Cloudのサーバーレス製品であるCloud Runに焦点を当てます。 まず、サーバーレス開発の基本概念と利点について説明し、従来のサーバーに依存しないアプリケーション開発手法の重要性を探ります。次に、Cloud Runの概要を紹介し、コンテナイメージの実行をサポートするサーバーレスプラットフォームとしての役割を説明します。この回を通じて、サーバーレス開発の基礎を学び、Cloud Runを利用して効率的なアプリケーション開発を実現する方法を理解できます。 主に対象となる読者は、クラウドを利用してアプリケーションを開発するエンジニア、またはその基盤を構築する
「Assured」でバックエンド、インフラと英訳周りを担当しているオリバーです。趣味のボルタリングを再開するため体重を減らそうとしてますが、なかなか落ちてくれないこの頃です。今回は、プロダクトのアーリーステージによく後回しにされるインフラ管理について、「Assured」では開発初期フェーズでどう管理したのかを振り返りながらお伝えしたいと思います。 前提となるインフラの技術スタックの紹介は以下の記事に書いてありますのでぜひお読みください。 Assuredの技術スタック紹介（インフラ編） - Assured Tech Blog 現状 「Assured」では、監視、アラートなどのツールを除き、メインのアプリケーション基盤およびデータ基盤はすべて Google Cloud Platform（GCP）上で稼働しています。 これらのインフラ構成とIAM周りを合わせて、全体の7割を Terraform
この記事は新野淳一氏のブログ「Publickey」に掲載された「Dockerコンテナ時代の第二章～Kubernetesの成熟とエコシステム発展の時代」（2020年1月6日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 Dockerの登場により急速に普及をはじめたコンテナ型仮想化の技術は現在、DockerコンテナそのものからKubernetesを軸としたオーケストレーションツールへと主役が移ってきています。 その様子は2017年12月に公開した記事「Dockerコンテナ時代の第一章の終わり、そして第二章の展望など」で紹介しました。 この記事の公開から2年が経過し、現在のコンテナ型仮想化技術は、マイクロサービスやクラウドネイティブなどの文脈とともにエンタープライズな分野でも使われるメインストリームな技術へと確実に進み続けています。 本記事では前記事で描いたDocker
Aug 19, 2020Google announces Cilium & eBPF as the new networking dataplane for GKE Today marks an exciting day for the Cilium community and all Cilium contributors, Google just announced that Cilium has been selected and made available as the new datapath for GKE and Anthos: Today, we’re introducing GKE Dataplane V2, an opinionated dataplane that harnesses the power of eBPF and Cilium, an open sou
ネットワーク サービス スタンダード ティア向け Cloud NAT サポートの一般提供開始のお知らせ | Google Cloud 公式ブログ
※この投稿は米国時間 2023 年 8 月 12 日に、Google Cloud blog に投稿されたものの抄訳です。 Google はこのたび、ネットワーク サービス スタンダード ティア向け Cloud NAT サポートの一般提供を行うことになりました。スタンダード ティアは、Google Cloud リソースから外部システムにインターネット経由でトラフィックを配信します。プレミアムとスタンダードはインターネット上のシステムと Google Cloud インスタンス間の接続性を最適化できる Network Service Tiers です。プレミアム ティアは Google のプレミアム バックボーンでトラフィックを配信し、スタンダード ティアは通常の ISP ネットワークを使用します。スタンダード ティア向け Cloud NAT サポートにより、スタンダード ティアによる費用削減と
Google admits Kubernetes container tech is so complex, it's had to roll out an Autopilot feature to do it all for you
Google admits Kubernetes container tech is so complex, it's had to roll out an Autopilot feature to do it all for you Google has recognised that users struggle to configure Kubernetes correctly and introduced a new Autopilot service in an attempt to simplify deployment and management. Two things everyone knows about Kubernetes are: first, that it has won in the critically important container orche
2017年から開催してきた「明日の開発カンファレンス（通称：アスカン）」。今回は、EM（エンジニアリングマネージャー）の方を招き、開発・エンジニアとの関わりや、組織の中での活動についておうかがいをしました。ここで登壇したのは、株式会社メルカリのエンジニアリングマネージャーである大野晋氏。ICからEMへキャリアチェンジをした経緯、葛藤、失敗、成長について発表しました。全2回。前半は、EMへのキャリア変遷の経緯と、EMとしてふだんから考えていることについて。 IC→EMへキャリア選択をした大野氏 大野晋氏：メルカリの大野晋と申します。今日はこんな機会をいただいたので、私がEMをしている中で大変な思いをしたことや、ずっとエンジニアで来たのでその違いみたいなところ、成長したところを共有できたらなと思います。 先ほどちょっと話がありましたが、IC（Individual Contributor）っても
What we learned after a year of GitLab.com on Kubernetes
What we learned after a year of GitLab.com on Kubernetes It's been one year since we moved GitLab.com to Kubernetes. We unpack the challenges and learnings from this major migration. For about a year now, the infrastructure department has been working on migrating all services that run on GitLab.com to Kubernetes. The effort has not been without challenges, not only with moving services to Kuberne
「Knativeで実現するKubernetes上のサーバーレスアーキテクチャ」の文字起こし #CNTD2019 - Qiita
概要 CloudNative Days2019でお話した「Knativeで実現するKubernetes上のサーバーレスアーキテクチャ」の文字起こしです スライド単体だと情報量が足りなかったりリンクをたどりづらかったりするため、より多くの人にKnativeを知ってもらうために記事にしようと考えました 自己紹介 @toshi0607というTwitterアカウントで発信しています。このセッションに限らずなにかあれば気軽にメンションしてください。 普段はメルペイというメルカリの決済システムを開発している会社でGo、gRPC、GKEのマイクロサービスのバックエンドを開発しています。 開発体制などはこの資料が詳しいです。 メルペイのマイクロサービスの構築と運用 僕はメルペイに入るまでKubernetesを触ったり、個人検証用以外にインフラのコード定義などをしたことがありませんでした。メルペイでは各マイ
Nota株式会社（京都府京都市 代表取締役/CEO：洛西一周 以下、Nota）はこのたび、「Nota Tech Conf 2022」と題した技術領域における取り組みを紹介するオンラインカンファレンスを開催致します。 ▼Nota Tech Conf とは 「Nota Tech Conf 」は、Notaが提供するプロダクトの技術領域での取り組みをお伝えするカンファレンスです。 個人・開発者から研究所、ゲーマーからプロのデザイナー、大きなチームや私たちのような小さなチームまで、世界中の人々を支援し続けるNotaがどのようにサービスを提供し支えているかをご紹介いたします。 3日間にわたるカンファレンスでは、Nota開発部のメンバーが全員登壇。各プロダクトの今後の展望やNotaでの働き方など、テックトーク満載の3日間をお届けします。 --------------------
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Spark on k8s を EKS 上で動かす - Gunosyデータ分析ブログ
2021 年振り返り - yoheimuta’s blog
GKE + Istio + FlaggerによるProgressive Delivery
代表取締役の逝去に関するお知らせ（訃報） | 株式会社トップゲート
GitLab GCPに 移行した（中編） - pixiv inside
Kubernetesとは 概要や、Dockerとの違いを5分で入門 | クラウドエース株式会社
Google Cloud サービスカット学習コンテンツ集 - G-gen Tech Blog
GKE1.26を利用するためgke-gcloud-auth-pluginをインストール
GitLabとKubernetesで作る、自動で起動・停止できるブランチ別環境 - JX通信社エンジニアブログ
K8sデビューしてから4日で小さな本番プロダクトをリリースした話 - JX通信社エンジニアブログ
Cloud Run で Identity-Aware Proxy (IAP) を使う
サーバーレス開発の基本と簡単に使い始められるCloud Runの特徴 | gihyo.jp
アーリーステージで導入したインフラ管理の振り返り - Assured Tech Blog
Kubernetesの登場後、コンテナ型仮想化はどう発展した？ 技術トレンドの変遷を振り返る
Google announces Cilium & eBPF as the new networking dataplane for GKE
ICのままか、EMになるべきか… ソフトウェアエンジニアの僕が悩み抜いて出した答え
Notaの技術領域の取り組みを伝えるカンファレンスイベント「Nota Tech Conf 2022」を開催！