ピクシブ社エンジニアが語る、機械学習基盤とその技術 「GCPバッチ基盤」「リアルタイムの推論基盤」「ノートブック開発環境」整備の裏側
登壇者の自己紹介とアジェンダの紹介 sugasuga氏：こんにちは。今日は、ピクシブの機械学習基盤に関する発表をいたします。 まずは自己紹介から始めさせてください。自分は、機械学習チームでエンジニアをしているsugasugaといいます。サブで採用・広報活動にも関わっています。最近の趣味は、トレーニングです。 今日お話しすることは、（スライドを示して）こちらを予定しています。機械学習基盤について。そして、基盤で使われている技術について。運用してみて感じたメリットとデメリットについてお話しします。 大規模なデータの効率的な処理、機械学習サービスの展開のしやすさ、効率的な開発などに課題があった 本題に移る前に、導入として、どういったところで機械学習が活用されていて、なぜ機械学習基盤が必要かについてお話しします。 活用されている場面としては、違反検知、レコメンド、広告、3Dなど多岐にわたります。こ
gokartのMLパイプラインをKubernetesで並列分散実行できるライブラリkannonを作った話 - エムスリーテックブログ
初めまして！2023年3月前半にエムスリーのAIチームで10日間インターンに参加していた小栗 (@irungo_ic )です。 インターンでは、エムスリー発の機械学習パイプラインOSSであるgokart をKubernetes上で高速にかつ簡単に実行できるようになるライブラリであるkannon('cannon'と同じ発音！)をゼロから実装し、OSSとして公開しました。 github.com この記事ではkannonの技術的な解説、インターンに参加した感想をお伝えします！ gokartの概要 gokartの抱えていた課題 シングルスレッドでの逐次実行により実行時間が長くなってしまう GKEのリソースを効率的に使えない kannonの概要 kannonの使い方 gokart kannon gokart kannon 補足 kannonのアーキテクチャ kannonの実装 1. Task Que
AWS・GCPとKubernetesの権限まわりの用語を具体例から理解する - JX通信社エンジニアブログ
はじめに TL; DR; 社内の普段はインフラ以外のところを主戦場にしている人向けに、AWS・GCPの権限に関する用語と概念を説明するために書いたものを加筆訂正して公開します AWS・GCPの権限管理は、基本的な概念は似ているが同じ英単語が別の意味でつかわれているのでややこしい 書いてあること 概念の説明と、関係を表す図 EKS・GKEからクラウドリソース *1 を使う時の考え方 書いてないこと 設定のためのコンソール画面のスクショや手順 Kubernetesからクラウドリソースを操作する方法は、以前のブログ「GitHub Actionsで実現する、APIキー不要でGitOps-likeなインフラCI/CD」でTerraformによるコードの例も紹介しているので、あわせて参考にしてみてください 想定読者 AWSはそこそこ使って慣れているけど、GCPにおける権限管理を理解したい人(またはその
ビッグデータ活用時のワークフローの大切さ ZOZO研究所のエンジニアが感じた次元が違う300万画像の処理
ZOZO Technologies Meetup は、「ZOZOテクノロジーズの大規模データ活用に興味のある方」を対象としたイベントです。ZOZO研究所の渡辺氏からは大規模データを対象とした画像検索システムのワークフローについての事例を紹介しました。後半は画像検索のワークフローの流れについて。 画像検索のワークフローの流れ 渡辺慎二郎氏：というところの話になってきて、これがワークフロー、それを毎日のように準備するという仕組みになります。先ほど見せた図で言うと、この部分ですね。 このワークフロー、今回ではComposerというGKEのマネージドサービスを使っています。これの中身、具体的な仕組みは置いておいて、流れをご紹介します。 まずBigQueryから、本日今時点で有効になっている、使える、発売になっている商品情報をダーッと取ってきます。だいたいこれが300万画像ぐらい。その日によって違っ
AWS ECSユーザーからみたGKE再入門 - エムスリーテックブログ
こんにちは、エンジニアリンググループ AI・機械学習チームの安田です。 これは エムスリー Advent Calendar 2020 の22日目の記事です。 今回は、普段AWS ECSを主に使っている私が、GKEをECSとの比較から眺め直します。 読者想定/前提 読者想定 前提 ECSの復習 API Batch ECSのまとめ GKEの確認 API API(k8sのyamlあり) Batch ECSとGKEの比較とGKEの疑問点 ECSとGKEの比較 LB(service) LB(Ingress) スケジューラ(cronjob) まとめ We are hiring! 先日、GKEを業務で触る機会を得た時に苦しみ続けたので、再入門したいと思い立ち今回このネタを調べました。 普段はterraformを用いてAWS ECSとGCP GKEを利用しています。その中でECSは利用歴が長く仕組みがある
GitHub Actionsで実現する、APIキー不要でGitOps-likeなインフラCI/CD - JX通信社エンジニアブログ
※ 今はGitHub ActionsでOIDCが使えるので、本記事の内容は少し古いです。*1 現場のルール等で「インフラを触るワークロードはオンプレでしか動かしてはならない」みたいなルールがある場合には多少参考になるかと思います。 SREのたっち(@TatchNicolas)です。 JX通信社では「インフラチーム」のようなものは存在せず、開発したチームが運用までやるFull-cycleなスタイルを取っています。AWS・GCPリソースの管理も特定のメンバーが担当するのではなく、必要とする人が必要な時に作成・修正等を行います。すると、terraformなどIaCのツールを利用する場合に「今リポジトリにあるコードは実態を正しく反映しているのか」「誰かが矛盾する変更を加えていないか」という問題が発生します。 CIツール上でterraformを実行することで、問題の一部は回避できるかもしれませんが、
GKEとEKS
GKEとEKS Kubernetes meetup 〜オンプレ?クラウド?事例共有会〜 2020/10/08 株式会社ZOZOテクノロジーズ SRE部 MLOps、プラットフォームSRE リーダー、CSIRT、SRE スペシャリスト 瀬尾 直利 Copyright © ZOZO Technologies, Inc.
Mercari Microservices PlatformにおけるKubernetes Cluster移行 | メルカリエンジニアリング
Microservices Platform Teamの@deeeeeeetと@dragon3です． Microservices Platform TeamではGoogle Kubernetes Engine（GKE）をメインのコンポーネントとして利用し，その上にメルカリとメルペイのMicroservicesを動かすための基盤を構築しています．メルカリのMicroservices化のプロジェクト自体は2年ほど前から始めており，GKEも当時に構築したものを今日まで運用し続けてきました． この2年間でGKEからは多くの機能がリリースされました．その中のほとんどはそのまま有効にすることができますが，中にはClusterを作り直す必要があるものもあります．例えばRoutes-based ClusterをVPC-native Clusterに，Zonal ClusterをRegional Clust
クラスタ管理の概要 | Google Kubernetes Engine（GKE） | Google Cloud
フィードバックを送信 クラスタ管理の概要 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 Google Kubernetes Engine（GKE）では、Google Cloud ツール（Google Cloud CLI、Google Cloud コンソールなど）や API を使用してクラスタの構成と特性を設定できます。たとえば、クラスタの作成、更新、削除、ノードの追加、削除を行うことができます。また、Identity and Access Management を使用してクラスタにアクセスできるユーザーを制御します。 クラスタの内部動作を制御するには、Kubernetes API と kubectl コマンドライン インターフェースを使用します。また、Google Cloud Console で、クラスタのさまざまな動作を構成できます。 基本的なクラスタ
Hello Node Kubernetes Codelab
The goal of this codelab is for you to turn your code (a simple Hello World node.js app here) into a replicated application running on Kubernetes. We will show you how to take code that you have developed on your machine, turn it into a Docker container image, and then run that image on Google Kubernetes Engine. Here's a diagram of the various parts in play in this codelab to help you understand h
【連載】Kubernates入門・GKEデプロイと発展的利用 第６回 ~ Google Kubernetes Engineのセットアップとクラスタ作成 ~ - 開発日報
はじめに この連載ではコンテナオーケストレーションツールである、 Kubernatesの使い方を学びます。 今回はGoogle Kubernetes Engineのセットアップを行います。 サンプルコード こちらに順次アップしていきますー。 連載記事一覧 連載記事一覧 Google Cloud SDKのセットアップ SDKのインストール $ brew cask install google-cloud-sdk コンポーネントのバージョンアップ $ gcloud components update gcloudの認証を行います $ gcloud auth login gcloudで操作する対象のプロジェクトIDを設定します。 $ gcloud config set project kube-test-XXXXX デフォルトリージョンを設定します。asia-northeast1-aはGCPの東
【連載】Kubernates入門・GKEデプロイと発展的利用 第３回 ~ ReplicaSetとDeployment ~ - 開発日報
はじめに この連載ではコンテナオーケストレーションツールである、 Kubernatesの使い方を学びます。 今回はReplicasetとDeploymentについて学習します。 サンプルコード こちらに順次アップしていきますー。 連載記事一覧 連載記事一覧 ReplicaSet ReplicaSetは同じPodを複数生成・管理するためのリソースです。一定以上の規模のアプリケーションの場合、同一のPodを複数並行して実行することで可用性を高める必要があります。 ReplicaSetを定義したマニフェストファイルsimple-replicaset.yamlを次のように作成します。 apiVersion: apps/v1 kind: ReplicaSet metadata: name: echo labels: app: echo spec: replicas: 3 selector: matc
Go言語で開発したWebアプリをGCP(GKE)へデプロイして公開する - Qiita
はじめに Go言語で開発したWebアプリ(HTTPによって通信を行うプログラム)を GCPに作成したGKEへデプロイするまでの手順を記載します。 手順実施後のGCPのアーキテクチャはこんな感じです。 GKE(Google Kubernetes Engine)とは GCPで提供されているKubernetes(クーバネティス)ホスティングサービスです。 つまり、GCP上でKubernetesを使用することができます。 Kubernetesとは、1つ以上のコンテナ(独立したアプリケーションの実行環境)から 構成されるクラスターの自動的な管理やスケールを行う、 オーケストレーションツールです。 複数の小さなサービスの連携により１つのサービスを構成する、 いわゆるマイクロサービス環境を実現するにあたり、 Kubernetesはサービスの構成や各役割を持ったクラスターの定義を宣言し、 自動的に管理する
Kubernetes未経験者が GKE の本番リリース――初めてづくしの体験と障害を克服【デブサミ2020】
予期せぬ障害の連続に試行錯誤を重ねながらもついにゴールへ いよいよ本番環境の構築に入っても、使用する GCP サービスに、フルマネージドのインメモリ データストア サービスである Cloud Memorystore が加わったくらいで、基本的には開発環境と変わらなかった。 「他にもモニタリング環境を、独自のツールと時系列データベースであるInfluxDB、イベント監視ツールPrometheus、そしてグラフ表示ツールのGrafanaと組み合わせて構築しました。とはいえ、基本的にマネージドサービスなので、こちらも特に難しい構成にはならず、問題なく無事にリリースできました」（泉水氏） だが、初めてのKubernetes案件を終えて一安心の泉水氏を、突然のアクシデントが襲った。そのインフラを利用するゲームのタイトルがリリースされた途端、予想を上回るアクセスが殺到し、アプリケーションが「502エラ
Kubernetes Operator - Qiita
この記事は リクルートライフスタイル Advent Calendar 2018 の18日目の記事です。 はじめに CETチーム 兼 新規サービス開発を担当している @shotat です。 先週シアトルで KubeCon + CloudNativeCon North America 2018 （以下KubeCon） が開催されました。自分も現地シアトルへ向かい、KubeConに参加してきました。なお、KubeConはキューブ（kjúːb）コンと発音するようです。 KubeConの規模は年々増加傾向にあり、今回は8000人以上のattendeeがいたようで、Kubernetes Communityの盛り上がりを肌で感じることができました。 KubeConではService meshやMachine Learning等様々なテーマが語られていたのですが、中でも CRD(CustomResourc
GKE のアップグレード戦略を改めて確認しよう
この記事は Google Cloud Japan Customer Engineer Advent Calendar 2019 の 3 日目の記事です。 本記事では、GKE を対象に、マスター、ノードのアップグレード戦略について紹介します。11/5 には Surge Upgrade がベータ版としてリリースされましたので、そちらも合わせて紹介します。 GKE のアップグレード戦略Kubernetes は、約 3 ヶ月ごとにマイナーバージョンがリリースされます。また、3 つのマイナーリリースをサポートするというポリシーになっています（ v1.3 がリリースされたタイミングで、 v1.0 はサポートされなくなります）。そのため、Kubernetes を運用するに当たって、Kubernetes を適切にアップグレードしていくことは、必須の作業といえるでしょう。 では、GKE のアップグレードを考
kubectl でのクラスタの切り替え設定 - Qiita
$ gcloud container clusters list NAME LOCATION MASTER_VERSION MASTER_IP MACHINE_TYPE NODE_VERSION NUM_NODES STATUS xxx asia-east1 1.13.7-gke.8 35.221.128.181 n1-standard-2 1.13.7-gke.8 5 RUNNING yyy us-central1 1.13.7-gke.8 35.238.182.245 custom-2-65536-ext 1.13.7-gke.8 1 RUNNING zzz us-central1-a 1.13.7-gke.8 35.225.158.168 n1-standard-1 1.13.7-gke.8 3 RUNNING
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cloud OnBoard: GKE 講座
コストが最適化された Kubernetes アプリケーションを GKE で実行するためのベスト プラクティス | Cloud アーキテクチャ センター | Google Cloud
GKEでクラスタ削除後にもVMインスタンスが残る場合の対処法 – Mehr Sonntag