Streamlit × GKE で構築する社内向けツール - enechain Tech Blog
この記事はenechain Advent Calendar 2024の10日目の記事です。 はじめに enechain データサイエンスデスク エンジニアの藤村です。 我々データサイエンスデスクは、電力や燃料に関するデータ分析や予測モデルの構築などの他に、enechainの様々なビジネスをサポートする社内向けツールの開発・運用も行っています。機械学習や数理最適化を活用したアプローチを中心に、最近ではLLMの活用にも取り組んでいます。 本稿では、この取り組みでStreamlitアプリケーションをGKEでホストするに至った経緯や、その運用について紹介します。 なぜ Streamlit なのか 社内の業務を支援するツールを構築する際、常に課題となるのが「人間の判断をどのように介在させるか」という点です。ドメインやアルゴリズムの性質上、自動化が難しい部分も多く、人間の判断を介在させる必要のある場面
KubernetesとPyTorch Lightningによる医療AI開発環境とそのTips - エムスリーテックブログ
こちらはエムスリー Advent Calendar 2024 5日目の記事です。AI・機械学習チームの三浦 (@mamo3gr) が、深層学習に基づく医療AIの開発環境とTipsについてお送りします。 DALL-E 3が生成した「巨大クラスタによるAI開発」のイメージ図 Kubernetesクラスタよる医療AIの開発 モデルの性能改善に注力できるフレームワークPyTorch Lightning デバイス特有のコードを書かなくてよい 学習ログやチェックポイントの保存機能が充実している 細かなユーティリティ関数やクラスの実装がある ハマりポイントとワークアラウンド 学習ログファイルを正しく保存する 学習を継続実行する まとめ We are hiring !! エンジニア採用ページはこちら カジュアル面談もお気軽にどうぞ インターンも常時募集しています Kubernetesクラスタよる医療AIの
3 台の Raspberry Pi で始める自宅 Kubernetes クラスタの構築 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 最近 Raspberry Pi を3台購入し、自宅に Kubernetes クラスタを構築しました。 この記事ではその体験記を共有します。 また、自宅 k8s を構築する際に参考になる記事になる事も目指しています。 モチベーション 仕事で GCP 上で Kubernetes を使ったので、個人で Kubernetes クラスタを構築してさらに学習を深めたいと思いました。 実務ではクラウドサービスを使いますが、維持費が高額です。一日システムを立ち上げておくだけで数千円、一ヶ月では数万円かかってしまいます。 minikube など
マイクロサービス基盤にフルマネージドサービスではなくKubernetesを選択する理由
https://event.cloudnativedays.jp/cnds2024/proposals/731
プライベートの時間は極力削らない。Kubernetesエキスパート青山真也氏のコスパ最高な情報収集術
プライベートの時間は極力削らない。Kubernetesエキスパート青山真也氏のコスパ最高な情報収集術 2024年3月5日 株式会社サイバーエージェント インフラエンジニア 青山真也 (Masaya Aoyama) 2016年、新卒でサイバーエージェントに入社。OpenStackを使ったプライベートクラウドやGKE互換なコンテナプラットフォームをゼロから構築し、国内カンファレンスでのKeynoteに登壇。著書に『Kubernetes完全ガイド』『Kubernetesの知識地図』『みんなのDocker/Kubernetes』。現在はKubernetesやOpenStackなどOSSへのコントリビュート活動をはじめ、CloudNative Days Tokyo Co-chair、CNCF Japan ChapterのOrganizer、Kubernetes Meetup TokyoのOrgani
Kubernetesに対する理解を高めてKubernetesの「わからない」を減らそう
Kubernetes Novice Tokyo #29 で発表したLT資料です イベントURL: https://k8s-novice-jp.connpass.com/event/300438/ 動画URL: https://www.youtube.com/watch?v=WZHDlB8P9_4…
エンジニアは全員おうちKubernetesをやるべし【Part 2：どうやるのか】 - Qiita
ハード面 1台構成 or 複数台構成 複数台構成を取るメリットは大きいものだと以下があります。 1台が不調でも残りのサーバーで処理を継続できる（可用性が高まる） 大量のアクセスを捌ける 前者は、自宅サーバーでは気にしても仕方がないというか、停電やネット回線の障害で簡単に落ちるため、過度に可用性を気にする必要はないと思います。逆に言えば、可用性を気にする場合には、そもそも自宅サーバーはあまり向いていません。電源やネットを普段使いとは別のものを用意して可用性を確保する「ヤバい人」もいますが、そういう人については一旦忘れることにします。 後者に関しては、最初に書いた通り、このシリーズでは考えないことにしています。 と言うわけで、1台構成がお勧めです。 サーバースペック 体感ではメモリは4GBだとギリギリで、ほとんどの人にとって最適なのは6~8GBになると思います。16GBあった方が安心だとは思い
カプコン: Cloud Spanner や GKE を用いて『ストリートファイター6』のためのクロスプレイ プラットフォームを構築 | Google Cloud 公式ブログ
カプコン: Cloud Spanner や GKE を用いて『ストリートファイター6』のためのクロスプレイ プラットフォームを構築 『ストリートファイター』や『バイオハザード』、『モンスターハンター』など、世界中で愛されるゲームシリーズでその名を知られる株式会社カプコン（以下、カプコン）。その最新 AAA タイトル『ストリートファイター6』では、ユーザーのすそ野を広げる意欲的な取り組みを多数実施して注目を集めています。そこに Google Cloud のテクノロジーがどのように役立てられているのか、開発の中核メンバーにお話を伺いました。 利用しているサービス: Cloud Spanner, Memorystore for Redis, Google Kubernetes Engine, Anthos Service Mesh, Cloud Monitoring, Cloud Logging
Argo Workflowsを使った機械学習環境の構築手順 - アダコテック技術ブログ
はじめに テックリードの柿崎です。私たちは、機械学習のパラメータチューニングを効率よく行うため、KubernetesネイティブのワークフローエンジンであるArgo Workflowsを採用しています。この記事では、その導入手順の要点を紹介いたします。 導入の目的 Argo Workflows導入以前は機械学習のパラメータチューニングを行うにあたり以下の機能を独自に実装しており、属人化していました。 パラメータ探索のアルゴリズム インスタンスのスケーリング インスタンスの稼働状況の可視化 ジョブの進行状況の可視化 これらをより柔軟に活用できるようにして、開発、更新サイクルを早めていくことが導入の目的です。 前提条件 Kubernetes(EKS)はすでに構築済みであること Kubernetes、Helmについての基本的な知識があること Argo Workflowsの基本的な知識があること K
Kubernetesソースコードリーディング入門
Kubernetes Novice Tokyo #27 で発表した資料です。 https://k8s-novice-jp.connpass.com/event/293144/ 発表のライブ配信はこちら。 TODO スライドで紹介した参考リンク集: https://bells17.med…
Kubernetesをだいたい理解するまで
インフラ初心者がいきなり実務でKubernetesを使うことになったので、その学習記録✎ 流れとしては、 概念的なところを抑える 実際に手元で動かしてみる です！ また、すでにKubernetesについて書かれたわかりやすい記事がたくさんあるので、本記事はそれらをもとに自分の理解をまとめたものになります。 概念的なこと まずはこれで概要把握 まずは👇を読もう。（ありがたやありがたや...） 僕らは何故Kubernetesを使うのか Kubernetesというものが出てきた背景を、オンプレの時代からどういうふうに変わっていったかわかる KUbernetesの概要がわかる メリデメがわかる Argo CDの例などを用いてどういうふうに使われているのかイメージが付く Kubernetesとは ざっくりいうと、 サービスをコンテナ上で動かすようになったことで起こった、 複数のサーバ上で複数のコン
Elasticsearch運用ノウハウ | メルカリエンジニアリング
こんにちは、メルカリMicroservices SREチームの藤本(@jimo1001)です。 私は現在、Embedded SRE として サーチインフラチームに入り活動しています。このサーチインフラチームは、Elasticsearchを使用した検索基盤を管理し、様々なマイクロサービスに検索機能を提供するチームです。この検索基盤は非常に巨大なプラットフォームで、メルカリ全体のマシンリソースの高い割合を占めており、メルカリの検索を支える非常に重要なものです。私の Embedded SRE としてのミッションは検索基盤の信頼性の向上と自動化を推進することです。 今回は、メルカリの検索基盤で利用している Elasticsearch における運用のノウハウを紹介したいと思います。 Elasticsearch とは Elasticsearch は、Elastic社が開発する Apache Lucen
最も安全なKubernetesアーキテクチャーをデザインする方法
本文の内容は、2022年2月28日現在における、Sysdig Cloud Native Learning Hub上のHow to Design the Most Secure Kubernetes Architecture(https://sysdig.com/learn-cloud-native/kubernetes-security/secure-kubernetes-architecture/) を元に日本語に翻訳・再構成した内容となっております。 Kubernetes環境には、さまざまな形態や規模があります。中には、本質的に他のものよりも安全なものもあります。 言い換えれば、Kubernetesアーキテクチャー（Kubernetes環境を設計する際に選択するアーキテクチャー戦略）は、全体的なセキュリティに重要な影響を与える可能性があるということです。マルチクラスター環境は、すべてを
個人運用k8sクラスタの構成要素の技術選定 - でこてっくろぐ ねお
これは、k8sクラスタを個人で運用する際に行った構成要素の技術選定の記録である。 技術選定の理由を書くのも見るのも楽しい、という心情のもとにここに公開する。 前提知識 以前、こんなエントリを書いた。 bitcoinのfull nodeをAWSでなるべく安く運用してみる - でこてっくろぐ ねお 上記の通り、個人でbitcoinのfull nodeという、状態をバリバリもつサービスを、AWSでのコスト面で最安を狙って作り運用を行っていた。 しかしその後、Oracle Cloudで運用したほうが安くなることに気づいたため引っ越した。 Oracle CloudではARMのVMが4台無料で使えて複数台構成が組め、AWSやGCP同様k8sのマネージドサービスもあり、また仕事でk8sを扱う部署に異動したのもあり、勉強のためk8sクラスタ上で運用することにした。 構成要素 以下の構成要素を選択している。
k8sの各種CDツールを比較する - pospomeのプログラミング日記
k8s のCDツールがいくつかあるので、それらの特徴についてまとめる。 一応CDツールの定義は"k8sにWebアプリケーションをデプロイするツール"を想定しているが、 k8sにおけるデプロイはマニフェストファイルを apply することなので、 そういったものはすべてCDツールとみなして調べた。 すべてのツールをちゃんと調べたわけではないので、ものによってはサラッとした紹介になっている。 Flux Tekton(Tekton Pipeline) Jenkins-X PipeCD GCP Cloud Deploy AWS Code Pipeline Spinnaker Pipeline & Stage 動的なパイプライン Managed Delivery Spinnaker を使いこなせるか? ArgoCD Single Source of Truth(SSOT) 複雑なCDパイプラインは作
Argo CD Image Updater を使用したコンテナイメージの自動更新 - hatappi.blog
背景 プライベートでは web サービスや定期実行されるバッチ、Slack bot や LINE bot などを開発しています。これらはすべて Kubernetes 上で動いておりリリースには Argo CD を使用しています。 アプリケーションは基本別々のリポジトリで管理しており Argo CD が Sync する manifest は１つのリポジトリに格納しています。何かを開発してコンテナイメージの新しいタグを作成した時は manifest を新しいタグに更新する必要があります。 この更新処理は手動で行っても良いのですが、自分はプライベートで開発する時はその作りたいものだけに集中するために自動化できる部分は自動化するようにしています。そのため今までは各リポジトリで新しいタグを作成したタイミングで manifest を管理しているリポジトリを clone してタグを更新するようなスクリプ
Kubernetes の CronJob の急な停止に対応するための Tips - freee Developers Hub
SRE の hatajoe です。 私が所属しているチームでは、これまで数多くのサービスのインフラ基盤を Amazon EKS へ移行してきました。 その過程で多くの乗り越えなければいけない課題に直面して来ましたが、今回は Kubernetes クラスタで安全に CronJob を扱うための Tips を紹介したいと思います。 CronJob CronJob とは、定義したスケジュールに応じて Kubernetes クラスタで実行されるジョブリソースです。 Kubernetes のジョブリソースには Job と CronJob の２種類がありますが、今回は CronJob の話になります。 CronJob は定義したスケジュールに応じて Pod を生成します。そして、ジョブの実際の処理は Pod 内のコンテナで実行されます。 課題背景 ところで、Kubernetes クラスタで稼働中の P
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
アーキテクチャから学ぶKubernetesの全体像
[CNDT2023]イオンがKubernetesを採用してどうなった?![[CNDT2023]イオンがKubernetesを採用してどうなった?](https://cdn-ak-scissors.b.st-hatena.com/image/square/232d90f4a86f989481d2411152264564f65b6a7d/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F33401ff0ea2f4167b78cd63ce4ebf153%2Fslide_0.jpg%3F28156051)
Kubernetes Security
