現場から学ぶMLOps: MonotaROでの実践的アプローチ～オンライン推論編～ - MonotaRO Tech Blog
はじめに こんにちは。MonotaROで機械学習エンジニア兼、Tシャツのモデルを務めている新卒3年目の長澤です！ 最近は健康のためにスポーツをしているのですが、そのスポーツの疲れで日々が辛くなってきました。観戦と自分で身体を動かす方の割合(重み)をバンディットを使ってうまく最適化していきたいこの頃です。 今回は、自分がここ1,2年(2023~2024)で取り組んできたMonotaROにおけるMLOpsの取り組みについて、実例を交えながら紹介します。MLOpsの実例はあまり世の中に出回っていないので、一つの事例として読んでもらえれば嬉しいです。 はじめに この記事で紹介すること この記事で紹介しないこと MonotaROにおける機械学習エンジニア パーソナライズドランキングとは MLOpsに取り組むにあたっての背景と課題 MLOpsのプロジェクトスタート時 MLOpsとりあえず始めてみる期
「Self-hosted GitHub Actions runners in AWS CodeBuild」を使ったバッチ実行基盤 - エス・エム・エス エンジニア テックブログ
お疲れ様です、SREの西田 ( @k_bigwheel ) です。 最近、バッチ処理を実行するための新しい基盤を構築したので、この記事ではそれの紹介をしたいと思います。 少々前提の説明を丁寧にやりすぎてしまったので、作ったものをまず見たいという方は「構築したバッチ実行基盤のアーキテクチャ図と概要」の項目へジャンプしてください。 バッチ実行基盤とは バッチジョブ、バッチ処理のための仕組みは、多くのWebサービスで設けられていると思います。 とてもプリミティブなものであれば、Webアプリが動いているEC2インスタンス/コンテナにログインして rake task ... などを実行するパターンが典型でしょう。 もう少し複雑になってくるとAWS CodeBuildとEventBridgeを組み合わせてサーバレスに定期実行したり、更に複雑な例ではApache AirflowやArgo Workflo
はじめに こんにちは。プライベートクラウドの開発運用、およびOSPOを兼任している早川です。 KubeDay JapanはCloud Native Computing Foundation（以下、CNCF）主催の、Kubernetesを中心としたクラウドネイティブ技術に関するカンファレンスです。 KubeDay Japan 2024（外部サイト） ご存じのとおり、LINEヤフーは旧LINE、旧ヤフーの方向性を引き継ぎ、オープンソースのテクノロジーとコミュニティに積極的に投資しています。そして、それはクラウドネイティブの分野においても同様です。去る8月27日に開催されたKubeDay Japanにおいては、スポンサーシップの提供とブース出展、社員からの2件の登壇と、イベントの盛り上がりをお手伝いさせていただきました。 この記事では、そんなLINEヤフーによるKubeDay Japan参加の様
クラウドネイティブについて学ぼう!では、クラウドとコンテナセキュリティの主要な要素について基礎的な理解を提供する記事を公開しています。 クラウドネイティブアプリケーション保護プラットフォーム（CNAPP）とは？ CNAPPは、オールインワンのクラウドセキュリティソリューションです。クラウドベースのアプリケーションとインフラストラクチャを保護し、管理の一元化、脅威の検知、インシデント対応機能を提供します。
開発期間10年以上！ 個人開発のモチベーションを「三次元空間で文字を書くVR/AR対応テキストエディタ」の開発者に聞く - Findy Engineer Lab
仕事とは違い、作りたいものを好きなように作れるのが個人開発の魅力のひとつ。どこまで時間をかけるのかも、細部に凝るかも、すべては自分次第です。ただその一方で、完成までモチベーションを保つことに苦労される方も少なくないのではないでしょうか。 個人開発者のmitomasanさん（@mitomasan）は、趣味の一環としてテキストエディタ「炊紙（かしきし）」を開発しています。その開発期間は、なんと10年以上。「三次元空間で文字を編集する」というコンセプトを追求し続けているのです。 「炊紙」とはどんなテキストエディタなのか。そしてmitomasanさんが個人開発を続けるモチベーションは。mitomasanさんに話を伺うと、個人開発を楽しむヒントが見えてきました。 文章を三次元空間に浮かべて編集するテキストエディタ ――まずはmitomasanさんが開発されている「炊紙」について教えてください。画面を
はじめに kubernetes の ConfigMap/Secret を Pod に Volume としてマウントしている場合、ConfigMap/Secret を修正すると Pod の Volume に自動的に反映される事は良く知られている。 しかし、その反映に 1 分以上かかる事はあまり知られていないのではないだろうか？[1] すみません、ちょっとだけ（？）盛りました。必ず 1 分以上かかるわけでは無く、運が良ければ 1 分切る事もある。が、運が悪いと 1 分半かかることもある。 と言うわけで、まずは実際反映に 1 分以上かかったりすることを確認するちょっとした実験を行い、その後遅い理由を解説する。また、併せて簡単な対処方法も紹介したいと思う。 ホントにそんなに遅いの？ 遅いことを確認するために以下のようなマニフェストを用意する。 apiVersion: v1 kind: Config
【Sansan Tech Talk】研究開発部のプラットフォーム戦略 〜マルチプロダクト環境における課題と展望〜 - Sansan Tech Blog
こんにちは、Sansan Engineering Unit 部長の笹川裕人です。今回で7回目を迎える「Sansan Tech Talk」では、Sansanのテックリードが日々取り組んでいる技術的な課題や挑戦を深掘りしてお届けしています。今回は、研究開発部で活躍するWebアプリエンジニアの新井和弥にインタビューしました。 ▼連載記事はこちら buildersbox.corp-sansan.com （写真左から）研究開発部 新井 和弥、Sansan Engineering Unit 部長 笹川 裕人 笹川：今日は研究開発部の新井さんにお越しいただきました。新井さん、自己紹介をお願いできますか。 新井：よろしくお願いします、新井と申します。現在、技術本部研究開発部のArchitectグループにあるML Platformチームでリーダーを務めています。Sansan株式会社には約2年半前に中途入社し
関連キーワード アプリケーション開発 | クラウド運用管理 | 運用管理 | サーバ Amazon Web Services（AWS）やMicrosoft、Googleといった主要クラウドサービスベンダーは「サーバレスコンピューティング」のサービス群を拡充してきた。さまざまなサーバレスコンピューティングサービスがあるだけに、「何ができるのか」が理解しにくくなることがある。3大クラウドサービスの具体例を基に、どのようなサーバレスコンピューティングがあるのかを押さえておこう。 AWS、Google、Microsoftの「サーバレス」で何ができる？ 併せて読みたいお薦め記事 サーバレスについて詳しく解説 AWS、Microsoft、Google「3大サーバレス」の違いとは？ クラウド“高額請求”の謎「サーバレス」が一瞬にして高くなる原因とは サーバレスコンピューティングが活用される領域として、以
Kubernetes Meetup Tokyo #67 https://k8sjp.connpass.com/event/330635/
k6 Operator を利用して Kubernetes 上に導入した k6 と Datadog を連携してみる - 東京ガス内製開発チーム Tech Blog
みなさんこんにちは！内製開発チームの杉山です！ だんだん寒さが本格的になってきましたね。寒いといえば（？）、私とSREチームの迫田は、11月にソルトレイクシティで行われる KubeCon + CloudNativeCon NA 2024 に参加する予定です！初めての KubeCon, とても楽しみです…！11月のソルトレイクシティはとっても寒そうですね。現地に行かれる方は、ぜひ仲良くしていただけたら嬉しいです🙇♂️ さて、今回は負荷試験の環境を Amazon EKS 上に構築して Datadog と連携したので、そのことについて書いてみます！ xk6 拡張機能が無いと連携出来ないということで、そのあたりも振り返ってみます。 負荷試験実施にあたって k6 Operator とは Datadog との連携 xk6 extensions の利用 ここまでの結果・・・ まとめ 余談・・・ 負荷
本文の内容は、2022年5月3日にNicholas Langが投稿したブログCompromising Read-Only Containers with Fileless Malware(https://sysdig.com/blog/containers-read-only-fileless-malware/）を元に日本語に翻訳・再構成した内容となっております。 コンテナには、通常のホストでは単純に利用できないセキュリティ機能が多数用意されています。その1つが、コンテナのルートファイルシステムを読み取り専用にする機能です。ファイルシステムを変更できないようにすることで、攻撃者がマルウェアの実行ファイルをディスクに書き込むのを防ぐことができます。ほとんどの攻撃は、ファイルの書き込みに依存して動作しますが、巧妙なケースでは、悪意のある動作の一部としてファイルレスマルウェアを使用します。また、
Raspberry Pi 4(1台)でKubernetes環境を構築 (Raspberry Pi 4 + Ubuntu 19.10 + MicroK8s) - Qiita
Raspberry Pi でKubernetes(k8s)環境構築を検索 Raspberry Piを使用してKubernetes(k8s)のインストールする記事を探したところ、 複数のRaspberry Piを使用してKubernetesのクラスタ環境を作る記事をいくつか見ました。 Raspberry Pi 4 でおうちKubernetesを作ろう（Raspbian Buster Lite対応版） ラズパイ4で作るディスプレイ付きKubernetesクラスター ラズパイでKubernetesクラスタを構築する etc... 一家に一台 Kubernetesクラスター。憧れますよね(●´ω｀●) Raspberry Pi 1台で簡単にKubernetes(k8s) Raspberry Pi 1台でKubernetes環境を作りたかったため、もう少し調べてみました。 すると、 Ubuntu 1
読んだものIronies of automation Lisanne Bainbridge, Ironies of automation, Automatica, Volume 19, Issue 6, 1983, Pages 775-779, ISSN 0005-1098, https://doi.org/10.1016/0005-1098(83)90046-8. リンク先から$25でPDFが読めました。 きっかけプラットフォーム エンジニアリングに関する5つの誤解 (続編もあって全部で10の誤解がある)の中の 誤解: プラットフォーム エンジニアリングとは「単なる自動化」のことであるという章で、自動化とプラットフォームエンジニアリングの関係が述べられていました。 そこで 自動化で、解決がより困難な問題が新たに発生してしまうこともあります。したがって、自動化の品質ではなく、シグナルの誤解
登壇者 こん / Frontend Engineer / 株式会社ヤプリ 株式会社ヤプリのフロントエンドエンジニアです。現在はマネージャー1年生をしながら、アプリ開発プラットフォームYappliを開発しています。てぃらの🦖という猫を飼っています。 Vue Fes Japan 2024では、『普通のエンジニアが頑張って30万行のNuxt3バージョンアップした話』を発表します。 X: https://x.com/k0n_karin 姫野 滉盛 / Frontend Engineer / 株式会社ハイヤールー 前職のドワンゴにてニコニコ生放送のWebフロントエンド開発を中心に担当。BFF（Backend For Frontend）をKubernetes上で稼働させるためのノウハウをハンドブックとして公開するだけでなく、OSSでTypeScript向けのOpenAPI Code Generato
理解しておくべき考え方 リリースペース まばらですが，だいたい1ヶ月に1回くらいのペースでマイナーバージョンがリリースされています。 機能や仕様が少しずつ変わり，以前のバージョンで作ったカスタムリソースがそのまま使えないことがあります。（この記事の内容も近いうちに古くなると思われます。） 採用したバージョンのまま塩漬けすると，新しいバージョンがどんどんリリースされて設定方法も変わるので，定期的にアップデートする運用を検討したほうがよさそうです。 Karpenter 自体のアップデート Karpenter のコントローラー本体と CRD は別のインストール単位（Helm チャート）で提供されています（Helm 公式の Method 2）。 従来はコントローラーの Helm チャートに CRD が含まれていましたが，CRD のみ初回インストール以降の変更は反映されず，手動で最新の CRD を適
GO TechTalk #29 タクシーアプリ『GO』のログ解析の民主化を促進するStreamlitの活用 - GO Tech Blog
2024年9月17日に「GO TechTalk #29 タクシーアプリ『GO』のログ解析の民主化を促進するStreamlitの活用」（connpass）を開催しました。 本記事では当日の内容を簡単に紹介します。 GO TechTalkとは？ GO TechTalkは、GO株式会社のエンジニアたちが、タクシーアプリ『GO』をはじめとしたサービスやプロダクトを開発する中で得た技術的ナレッジを共有するイベントです。 タクシーアプリ『GO』では、ログ解析やデータ分析を通じてサービスの改善や品質向上を図っています。しかし、マイクロサービス構成や多様なログフォーマットが、分析のハードルを高めていました。 29回目となる今回は、Streamlitを用いたログ解析環境の構築や、その運用・改善について、得られた知見を具体的な事例を交えつつ紹介しました。 登壇者紹介 今回はこちらのメンバーが登壇しました。 デ
go-vargo - BOOTH
【PDF版】Minikubeコントリビュート体験記(¥ 500), 【物理本版】実践入門Kubernetes カスタムコントローラへの道(¥ 1,500), 【PDF版】実践入門Kubernetes カスタムコントローラへの道(¥ 1,500), 【ダウンロードカード用】実践入門Kubernetes カスタムコントローラへの道(¥ 0), 【無料サンプル】実践入門Kubernetes カスタムコントローラへの道(¥ 0), 自作アプリをHelm化して簡単デプロイ(¥ 1,000), 【ダウンロードカード用】自作アプリをHelm化して簡単デプロイ(¥ 0),
HashiCorp Vaultのメモ
アイデンティティベースのシークレット及び暗号管理システム ユースケース シークレット管理 シークレットを中央保管、管理、アプリ・システム・インフラへのデプロイ KV Secret Engine Database Credentials Kubernetes Secret 暗号化サービス ソーシャルセキュリティナンバー、クレジットカード番号、その他コンプライアンス情報のセキュアな管理 Transit Secrets Engine Transform Secrets Engine Tokenization 鍵管理 様々なKMSプロバイダの暗号鍵を画一的に配布とライフサイクル管理するワークフロー KMIP Secrets Engine Key Management Secrets Engine PKI 元資料: https://developer.hashicorp.com/vault/docs
こんにちは。 株式会社ソーシャルPLUSでインフラエンジニアをやっている、あーるです。 主にAWS、Terraform、kubernetes周りのことを書いていこうと思っています。 概要 弊社では長らくAWSシングルアカウント構成（1アカウントにStaging/Productionが同居）を採用していました。 しかし、この構成では誤操作によるリソースの停止や削除のリスクが高まり、また、コストの管理が難しいといった課題が生じていました。 これらの課題を解消するため、既存のアカウントのStagingリソースを、新しく作成したAWSアカウントに移行する作業を行っています。 本記事ではその際に発生した新旧アカウントで利用可能なアベイラビリティーゾーン（AZ）が異なる問題に対処し、Terraformコードを新旧アカウントで共通に保つための実装について述べます。 動作環境 Terraform v1.6
この記事について KubernetesにGrafana Lokiをインストールしたのでメモを残す。 前提条件 Kubernetesクラスタは構築済み kubectl, helm導入済み Kubernetesにおけるログ 以下のKubernetesの公式ドキュメントに詳しく書かれている。 Podのログは、kubectl logs <pod name>で出力されるが、 これは、Podが稼働しているノードの/var/logの下に保存されている。 （kubernetesの構成要素のうち、非コンテナのものは、/var/logに保存されないものもあるが、今回は割愛。） KubernetesではPodが終了するとログも消去するため、ログを永続化するためには自前でソリューションを導入しなければならない。 今回は、Grafana + Grafana Loki + Promtailでこれを実現する。 Graf
組織におけるオブザーバビリティの成熟度
成功者がどのようにNew Relicを使用してKubernetesのパフォーマンスを4倍に向上させ、拡張性とスループットを改善したかをご覧ください。
この記事で学ぶこと サンプルパイプラインを構築して実行する 基本的なコンポーネントとパイプラインの書き方を学ぶ なんの紹介をするのか:VertexAI Pipelines KubeFlowはコンテナオーケストレーションシステムであるKubernetes上で稼働し、MLOps Toolkitを提供するOSSプラットフォームで、Kubeflow Pipelinesはその中のMLパイプライン機能を提供しています。 今回紹介するVertexAI Pipelinesは概ねVertex AI上で提供されるKubeflow Pipelines(kfp)のマネージドサービスと認識して良いでしょう。(TFXも使用できますが本記事ではkfpを使用します。) Kubernetesの管理に工数を割くことなく、Kubeflow Pipelinesの機能を使用できるため、データサイエンティストやMLエンジニアのみでM
![[連載 #1] Vertex AI Pipelinesの使い方(Kubeflow Pipelines v2)](https://cdn-ak-scissors.b.st-hatena.com/image/square/184f185f51b84d072a5d00c834fddadda8aa1d06/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--FAVRWdzz--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255B%2525E9%252580%2525A3%2525E8%2525BC%252589%252520%2525231%25255D%252520Vertex%252520AI%252520Pipelines%2525E3%252581%2525AE%2525E4%2525BD%2525BF%2525E3%252581%252584%2525E6%252596%2525B9%252528Kubeflow%252520Pipelines%252520v2%252529%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3ARichard_R%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzgyYzNmYzViN2IuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 今年の6月にKCNA-JPを取得したのですが、受験するにあたりKCNA-JPの情報が全然なく、学習方法や受験方法を調べるのに苦労しました。なので、今後受験する人の助けに少しでもなればと思い、本記事を執筆致します。 1. 試験について この記事を読んで頂いている方は既にご存知かもしれませんが、KCNA-JPの概要を始めにご説明します。 1-1. 試験概要 KCNA-JPは認定Kubernetes クラウドネイティブアソシエイトの略称で、The Linux Foundationが提供する試験の日本語版になります。 問題数: 60問（選択式）
ArgoCD Pull Request Generatorを使ってプルリクエスト毎に環境を構築する - tom-256.log
概要 前提 使用ツール 設計 ワークフロー Application Setの実装イメージ ポイント 一意なリソースを作成する イメージの動的な更新 Virtual Serviceによるリクエスト制御 まとめ 概要 ArgoCDを使ってプルリクエスト毎にインフラ環境を起動したのでメモ argo-cd.readthedocs.io 前提 使用ツール Kubernets Istio ArgoCD Helm aqua.yamlの抜粋 - name: istio/istio/istioctl@1.17.2 - name: kubernetes/kubectl@v1.26.3 - name: argoproj/argo-cd@v2.6.7 - name: helm/helm@v3.11.2 設計 Pull Request毎にService,Deployment etcを構築する Pull Reques
ソーシャルエンタープライズとして事業を通して社会課題解決に取り組む株式会社LIFULLには、業界の常識を変えたい、世の中に新しい仕組みをつくりたい、という高い志をもつ同志たちが集まっています。 LIFULLの描く未来の実現や個人が解決したい社会課題への取り組みなど、多様なLIFULLメンバーのこれまでの「挑戦」と「これから実現したい未来」を聞く、シリーズ「LIFULL革進のリーダー」。今回はテクノロジー本部 シニアプリンシパルエンジニアとして活躍する相原 魁に話を聞きます。 新卒で入社して4年目にLIFULLの屋台骨となるプラットフォーム「KEEL」を独自開発。事業基盤ユニットKEELグループの相原は、高い技術力はもちろんのこと、成果を出す実行力と未来を見据えたロジカルなキャリア戦略を兼ね備えたソフトウェアエンジニアです。社内のエンジニアで知らぬ人はいないほど多くの実績を重ねてきましたが、
ペアーズの AWS 生成 AI 事例 : Amazon Bedrock による障害対応の自動化と効率化 | Amazon Web Services
Amazon Web Services ブログ ペアーズの AWS 生成 AI 事例 : Amazon Bedrock による障害対応の自動化と効率化 本ブログは、株式会社エウレカと Amazon Web Services Japan が共同で執筆しました。 背景と概要 Pairs（ペアーズ）は、株式会社エウレカが運営する恋活・婚活のマッチングアプリです。大規模なユーザーベースを持つマッチングサービスであり、システムの安定稼働が非常に重要です。 多くのユーザーにとって、マッチングした後、ペアーズが実際に会うときの唯一の連絡手段となっています。そのため、障害が発生するとユーザー同士の連絡が取れなくなるので、迅速に対応を行い、再発防止のためのナレッジを貯める必要があります。過去には、障害発生時の対応に多大な時間とリソースを費やしてきました。特に、障害対応の指揮を取るコマンダーの責務が多すぎるこ
Wantedly Tech Night 〜サービスを支えるインフラ/SRE技術〜 (2024/11/20 19:00〜)
※当日予告なく変更になる可能性がございます。 発表者 巨畠 和樹 @donkomura_ Infra Squad / インフラエンジニア 出版・インターネット領域でクラウドネイティブなシステムの運用・開発に従事した後、2024年9月にウォンテッドリー株式会社に入社。Kubernetes を中心としたインフラ基盤や監視基盤の運用・開発を行っている。 Wantedly Profile : https://www.wantedly.com/id/obata_kazuki 登壇タイトル：ウォンテッドリーのインフラチームに加わってみて 登壇内容：ウォンテッドリー株式会社に join して2ヶ月半が経過した私の経験を踏まえて、外からみた Wantedly と内側からみた Wantedly の違いや技術的な課題についてお話します。特に直近で取り組んだ SLO におけるバーンレート急増への対応やオブザーバ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LINEヤフーエンジニアによるKubeDay Japan 2024参加レポート
クラウドネイティブを学ぼう
ConfigMap/Secret の修正が Pod に反映されるまでには 1 分以上かかる
いまさら聞けない「サーバレス」で何ができる？ 3大クラウドで丸分かり
kube-scheduler: from 101 to the frontier
ファイルレスマルウェアによるRead-Only コンテナへの侵害
⚙️ Ironies of Automationを読んだ感想 | Happy developing
Vue Fes Japan 2024 After Talk (2024/10/29 19:00〜)
Karpenter を Amazon EKS で使う | sreake.com | 株式会社スリーシェイク
AWSマルチアカウント環境下のTerraformにおける、ダイナミックに切り替え可能なAZの実装方法
KubernetesにGrafana Lokiをインストールする - Qiita
[連載 #1] Vertex AI Pipelinesの使い方(Kubeflow Pipelines v2)
KCNA-JPに合格したが、一番難しいのは受験するまでだった話 - Qiita
ソフトウェアエンジニアリングは複雑だ、なんてない。｜LIFULL STORIES