「あるサービス用に開発した仕組みを全社共通の仕組みに変える」といったアプローチは決して珍しくない。一から仕組みを構築するよりは、先行事例としてうまくいっているものを流用したり機能拡張させたりする方が失敗は少ないからだ。 ただ、特定の目的に合わせて作った仕組みに汎用（はんよう）性を持たせることは簡単ではない。関係者なら誰でも使えるように環境を整備する必要があるし、運用の方法も全社での利用に合わせて変更しなければならない。 Cloud Operator Days Tokyo 2022のセッション「DMMプラットフォーム ゼロから始めるKubernetes運用 課題と改善」でDMMのpospome（ぽすぽめ）氏（マイクロサービスアーキテクトグループ SRE＜Site Reliability Engineering＞チーム）は、そうした「別の目的で構築された仕組み」の運用を引き継ぐときに起きた課題
[レポート] 「eBPFってなんだ？」というタイトルの New Relic のセッションを聴講しました #devio2022 | DevelopersIO
eBPF ってご存じでしょうか！（挨拶 eBPF はざっくりいうと、アプリケーションを含む Linux OS 内の動作を横から観測できる仕組みで、近年注目されることも多くなった技術です。最近 (?) Windows がサポートを開始したことも、記憶に新しいかたもいらっしゃるかと。 その仕組み上、セキュリティや開発（デバッギング）目的に使われることも多いですが、可観測性 (オブザーバビリティ) 目的としてみても非常に強力なものです。 本セッションはその可観測性プラットフォーム製品である New Relic が eBPF とどう関係しているか、 24 分ほどのスリムなセッションで、デモを交えてがっつり説明して頂けました。 なお、クラスメソッドがお送りする DevelopersIO 2022 イベントの全セッションはこちらから参照可能です： 以下、簡単にレポートします。 動画 (24 分) Yo
![[レポート] 「eBPFってなんだ？」というタイトルの New Relic のセッションを聴講しました #devio2022 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/25984aafb6b7072ac6be07cc99b912fd69769beb/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F07%2F202207-report-ebpf-newrelic-devio22_eyecatch.png)
DeNAがデータプラットフォームで直面した課題と克服の取り組み
はじめにこんにちは。この記事はDeNAの小口（Rikiya Oguchi）と長谷川（Ryoji Hasegawa）がお届けします。 小口はゲーム事業部の分析部データエンジニアリンググループの所属で、長谷川は全社共通部門である分析推進部の所属です。ゲーム事業部と全社部門で所属は違いますが、近しいミッションのもと、普段から密に連携して仕事をしています。 DeNAでは現在、データプラットフォームの刷新を進めています。この記事では、そのプロジェクトについて、以下の流れでご紹介します。 現行データプラットフォームの背景と概要データプラットフォーム構築後の環境変化現行データプラットフォームが抱える課題現行組織が抱える課題データプラットフォームの刷新刷新後のシステム構成組織体制の刷新我々と同じようにデータプラットフォームの構築・運用に携わっている方々や、データプラットフォームを利用されている方々、特に、
Beatrust で SRE をやっている Yuta（中川 裕太）です．運用がラクにできように色々と改善したり，セキュリティ向上したり，インフラ作ったり API 開発したりしています． 今回のブログでは，Google App Engine (GAE) から Google Kubernetes Engine (GKE) Autopliot へ移行し半年間運用してみて感じたメリットやハマりポイントについて紹介します． モチベーション Beatrust では初期立ち上げの開発コストを下げるため，もともと GAE を用いて開発運用してきました．様々なお客様にご利用いただく中で，嬉しいことに今後 10 倍，100 倍のユーザ数成長が見込めるようになってきました．そういった状況下で以下のような GAE の課題も顕在化しており，インフラの抜本的見直しを実施する必要がありました． GAE では Auto
私たちはKubernetes SchedulerにWasm拡張の夢を見るか | メルカリエンジニアリング
この記事はMercari Advent Calendar 2022の21日目の記事です。 こんにちは。メルカリのPlatform Infraチームで働いている @sanposhiho といいます。 個人的にKubernetesやその周辺のOSSにコントリビュートをしていて、特にKubernetesのコントロールプレーンのコンポーネントのうちの一つであるスケジューラー周りを触ってることが多いです。 この記事では、現状のスケジューラーにおける拡張性の課題と、スケジューラーに現代の汎用バイナリとも言えるWasm（WebAssembly）ランタイムを通した拡張性を持たせることができるのかどうかを検証してみます。 Kubernetes Scheduler とは スケジューラーはPodをどのNodeで実行するかを決定しているコンポーネントです。 その時の様々なリソースの状況を見たり、ユーザーが指定した
先日、Next.jsのISR（Incremental Static Regeneration）について書きました。 ISRは非常に強力な機能なのですが、セルフホスティングでNext.jsを動かす場合には色々と使うのが難しかったりします。この記事ではその理由とCDNを使ってISRと似たような挙動を実現する方法を紹介します。 Next.jsのISRをVercel以外で動かすのは難しい Vercelは自社でメンテナンスしているNext.jsを簡単にデプロイできることを大きな強みとしています。Vercelにデプロイする場合、ソースコード上で決められた書き方さえすれば、Vercel側の追加設定なしでISRを利用できます。 しかし、Vercel以外のプラットフォームにデプロイするとなると途端に話がややこしくなります。 Next.jsのISRはキャッシュしたHTMLをファイルシステムに書き込む仕様になっ
オープンソースのKubernetes統合運用管理ツール「Lens」、Mirantisが買収し主要スポンサーになったと発表
オープンソースのKubernetes統合運用管理ツール「Lens」、Mirantisが買収し主要スポンサーになったと発表 Mirantisは2019年にDocker社からDocker Enterprise製品群を取得し、エンタープライズ向けのコンテナ製品市場に参入しています。 そのMirantisは8月14日、Kubernetesの統合運用管理ツール「Lens」を買収したことを発表しました。 [News] We're beyond excited to announce that Mirantis has acquired Lens, the world’s most popular #Kubernetes IDE, to simplify app development for Amazon EKS, Google GKE, Microsoft AKS, and on-prem Clou
データチームの@komi_edtr_1230です。 突然ですが、heyがメインで使ってるプログラミング言語は何か知っていますでしょうか？ heyはECと決済、予約など複数事業の事業を展開しているのですが、ECと予約はRuby (+ Rails)で決済はJavaを使っています。 また、アカウント共通基盤ではGoを使っています。 今回データチームでは事業成績を日次でSlackに通知してくれるアプリをRustで開発しました。 この記事ではどのようにして開発を進めたのか、ツラいポイントはなんだったか、何が良かったかなどについてまとめます。 何を作ったのか 今回作ったSlackアプリはどのような要件を抱えていたかというと、 様々な項目についてのデータを取得 Slackに投稿できるようJSONを整形 日次で稼働する(CRON Job) というような具合でした。 現在heyのSlackでは、以下のように
Googleが作った分散アプリケーション基盤、Borgの論文を読み解く -導入編- - inductor's blog
はじめに こんにちは。inductorです。 今日のエントリーはタイトルの通りです。 BorgはGoogleが持つアプリケーション実行基盤で、Google CloudにおいてはGKEのマスターノードやGoogle App Engineなどが実際に動くインフラとしても使われています。 また、話題のKubernetesの元になったGoogle Insideなプロジェクトとしても有名かとおもいます。 ツイッターで誰かが「Borgの論文を誰か日本語で解説してほしい」と言っていたのを見かけたのを見かけたので、論文を読んで実際に中身を紐解いてみたいなと思いました。 元論文はこちらです ai.google 何を書くのか 自分は実はBorgの論文をきちんと読み込んだことはないため、時間を掛けて何回かに分けてやってみようと思っています。 実は、Borgの解説自体は他の方々もやっているようで、僕が改めてやる意
こんにちは、Assured事業部の岩松です。先日、Visionalグループとしてクラウドリスク評価「Assured(アシュアード)」を正式にリリースしました。本記事ではこの新規事業がどのように仮説検証を進めてきたのか、技術観点でどのような取り組みをしてきたのかご紹介します。ここで紹介する技術や仕組みは、新規事業という文脈において「やらなくても良いのではないか」「悪手なのではないか」と感じられるものもあるかもしれません。 Startups are very counterintuitive. ~ Before the Startup 「スタートアップは極めて直感に反する」というY Combinator創業者Paul Grahamの言葉通り、スタートアップもしくは急成長を目指す新規事業においては、一見うまくいかないと判断される反直感的な選択が正しい場合も多いのではないかと考えています。そこで「
こんにちは、上野です。 本記事ではGoogle Cloudの認定試験について紹介します。AWSの認定試験に関してはNRIネットコムのブログでも多く紹介されており、取得されている方も多いと思います。私自身も最初はAWSの認定資格を取得し、その後Google Cloudの認定資格を取得しています。私と同じようにAWS→Google Cloudの認定試験を受けるという順番の方もいるのかなと思いまして、AWS認定試験をよく知っている前提でその違いも含めて紹介していきたいと思います。 Google Cloudの認定資格 現時点では、以下のとおり11個の認定資格が存在します。 詳細は公式ページもご確認ください。 私自身は7個の認定を取得しています。（あと4個です。） 区分 資格名 受験料 言語 Foundational Cloud Digital Leader $99 日本語/英語 Associate
こんにちは、インフラの天津です。 今日はTerraformのディレクトリ構成について書きたいと思います。 きっかけ 謝辞 ディレクトリ構成における現在の課題 先に結論 弊社の状況 インフラ Terraformの利用状況 異なる環境へ対応するディレクトリ構成パターン パターン１．環境分離パターン パターン２．workspace利用パターン パターン３．環境ごと分離 + module利用パターン コンポーネント分割のパターン では何を選ぶべきなのか？ 終わりに きっかけ 現在、私が所属しているチームでは社内にTerraformを含むInfrastructure as Codeを 普及させるための活動を行っています。 チームの紹介については過去のブログを参照いただければ幸いです。 blog.engineer.adways.net blog.engineer.adways.net その際に、「Te
こんにちは。CADDiのAI LabでMLOpsエンジニアをやっている中村遵介です。 MLOpsチームは今から3ヶ月前に立ち上がったばかりの新しいチームなのですが、その前身としてAPI基盤を作っていた時期があったので、そこで得られた知見を書いていこうと思います。 背景 CADDiのAI Labは2021年の12月に立ち上がった今月1才になったばかりの組織です。その若さにも関わらず、日々有用なMLモデルが作成されていっています。 そのような中で、「新しく作ったMLモデルを素早くユーザにデリバリーしたい」という話が上がるようになりました。ここでいうユーザとはCADDi社員や社内システム、公開アプリケーションなどを指します。 そのため、AI Lab内で簡単に使用できるAPI基盤を作成することにしました。具体的には以下の体験を作ることを目指しました。 開発者に提供するAPIデプロイ体験 推論コード
関連キーワード Amazon Web Services | Microsoft Azure | Google | クラウド運用管理 「Amazon Web Services」（AWS）や「Microsoft Azure」「Google Cloud Platform」（GCP）の3大クラウドサービス群で、2019年11月にサービスの低下や停止が相次いだ。何が起こったのか。 AWSの各サービスの稼働状況を示すステータスページ「AWS Service Health Dashboard」によると、AWSのフランクフルトのリージョン（データセンターの設置地域）において2019年11月11日（現地時間、以下同じ）に障害が発生した。障害が発生したサービスは仮想マシン（VM）サービス「Amazon Elastic Compute Cloud」（Amazon EC2）とリレーショナルデータベースサービス「A
さよならSpinnakerよろしくGitOps
MF KESSAIとGKEへのDeployの歴史 Spinnaker導入によるオートメーション革命時代の幕開け Spinnaker導入後のツラミ 解決したいこと＆理想 GitOpsの採用と理由 GitOpsの手段としてCloud Builderを選択した理由 Gitops用のコード大公開 なんだかんだJenkins時代（2017/03 ~ 2019/04） Circle CIでBuild & Push Jenkins on GKEでポチッと Spinnakerによるオートメーション革命時代（2019/04 ~ 2020/05） CircleCI or Cloud BuilderでBuild & Push Spinnakerで自動デプロイ Gitops: 僕たちは最初からこれが理想だった（2020/05 ~ 現在） Cloud BuilderでBuild & Push GithubでAppr
Google Cloud Next '22で発表された全 123 項目 | Google Cloud 公式ブログ
※この投稿は米国時間 2022 年 10 月 15 日に、Google Cloud blog に投稿されたものの抄訳です。 今週、世界中の都市で Google Cloud Next '22を開催し、皆様に重要なニュースやお知らせをご紹介できたことを嬉しく思います。ニューヨーク市の開会基調講演から 24 時間のライブ配信が始まり、その後西海岸に移動し、カリフォルニア州サニーベールの Google Cloud 本社から「Top 10 Cloud Predictions」のデベロッパー基調講演が行われました。Next '22はその後太平洋を渡り、東京（日本）、バンガロール（インド）へと移り、ミュンヘン（ドイツ）で終了しました。グローバルなイベント、Innovators Hive にご参加いただいた何千人ものデベロッパーの皆様に感謝いたします。ぜひ、すべてのブレイクアウト セッションをご確認くださ
HRBrainプラットフォームチームのテックリードのhidetatzです。札幌に住んでいるんですが雪がヤバいです。 このブログでは、HRBrainのプラットフォームチームとはどういうチームで、普段何をしていて、何を考えているのかを紹介します。社内のメンバーに知ってもらいたくて書いている部分もありますが、私達のことをもっと知ってもらうために、そして私達の仲間を増やすためにこの記事を書くことにしました。この記事を読んでもらって、私達の仕事の面白さを知ってもらい、話してみたいと思ってもらえたらいいなと思います。 プラットフォームチームは「インフラチーム」「DevOpsチーム」「SREチーム」のいずれでもありません。私達のチームが向き合っているプラットフォームエンジニアリングというタームは比較的新しいもので、よく説明されている記事は (特に日本語では) 筆者はあまり見かけません。この記事では、プラ
Kubernetesネイティブなワークフローエンジンとは！FAANSでArgo Workflowsを導入した話 - ZOZO TECH BLOG
はじめに こんにちは。ブランドソリューション開発本部 バックエンド部 SREの笹沢（@sasamuku）です。 ZOZOではショップスタッフの販売サポートツール「FAANS」を2022年8月に正式リリースしました。FAANSはアパレルのショップスタッフ様を支援する様々な機能を提供しています。例えば、ZOZOTOWN上で実店舗の在庫取り置きができる機能や、コーディネート投稿の機能などがあります。投稿されたコーディネートはZOZOTOWNやWEAR、Yahoo!ショッピングに連携が可能で、今後はブランド様のECサイトとも連携できる予定です。これによりお客様のコーディネート選びをサポートし購買体験をより充実したものにします。機能の詳細に関しましては下記プレスリリースをご覧ください。 corp.zozo.com 今回はFAANSで採用しているワークフローエンジン「Argo Workflows」につ
SRE Team の @babarot です。今年1月に入社してからおよそ 3 ヶ月が経ちました。 この度、株式会社10X (以下、10X) は、2022年5月14日、15日に開催される SRE NEXT 2022 に、SILVER スポンサーとして参加します。実は 10X では今年1月に SRE Team が発足しました。これまで開発において求められていたことに新たに "Reliability" という観点が加わり、それが今後強く必要になってくるためです。このタイミングに合わせて、10X に SRE Team ができるまでとチームのこれからについて紹介します。 現在、10X では開発不要でネットスーパーアプリを立ち上げられるシステムである Stailer を開発し、バックエンドとそれにつなげるアプリ (iOS と Android) を提供しています。 Stailer をリリースして以降、
kubernetesをキャッチアップし、知識を蓄積していく | はてなで働く masayosu にアンケート [#20] - Hatena Developer Blog
はてなで働くエンジニアにアンケートシリーズ第20回は、サービスプラットフォームチームのSRE、id:masayosuに話を聞きました。 社内に「まさよし」が複数いて紛らわしい SREメンバーでEKSとGKEの2つをキャッチアップ 自分の中にkubernetesの知識が蓄積されていった ここまでオープンな会社はこれまで経験したことがなかった 社内に「まさよし」が複数いて紛らわしい ── Q1. はてなidとその由来を教えてください TwitterのIDが@masayosuなので、はてなidもTwitterと同じ文字列を利用しています。由来は本名が「まさよし」なので。 はてな社内には「まさよし」という名前やはてなidを持つ人が3〜4人くらい存在しているので、紛らわしい状態になっています。 ── Q2. いつどんなきっかけで入社しましたか？ 2020年7月に、id:hayajo_77さんの紹介で
![kubernetesをキャッチアップし、知識を蓄積していく | はてなで働く masayosu にアンケート [#20] - Hatena Developer Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/aebd9f036ff4f257bad5c8f9e02c8a062e54d129/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fh%2Fhatenatech%2F20220608%2F20220608112301.jpg)
ヤバいですよ、このままじゃ！逃げちゃいけない7つのテクノロジー・トレンド：ITソリューション塾：オルタナティブ・ブログ
デジタル・トランスフォーメーション AIやIoTを使って新しいビジネスを始めることではない。ビジネス・プロセスのデジタル化することだけでも難しい。デジタルを前提にビジネスモデルや組織文化を変革することだ。そのためには、自分たちもまたDXを実践し、その経験から得られたノウハウをスキル・トランスファーすること。これを「共創」という。 ゼロトラスト・ネットワーク パスワードレス、VPN不要、ファイヤウォール不要のこれからのセキュリティの常識。FIDO2、Azure AD & Azure Sentinel、SSO（Single Sign On）などとの組合せにより、利便性を追求したセキュリティを実現。クラウド･サービス前提の時代になり、全てのトラフィックをデータセンターのファイヤウォールに集約させることの愚がITのもたらす価値や利便性を毀損する。 コンテナ ハイブリッド・クラウドやマルチ・クラウド
GKEとEKS
GKEとEKS Kubernetes meetup 〜オンプレ?クラウド?事例共有会〜 2020/10/08 株式会社ZOZOテクノロジーズ SRE部 MLOps、プラットフォームSRE リーダー、CSIRT、SRE スペシャリスト 瀬尾 直利 Copyright © ZOZO Technologies, Inc.
ハードシングスを引き起こしたHype Driven Development(HDD) | HiCustomer Lab - HiCustomer Developer's Blog
Hype Driven Development(HDD) シード・アーリーステージのスタートアップの開発者のみなさん、こんにちは。突然ですが、ソフトウェア開発していますか？毎日設計しコードを書いていますか？私は毎日しています。毎日ビジネスドメインと向き合っております。今日はそんなみなさんに、弊社のソフトウェア開発の失敗談（ ハードシングスへの突入と脱出 の「根の深い技術的負債」を掘り下げる内容になっています）を共有します。この失敗からなにか参考になるものがあれば幸いです。 実際に起ったこと 2018年初頭にサーバレスとDDDの導入 弊社のHiCustomerサービスのアーキテクチャはサーバーレスとDDDを軸に設計されました。サーバーレス環境としては、AWS APIGateway、AWS Lambda、AWS DynamoDBを使ったAWS推奨の構成を採用しました。DDDはGolangを使用
こんにちは。Wantedly Infrastructure Squad 所属の @irotoris です。 Wantedly Visit を始めとする Wantedly のサービスのバックエンドシステムはほぼ全て Kubernetes クラスタの上で動いています。今まで kOps という OSS を使って AWS の EC2 インスタンス上に Kubernetes クラスタを自前で構築運用していましたが、2022年6月に AWS の Kubernetes Managed Service である Amazon Elastic Kubernetes Service (EKS) に移行しました。 この記事では Wantedly と Kubernetes の歴史を振り返るとともに、なぜ EKS に移行したか、移行した結果どうだったかをお伝えします。 目次 Wantedly システム基盤としての K
ISUCON 予選突破のために Elastic Stack と GCP で分析環境を整えた （:old_noto_innocent: Team） - Unyablog.
ISUCON 12 予選にいつもの id:utgwkk, id:wass80 と :old_noto_innocent: チームで参戦した*1。 結果は 50696 点で本選出場！ ここ数回と同様、自分はインフラと分析・観測を担当していた。ただ、毎年似たようなことをやっていてあまり貢献できていないなあという課題感があったので、今回はログやメトリクスの分析環境をしっかり作ることにした。目標は毎回ベンチ終了のたびにコマンドを叩くのをやめること！ App 周りについてはチームメイトの記事を参照。 blog.utgw.net memo.wass80.xyz Elastic Stack でアクセスログ・スローログ可視化 ダッシュボード 最高便利 Google Cloud でトレーシング & プロファイリング Trace Profiler やってよかった 構築編 Elasticsaerch + Kib
Knative Servingを用いて多数の開発環境APIを低コストで構築する - ZOZO TECH BLOG
はじめに こんにちは、技術本部ML・データ部MLOpsブロックの鹿山（@Ash_Kayamin）です。先日、20個の開発環境APIを用意し、各APIをリクエストに応じて動的に起動できる仕組みをKnative Servingを用いて構築しました。 この記事ではKnative Servingを利用した背景と、利用方法、はまりどころ、利用によって得られたコスト削減効果についてご紹介します。なお、今回はKubernetesクラスタのバージョンとの互換性の都合でKnativev1.3.1を利用しました。2022/9現在の最新バージョンはv1.7.1になりますのでご注意ください。 目次 はじめに 目次 課題：20個の異なる開発環境APIを低コストで提供したい 解決策：Knative Servingを用いて、リクエストに応じて動的にAPIサーバーを起動する仕組みを導入する Google Cloud上でA
はじめに こんにちは。enechainのPlatform Engineering Deskで働いているsoma00333です。 enechainではproductのdeploy先としてGKEを採用しており、Platform Engineering DeskではKubernetes Clusterの運用業務を行っています。 enechainは「エネルギーの取引所を作る」というmissionを持っており、productも増えてきています。 Platform Engineering Deskも今後ますますsecurityに力を入れていく予定です。 前回は、Platform Engineering Deskのsecurityに関する取り組みの一例として、Pod Security Admissionを紹介しました。 ※ Pod Security Admissionの紹介 今回は、引き続きsecuri
PulumiがKubernetesへの本格対応を発表。GitOps対応、YAMLからPulumi Pythonへの変換機能など
PulumiがKubernetesへの本格対応を発表。GitOps対応、YAMLからPulumi Pythonへの変換機能など コードを用いてAWSやAzureをはじめとするさまざまなITインフラの状態を記述できる、いわゆるInfrastructure as Codeツールの「Pulumi」が、Kubernetesへの本格対応を発表しました。 Are you a #Kubernetes user and a fan of #InfrastructureAsCode? Checkout Pulumi's new superpowers out today: Deployment automation New ecosystem integrations like @OpenPolicyAgent ✈️ Migration tools convert YAML to modern code h
秘密情報をGitLabに格納することなくGoogle Cloud / AWSに対して認証する - エムスリーテックブログ
エムスリーエンジニアリンググループ AI・機械学習チームの笹川です。 趣味はバスケと筋トレで、このところはNBAはオフシーズンですが、代わりにユーロバスケが盛り上がっていて、NBAに来ていない良いプレーヤーがたくさんいるんだなーと思いながら見ています。 夜ご飯を催促するためデスク横で待機する犬氏（かわいい） 今回は、パブリッククラウドへの認証に必要な秘密情報をGitLab自体に格納することなく、安全に認証する方法について紹介します。 CI/CDの実行時のパブリッククラウドに対する認証 ナイーブな手法とその問題点 OpenID Connectを用いた認証 Terraformでパブリッククラウド側の設定を記述する Google Cloudの場合 AWSの場合 GitLab CI/CDで認証する Google Cloudの場合 AWSの場合 認証ステップの共通化 まとめ We are hirin
クラウドネイティブアプリケーションの運用基盤としてデファクトとなったKubernetes。稼働させるワークロードも多様化し、金融業などをはじめ、収益を担う一般顧客向けアプリケーションをKubernetes上で動かすケースも増えている。これに伴い、注目を集めているのがミッションクリティカルなビジネスを支える「データを保持することが求められるステートフルアプリケーション」のKubernetes上での運用だ。これを効率的かつ安全に動かすポイントとは何か？ Kubernetesに詳しいゼットラボ、NRI、ネットアップに所属する三者に話を聞いた。 Kubernetesでのステートフルアプリケーション運用のポイントとは？ デジタルトランスフォーメーション（DX）の取り組みが加速する中、クラウドネイティブな技術や開発、運用アプローチが大きな関心を集めている。中でも、Web企業のみならず、金融、製造などを
GCP(Google Cloud Platform)でディープラーニング学習環境構築方法 背景 ようやくDockerでのディープラーニングGPU学習環境構築に成功した @karaage0703 。疲れを癒す間も無く、ディープラーニングの帝王Google社のデベロッパーアドボケイトから、新たなる天啓がくだる。 度々からあげさんの記事を引用して恐縮ですが、もしGCPを使う場合は、このあたりをまるっとイメージにまとめたDeep Learning Containersってのもあります。ポチるだけでCUDA/TF/Jupyter/その他全部入りのコンテナをGKEで動かせます。 #gcpjahttps://t.co/tszxsK6sichttps://t.co/VMo9OHBjUp — Kazunori Sato (@kazunori_279) August 7, 2020 CUDAドライバ周り、誰し
はじめに こんにちは。事業開発部のこむろ＠さっぽろです。 最近、諸事情から所属部署でどこにでも顔を出す人として活動しています。 今回はJVMのメモリ周りについて初めて調べました。 背景 Javaアプリケーションを利用している場合、最近ではContainerを利用してアプリケーションを起動しているところも多いかと思います。わたしの所属する事業開発部では、ECSを利用して複数のJavaアプリケーション（Spring Boot）をContainerで稼働させています。 Containerで稼働させるため一つのホストのリソースをすべて割り当てられるわけではありません。Containerには利用できるリソースにハードリミットが設けられているため、リソースの配分には少々気を使う必要があります。 今まであまり意識してチューニング等していなかったのですが（富豪的にメモリを割り当てたりしてて深く考えていなか
本記事は、Gunosy Advent Calendar 2020 7日目の記事です。 前回は、しゅんけー君の「その実験、再現できますか？pyenvとpoetryによる “そんなに頑張らない” 再現可能な実験環境構築」でした data.gunosy.io はじめに 前提条件 目指すクラスター像 使用するサービス・ツール類 K8Sを使う上での心構え 環境設計編 環境設計 リポジトリ クラスター構築・前編（EKSクラスター） クラスター構築・中編（ASG） ASG or Fargate ASG spotインスタンス はじめに Gunosyの大関と申します。いくつかのEKSクラスターとクラスター上で稼働するサービスの開発運用を、基盤レイヤーを中心に担当しています。 昨年のadvent calendarでは、こんな記事を書いていました。 tech.gunosy.io さて、今年一年で社内の様々なサー
僕がお金を払ってでも教わりたいこと 2021
追記 一旦締め切りました。 連絡をくださった方、書籍などのアドバイスをくださった方ありがとうございます。 本文 謝礼をお支払いするので、教えて欲しいことがあります。 自習しろと言われそうですが、試行錯誤するには人生が短すぎたり、爆速突破するには能力が足りなかったりで色々辛くなってきたので何卒。 以下、学びたい優先度順です。同時に学べるのは多くて 2 つで、被った場合は優先度順でお願いすることになります。 教えて欲しいこと OCaml で Parser Combinator を 0 から作る 狙い: 関数型プログラミング言語とそれの使い方を学びたい。また、OCaml のエコシステムに詳しくなりたい。 Monadic Parser をゼロから作ることで、関数型プログラミングのテクニックや考え方を学びたいです。 すでに 教科書的な簡単な Monadic Parser を 0 dependenci
エンジニアリンググループ AI・機械学習チームの岩月です。 これは エムスリー Advent Calendar 2019 の12月8日の記事です。 今回は、先日ついにGAになった Cloud Run を利用して、 NEWS のランキング API を作成した件についてまとめます。 NEWS ランキング API の役割 Cloud Run 構成 処理のフロー なぜこの構成になったか (Cloud Run を採用してよかった点) 運用のコストを減らしたかった GKE (Kubernetes) への移行がしやすい Cloud Run を使いたかった Cloud Run を採用したことによる制限 Keep-Alive ができない コールドスタート まとめ We're hiring! NEWS ランキング API の役割 エムスリーでは医療関連のニュースをはじめとする様々なニュースを扱っており、そこで
TL;DR先日、GAとなったConfig Connector を使うと、Kubernetes のリソースのようにGCPのリソースを作成・管理できます。 はじめに昨今、クラウドを利用することが増えてきたエンジニアの方々は、様々な構成管理システム、API、ツールなどを組み合わせてインフラを管理していると思います。これらの要素は、どんどん複雑化し把握するのも困難になってしまいがちです。Config Connectorは、Kubernetesを介して、Google Cloud Platform 上でリソースの構成をシンプルにしてくれます。 Config Connectorとは?Config Connector とは、Kubernetes を介して Google Cloud のリソースを管理出来るようにするための、Google Kubernetes Engine（GKE）のアドオンです。Agones
こんにちは。メルカリの画像検索チームでTech Leadをしています葛岡です。 今回は、メルカリのMLシステムの中で一、二を争う複雑なシステムである画像検索の基盤を再設計し、経済的にも技術的にもみんなが幸せになったお話をしたいと思います。 画像検索ってなぁに？ その名の通り、画像をベースに視覚的に似ている商品を検索する機能です。この機能は２年ほど前にリリースされていて、すでにiOSバージョンのメルカリではご利用いただけます。 当時のシステムはブログ記事になっているので、ご確認ください。 再設計？なにそれ？おいしいの？ さてこの機能を支えるシステムですが、当時開発されて以来、大きな再設計などは特になく、つい最近まで運用されていて、画像検索やその他のメルカリサービスでも内部的に呼ばれていて、プラットフォーム的な立ち位置を担っていました。 画像検索は定期的に新しい画像インデックスを構築するのです
KubernetesのLoadBalancerやClusterIPを用いた中間者攻撃（CVE-2020-8554） - knqyf263's blog
今回は前回と違いライトなネタです。 概要 Kubernetesで新しい脆弱性（CVE-2020-8554）が公開されました。 github.com 拍子抜けするほど簡単な脆弱性なのですが、一応試しておきました。発見者の方のブログも以下にあります。 blog.champtar.fr 今回の脆弱性はServiceのtype: LoadBalancer/ClusterIPを悪用して行う中間者攻撃（MITM）なのですが、ブログの中でMITM as a Serviceと評していたのが面白かったです。KubernetesがMITMを簡単に代行してくれるという意味でas a Service感強いですし、今回悪用するリソースタイプもServiceなので二重にかかっていて好きです。 要約 前提 攻撃者が以下のいずれかの権限を持つ場合 type: ClusterIPのServiceを作成可能かつspec.ex
以前にセルフホストランナーの知られざる機能であるジョブの前後に任意のスクリプトを実行できるhookを紹介しました。 今回はセルフホストランナーの知られざる機能の紹介第二弾としてactions/runner-container-hooksを紹介します。 runner-container-hooksは2023年現在では比較的新しい機能で、自分もいつ頃に知ったのかは覚えていないのですが、actions/runnerのリポジトリには2022年の4-5月頃に追加されていたようです。実装のpull-reqから少し遅れて5月には設計ドキュメントと言えるADRのpull-reqが出されています。 このADRを見たところ自分がセルフホストランナーを運用する上で今まではどうしても不可能であったコンテナの中で起動したセルフホストランナーの中でコンテナ型のactionなどが実行できないという制約を突破できることが
多くのユーザーさまに安心して遊んでもらえる新作ゲームを提供するためのコロプラの取り組みを紹介する「大規模モバイルゲームのローンチを支える技術」。ここでサーバー基盤グループのごましお氏が登壇。ここからは、「複数人のプレイログを収集する」フェーズから「規模を増やしながら繰り返す」フェーズまでについて話します。前回はこちらから。 複数人のプレイログを収集する ごましお氏：続いては、複数人のプレイログを収集するフェーズです。例えば、開発チーム内でのプレイ会とか社内プレイ会みたいな、なるべく大人数がプレイするタイミングでログを収集します。 自分でプレイしてログを収集するのとは目的が違っています。ここでは、1ユーザーあたりのRPSを測定すること、それからAPI呼び出しの全体の割合を把握することを目標とします。なるべく多くの人数でプレイしたログが収集できると、それだけ精度の高い情報が得られて、以降の試験
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
目標は「SREが関与しなくても開発者が作業できる世界をつくること」 DMMの挑戦
GKE Autopilot を半年運用してみて...めっちゃラク！ - Beatrust techBlog
stale-while-revalidate対応のCDNでISRのような挙動を実現する
社内のSlack通知アプリをRustで実装した - STORES Product Blog
新規事業における逆説的な技術選定とモノづくり
Google Cloud認定試験対策（AWS認定試験経験者向け） - NRIネットコムBlog
Terraformのディレクトリ構成の模索 - Adwaysエンジニアブログ
Vertexで3ヶ月で作る運用可能なML API基盤 - CADDi Tech Blog
「AWS」「Azure」「GCP」で相次ぐ障害 クラウドを信じ切ってよいのか
プラットフォームチームが実現したいこと - HRBrain Blog
10X に SRE Team ができるまでとこれから - 10X Product Blog
プロダクト基盤を EKS に移行しました | Wantedly Engineer Blog
NetworkPolicyでtrafficを制御しよう - enechain Tech Blog
Kubernetesでステートフルアプリをどう動かすか
GCPでのディープラーニング学習環境構築方法 - Qiita
Using Native Memory by JVM | DevelopersIO
ゼロから始めるEKS事始め（前編） - Gunosy Tech Blog
Cloud Run で NEWS ランキング API を作った話 - エムスリーテックブログ
もっとGCPが使いやすくなる!? GKE Config Connectorを試してみた！
画像検索システム再設計のお話 | メルカリエンジニアリング
コンテナのセルフホストランナーの中でコンテナを使えるようにするrunner-container-hooks
正しい負荷をかけ、効果的・効率的に試験し、適切に評価する バックエンドの負荷試験の実施と評価で大切なこと