EnterpriseGitHub Actions self-hosted runners on Google CloudLearn about patterns for configuring and maintaining GitHub Actions self-hosted runners on Google Cloud. This post is co-authored with Bharath Baiju and Seth Vargo from Google Cloud. Introduction GitHub Actions help you automate your software development workflows. You’re probably already familiar with the built-in runners for Windows, Li
Knative Servingを用いて多数の開発環境APIを低コストで構築する - ZOZO TECH BLOG
はじめに こんにちは、技術本部ML・データ部MLOpsブロックの鹿山（@Ash_Kayamin）です。先日、20個の開発環境APIを用意し、各APIをリクエストに応じて動的に起動できる仕組みをKnative Servingを用いて構築しました。 この記事ではKnative Servingを利用した背景と、利用方法、はまりどころ、利用によって得られたコスト削減効果についてご紹介します。なお、今回はKubernetesクラスタのバージョンとの互換性の都合でKnativev1.3.1を利用しました。2022/9現在の最新バージョンはv1.7.1になりますのでご注意ください。 目次 はじめに 目次 課題：20個の異なる開発環境APIを低コストで提供したい 解決策：Knative Servingを用いて、リクエストに応じて動的にAPIサーバーを起動する仕組みを導入する Google Cloud上でA
はじめに こんにちは。enechainのPlatform Engineering Deskで働いているsoma00333です。 enechainではproductのdeploy先としてGKEを採用しており、Platform Engineering DeskではKubernetes Clusterの運用業務を行っています。 enechainは「エネルギーの取引所を作る」というmissionを持っており、productも増えてきています。 Platform Engineering Deskも今後ますますsecurityに力を入れていく予定です。 前回は、Platform Engineering Deskのsecurityに関する取り組みの一例として、Pod Security Admissionを紹介しました。 ※ Pod Security Admissionの紹介 今回は、引き続きsecuri
はじめに こんにちは。事業開発部のこむろ＠さっぽろです。 最近、諸事情から所属部署でどこにでも顔を出す人として活動しています。 今回はJVMのメモリ周りについて初めて調べました。 背景 Javaアプリケーションを利用している場合、最近ではContainerを利用してアプリケーションを起動しているところも多いかと思います。わたしの所属する事業開発部では、ECSを利用して複数のJavaアプリケーション（Spring Boot）をContainerで稼働させています。 Containerで稼働させるため一つのホストのリソースをすべて割り当てられるわけではありません。Containerには利用できるリソースにハードリミットが設けられているため、リソースの配分には少々気を使う必要があります。 今まであまり意識してチューニング等していなかったのですが（富豪的にメモリを割り当てたりしてて深く考えていなか
本記事は、Gunosy Advent Calendar 2020 7日目の記事です。 前回は、しゅんけー君の「その実験、再現できますか？pyenvとpoetryによる “そんなに頑張らない” 再現可能な実験環境構築」でした data.gunosy.io はじめに 前提条件 目指すクラスター像 使用するサービス・ツール類 K8Sを使う上での心構え 環境設計編 環境設計 リポジトリ クラスター構築・前編（EKSクラスター） クラスター構築・中編（ASG） ASG or Fargate ASG spotインスタンス はじめに Gunosyの大関と申します。いくつかのEKSクラスターとクラスター上で稼働するサービスの開発運用を、基盤レイヤーを中心に担当しています。 昨年のadvent calendarでは、こんな記事を書いていました。 tech.gunosy.io さて、今年一年で社内の様々なサー
Binary Authorization 信頼できるコンテナのみを Kubernetes Engine にデプロイ。 Binary Authorization は、Google Kubernetes Engine（GKE）に信頼できるコンテナ イメージのみがデプロイされることを保証するデプロイ時のセキュリティ管理サービスです。Binary Authorization を使用すると、開発プロセス時に、信頼できる機関によるイメージへの署名を必須にして、デプロイ時にその署名を検証する過程を導入できます。検証プロセスを適用することで、適切であると認められたイメージのみがビルドとリリースのプロセスに統合されるため、コンテナの環境をより厳密に制御できます。 <機能> ポリシーの作成 ポリシーの検証と適用 Cloud Security Command Center の統合 監査ログ Cloud KMS
![[GCP] GCPサービスを勝手にまとめてみた(セキュリティ編) - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/5f720c3b5b0f0d56f60aa6c407b53deeb251dff5/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZ0eHQ9JTVCR0NQJTVEJTIwR0NQJUUzJTgyJUI1JUUzJTgzJUJDJUUzJTgzJTkzJUUzJTgyJUI5JUUzJTgyJTkyJUU1JThCJTlEJUU2JTg5JThCJUUzJTgxJUFCJUUzJTgxJUJFJUUzJTgxJUE4JUUzJTgyJTgxJUUzJTgxJUE2JUUzJTgxJUJGJUUzJTgxJTlGJTI4JUUzJTgyJUJCJUUzJTgyJUFEJUUzJTgzJUE1JUUzJTgzJUFBJUUzJTgzJTg2JUUzJTgyJUEzJUU3JUI3JUE4JTI5JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1hOWRmZDc3NTY1N2VhM2VlYjY5ZjRmMzM3NjVmZTgzNw%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwcmlzYTAzMjAmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWZhMjA1YjhiYzdmZDI4ZWQxMTAzOTQxY2FhOTdhOGNm%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D33fd281ebf20cb864cb33b5d20d538af)
僕がお金を払ってでも教わりたいこと 2021
追記 一旦締め切りました。 連絡をくださった方、書籍などのアドバイスをくださった方ありがとうございます。 本文 謝礼をお支払いするので、教えて欲しいことがあります。 自習しろと言われそうですが、試行錯誤するには人生が短すぎたり、爆速突破するには能力が足りなかったりで色々辛くなってきたので何卒。 以下、学びたい優先度順です。同時に学べるのは多くて 2 つで、被った場合は優先度順でお願いすることになります。 教えて欲しいこと OCaml で Parser Combinator を 0 から作る 狙い: 関数型プログラミング言語とそれの使い方を学びたい。また、OCaml のエコシステムに詳しくなりたい。 Monadic Parser をゼロから作ることで、関数型プログラミングのテクニックや考え方を学びたいです。 すでに 教科書的な簡単な Monadic Parser を 0 dependenci
はじめにこんにちは鹿島(@kashitaka)です。今までリクルートライフスタイルにてAirの開発をしていましたが、4月からリクルートとサイバーエージェントのジョイントベンチャーの株式会社ヒューマンキャピタルテクノロジー(HCT)にてプロダクト開発グループの責任者をやってるものです。 弊社では従業員のコンディション可視化・改善ツール「Geppo」を運営しており、今回はそんなGeppoに参画して最初に着手した改善の1つ「テスト環境増殖プロジェクト」について書きます。 何に困っていたか まず始めに参画当初の状態としてはこんな感じでした。 ■状態 ・製品はAWS Elastic Beanstalk(以下EB)というPaaSにホストしているアプリケーション ・クラウドのテスト環境はEB環境が2つのみ。あとは各個人のローカル開発端末 ・テスト環境へのデプロイ作業は操作権限を持ったサーバーサイドエンジ
秘密情報をGitLabに格納することなくGoogle Cloud / AWSに対して認証する - エムスリーテックブログ
エムスリーエンジニアリンググループ AI・機械学習チームの笹川です。 趣味はバスケと筋トレで、このところはNBAはオフシーズンですが、代わりにユーロバスケが盛り上がっていて、NBAに来ていない良いプレーヤーがたくさんいるんだなーと思いながら見ています。 夜ご飯を催促するためデスク横で待機する犬氏（かわいい） 今回は、パブリッククラウドへの認証に必要な秘密情報をGitLab自体に格納することなく、安全に認証する方法について紹介します。 CI/CDの実行時のパブリッククラウドに対する認証 ナイーブな手法とその問題点 OpenID Connectを用いた認証 Terraformでパブリッククラウド側の設定を記述する Google Cloudの場合 AWSの場合 GitLab CI/CDで認証する Google Cloudの場合 AWSの場合 認証ステップの共通化 まとめ We are hirin
クラウドネイティブアプリケーションの運用基盤としてデファクトとなったKubernetes。稼働させるワークロードも多様化し、金融業などをはじめ、収益を担う一般顧客向けアプリケーションをKubernetes上で動かすケースも増えている。これに伴い、注目を集めているのがミッションクリティカルなビジネスを支える「データを保持することが求められるステートフルアプリケーション」のKubernetes上での運用だ。これを効率的かつ安全に動かすポイントとは何か？ Kubernetesに詳しいゼットラボ、NRI、ネットアップに所属する三者に話を聞いた。 Kubernetesでのステートフルアプリケーション運用のポイントとは？ デジタルトランスフォーメーション（DX）の取り組みが加速する中、クラウドネイティブな技術や開発、運用アプローチが大きな関心を集めている。中でも、Web企業のみならず、金融、製造などを
GCP(Google Cloud Platform)でディープラーニング学習環境構築方法 背景 ようやくDockerでのディープラーニングGPU学習環境構築に成功した @karaage0703 。疲れを癒す間も無く、ディープラーニングの帝王Google社のデベロッパーアドボケイトから、新たなる天啓がくだる。 度々からあげさんの記事を引用して恐縮ですが、もしGCPを使う場合は、このあたりをまるっとイメージにまとめたDeep Learning Containersってのもあります。ポチるだけでCUDA/TF/Jupyter/その他全部入りのコンテナをGKEで動かせます。 #gcpjahttps://t.co/tszxsK6sichttps://t.co/VMo9OHBjUp — Kazunori Sato (@kazunori_279) August 7, 2020 CUDAドライバ周り、誰し
エンジニアリンググループ AI・機械学習チームの岩月です。 これは エムスリー Advent Calendar 2019 の12月8日の記事です。 今回は、先日ついにGAになった Cloud Run を利用して、 NEWS のランキング API を作成した件についてまとめます。 NEWS ランキング API の役割 Cloud Run 構成 処理のフロー なぜこの構成になったか (Cloud Run を採用してよかった点) 運用のコストを減らしたかった GKE (Kubernetes) への移行がしやすい Cloud Run を使いたかった Cloud Run を採用したことによる制限 Keep-Alive ができない コールドスタート まとめ We're hiring! NEWS ランキング API の役割 エムスリーでは医療関連のニュースをはじめとする様々なニュースを扱っており、そこで
TL;DR先日、GAとなったConfig Connector を使うと、Kubernetes のリソースのようにGCPのリソースを作成・管理できます。 はじめに昨今、クラウドを利用することが増えてきたエンジニアの方々は、様々な構成管理システム、API、ツールなどを組み合わせてインフラを管理していると思います。これらの要素は、どんどん複雑化し把握するのも困難になってしまいがちです。Config Connectorは、Kubernetesを介して、Google Cloud Platform 上でリソースの構成をシンプルにしてくれます。 Config Connectorとは?Config Connector とは、Kubernetes を介して Google Cloud のリソースを管理出来るようにするための、Google Kubernetes Engine（GKE）のアドオンです。Agones
こんにちは。メルカリの画像検索チームでTech Leadをしています葛岡です。 今回は、メルカリのMLシステムの中で一、二を争う複雑なシステムである画像検索の基盤を再設計し、経済的にも技術的にもみんなが幸せになったお話をしたいと思います。 画像検索ってなぁに？ その名の通り、画像をベースに視覚的に似ている商品を検索する機能です。この機能は２年ほど前にリリースされていて、すでにiOSバージョンのメルカリではご利用いただけます。 当時のシステムはブログ記事になっているので、ご確認ください。 再設計？なにそれ？おいしいの？ さてこの機能を支えるシステムですが、当時開発されて以来、大きな再設計などは特になく、つい最近まで運用されていて、画像検索やその他のメルカリサービスでも内部的に呼ばれていて、プラットフォーム的な立ち位置を担っていました。 画像検索は定期的に新しい画像インデックスを構築するのです
KubernetesのLoadBalancerやClusterIPを用いた中間者攻撃（CVE-2020-8554） - knqyf263's blog
今回は前回と違いライトなネタです。 概要 Kubernetesで新しい脆弱性（CVE-2020-8554）が公開されました。 github.com 拍子抜けするほど簡単な脆弱性なのですが、一応試しておきました。発見者の方のブログも以下にあります。 blog.champtar.fr 今回の脆弱性はServiceのtype: LoadBalancer/ClusterIPを悪用して行う中間者攻撃（MITM）なのですが、ブログの中でMITM as a Serviceと評していたのが面白かったです。KubernetesがMITMを簡単に代行してくれるという意味でas a Service感強いですし、今回悪用するリソースタイプもServiceなので二重にかかっていて好きです。 要約 前提 攻撃者が以下のいずれかの権限を持つ場合 type: ClusterIPのServiceを作成可能かつspec.ex
以前にセルフホストランナーの知られざる機能であるジョブの前後に任意のスクリプトを実行できるhookを紹介しました。 今回はセルフホストランナーの知られざる機能の紹介第二弾としてactions/runner-container-hooksを紹介します。 runner-container-hooksは2023年現在では比較的新しい機能で、自分もいつ頃に知ったのかは覚えていないのですが、actions/runnerのリポジトリには2022年の4-5月頃に追加されていたようです。実装のpull-reqから少し遅れて5月には設計ドキュメントと言えるADRのpull-reqが出されています。 このADRを見たところ自分がセルフホストランナーを運用する上で今まではどうしても不可能であったコンテナの中で起動したセルフホストランナーの中でコンテナ型のactionなどが実行できないという制約を突破できることが
多くのユーザーさまに安心して遊んでもらえる新作ゲームを提供するためのコロプラの取り組みを紹介する「大規模モバイルゲームのローンチを支える技術」。ここでサーバー基盤グループのごましお氏が登壇。ここからは、「複数人のプレイログを収集する」フェーズから「規模を増やしながら繰り返す」フェーズまでについて話します。前回はこちらから。 複数人のプレイログを収集する ごましお氏：続いては、複数人のプレイログを収集するフェーズです。例えば、開発チーム内でのプレイ会とか社内プレイ会みたいな、なるべく大人数がプレイするタイミングでログを収集します。 自分でプレイしてログを収集するのとは目的が違っています。ここでは、1ユーザーあたりのRPSを測定すること、それからAPI呼び出しの全体の割合を把握することを目標とします。なるべく多くの人数でプレイしたログが収集できると、それだけ精度の高い情報が得られて、以降の試験
この記事は、Mercari Advent Calendar 2022 の3日目および Developer Productivity Engineering Campブログシリーズの一環で、メルカリCI/CDチームのMichael Findlater (@michaelfindlater)が執筆したものです。 ※本記事は2022年2月3日に公開された記事の翻訳版です。 ここではメルカリにおける次世代Continuous Integration(CI)システムの実装、そしてそれに向けたいくつかの技術的な取り組みについて解説します。またこの施策の動機とも言える、サプライチェーンアタックがどのようにCI/CDエンジニア達にとって今後より重要になってきたのかについて解説します。 背景 これまでも常にCI/CDパイプラインに対する攻撃は存在していたものの、ここ最近のこのエリアに対しての攻撃の急増は脅威
こんにちは、クラウド事業部の中根です。 未経験からKubernetesに入門して約１か月が経ったので、振り返りたいと思います！ 実務に入る前の予習なので、実務を通した実践的な学習はしていない点はご了承ください。 学習の動機 入門前のレベル感 学習プロセス 入門0～7時間 入門7～32時間 入門32～60時間目 入門60～71時間目 入門71～132時間目 +α できるようになったこと 次のステップ これから入門する方へ おわりに お知らせ 学習の動機 私は中途入社で、案件は決まったのですが、参画まで1か月半ほど待機期間となりました。 クラウドネイティブな案件ということで、この期間を活かしてKubernetesのキャッチアップをすることになりました。 入門前のレベル感 IT業界経験が3年と1か月です。 以下、関係する領域の詳細です。 Kubernetes ほぼ未経験。 OpenShiftをち
こんにちは。サーバーサイドエンジニアの平井です。 今年もあと1ヶ月ですね。リモートワーク中心の生活スタイルに変わり、より一層時が過ぎるのを速く感じています。 もう年末ということで、弊社では今年もAdvent Calendarを開催します!! 題して、Enigmo Advent Calendar 2020です!! 記念すべき1日目は、私、平井の「Cloud Run 使ってみた」になります。 プロジェクトで簡単なAPIをCloud Run(フルマネージド)上に実装したので、それについて話したいと思います。 構成 Cloud Run(フルマネージド)について 準備 Dockerfile cloudbuild yaml その他 ドメイン 他GCPサービスとの連携 感想 最後に 構成 会員毎にパーソナライズされたコンテンツ情報を返すAPIをCloud Runを使って実装しました。 とてもシンプルです
EKSでの認証認可 〜aws-iam-authenticatorとIRSAのしくみ〜 - もうずっといなかぐらし
こちらはAmazon EKS #1 Advent Calendar 2019 7日目の記事です。 EKSでIAM RoleをUserAccountに紐付けたり、ServiceAccountをIAM Roleに紐付けたりする際、AWSのドキュメントに従って設定してはいるものの、その設定によって実際にどんな処理が行われているかを具体的に知らない方も多いのではないでしょうか？(私も今回の記事のために調べるまではそうでした。) そこで今回の記事では、Kubernetesの認証認可の仕組みを解説したあと、AWSのIAMの認証情報をKubernetes内のUserAccountに紐付けるaws-iam-authenticatorの動作の仕組みとKubernetesのService AccountにIAM Roleを紐づける仕組みについて設定方法のレベルから一段掘り下げて実際の動作に焦点を当てながら説明
モノリシックなAPIでのカナリアリリース導入と開発者の認知負荷を減らすためConfigMapを使わない選択をした話 - MonotaRO Tech Blog
こんにちは、プラットフォームエンジニアリング部門コンテナ基盤グループの岡田です。 当社ではECサイトの裏側で利用されているモノリシックなAPIをコンテナ化し、Elastic Kubernetes Service (EKS) に移行しました。 移行直後は下記のようにトラブルに見舞われましたが、現状安定した運用ができています。 EKSコンテナ移行のトラブル事例：推測するな計測せよ -CoreDNS暴走編- - MonotaRO Tech Blog EKSコンテナ移行のトラブル事例：FargateにおけるAZ間通信遅延の解消 - MonotaRO Tech Blog 今回はトラブル事例ではなく活用事例になりますが、アプリケーションリリース起因でのトラブル影響を減らすため、コンテナ化したAPIに対してカナリアリリース導入を行いました。そのため、導入に際して生じたConfigやSecret周りの課題
入社したのが2017年11月だったので今月で5年間になります。いままででこんなに長く同じ会社で働いた事はなく長く働き続けられているのはひとえに10Xで働くのが楽しいからだと思っています。いろんなことがありましたがその時々であったこと学んだことを書いていきます。 10Xがサービスをリリースしていないときのまさに0.1くらいのときからいるのでいろいろ参考になるかもしれません。 そもそも10Xはどんな会社か いまはStailerという小売チェーンのECを垂直立ち上げするプラットフォームを作っています。スーパーなどの小売様がStailerを導入することによりWeb・アプリに対応したネットスーパーを立ち上げる事ができます。 Stailerを始める前にタベリーといういまはクローズした献立推薦アプリを作っていました。Stailerはタベリーで提供していた注文機能を切り出してそれぞれの小売様向けのアプリと
NGINXを有するF5ネットワークスは2020年10月12日、Kubernetes向けサービスメッシュ「NGINX Service Mesh」を発表しました。Kubernetesのサービスメッシュとして有名なIstioの対抗馬が出現した形になります。 Introducing NGINX Service Mesh - NGINX https://www.nginx.com/blog/introducing-nginx-service-mesh/ 複数の小規模なサービスの連携によってアプリケーションを構築するマイクロサービスは、開発スケジュールの短縮や柔軟な拡張性をもたらしましたが、サービス間の通信やデバッグが複雑になるというデメリットもありました。そうした問題を解決するのがサービスメッシュで、NGINX Service Meshではマイクロサービスにおける以下の課題を解決しているとのこと。
GCP Shared VPCを利用した全社共通ネットワークの運用におけるDedicated Interconnect利用設定の最適化手法 - ZOZO TECH BLOG
はじめに こんにちは。気がつけば4月でZOZOTOWNに関わって9年目を迎えるSRE部の横田です。普段はSREとしてZOZOTOWNのリプレイスや運用に携わっています。 本記事ではGoogle Cloud PlatformでShared VPCを採用し全社共通ネットワークを構築した背景とその運用方法について説明します。 ZOZOTOWNとパブリッククラウド専用線 まずはZOZOTOWNとパブリッククラウドを接続する専用線について説明します。 数年前まではZOZOTOWNを支える基盤は、ほぼ全てがオンプレミス環境で稼働しており、以下の課題がありました。 システムが密結合であること アジリティの低さ これらを解決するためにパブリッククラウドを活用したマイクロサービス化が日々進んでいます。 現在パブリッククラウドはAmazon Web Services（以下、AWS）とGoogle Cloud
Terraform による迅速なクラウド基盤の構築とワークロードのデプロイ | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 10 月 13 日に、Google Cloud blog に投稿されたものの抄訳です。 Google は去年、ベスト プラクティスに従って強固なクラウド基盤を迅速に構築するため役立つオープンソースのテンプレートとして、Cloud Foundation Toolkit をリリースしました。これらのモジュールは Terraform infrastructure-as-code フレームワークと、Google の Cloud Deployment Manager の両方で利用できます。 本ブログ投稿では、Cloud Foundation Toolkit Terraform のサンプル基盤 を使用して、安全なクラウド基盤を構築する方法について詳しく解説します。その次に、Terraform を使用してマイクロサービスのデモアプリケーションを基盤上にデプロイする方法
2022 年 4 月 27 日 追記: 2022 年 3 月末に GKE で Gateway API の v1alpha2 が利用可能になりました。それに伴い本記事の内容も v1alpha2 を前提としたものに更新しています。 重要 2022 年 4 月 27 日時点の既知の問題として、元々 v1alpha1 CRDsをインストールし利用していたクラスタに v1alpha2 CRDs をインストールした場合、新規設定が可能になるまで最大 1 週間程度が掛かる場合があります。元々 v1alpha1 を使っていたクラスタとは別のクラスタを用意して v1alpha2 を試して頂くことを推奨します。 Kubernetes / GKE ファンの皆様、こんにちは。Google Cloud の Kazuu (かずー) です。 さて、2021 年に一番話題に挙がった GKE のアップデートと言えば、GKE
フリーランスになっていました | うなすけとあれこれ
2019年5月1日から、個人事業主として株式会社バンクで1日8時間の週4日間で稼動していました。 理由 「週4日労働にしたかった」 ためです。好きなようにコードを書いたり、映画など娯楽に興じたり、心身を養ったりする時間のために、もう1日休日が欲しいという気持ちは2019年になってから心のどこかにずっと引っかかっていました。 交渉の過程 ただ、フリーランスになるとは言ってもバンクを離れたくはありませんでした。当時から計画されていた新サービスの実装、まだまだ綺麗にし足りないコード、インフラ構成のキャッチアップ……やりたいことは山ほどありました。 なのでまずは人事の方に相談し、こちらの意向として 週4日労働にしたい そのための手段がフリーランスになるのか、正社員としてだが契約変更となるのかはどちらでも良い ということを伝えました。 結果としてですが、フリーランスとして契約をし直すということになり
この記事は新野淳一氏のブログ「Publickey」に掲載された「Google、マルチクラウド基盤「Anthos」のAWS正式対応を発表、Azure対応も作業中。サービスメッシュのVM対応も」（2020年4月24日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 米Googleはこのほど、Kubernetesをベースにオンプレミスやマルチクラウドを実現する「Anthos」のAWS正式対応を発表しました。 Anthosは、Kubernetesによってインフラレイヤを抽象化することにより、コンテナ化したアプリケーションをクラウドやオンプレミスなどインフラの種類や場所を気にせず実行できるハイブリッドクラウド／マルチクラウドを実現する基盤です。Googleがマネージドサービスとして提供し、利用者は全体をAnthosのコンソール画面から統合管理可能になります。 これまでパブリッ
2020 年 1 月 30 日（木）開催 Google Cloud Anthos Day - Kubernetes を使った最新の開発アプローチを学ぶ
ご参加いただきありがとうございました 各セッションの講演資料とセッション記録動画を公開しております。 スケジュールに記載の「講演資料」「セッション記録動画」のリンクからご覧いただけます。 Google Cloud Anthos Day 事務局 [email protected] マイクロサービス、DevOps、コンテナの利用やクラウドネイティブなアプリケーションの先進事例について学ぶ Google Cloud Japan は 2020 年 1 月 30 日 （木）に 「Google Cloud Anthos Day（「Google Cloud Kubernetes Day」は、「Google Cloud Anthos Day」に名称を変更いたしました）」を開催いたします。 開発エンジニア、インフラエンジニア、運用エンジニア向けにマイクロサービス、DevOps、コンテナの利用やクラウドネイテ
ABEJA Insight for Retailの技術スタックを公開します (2021年10月版） - ABEJA Tech Blog
初めに 会社・事業紹介 ABEJA Insight for Retailについて 技術スタック 全体アーキテクチャ図 ① 映像録画・解析システム ②データ基盤部分 ③ Webダッシュボード その他 (全体共通部分) 一緒に働く仲間を募集中！ 最後に 初めに こんにちわ。大田黒（おおたぐろ）です。暑い日が落ち着いてきて、秋(冬？）が来たなぁと感じるこの頃です。皆様いかがおすごしでしょうか。前回の「ABEJAの技術スタックを公開します (2019年11月版)」が公開されてからしばらく経ちました。 引き続きエンジニアの方とお話させていただく中で、 「ABEJAってよく聞くけど...実際どんなことやってるのかよくわからない」 「AIのお硬いSIerって感じなんでしょ？」 「社内は機械学習エンジニアばっかりなんでしょ...??」 といったご質問をいただくことが多いです。 今回の記事では､最新の会社や
ABEMA における GKE スケール戦略と Anthos Service Mesh 活用事例 Deep Dive
Google Cloud Day 2023 東京では、大規模イベントを生中継するにあたって、我々 ABEMA がどのように準備をしてきたか、Google Cloud の活用事例を紹介しました。 今回は GKE スケール戦略と Anthos Service Mesh 活用事例の Deep Dive …
The following is a correction to the previously posted ISSUE SUMMARY, which after further research we determined needed an amendment. All services that require sign-in via a Google Account were affected with varying impact. Some operations with Cloud service accounts experienced elevated error rates on requests to the following endpoints: www.googleapis.com or oauth2.googleapis.com. Impact varied
Megatron-LMとGKEで作るMixtral 8x7Bを語彙拡張継続事前学習 Part1 ~学習コードとモデルの先行公開~ - ABEJA Tech Blog
こんにちは！ABEJAでデータサイエンティストをしている大谷です。 ABEJAは国立研究開発法人新エネルギー・産業技術総合開発機構（以下「NEDO」）が公募した「ポスト5G情報通信システム基盤強化研究開発事業／ポスト5G情報通信システムの開発」に当社提案の「LLMの社会実装に向けた特化型モデルの元となる汎化的LLM」が採択されたことを受け、LLMの事前学習を実施しました。 以降、本LLMプロジェクトをGENIAC（Generative AI Accelerator Challenge）と表記します。 開発内容は表題の通り、Mistral社のMIxtral 8x7Bをベースにした日本語の語彙拡張版継続事前学習です。弊社が調べた限り、Megatron-LMでMixtralモデルを継続事前学習するソースコードは2024年4月12日時点（執筆時）では存在していません。 GENIACの計算資源提供の
はじめに ブンブンハローテックブログ。エムスリー AI・機械学習チームでエンジニア兼YouTuberをやっています河合と笹川です*1。本記事は、AIチームが社内向けに提供を初めたビジュアライズアプリケーションに関する解説の記事です。 GKE上のStreamlitサーバのホスティング設定と、機械学習エンジニアが社内向けの可視化を行う際の一例として、参考となれば幸いです。 はじめに Background Streamlitとは Streamlitの特徴 アプリケーション、インフラ構成 おわりに We're hiring Background 一般的に「機械学習エンジニアが社内向けの可視化アプリケーションを作る」といったケースでは、以下のようなシステム利用が考えられるかと思います。 HTML、xlsx、Googleスプレッドシートなどを作成、配布する S3、GCSのようなストレージの静的サイトホ
はじめに こんにちは。enechainのPlatform EngineeringチームSoftware Engineerの soma00333 です。 enechainは電力の卸取引や環境価値の取引の機会を提供するマーケットプレイスを運営する会社で、インフラ基盤としてGKEを採用しています。信頼性が非常に大切なドメインで、SREの力が欠かせないビジネスを展開しています。 この度、enechainはSREチームのさらなる強化を目指し、SRE as a Serviceを提供する 株式会社Topotal様 にご支援いただいて新たに2名のエンジニアを迎えました。 SREチームを強化するにあたり、「採用を頑張る」「内部で育てる」など手段は様々です。 本記事では、「外部会社（Topotal様）との協力」という手段がSREチーム・開発チーム全体にどのような効果をもたらしているかを紹介します。 SREチー
Tomcat Javaアプリケーションのコンテナ移行自動化ツール群「Tomcat modernization flow」、Google Cloudがプレビューリリース
Google Cloudは、Apache Tomcatで実行されているJavaアプリケーションを自動的にコンテナ環境へ移行してくれるツール群「Tomcat modernization flow」のパブリックプレビュー版をリリースしました。 Apache TomcatはJavaでアプリケーションサーバを実装するプラットフォームとして人気の高いアプリケーションンサーバです。ただしApache Tomcatが登場し普及した時期はDockerコンテナなどの技術が登場する前であるため、多くのApache Tomcatは仮想マシンなどの上で稼働していると見られます。 Google Cloudが発表したTomcat modernizatio flowは、この仮想環境上のApach Tomcatの情報を自動的に収集し、移行計画を策定、Google Kubernetes Engine（GKE）などコンテナ環
登壇者の自己紹介とアジェンダの紹介 sugasuga氏：こんにちは。今日は、ピクシブの機械学習基盤に関する発表をいたします。 まずは自己紹介から始めさせてください。自分は、機械学習チームでエンジニアをしているsugasugaといいます。サブで採用・広報活動にも関わっています。最近の趣味は、トレーニングです。 今日お話しすることは、（スライドを示して）こちらを予定しています。機械学習基盤について。そして、基盤で使われている技術について。運用してみて感じたメリットとデメリットについてお話しします。 大規模なデータの効率的な処理、機械学習サービスの展開のしやすさ、効率的な開発などに課題があった 本題に移る前に、導入として、どういったところで機械学習が活用されていて、なぜ機械学習基盤が必要かについてお話しします。 活用されている場面としては、違反検知、レコメンド、広告、3Dなど多岐にわたります。こ
この記事は、Supershipグループ Advent Calendar 2021の17日目の記事になります。 はじめに この記事ではeBPFを活用してLinuxカーネルにフック用プログラムを注入することにより、ネットワークパケット処理を拡張する例を示します。 その実装にあたり、Rustとlibbpfの統合を行うlibbpf-rsを使った開発体験を記したいと思います。 TL;DR libbpf-rsによってRustとeBPFを組み合わせたプログラムのコンパイルやロード処理の手間は省けるようになります。実際、システムコールの呼び出し部分はほとんど意識する必要がありませんでした。 一方でeBPFプログラミングで特に苦労したのは以下の点でした。 デバッグとテスト つまりeBPFプログラミングにおいて周辺的な問題がツールによって解決されていき、よりプログラムの機能そのものの問題に時間を割くことができ
Google、Kubernetesを自動運用してくれる「GKE Autopilot」正式リリース。ノードのプロビジョニング、マルチゾーン展開、スケーリングなど自動的に最適実行
Google、Kubernetesを自動運用してくれる「GKE Autopilot」正式リリース。ノードのプロビジョニング、マルチゾーン展開、スケーリングなど自動的に最適実行 Googleは、Google Kubernetes Engineの新機能として、Kubernetesの運用を自動化する「Google Kubernetes Engine Autopilot」（GKE Autopilot）の正式リリースを発表しました。 #Kubernetes の革新的な運用モードである GKE Autopilot をリリース。GKE ユーザーは 2 つの異なる運用モードを選択できるようになりました。Autopilot は GKE の幅広い既存機能だけでなく、パートナーのソリューションとも互換性が維持されるよう設計されています。https://t.co/Dyhj0V4lU7 #gcpja pic.twi
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub Actions self-hosted runners on Google Cloud
NetworkPolicyでtrafficを制御しよう - enechain Tech Blog
Using Native Memory by JVM | DevelopersIO
ゼロから始めるEKS事始め（前編） - Gunosy Tech Blog
[GCP] GCPサービスを勝手にまとめてみた(セキュリティ編) - Qiita
GKEとIstioを使ってテスト環境を増殖させた話 | Geppoプロダクトブログ｜かしたか
Kubernetesでステートフルアプリをどう動かすか
GCPでのディープラーニング学習環境構築方法 - Qiita
Cloud Run で NEWS ランキング API を作った話 - エムスリーテックブログ
もっとGCPが使いやすくなる!? GKE Config Connectorを試してみた！
画像検索システム再設計のお話 | メルカリエンジニアリング
コンテナのセルフホストランナーの中でコンテナを使えるようにするrunner-container-hooks
正しい負荷をかけ、効果的・効率的に試験し、適切に評価する バックエンドの負荷試験の実施と評価で大切なこと
未知の脅威に対抗するメルカリのCI再設計 | メルカリエンジニアリング
【Kubernetes】未経験から1か月経ったので振り返る - APC 技術ブログ
Cloud Run 使ってみた - エニグモ開発者ブログ
10Xで5年働いてきて学んだこと | wapa5pow blog
NGINXがKubernetes向けサービスメッシュ「NGINX Service Mesh」を発表
Ingress の進化版 Gateway API を解説する Part 1 (シングルクラスタ編)
Google、マルチクラウド基盤「Anthos」のAWS正式対応を発表 Azure対応も作業中
Google Cloud Status Dashboard
GKEでStreamlitをホスティングして社内用アプリを作った話 - エムスリーテックブログ
SREチーム強化の新たな手段 ~協業で実現する信頼性向上~ - enechain Tech Blog
ピクシブ社エンジニアが語る、機械学習基盤とその技術 「GCPバッチ基盤」「リアルタイムの推論基盤」「ノートブック開発環境」整備の裏側
libbpf-rsを使ったRustとeBPFプログラミング - Qiita