リブセンスのエンジニアの祭典「Tech Award 2020」 - LIVESENSE ENGINEER BLOG
リブセンスでは、毎年の恒例行事として、「Tech Award」というイベントを実施しています。このイベントでは、エンジニアがお互いの業務を評価しあい、優れた成果を出した取り組みを表彰しています。 初の全面オンライン開催となった今回も大盛況でしたのでその模様をレポートします。 イベント概要 エンジニアがお互いの業務を評価しあい、優れた成果を出した取り組みを表彰するイベントです。 技術的には優れた取り組みであっても、事業貢献の度合いとしてなかなか評価されない取り組みをきちんと評価するため、全社表彰から分岐して始まりました。 今年からエンジニアリングマネージャとして業務を行っている人は審査を禁止し、完全に「エンジニアが同僚のエンジニアの取り組みを評価する」イベントとなりました。 以下の3つの部門に分かれて自薦式でノミネートし、当日のプレゼン発表をもとに、投票で各部門の受賞者を決めます。 Edge
Amazon Web Services ブログ EKS マネージドノードグループの IP 割り当てに対する今後の変更 Amazon EKS を使用する場合、すべてのノードは、EKS がホストする Kubernetes クラスターと、Amazon Elastic Container Registry (ECR) や Amazon S3 などの他の AWS API に接続できる必要があります。ノードはプライベートサブネットまたはパブリックサブネットで実行できます。プライベートサブネットの場合、このトラフィックは通常、AWS PrivateLink 接続を経由して、VPC または NAT ゲートウェイ内のエンドポイントに到達し、VPC の外部のエンドポイントに到達します。パブリックサブネットの場合、VPC の外部の API エンドポイントに到達するには、ノードにパブリック IP が割り当てられて
[アップデート] Mountpoint for Amazon S3 が GA されました。 | DevelopersIO
αリリースとなっていた高スループットが求められる環境向けの AWS 製 S3 マウントツール「Mountpoint for Amazon S3」が一般公開されました。 こんにちは、AWS事業本部の平木です！ 少し前より、αリリースとして公開されていた Mountpoint for Amazon S3 が GA (一般公開)されたため執筆しました。 αリリース分のブログは下記をご覧ください。 Mountpoint for Amazon S3 とは Mountpoint for Amazon S3 は、Linux アプリケーションが直接 Amazon S3 バケットへのファイルベースでの接続を可能にするオープンソースのファイルクライアントです。 これにより、大規模な読み込み負荷のあるアプリケーション(例えばデータレイク、機械学習トレーニング、画像レンダリング、自動運転車シミュレーション、ETL
![[アップデート] Mountpoint for Amazon S3 が GA されました。 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/26ddcbeeebba3c0b350413c7b63ddf812112d927/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Famazon-s3.png)
State of DevOps 2023レポートが公開！日本語版はまだ：Productivity Weekly (2023-10-11号)
こんにちは。サイボウズ株式会社 生産性向上チームの平木場です。 僕たち生産性向上チームは毎週水曜日に Productivity Weekly という「1 週間の間に発見された開発者の生産性向上に関するネタを共有する会」を社内で開催しています。 本記事はその時のネタをまとめたものです。 2023-01-25 号から、基本的に隔週で連載することとしました。たまに単独でも投稿するかもしれません。 今週は 2023-10-11 単独号です。 今回が第 128 回目です。過去の記事はこちら。 news 📺 2023 State of DevOps Report | Google Cloud 2023 年版の State of DevOps Report が公開されました。 State of DevOps Report は Google の DevOps Research and Assessmen
Amazon Fargate for Amazon EKSを試してみた #reinvent | DevelopersIO
みなさん、こんばんは！ AWS事業本部の青柳＠福岡オフィスです。 今、私は猛烈に感動しています！！(大げさ) [速報] Fargete for EKSがGAされました！！！ #reinvent ｜ Developers.IO そう、以前からリリース予定とされてきた Amazon Fargate for Amazon EKS がとうとう正式発表されたのです！ しかも、即日使えるようになっています！ ということで、さっそく試してみました。 やってみた AWS公式ブログ (英語) が公開されていますので、こちらを参考に進めてみます。 Amazon EKS on AWS Fargate Now Generally Available | AWS News Blog 準備その1： EKSクラスターの作成 まず、通常通りにEKSクラスターを作成します。 サクっと作成するために eksctl コマンドを
Kubernetes の CronJob の急な停止に対応するための Tips - freee Developers Hub
SRE の hatajoe です。 私が所属しているチームでは、これまで数多くのサービスのインフラ基盤を Amazon EKS へ移行してきました。 その過程で多くの乗り越えなければいけない課題に直面して来ましたが、今回は Kubernetes クラスタで安全に CronJob を扱うための Tips を紹介したいと思います。 CronJob CronJob とは、定義したスケジュールに応じて Kubernetes クラスタで実行されるジョブリソースです。 Kubernetes のジョブリソースには Job と CronJob の２種類がありますが、今回は CronJob の話になります。 CronJob は定義したスケジュールに応じて Pod を生成します。そして、ジョブの実際の処理は Pod 内のコンテナで実行されます。 課題背景 ところで、Kubernetes クラスタで稼働中の P
【レポート】第2回 AWS Fargate かんたんデプロイ選手権 #AWSDevDay | DevelopersIO
こんにちは、崔です。 2020年10月20日〜22日に行われたAWS DevDay 2020 のセッション「第2回 AWS Fargate かんたんデプロイ選手権」を視聴しましたので、レポートをお届けします。 セッション情報 スピーカー Tori Hara 様（アマゾン ウェブ サービス ジャパン株式会社） 概要 デプロイ ー それは秘められた開発を経た新たなソフトウェアが世に送り出される(ときどきロールバックされる)神秘の行為。 昨年日本中を感動の渦に巻き込んだあの伝説のブレイクアウトセッションが装いをあらたに帰ってきました。 常に最高のデプロイ体験を追い続けるあなたに贈る『第2回 AWS Fargate かんたんデプロイ選手権』。お楽しみください！ 本セッションは Amazon Elastic Container Service (Amazon ECS) が対象です。 資料 アジェンダ
Amazon Elastic Container Registry Public: A New Public Container Registry | Amazon Web Services
AWS News Blog Amazon Elastic Container Registry Public: A New Public Container Registry In November, we announced that we intended to create a public container registry, and today at AWS re:Invent, we followed through on that promise and launched Amazon Elastic Container Registry Public (ECR Public). ECR Public allows you to store, manage, share, and deploy container images for anyone to discover
[実験] ChatGPT4とPySimpleGUIで学習のゲーム化をしたら、AWSの知識をどこまで習得出来るか - Qiita
[実験] ChatGPT4とPySimpleGUIで学習のゲーム化をしたら、AWSの知識をどこまで習得出来るかPythonPySimpleGUIChatGPT 目論見 エンジニアにとってAWSの知識はあればあるだけ良い。しかし既存の退屈な勉強法に興味が持てない。 なので、モチベーションが上がる仕組みを用意してみようと考えた。 ChatGPTとGUIを使用したら面倒くさい学習を簡単にゲーム化出来て、「やべえ、楽しい！」ってなりながら自動的に学べるんじゃないか という仮説が出てきたので、これを検証していくことにした。 アプリ画像(暫定版) 使用するライブラリ PySimpleGUI … 簡単にGUIを作成できる、tkinterのラッパー。 polars … データの前処理。pandasはもう古くなりそう。 pip install polars 問題の作成方法 ChatGPT4に作成させる。 ネ
![[実験] ChatGPT4とPySimpleGUIで学習のゲーム化をしたら、AWSの知識をどこまで習得出来るか - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/84f415e3bf926cb434b3d0dfb0fe7de89c3cb5de/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCJUU1JUFFJTlGJUU5JUE4JTkzJTVEJTIwQ2hhdEdQVDQlRTMlODElQThQeVNpbXBsZUdVSSVFMyU4MSVBNyVFNSVBRCVBNiVFNyVCRiU5MiVFMyU4MSVBRSVFMyU4MiVCMiVFMyU4MyVCQyVFMyU4MyVBMCVFNSU4QyU5NiVFMyU4MiU5MiVFMyU4MSU5NyVFMyU4MSU5RiVFMyU4MiU4OSVFMyU4MCU4MUFXUyVFMyU4MSVBRSVFNyU5RiVBNSVFOCVBRCU5OCVFMyU4MiU5MiVFMyU4MSVBOSVFMyU4MSU5MyVFMyU4MSVCRSVFMyU4MSVBNyVFNyVCRiU5MiVFNSVCRSU5NyVFNSU4NyVCQSVFNiU5RCVBNSVFMyU4MiU4QiVFMyU4MSU4QiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1jbGlwPWVsbGlwc2lzJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NGQ4N2JjOTRhMGM5ZjkwZTI2ODEzZDBhNDlhYTA4MTg%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwa2FrYXJpODg4OCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTMyJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MGIxYWMxZjk5ODNhNmI0OTg4MTUzZWRmNjY0MmE4N2Q%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3De0e8e9d904cc86885f2125f8ec8fd3fa)
GitHub - aws/eks-anywhere: Run Amazon EKS on your own infrastructure 🚀
Build status: Conformance test status: Amazon EKS Anywhere is a new deployment option for Amazon EKS that enables you to easily create and operate Kubernetes clusters on-premises with your own virtual machines or bare metal hosts. It brings a consistent AWS management experience to your data center, building on the strengths of Amazon EKS Distro, the same distribution of Kubernetes that powers EKS
[アップデート]Amazon GuardDutyのEC2ランタイム保護がGAしたので詳細な動作確認してみた | DevelopersIO
GuardDutyでEC2のRuntime MonitoringがGAしました。GAに伴い自動でエージェントをインストールできたり、料金が安くなったりしました。ガンガン使いましょう！ こんにちは、臼田です。 みなさん、EC2の脅威検出してますか？(挨拶 今回はついに、待望の、待ちに待ったAmazon GuardDutyのEC2 Runtime Monitoring機能がGAしたのでこれを紹介します！ Amazon GuardDuty EC2 Runtime Monitoring is now generally available | AWS News Blog ちなみにこの元記事にある以下の画像、最新のGuardDutyイケてる感を感じるいい画像じゃないですか？ 概要 Amazon GuardDutyは脅威検出のサービスで、AWS環境上の様々な脅威を検出できます。例えばEC2でコインマイ
![[アップデート]Amazon GuardDutyのEC2ランタイム保護がGAしたので詳細な動作確認してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/b8049cf37a84382f2eef1d0e68d8b5719d773dc4/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Famazon-guardduty.png)
AWS-41：コンテナを有効活用したいあなたへ AWS コンテナサービス入門 2020 コンテナアプリの80％はAWSで実行されているーーゼロから学べるAWSのコンテナサービス入門 2020年9月8日から23日間にわたりオンライン上で開催された「AWS Summit Online」。アマゾンウェブサービス（AWS）の最新情報からテクニカル向けの特別講演、ユーザーの事例紹介など、150を超えるセッションが実施されました。本記事では、オーケストレーション・イメージレジストリ・ホスティングの3つのカテゴリーからAWSのコンテナサービスについて紹介するセッション「コンテナを有効活用したいあなたへ AWS コンテナサービス入門 2020」の模様をお送りします。 コンテナを有効活用する方法、教えます 濱真一氏：お時間になりましたので、始めていきます。「コンテナを有効活用したいあなたへ AWS コンテナ
Kubernetes 1.22で削除されるBeta APIが結構多いのでまとめてみる - inductor's blog
はじめに Kubernetesは直近3マイナーバージョンをUpstreamのサポート対象にしており、特に1.19以降では各バージョンごとに1年のパッチサポートがあります。2021年7月現在の最新版は1.21なので、1.19以降の3マイナーバージョンがサポート対象になっています。詳細については公式ドキュメントにも記述があります。 なお、GKE、EKS、AKSなどのKubernetesディストリビューションに関するサポートポリシーはUpstreamとは違い各ベンダーが責任を追っているため、各社のドキュメントをご覧いただければと思います。 KubernetesのAPI deprecationについて Kubernetesではマイナーバージョンごとに新しい機能が追加されたり、古い機能や利用の少ない機能を非推奨化または廃止するためのポリシー、Deprecation Policyが決められています。
エムスリー Advent Calendar 2023 五日目担当、AI・機械学習チームの横本（yokomotod）です。前日は同じくAIチーム大垣さん(id:Hi_king)からの「画像を理解するGPT-4 Visionで、既存の画像認識モデルを説明可能にする」でした。 たまたま並んでしまいましたが、昨日のAIチームのMLエンジニアリングな話に続けて、今日はMLOpsやインフラについてのお話です。 （さらに本日はmabl Advent Calendar 2023としてQAチームの城本さん（@yuki_shiro_823）から「mabl Experience'23で「複数チームでmablを活用する際の課題と対応」について話しました 」も公開されています！） どうやらエムスリーAIチームも2017年の発足からもう6年が経過しているようです。 私がチームに参加したのは2019年ごろですが、見てき
ElastiCache on Outposts を試す - NTT Communications Engineers' Blog
こんにちは、イノベーションセンターの福田優真です。 NTT Comでは AWS Outposts を日本で初めて導入し、様々な検証を進めています。 プレスリリース 国内初、「AWS Outposts」に自社データ分析ツールを組み込んだソリューションを開発 Engineers' Blogでの紹介 【日本初導入】 AWS Outposts ラックを徹底解説 第1回 〜導入・利用方法の概要〜 第2回 〜AWS CDKによるInfrastructure as Code〜 第3回 〜TerraformによるPrivate EKS構築〜 AWS Outpostsで実現するオンプレデータレイク Local cluster for EKS on AWS Outpostsについて紹介 今回は Amazon ElastiCache を Infrastructure as Code (IaC) によって Out
Amazon ECS/EKS関連の日本語ハンズオンのご案内 2021年10月版 | Amazon Web Services
Amazon Web Services ブログ Amazon ECS/EKS関連の日本語ハンズオンのご案内 2021年10月版 みなさん、こんにちは。ソリューションアーキテクト、コンテナスペシャリストの荒木です。 今日は、「Amazon Elastic Container Service (Amazon ECS、ECS) のハンズオン資料はありませんか？」というリクエストにお答えしてご案内します。あわせて、Amazon Elastic Kubernetes Service (Amazon EKS、EKS) についてもご案内します。 様々な業種のお客様とAWSの利用についてお話しさせてもらう機会がありますが、利用する技術をどのように身につけるのかがしばしば話題になります。もちろんコンテナコンピューティング（以下コンテナ）についてもご相談をいただくことがありますが、コンテナ技術はまだまだ発展の
This post introduces a new feature called Profiles, which allows you to create a specific Kubernetes application platform to meet your business needs. We show how you can enable machine learning operations or MLOps with specific Profiles for two different types of Kubernetes instances - EKS and Kubernetes with Firekube. If you ask an application developer what they want from Kubernetes, the answer
はじめに DRE Team の hyamamoto です． 皆さん，Spark は利用されていますか？ Gunosy では Digdag + Athena によるデータ整形が増えてきており，徐々に Spark の利用は減ってきています． 思い返すと，昨年入社後の OJT も Spark から Digdag + Athena への書き換えタスクでした． 一方で，決して多くはないものの，この構成ではカバーし切れない処理もあり，そういったものに関しては Spark を用いています． 話は少し飛びますが，DRE Team では Digdag や派生するバッチ処理を実行するための Kubernetes Cluster を EKS 上に構成しています． また，一部のタスクは Kubernetes の Job として Digdag から投げることで，リソースをスケールさせつつ様々な処理が可能となっていま
AWS Batch for Amazon Elastic Kubernetes Service | Amazon Web Services
AWS News Blog AWS Batch for Amazon Elastic Kubernetes Service Today I’m pleased to announce AWS Batch for Amazon Elastic Kubernetes Service (Amazon EKS). AWS Batch for Amazon EKS is ideal for customers who no longer want to shoulder the burden of configuring, fine-tuning, and managing Kubernetes clusters and pods to use with their batch processing workflows. Furthermore, there is no charge for thi
株式会社MIXIで『家族アルバム みてね』のSREをしているkohbisです。今回はTerraformのリポジトリ構成についてお話いたします。 Terraformとは TerraformとはHashiCorpが提供するIaC（Infrastructure as Code) ツールであり、HCL（HashiCorp Configuration Language）という独自の文法でクラウドやオンプレミスのインフラリソースを宣言的に定義し、管理やプロビジョニングを行うことができます。 TerraformはAPIを通じてプラットフォームやサービス上にリソースを作成します。Terraformは対象とのAPIのやり取りを「プロバイダ」と呼ばれるプラグインに依存しており、Terraformを利用する場合はまずはじめにどのプロバイダを必要とするのかを定義することになります。 プロバイダの一覧はTerraf
マージボタン1つで本番適用するための仕組み - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、Yakumoチーム兼コネクト支援チームの@ueokandeです。 本日はYakumoチームで構築した、デプロイパイプラインとその工夫について紹介します。 Yakumoプロジェクトはグローバル市場向けに、kintone.comをAWSから提供することを目指すプロジェクトです。 これまで日本のデータセンターから提供していたkintone.comを、現在AWS上に移行しています。 プロジェクトのもう1つのゴールとして、開発・運用体制を見直してクラウドネイティブなリリースプロセスを確立するというのがあります。 このプロジェクトは、国内向けのcybozu.comと完全に切り離されて開発がスタートしました。 ゼロからリリースフローを作るということで、これまでのインフラの経験や反省点を活かしつつ、チームの理想的なデプロイパイプラインの構築を目指しました。 そして最終的には、マージボタン1つで
Join the Preview – Amazon Managed Service for Prometheus (AMP) | Amazon Web Services
AWS News Blog Join the Preview – Amazon Managed Service for Prometheus (AMP) Observability is an essential aspect of running cloud infrastructure at scale. You need to know that your resources are healthy and performing as expected, and that your system is delivering the desired level of performance to your customers. A lot of challenges arise when monitoring container-based applications. First, b
RBAC DeepDive - SAML Authentication | IAM Role for Service Accounts
「GW直前！まだ間に合うコンテナバケーション with Amazon EKS」で話した内容です。 SAML 認証と IAM Role for Service Accounts について話しています。
この記事は新野淳一氏のブログ「Publickey」に掲載された「AWS、コンテナに最適化したLinuxベースのOS「Bottlerocket」をオープンソースで公開」（2020年3月12日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 一般的なLinuxディストリビューションで提供されているOSはコンテナ環境に最適化されているわけではないので、コンテナの実行には不要なソフトウェアが含まれていることなどによるストレージやメモリのオーバーヘッドや、不要なネットワークポートが空いていることによるセキュリティのリスク、アップデート時に発生するパッケージの不整合などによる何らかのエラーの可能性、そして手間のかかるアップデート操作など、いくつもの課題が存在しています。 Bottlerocketはコンテナ環境に特化することで、こうした課題の解決を目指すOSです。 Bottler
こんにちは、インフラ部の id:sue445 です。 前回に引き続きGitLabのGCP移行について紹介します。 前編の記事はこちらになります inside.pixiv.blog 今回の目次 今回の目次 やったこと2: 実際にGCPに構築した GitLab構築に関係するリポジトリの構成 gcp-gitlab-terraform gcp-gitlab-playbook gcp-gitlab-helm 備考 全体の構成図 webservice (GitLab本体) GitLab CI 3rd party製のDockerイメージから公式のDockerイメージに移行した Docker Swarmは継続利用 GitLabを複数ゾーンで動かすための準備だけした やりたかった構成 現在の構成 Cloud IAPとTunneling SSH Connectionsを利用したgitアクセス Tunnelin
Reducing AWS Fargate Startup Times with zstd Compressed Container Images | Amazon Web Services
Containers Reducing AWS Fargate Startup Times with zstd Compressed Container Images Updated Oct. 19, 2022: Amazon ECR’s Enhanced Scanning, powered by AWS Inspector, now supports scanning zstd compressed container images AWS Fargate is a serverless compute engine for containerized workloads running on Amazon Elastic Container Service (Amazon ECS) and Amazon Elastic Kubernetes Service (Amazon EKS).
第一線で活躍するCTOに日々の業務や未来をインタビューする「Voicy公式 厳選！CTO百景」チャンネル。ここで株式会社Spartyの山下氏が登壇。ここからは、株式会社Spartyでの取り組みについて話します。前回はこちらから。 「定職に就く必要はない」と思いフリーランスのエンジニアに やまげん氏（以下、やまげん）：WHILLさんで働いた後、今のSpartyさんに移られたのかなと思うのですが、このあたりは何かきっかけがあるのですか？ 新しいことをやり過ぎて疲れてしまったんですか（笑） 山下貴大氏（以下、山下）：当時嫁と離婚して。嫁が公務員家系で、向こうの親からの見られ方で「定職に就いていなければいけない」みたいなところがあったんですけれど。離婚して、「別に定職に就いておく必要はないかなぁ」と思いました。 WHILLのCTOに「辞めていい？ 業務委託としてやるから、辞めていい？」と言って辞め
こんにちは。ひぐらし業を見て毎週心を痛めているふそやん@azihsoynです。 コロナ禍でIT業界ではリモートワークが増えてきて、オンボーディングもオンラインで行うことが多くなってきており、ドキュメントの重要性がさらに増している気がします。 恥ずかしながら弊チームはサーバーサイドのドキュメントが豊富にあるとは言えず、オンボーディングは手書きで構成図を書きながら口頭で説明していました。 そろそろちゃんとしないとと思い始めドキュメントを作り始めたのですが、一番重要なシステム構成図がなかなか描けずに苦労していました。 そもそもなぜシステム構成図が描けないのか？ いくつか理由はあると思うのですが、自己分析した結果、 デザインセンスがない 辛い GUIのツールで書いても秘伝のタレ化してしまう 継続的に更新されなさそう → 一回だけの図を描くことになりコスパが悪い などがありそうでした。 自分に向いて
EKSでDNSを安定させるために対応したこと - Chatwork Creator's Note
今回はEKSでDNSを安定させるために対応した話を書きたいと思います*1。 一定数のPod以上になるとサービスが不安定になる conntrack溢れの犯人はkube-dns(CoreDNS) conntrackのmaxを増やす kube-dnsのautoscale node-local-dnsも入れる node-local-dnsを入れた途端にDNSまわりが再び不安定に node-local-dnsの利用ポイント@EKS 無事に安定 一定数のPod以上になるとサービスが不安定になる creators-note.chatwork.com Chatworkでは、2020年にEC2で動かしていたレジェンドシステムをEKSに移行しました。 その移行の際(EC2側とEKS側でRoute53での重み付けによる並行稼動しながら)、ある割合以上のリクエストをEKS側に流すと、途端に不安定になる状態になりま
クラスメソッド データアナリティクス通信(AWSデータ分析編) – 2022年11月号 | DevelopersIO
データアナリティクス事業本部のコンサルティングチームの石川です。コンサルティングチームメンバーを中心に、日々AWSのアナリティクス関連サービスのアップデートを追っています。メンバー内で業務に取り入れられそうかを中心に確認しているので、一部取り上げられていないものもあるかもしれませんが、参考になりましたら幸いです。 Amazon Redshift 新機能・アップデート 2022/10/05 - Amazon Redshift Serverless now supports resource tagging Amazon Redshift Serverlessは、ネームスペースやワークグループなどのリソースのタグ付けをサポートするようになりました。タグ付けにより、リソースにキーと値のペアを割り当て、部門、請求グループ、本番/検証/開発環境ごとにリソースを整理することができます。 Amazon
Amazon EKS Adds Support to Assign IAM Permissions to Kubernetes Service Accounts
Amazon EKS now allows you to assign IAM permissions to Kubernetes service accounts. This gives you fine-grained, pod level access control when running clusters with multiple co-located services. Previously, when running a Kubernetes cluster on AWS, you could only associate IAM roles to an EC2 node in the cluster, and every pod that ran on the node inherited the same IAM role. This made it hard to
こんにちは。 GMOアドマーケティングの@zakisanbaimanです。 GMOアドマーケティングのDMPサービスであるMinervaはGKEを利用しているのですが、Googleから以下のメールが届きました。 Kubernetes v1.26 以降にて GKE クラスタに引き続きアクセスするためには、gke-gcloud-auth-plugin という新しいバイナリを Kubectl（および Kubernetes カスタム クライアント）とともにインストールする必要がございます どうやら1.25以前で利用していた認証方法が利用不可になり、代わりに新しいプラグインを利用して欲しいとのことのようです。 なぜ認証方法が変わるのか？ 背景を知ることは作業の精度を上げるためにも重要です。 KubernetesはOSSであり、OSSをそのまま使ったりサービスプロバイダー（GCPのGKE、AWSのEK
関連キーワード 仮想化 | クラスタ | Docker | システム構築 複数のコンテナを運用する方法は主に2つある。前編「コンテナ連携ツール『Mesos』とは？ 『Kubernetes』との違いは」で紹介した、リソース管理ツール「Apache Mesos」（以下、Mesos）を用いる方法と、中編「『Kubernetes』で複数のコンテナを管理するには？」で紹介した、コンテナの運用管理を自動化するコンテナオーケストレーションツール「Kubernetes」を利用する方法だ。 併せて読みたいお薦め記事 Kubernetesの活用事例 マインクラフト交流サイトが「Kubernetes」を活用 その独自の管理方法とは？ マネージドKubernetesを使うマインクラフト交流サイト 直面した課題と解決策は？ メルカリが写真検索に「Amazon EKS」を活用 マネージドKubernetesの使い勝手
株式会社ミクシィに入社して家族アルバム みてねのSREをやります。 - 30億のデバイスで走るHonMarkHunt
はじめに タイトルのままですが、2022年5月1日から株式会社ミクシィで家族アルバム みてねのSREをやります。 mitene.us 転職しようと思った経緯とか、転職活動した感想とかさらっと書いておきます。 Why ミクシィ まえおき 一言で表すと「子供が生まれて世界が変わったから」です。 正直、子供が生まれる。という事象がここまで自分の人生に変化をもたらすとは考えていませんでした。月並みですが、本当に子供が可愛くて一挙手一投足のかわいさに幸せを感じており。また、小さいながらに日々どんどん成長を見せてくれる姿にて幸福度のボルテージが夫婦二人暮らしだったときの上限値を毎分天元突破し続けています。 そんなある日、前職(ビズリーチ)の同僚(チャブ)から子供関連のサービスの会社に入社したとLINEがありました。そのサービスは自分もよく使っているものだったので「え〜使ってるよ〜すごい〜」くらいにしか
AWS Fargateとは？Amazon ECSとの関係性やメリット・デメリットを解説｜コラム｜クラウドソリューション｜サービス｜法人のお客さま｜NTT東日本
2020.03.17｜ Writer：NTT東日本アベ AWS Fargateとは？Amazon ECSとの関係性やメリット・デメリットを解説 【クラウド導入を検討中の方必見！】「NTT東日本がおすすめするクラウド導入を成功させるためのお役立ちマニュアル 」を無料でダウンロードしていただけます！今すぐこちらをクリック！ 企業情報システムのITインフラストラクチャはオンプレミスからクラウドへと移行しています。それにともない、開発環境や本番環境のサーバーやネットワーク管理もユーザーの手から離れ、クラウドサービス事業者が管轄するようになってきました。また、従来のクラウドサービス利用ではクラウド上にユーザーが仮想マシンを構築するスタイルが一般的でしたが、近年のコンテナ利用に見られるようにクラウド上のホストマシンすら意識させないスタイルになりつつあります。そこで今回は、コンテナの実行環境であるAWS
VMwareが「Tanzu Application Engine」発表、Kubernetes上に抽象化されたアプリケーション基盤を提供。VMware Explore 2023
VMwareは米ラスベガスで開催中のイベント「VMware Explore 2023」で、Kubernetes上でアプリケーションの開発や実行を行う環境を提供する「Tanzu Application Engine」を発表しました。 Tanzu Application Engineは、VMwareが提供するマルチクラウド対応のKubernetes環境を提供する「Tanzu Application Platform」の新機能です。 Tanzu Application EngineはKubernetes環境上に、可用性、セキュアなコネクティビティ、スケーラビリティ、アプリケーションフレームワークなどの要件に対応したアプリケーション開発と実行のための抽象化された環境「Tanzu Application Spaces」をプロビジョニングする機能を提供します。 これによりアプリケーション開発者は環境構
SREのたっち(@TatchNicolas)です 本記事は、先日の弊社主催のTechトークイベントで発表した内容について、もうすこし詳細に書いてみます。 jxpress.connpass.com TL;DR; GitLabのenvironmentとHelmのreleaseを対応させることで動的な環境の作成・削除を実現した CIOpsとGitOpsを使い分けて、「ちょうどいい」使用感を目指した 環境の順番待ちがなくなった！ 背景 JX通信社のサーバサイド開発では、ECSによるコンテナベースでの開発・デプロイが主流です。*1 環境としては ローカル環境: docker-composeやgo run yarn run などで起動する、文字通り手元のマシンのローカル上で動かす環境 開発版環境: SQSやFirestoreなどのマネージドサービスや、ローカルで立てるのが大変な別のAPI*2との繋ぎ込
こんにちは クラスメソッドのスジェです。 既存のオンプレミス環境からクラウドへの移行を計画しながら既存環境のコンテナ化も検討する場合があります。 その内容について私が勉強した内容を記録しました。 コンテナ化とは？ 定義 コンテナ化は、アプリケーションのコードを、あらゆるインフラストラクチャで実行するために必要なすべてのファイルとライブラリにバンドルするソフトウェアデプロイプロセスです。従来、コンピュータでアプリケーションを実行するには、マシンのオペレーティングシステムに合ったバージョンをインストールする必要がありました。 例えば、Windows マシンには Windows バージョンのソフトウェアパッケージをインストールする必要がありました。しかし、コンテナ化を使用することで、あらゆるタイプのデバイスやオペレーティングシステムで実行される単一のソフトウェアパッケージ (コンテナ) を作成で
Advice for customers dealing with Docker Hub rate limits, and a Coming Soon announcement | Amazon Web Services
Containers Advice for customers dealing with Docker Hub rate limits, and a Coming Soon announcement Many container customers building applications use common software packages (e.g. operating systems, databases, and application components) that are publicly distributed as container images on Docker Hub. Docker, Inc. has announced that the Hub service will begin limiting the rate at which images ar
宣言的 Blue/Green デプロイで EKS バージョンライフサイクルに立ち向かう話｜グロービス・デジタル・プラットフォーム
こんにちは、グロービスで SRE をしている @yukin01 です。 私たちがサービスの実行基盤として導入を進めている Amazon EKS について、いかに認知負荷を下げつつ Kubernetes バージョンのライフサイクルに向き合っているか、を話します。 インプレースアップグレードKubernetes 自体は年に3〜4回の頻度でマイナーバージョンがリリースされます。そのマネージドサービスである EKS はアップストリームのリリースからしばらく経ったあとにサポートが開始されて、そのサポートは少なくとも14ヶ月間続きます。詳細についてはドキュメントをご覧ください。 サポート終了まで特定バージョンを使い続けるのは極力避けたいところですが、かといって数ヶ月ごとに CHANGELOG を追いかけつつ、デグレを防ぎながらアップグレードし続けるのもなかなか大変な話です。 実際 AWS 側もアップグ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
EKS マネージドノードグループの IP 割り当てに対する今後の変更 | Amazon Web Services
コンテナアプリの80％はAWSで実行されているーーゼロから学べるAWSのコンテナサービス入門
AI・機械学習チーム流MLOpsの歴史 - エムスリーテックブログ
MLOps on Kubernetes with portable Profiles
Spark on k8s を EKS 上で動かす - Gunosyデータ分析ブログ
『みてね』のTerraform構成～モノリポジトリとマルチリポジトリ～ | gihyo.jp
AWS、コンテナに最適化したLinuxベースのOS「Bottlerocket」をオープンソースで公開
GitLab GCPに 移行した（中編） - pixiv inside
大事なのは「一緒に働いたら楽しいやろうな」と思える関係性を作っておくこと Sparty・CTO山下氏が語る、リファラル採用のコツ
ゼロから始めるdiagramsでシステム構成図 - Gunosy Tech Blog
GKE1.26を利用するためgke-gcloud-auth-pluginをインストール
「Kubernetes」と「Mesos」 コンテナ管理にはどちらを選ぶべきか？
GitLabとKubernetesで作る、自動で起動・停止できるブランチ別環境 - JX通信社エンジニアブログ
コンテナ化とAWSへの移動について | DevelopersIO