66分かかる同期処理を10分以内に短縮せよ！～商品情報同期システムでの、処理速度と運用の改善～ - MonotaRO Tech Blog
はじめに この記事では、モノタロウの基幹系を構成するシステムの一つである、商品情報管理システム（PIM：Product Information Management システム）の導入プロジェクトで、商品情報を基幹系と同期するシステム（商品情報同期機能）の性能や運用環境の改善を行った話をご紹介します。 背景 モノタロウの基幹系は、長年内製のシステムで支えられてきました。基幹系のシステムは、少数のWebアプリケーションと多数のバッチから構成されています。中でも商品情報の管理に関するシステムは、在庫や仕入先に関するシステムと一体化していて、商品情報に関する数多くのマスタメンテナンス画面を備えたやや複雑なシステムです（図１）。 図1 基幹系の概略図 当社のシステムは、もともと自分たちのビジネスに必要な機能を提供する手頃なパッケージ製品がなかったため、すべてを内製でまかなってきたという経緯があります
イラストではじめる「Kubernetesで本番運用」～可観測性のあるシステムの実現と、さまざまな障害への備え方
いよいよ今回が最終回です。これまではKubernetesのしくみや、使い方などを説明してきました。最終回では「いざKubernetesを本番で運用してみよう！」ということで、「障害」を主題とした内容となっています。Kubernetesの特徴の一つは障害に強いことで、例えば自動復旧などさまざまな仕組みが用意されています。それらの仕組みを知ったうえで、それでも起こり得る障害に備えるためにアプリケーション開発者はどのような準備をすればよいか具体的に説明したいと思います。 Kubernetesと障害調査 どんなに手を尽くしても本番で運用をしていれば障害はつきものです。ここでは障害が起きることを前提として、障害調査のための準備や障害調査の仕方について説明します。 障害調査のための準備 これまで物理／仮想マシンでアプリケーションを立ち上げて運用した経験のある方は、コンテナを利用した障害調査がこれまでと
Kubernetes上にPaaSを構築する「Korifi」、Cloud Foundryがベータ公開
Cloud Foundry Foundationは、Kubernetes上にPaaS（Platform as a Service）環境を構築する「Korifi」のベータ版をオープンソースで公開しました。 もともとCloud Foundryは仮想マシンを基盤としたPaaSとして登場しました。 アプリケーションの実行ファイルをCloud Foundryにプッシュするだけで、サーバやネットワークなどのプロビジョニング作業も必要なく簡単にアプリケーションをデプロイできて、負荷分散なども自動的に行われるという非常に便利なプラットフォームです。 Cloud Foundryが登場した後で、世の中にはDockerコンテナやKubernetesといったコンテナ技術とオーケストレーション技術が普及し始めました。そのためCloud Foundryも仮想マシンではなく、これらのコンテナとオーケストレーション技術を
マイクロサービスの失敗は技術だけの問題か――Amazonに学ぶ開発・運用組織の理想形とは
開発と運用の理想的な関係とはどんな姿か。すでに「DevOps」という言葉は浸透しているものの、理想的な形で実践できているかとなると、話は別だ。現場ではどんな障壁があり、DevとOpsが分断されているのか。打開していくにはどうしたらいいのか。DevOpsという言葉が生まれる前から、その本質を実践してきたAmazonのカルチャーにヒントがありそうだ。AWSジャパン 塚田朗弘氏に聞いた。 今回お話を伺った、アマゾン ウェブ サービス ジャパン株式会社 ソリューションアーキテクト 塚田朗弘氏 ペアで語られてしまいがちな「マイクロサービス」と「コンテナ」 Amazonには「DevOps」や「マイクロサービス」という言葉が生まれる前から、DevとOpsを統合し、システムはAPIでやりとりするという原則がある。それを長年追求するなかで、開発カルチャーを育んできた。そんなAmazonから開発と運用の理想の
「コード書きました、あとはよろしく」では優れたソフトウェアは生まれない コンテナのスペシャリストが語る、運用性を損なう8つの実装例
今押さえておくべき知識をアップデートし、ノウハウを共有し、さらなるスキルアップを実現する場として開催されている、AWS で最も Developer に特化したカンファレンス「AWS Dev Day Online Japan」。ここでSr. Product Developer Advocate, Elastic Containersの原氏が登壇。続いて、運用性に優れたソフトウェアが重要な理由と、運用性を損なう8つの実装例について紹介します。前回はこちらから。 You build it, you run it 原トリ氏：（スライドの「You build it, you run it」を指して）この言葉、聞いたこと、見たことがある方がいるかもしれません。これは、2006年にACM（Association for Computing Machinery）という団体が、Amazon AWSのCTOで
Kubernetesのセキュリティ対策を整理する「脅威モデリング」のすすめ
Kubernetesのセキュリティ対策を整理する「脅威モデリング」のすすめ：特集：クラウドネイティブのセキュリティ対策とDevSecOpsの勘所（3） クラウドへの移行が進み、Kubernetesなどコンテナ技術を活用するシーンが増えた昨今、管理者を悩ませるのはそのセキュリティ対策だ。GMOペパボのセキュリティエンジニアによる「Cloud Native Days Tokyo 2021」の講演から、脅威モデリングの基本やKubernetesクラスタを題材にした具体的なモデリング方法などを解説する。 クラウドへの移行が進み、Kubernetesなどコンテナ技術を活用するシーンが増えた昨今、管理者を悩ませるのはそのセキュリティ対策だ。従来の境界防御と勝手が違うので対策が分かりにくい、守るべき箇所が見えない、適切な設定が分からないといった悩みも聞かれる。 そうした課題に、GMOペパボのセキュリティ
アプリケーション開発者はどこまで知っているべきなのか？ 前提知識整理のための、コンテナワークロード超入門
今押さえておくべき知識をアップデートし、ノウハウを共有し、さらなるスキルアップを実現する場として開催されている、AWS で最も Developer に特化したカンファレンス「AWS Dev Day Online Japan」。ここでSr. Product Developer Advocate, Elastic Containersの原氏が登壇。まずは、コンテナワークロード超入門として、コンテナのデプロイ時とクラッシュ時に起こることを紹介します。全3回。 自己紹介 原トリ氏：オーナーシップの塊、トリです。本日はタイトルにあるとおり、アプリケーション開発者はAmazon ECSあるいはKubernetesといったコンテナオーケストレータのことを、どこまで知るべきかについて話します。もともと「どこまで知ればいいのか」というタイトルでしたが、思いが強すぎて「知るべきか」に変わりました。 あらためて
ゼロからはじめる実践 Kubernetes セキュリティ(1) Kubernetesのセキュリティ対策の第一歩とは？
本連載では、エンタープライズシステムでコンテナ／Kubernetesを活用した業務システムを開発・運用するエンジニアに向けて、知っておくべきKubernetesセキュリティの基礎知識、Microsoftが提供するパブリッククラウド「Azure」を使ったクラウドにおけるKubernetesのセキュリティ対策のポイントや注意点といった実践的なノウハウを紹介します。 コンテナ／Kubernetes環境に求められるセキュリティとは？ 今日、オンプレミスの環境で運用されていた業務システムの多くが、クラウドへの移行を進めています。クラウドを活用することで、高い拡張性を持つセキュアなシステムを短期間で開発できます。加えて、コンテナベースのクラウドネイティブ・アプリケーションにモダナイズすることで、変化の激しいビジネス環境に追随できるだけでなく、最新技術を起点としてこれまでになかったビジネスモデルを構築し
EC2で運用しているWordPressサーバーをECS/Fargateに移行しました | ランサーズ（Lancers）エンジニアブログ
SREチームの安達(@adachin0817)です。今回WordPressサーバーであるEC2からECS/Fargateに移行しましたが、紆余曲折を得て、苦労したところ、技術的な部分、最終的には複数のリポジトリを一つにまとめたことなどを紹介したいと思います。まずはプロジェクトとサーバーの構成から説明していきましょう。 ランサーズのWordPressとECS時代のサーバー構成 https://engineer.blog.lancers.jp https://info.lancers.jp https://l-ap.jp https://connect.lohai.jp https://lohai.jp https://tips.lancers.jp https://www.lancers.co.jp https://www.lancers.jp/assistant/cases https:/
GitHub Actionsを使ってコンテナ版AWS Lambdaにデプロイしてみた | DevelopersIO
GitHub Actionsを使い、コンテナイメージをAmazon ECRにプッシュし、AWS Lambdaにデプロイする方法を紹介します。 GitHubからAWSへの認証では、OpenID Connect(OIDC)を利用します。 本ブログでは、GitHub Actionsを使い、main ブランチへの push をトリガーにコンテナイメージをビルドしてコンテナレジストリのAmazon ECRにプッシュし、AWS Lambdaにコンテナイメージをデプロイする方法を紹介します。 実質的にやっていることは、GitHub の ECS 向けドキュメントをベースに、以下の変更を加えています。 GitHub から AWS への認証に、IAMアクセスキーの代わりに OpenID Connect(OIDC)を利用 デプロイ先をAmazon ECSからAWS Lambdaへ変更 大前提として、デプロイのゴ
AWSで構築するSelenium自動テスト環境とその運用 - ZOZO TECH BLOG
はじめに こんにちは、Selenium 4の正式版がなかなかリリースされなく、ソワソワしている品質管理部・自動化推進ブロックの木村です。 私が所属する品質管理部は、ZOZOTOWNやWEARなどの開発プロジェクトに対してテスト・検証を行い、完成品がユーザーの手に届いても問題ないかを確認する部署です。その品質管理部では、先日、部署で開発運用しているSeleniumによる自動テストのシステムをオンプレからAWSに移行しました。自動テストの書き方や、個々のAWSサービスの使い方の記事は多く存在するので、本記事では自動テスト全体の概要を紹介します。単純な移行だけでなく、サーバレスやマネージドサービスを活用しているので、部分的にでも参考になる点があれば幸いです。 背景 品質管理部が行っていたリグレッションテストやシステムテストを部分的に自動化するために、Seleniumによる自動テストのシステムを開
スペシャリストから学ぶコンテナ技術 第 1 回 - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
こんにちは、テクニカルソリューションアーキテクトの原田です。 普段は、業種業態や技術領域を問わず、様々なお客様の AWS 活用支援を担当しています。 皆さんは「コンテナ」という単語を聞いたことはありますか ? 今日、多くのお客様が本番環境でコンテナを採用し、ビジネスに活かしております。その一方で、「コンテナを使ってみたいけど、コンテナ自体がよく分からない」「何から勉強して良いのかわからない」「なんとなくコンテナを使い始めたけれど、これでいいのか不安」といったコンテナ自体に関するご相談をいただくこともあります。 本記事では、AWS 上でのコンテナの利用方法といった AWS 自体の話からは少し離れて「コンテナ」自体にフォーカスして、そもそもコンテナとは？なぜコンテナか ? (What Containers ? Why Containers ?) についてお話していきます。 今回は、コンテナスペ
クラウドネイティブの目的は運用と自動化の改善のため、コンテナやKubernetes採用の最大の課題は社内のスキルや人材不足、ローカルではMinikubeとDocker Kubernetesが人気。Canonicalによる調査結果
クラウドネイティブの目的は運用と自動化の改善のため、コンテナやKubernetes採用の最大の課題は社内のスキルや人材不足、ローカルではMinikubeとDocker Kubernetesが人気。Canonicalによる調査結果 Canonicalは、1000人以上のIT技術者や専門家に対してクラウドネイティブをテーマにした調査結果「Kubernetes and cloud native operations report 2021」を発表しました。 対象者は1162人。うち23.7％がSRE/DevOpsエンジニア、11.5％がインフラストラクチャアーキテクト、9.8％がバックエンドエンジニア、8.7％がフルスタックエンジニア、5.5％がアカデミック／教師／学生、4.6％がセキュリティエンジニアなど。 この記事では、主な回答をいくつか見ていきましょう。 クラウドネイティブの目的は自動化な
Kubernetesの仮想クラスタについてとりとめもなく語る
KubeCon EU 2021というイベントが先日行われ、その基調講演の中でRed Hatの人によるThe Hybrid Control Plane という短いセッションがあった。 内容をかいつまんで紹介すれば、①Kubernetesのコンテナ管理機能をコンテナに限らず汎用的に使えるように拡張したら、②リソースやクラスタの管理で生じる問題が解決できるのではないか？という問いかけだ。 ①Kubernetesのコンテナ管理機能とは、マニフェストファイルによる宣言的な設定や、状況に応じて自動的にコンテナが再配置されるリコンサイルループによる自動調整機能だ。説明はKubernetesがいかに自動化の考え方を変えたか?という記事が詳しい。 ②リソースやクラスタの管理で生じる問題とは、マルチテナントやマルチクラウドを考えると分かりやすい。複数の動作環境、複数のチームを横断的に監視、管理するための組織が
SaaS系スタートアップのリアルなAWSアーキテクチャ設計
概要 AI革命のインフラを目指すSaaS系スタートアップのFastLabel（最近資金調達しました！記事はこちら）で働いているが、今までGCPで動かしていたインフラを訳あってAWSに基盤を載せ替えることになった。 スタートアップは何よりスピードが求められるが、だからといってセキュリティやモニタリング、可用性を疎かにはできないし、大きなインフラコストに耐えられるほど体力もない。 アプリケーション要件を満たしつつ、以下を実現するアーキテクチャを設計する。 シンプルな構成・構築の容易さ スピーディな開発・適用 可用性の担保 セキュリティの担保 最低限のモニタリング 低コスト（リソース・運用） ここで紹介するアーキテクチャは実際に運用まで行っており、問題なく稼働しているし、先日AWSの方にレビューしてもらったが、「なかなかイケてる」というお言葉をもらい、特に改善点も指摘されなかった。 結論（アーキ
コンテナ運用におけるログ基盤設計のベストプラクティス - Qiita
課題 数年前と比較すると、GKEやECSを始めとするコンテナ実行環境でのアプリケーション運用を行うサービスはかなり増えてきた印象があります。 コンテナを運用する上では、アプリケーションのイベントを追跡する上でログをどう扱うかが課題になります。今までのように古いログを定期的にローテートして別のストレージに転送するといった手法はクラウドネイティブなアーキテクチャには最適とは言えません。 アプリケーション開発の方法論として、Twelve Factor App ではログをイベントストリームとして扱うためのガイドラインが示されていますが、近年のWebアプリケーションではシステムを疎結合に連携するマイクロサービスという考え方が主流になりつつあります。 アプリケーションログはサービスごとにフォーマットを整形した上で、ログ収集サービスに配送。必要に応じてリアルタイム分析や異常データの通知、そしてデータの可
マイクロソフトが宇宙事業「Azure Space」を発表、SpaceXとも提携
Microsoftは米国時間10月20日、新事業「Azure Space」を発表した。Azure Spaceは、さまざまな宇宙関連事業や人工衛星関連事業の接続性やコンピューティングをAzureの一環として提供するもの。同社はこの取り組みに関する新たなパートナーシップについても発表した。 Azure Spaceのターゲットは宇宙産業の企業だけではなく、農業やエネルギー産業、通信業、政府機関などの各市場における公的機関や民間企業も想定している。また、リモートアクセスと帯域幅を必要とする、あらゆる顧客もこの事業のターゲットになっている。 Microsoftは宇宙開発企業SpaceXと協力して、Azureを介して衛星を利用したインターネット接続を提供する。今回発表された両社の計画は、SpaceXの衛星ブロードバンド通信サービス「Starlink」を使って、Microsoftの新製品である「Azur
Kubernetesがいま企業でどう使われているか。KDDIやマイクロソフトらが語る。Rancher Day 2020［PR］
Kubernetesがいま企業でどう使われているか。KDDIやマイクロソフトらが語る。Rancher Day 2020［PR］ Dockerコンテナの登場と普及によってこれからのIT基盤にコンテナ技術が欠かせないことが誰の目にも明らかな中で、そのコンテナ環境基盤の事実上の標準がKubernetesであることもまた確実視されています。 Kubernetesはコンテナ環境を自動的かつ安定的に運用する、いわゆる「コンテナオーケストレーション」の役割に注目が集まっていました。 そのKubernetesの機能が充実するにつれて、コンテナを用いてIT基盤を抽象化する、「IT基盤の抽象化レイヤ」としての役割にも焦点が当たるようになっています。 すなわち、クラウド、オンプレミス、エッジなど性質の異なるIT基盤を抽象化することで、アプリケーションを必要に応じて自由にIT基盤のあいだを移動させたり負荷に応じて
エンプラに Kubernetes を 導入してみて分かった 4つの Lessons Learned
Kubernetes 基盤における非機能試験の deepdive（Kubernetes Novice Tokyo #17 発表資料）NTT DATA Technology & Innovation
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MackerelにおけるEC2からFargate移行の軌跡とFargateのメリットデメリットについて - Speaker Deck
