リーガルテック領域のリーディングカンパニーである株式会社LegalForceが、「検索インフラTechTalk!」を開催しました。インフラ領域の中でも「検索インフラ」にフォーカスした今回は、検索インフラに関する具体的な事例や取り組みについて各スピーカーから発表がありました。野口真吾氏は、AWSを用いたデータレイクの基礎について紹介しました。 企業規模に関係なく起こるデータのサイロ化 野口真吾氏（以下、野口）：みなさんこんばんは。本日は「検索インフラ Tech Talk!」ということで、検索インフラから少し広げた話題にはなるんですが、「AWSを用いたデータレイクの基礎」というお話をします。よろしくお願いします。 最初に簡単に自己紹介します。アマゾンウェブサービスジャパンでスタートアップ担当のソリューションアーキテクトをしている野口真吾と申します。Twitterでは＠nogというIDを使って活
【感想】『Amazon Web Servicesを使ったサーバーレスアプリケーション開発ガイド』：Lambdaで本格サービス開発まで - Rのつく財団入り口
サーバーレスアプリケーション開発ガイド Lambda関数を用いたサーバーレス開発をもっと知っておこうと思って読んだ本の感想です。2018年4月刊行、サーバーレスの主要サービス解説にコードはPython、のみならずフロントはVue.jsを使った本格開発まで、実践的な内容が詰まった本です。 作者は現Amazon Web Services Japan所属のKeisuke69こと西谷圭介さん。Twitterでもよくお見掛けします。(@Keisuke69) サーバーレスアプリケーション開発ガイド Chapter1 サーバーレスアプリケーションの概要 1-1 サーバーレスアプリケーションとは 1-2 ユースケースとアーキテクチャパターン 1-3 サーバーレスアプリケーションのライフサイクル管理 Chapter2 Amazon Web Services（AWS）利用の準備 Chapter3 インフラを自
通信業界の仮想化とKubernetes
本記事は通信業界アドベントカレンダー Advent Calendar 2021の20日目の記事です。 はじめに 通信業界ではNFVをはじめとして、ネットワーク仮想化の検討が行われています。最近では要素技術にコンテナも加わり、DockerやKubernetesを使う機会も出てきました。ネットワーク仮想化を進めてきた背景からすると、業界内では当然の流れだと思いますが、通信業界以外の方に「Kubernetesを触っています」と話すと驚かれるので、自分の勉強もかねて通信業界の仮想化とKubernetes の活用までの流れを簡単にまとめてみました。 ネットワーク仮想化の歴史 VLAN 1990年代に登場したネットワーク仮想化の先駆けの技術 物理スイッチを複数の論理的なスイッチに分割して利用 設定変更のしにくさや障害発生時の切り替えに時間がかかるなどの課題 SDN: Software Defined
お久しぶりです、かとじゅん(@j5ik2o)です。テックブログを書くのは何年ぶりか…。 サービスが停止したり応答性が低下すると、お叱りや逆に励ましをいただきますが、エンジニアとして設計レベルからそういった問題に対処するにはどうするか、日々精進しているところですmm。この記事はそういう論点で注目されている「リアクティブ原則」についてまとめてみたいと思います。 それなりのボリュームになってしまったので、時間があるときに読んでいただければと思います。 さて、Linux Foundation内の新たなトップレベルプロジェクトであるReactive Foundationが主催する、Reactive Summit 2020が11月10日にオンラインで開催されたので参加しました。 www.reactivesummit.org 参加されていたスピーカーはLightbendをはじめ、Netflix, Fac
AWS、全世界から利用できるNTPサーバーを公開
米Amazon Web Servicesは、全世界から利用できるNTP（Network Time Protocol）サーバーを11月10日（現地時間）に公開した。同社は「Amazon Time Sync」という名称でEC2（Elastic Compute Cloud）インスタンスに時刻情報を送信するサービスを提供しているが、今回は時刻情報を送信する対象を全世界のコンピューターに拡大した。 AWSが提供を開始したNTPサーバーを利用するには、コンピューターの時刻設定で「time.aws.com」というNTPサーバーを参照するように設定すればよい。料金は発生しない。AWSはIoT端末や、オンプレミスのサーバーなど、AWSサービスと連携している端末で使用することで、AWSサービスと共通の時刻で運用できる利点があるとしている。 Amazon Time Syncは、衛星につながった原子時計を使用した
コンピューターの通信をキャプチャするソフトウェアとしては「Wireshark」が有名ですが、Wiresharkは大規模なネットワークの通信を常時キャプチャして表示するのは得意ではありません。無料でオープンソースの「Moloch」は、大規模なネットワークで通信を常時監視し、わかりやすく表示するのに適したソフトウェアです。 Moloch https://molo.ch/ 記事作成時点ではCentOS 6／7／8、Ubuntu 16.04／18.04向けにコンパイル済みのパッケージが提供されているので、今回はUbuntu 18.04にMolochをインストールしてみます。 Molochは検索エンジンのElasticsearchを使用するため、Elasticsearchも準備しておく必要があります。今回はMolochが動作するサーバー上にDockerコンテナとしてElasticsearchを構築し
こんにちは。サービスグループの武田です。このエントリは、2018年から公開しているAWS全サービスまとめの2022年版です。 こんにちは。サービスグループの武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2022年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2021年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 223個 です。 まとめるにあ
C10K 問題 (the C10K problem) は1999年に Dan Kegel が発表した文章、ならびにそこで提示された「問題」です。文章はその後も2000年代前半に何度か更新されているのですが、さすがに令和に読み返すと、当初の問題意識がわかりにくいところがあります。 2000年からの10年は、 ソフトウェア面では、select(2), poll(2) にかわる新しいシステムコールの実装と、それを使ったアプリケーションの普及 ハードウェア面では、x86 アーキテクチャの64ビット移行、仮想化命令の追加と、マルチコア化 さらにそこにクラウドも登場する、面白い時代でした。ここでは、それらの出来事を中心に、さらに、当時の雰囲気をつたえるような日本国内のブログやインタビュー記事をまとめることで、C10K 問題が、さまざまな側面から解決されていく流れを説明したいと思います。 書き足したいと
「AWSを使って構築したお客さまの環境を日々運用していく中で、これまでさまざまな失敗を経験してきた」――アイレットの古屋啓介さん（クラウドインテグレーション事業部インフラエンジニア）は、クラウドインフラの運用管理者向けイベント「Cloud Operator Days Tokyo 2020」のセッションでこう明かした。 アイレットはクラウド専業のSIer。AWS（Amazon Web Services）のマネージドサービス「cloudpack」なども提供しているが、細かい仕様の見落としなどが原因で、cloudpackの運用でいくつかの“しくじり”があったという。 身に覚えのない170万円の高額請求がAWSから来た 古屋さんによると、特に印象に残っている失敗は4つ。その1つ目は「Amazon Athena」で170万円の請求が来たことだ。 AthenaはAWSが提供するPaaSで、オンラインス
【Elasticsearch】1900万点に及ぶ商品データ作成の時間を約67%短縮できた構成と工夫 - MonotaRO Tech Blog
初めまして、EC基盤グループ サーチチームの壷井です。 モノタロウでは2019年10月頃より新規検索システムの設計・開発を進め、今年の4月頃にECサイト(monotaro.com) 検索ページの裏側の検索システムを従来のSolrからElasticsearchに100%移行*1しました。この移行は将来の商品点数やリクエスト数の増加を見据えたバックエンドの大規模な改修で、ここまで約2年半ほどプロジェクトを進めてきました。今後もECサイトのすべてのページの完全移行に向け引き続き開発・運用を行っていきます。 今回はこのプロジェクトのなかで私が担当してきたElasticsearchへの日々のデータの洗い替え（日次更新と呼んでいます）ワークフローのシステム構成と工夫などについてお話します。 モノタロウの検索システムの紹介 日次更新のシステム構成 処理の流れ ① リアルタイムデータ同期 ② 日次商品デー
会社の支給PCがMacBook Pro M1なので、新しく開発環境を構築した話 - 食べチョク開発者ブログ
こんにちは。 今年の年始からジョインした遠藤です。 さて、入社したところ会社支給のMacBook ProがM1チップのものでした。 はい、現状は開発環境で苦労するとか色々噂を聞くやつです。 実際に試したのですが、 現状の開発環境構築スクリプト、手順書が一切使えない VitualBox, Vagrantは利用不可 Dockerは利用可能ではあるが、一部イメージが対応されてない 古いパッケージは動かす手段がない などなど、通常ではぶつからない問題にぶつかります。 食べチョクでは、 Ruby Node.js MySQL Redis ElasticSearch Kibana を利用しています。 この辺りをメインに話つつ、Intel版とこんな風に違うのかっていう辺りの雰囲気を感じ取っていただければと思います。 どこに開発環境を構築するか まず、どこで開発環境を構築するかを考えてみたいと思います。 ロ
New – Use Amazon EC2 Mac Instances to Build & Test macOS, iOS, iPadOS, tvOS, and watchOS Apps | Amazon Web Services
AWS News Blog New – Use Amazon EC2 Mac Instances to Build & Test macOS, iOS, iPadOS, tvOS, and watchOS Apps Throughout the course of my career I have done my best to stay on top of new hardware and software. As a teenager I owned an Altair 8800 and an Apple II. In my first year of college someone gave me a phone number and said “call this with modem.” I did, it answered “PENTAGON TIP,” and I had a
AWSにおけるALB&NLBのBlue/Greenデプロイメント設計 - How elegant the tech world is...!
はじめに どうも、iselegant です。 前回、執筆した商業誌について本ブログで紹介させていただいたところ、大変多くの反響がありました。 コメントをくれた方、書籍に関心を持っていただいた方、本当にありがとうございます🙇 AWSコンテナ設計・構築[本格]入門 | 株式会社野村総合研究所, 新井雅也, 馬勝淳史, NRIネットコム株式会社, 佐々木拓郎 |本 | 通販 | Amazon 本日から少しの間、分量調整と締め切りの都合上、商業誌では執筆しきれなかった AWS 設計に関するサイドトピックについて、本ブログ上でご紹介したいと思います。 今日はALB (Application Load Balancer) と NLB (Network Load Balancer) の Blue/Green デプロイメントに関する設計がテーマです。 AWS で Web アプリケーションの可用性とパフォ
Elasticsearchクラスタを再構築し、無停止で切り替えるベストプラクティス - Hatena Developer Blog
はてなブックマークチームのid:taraoです。はてなブックマークでは、以前はオンプレミスなElasticsearchクラスタを運用していましたが、AWS上にAmazon Elasticsearch Serviceのクラスタを構築して切り替えました。この切り替えではクラスタの再構築に限らず、アップグレードやマッピングの変更にも使える一般的な方法を採用しました。 この記事では、その具体的な方法を紹介します。 一般的な方法を採用したい目的と背景 検討したクラスタ再構築や切り替えの方法 1. ローリングアップグレード 2. スナップショット・リストア 3. クラスタ横断レプリケーション 4. Reindex API 5. アプリケーションコードによる再インデキシング 目的・条件による取りうる方法のまとめ 採用した再インデキシング手法の詳細 ダブルライトをどのように実現するか 非同期ダブルライトの
AWS Step Functions 入門ハンズオンを公開しました！＆今年公開したコンテンツ総まとめ – AWS Hands-on for Beginners Update | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions 入門ハンズオンを公開しました！＆今年公開したコンテンツ総まとめ – AWS Hands-on for Beginners Update こんにちは、テクニカルソリューションアーキテクトの金澤（@ketancho）です。あと1週間ほどで今年も終わりですが皆さまいかがお過ごしでしょうか？もうすぐ仕事納め、という方もチラホラ見かける今日この頃ですが、冬休みにぜひお試しいただきたい Hands-on for Beginners の新作 AWS Step Functions 編を公開しましたので、この記事で紹介させていただきます。また、この1年の Hands-on for Beginners を振り返る意味も込めて、今年公開した、あるいはアップデートしたコンテンツを改めて共有したいと思います。こちらもあわせて皆さま
アンチウイルスソフト Antivirus for Amazon S3 を本番環境に導入してみてわかったメリット・デメリット - ANDPAD Tech Blog
こんにちは。SREチームの吉澤です。 アンドパッドでは最近、AWSのS3バケット上のファイルをスキャンするために、アンチウイルスソフト Antivirus for Amazon S3 を本番環境に導入しました。その結果、私たちの要件はほぼ全て満たされたうえに、従来比で大幅なコスト削減を実現できました。 Antivirus for Amazon S3について日本語で書かれた記事はまだ少ないですが、S3に対するウイルススキャンが求められるケースでは、導入を検討する価値があるソフトです。 そこで、今回はこのAntivirus for Amazon S3の概要、私たちが本番環境に導入してみてわかったメリットやデメリット、そしてこのソフトが適した状況をご紹介します。 背景 S3に対するウイルススキャンが必要な理由 Antivirus for Amazon S3の導入前に利用していたソフト Antiv
さようならElasticsearch、よろしくElastic Cloud - Nota TechConf
by yuiseki yuiseki.icon 2022/5/19 20:25 - 20:40 （明らかに15分で収まる内容の資料ではないですが、資料はモリモリで発表はスカスカでもScrapboxで盛り上がれるか、という仮説の検証を兼ねています） yuisekiですyuiseki.icon Gyazoのプロジェクトマネージャー兼ソフトウェアエンジニアです 本日お集まりいただいたみなさん、ありがとうございます 本日お集まりいただいたみなさん ノバウサギ…？nyanco.icon ユニコーンガンダム…？issac.icon タイマーちゃん！takker.icon 12年間運用を続けているB2C SaaSの検索インフラの実態（14分まで、1分間） Gyazoは2021年、「画像の瞬間発見」をテーマに、検索に力を入れていた Nota Tech Conf 2021 Springでのyuiseki.i
Elasticsearchで関連キーワード機能がどれだけ低コストで実装できるかの旅路 - エムスリーテックブログ
クエリに対する関連キーワード機能 エムスリーエンジニアリンググループ AI・機械学習チームの中村(@po3rin) です。 好きな言語はGo。仕事では主に検索周りを担当しています。 Overview 最近の仕事で医師に質問ができるサービスで「Elasticsearchを使ってなるべく低コストで関連キーワード機能を実装する」という案件に携わっていました。本記事では関連キーワード機能を低コストで実装するための技術調査の結果と、実際に採用した方法をご紹介します。 今回紹介する方法は機械学習などは使わず、なるべく低コストである程度の品質を目指すものです。この記事を読むことで検索アプリケーションにサクッと関連キーワード機能を実装できるようになるでしょう。 Overview 検索における関連キーワード機能とは 実装の前提条件 実装パターンの紹介 (1) ログで出現した単語を数えあげる (2) ログに対
50過ぎのオッサンが、5ヶ月間勉強しまくってAWS CLF,SAA,SAPに合格するまでの日記 - Qiita
はじめに 最近、仕事でAWSに関わることになり(と書いているがバリバリのエンジニアではない)、一応、AWSの認定資格くらいは持っておこうと考え、最終的には、5ヶ月間で、クラウドプラクティショナー(CLF)、ソリューションアーキテクト-アソシエイト(SAA)、および、ソリューションアーキテクト - プロフェッショナル(SAP)と、ソリューションアーキテクト系のAWS試験をコンプリート(すべて合格)した。エンジニアではないので、認定試験に合格することのみを目的とした。少ない時間で合格したという体験記が多いが、これは全く逆で、めっちゃたくさん試験向けの勉強をして合格したという体験記である。ちなみに私は、勉強や試験はそんなに嫌いではない。またロールプレイングゲームをやるときに村や町で武器・防具とも最高のものをそろえてから次の町に行く性格である。このようなやり方をするとラスボスもそんなに苦労せずに倒
ホスト名ベースWebサイト数推移グラフ 1995年8月〜2021年12月 資料：Netcraft Webサーバシェア推移グラフ 1995年8月〜2021年12月 資料：Netcraft Webサーバアクティブサイトシェア推移グラフ 2000年6月〜2021年12月 資料：Netcraft トップ100万ビジーサイトWebサーバシェア推移グラフ 2008年9月〜2021年12月 資料：Netcraft コンピュータ別Webサーバシェア推移グラフ 2007年9月〜2021年12月 資料：Netcraft供 ドメイン別Webサーバシェア推移グラフ 2009年6月〜2021年12月 資料：Netcraft 2021年12月においてドメインとホスト名の双方で大幅な増加を見せたのはAmazon Elastic Load Balancingサービスで使われている「awselb」で観測された。この増加がN
AWSで大規模障害が発生中 『アズレン』で通信障害を報告 『アナデン』『ダンメモ』『シノアリス』『ガルパ』などにも影響【追記】 | gamebiz
AMAZONのクラウドコンピューティングサービス「AWS」で8月23日13時頃から大規模な障害が発生しているようだ。AWSを利用しているスマホゲームやSNS、ECサイトなど各種サービスで接続障害が発生しているという。 ゲームアプリについては、『アズールレーン』の公式Twitterアカウントが接続障害が発生しているとのアナウンスを行なっており、サーバーが復旧され次第、ゲームサーバーの復旧対応を行う、としている。このほか、『アナザーエデン 時空を超える猫』、『ダンジョンに出会いを求めるのは間違っているだろうか～メモリア・フレーゼ～』がある。 その他、同サービスを利用しているアプリにおいてはログインできない状況と考えられるので注意しよう。 8月23日14時3分追記 現在、同サービスはAmazon Elastic Compute Cloud (Tokyo)においてのみ障害が発生しているため、日本国
Docker Compose と Amazon ECS を利用したソフトウェアデリバリの自動化 | Amazon Web Services
Amazon Web Services ブログ Docker Compose と Amazon ECS を利用したソフトウェアデリバリの自動化 この記事は Automated software delivery using Docker Compose and Amazon ECS を翻訳したものです。 2020 年 11 月、Docker Compose for Amazon ECS の一般提供を開始しました。開発者はコンテナ化されたマイクロサービスベースのアプリケーションをワークステーションから取り出し、AWS クラウドに直接デプロイすることがさらに簡単になりました。以前紹介したこのブログにあるように、開発者は docker compose up コマンドを実行して既存の Docker Compose ファイルをそのまま Amazon ECS にデプロイできます。Docker Comp
Intel CPUとAMD CPUの混在による問題に直面した話 | 開発ブログ | Elastic Infra
チーフエンジニアの加辺です。 今日は珍しいトラブルに出会ったので紹介します。 起こった問題 ある環境ではEC2によりサーバを運用しており、アプリケーションをデプロイサーバでビルドし、その成果物をアプリケーションサーバへコピーすることでデプロイとしていました。 ここで新規サーバを作成していたところ、一部のアプリケーションサーバで見慣れないエラーが発生し、アプリケーションが起動しないという事象が確認されました。調べたところ、デプロイサーバはt3、アプリケーションサーバはt3aファミリーが利用されていることがわかり、アプリケーションサーバをt3ファミリーへ変更したところ、問題が発生しなくなることが分かりました。 さて、これはどのような機序によるものでしょうか。 調査 記事タイトルで答えをほとんど書いてしまっていますし、t3, t3aを知っていれば明らかですが、これはIntelとAMDの違いです。
［速報］AWS、SaaS構築のフレームワーク「AWS SaaS Boost」発表。ISVがすぐにSaaSを提供可能。AWS re:Invent 2020
Amazon Web Servies（AWS）は、現在開催中のオンラインイベント「AWS re:Invent 2020」の2つ目の基調講演である「Partner Keynote」で、AWS上のSaaS構築を促進する「AWS SaaS Boost」を発表しました。 ソフトウェアベンダが自社のソフトウェアをSaaSとして提供するには、単にソフトウェアをクラウド上で実行するだけでなく、マルチテナント構成の実現、ユーザー向けポータルの構築、モニタリングシステムやダッシュボードの構築、課金管理、デプロイの自動化など、SaaSとしてのさまざまな周辺機能も用意しなければなりません。 AWS SaaS Boostは、AWSがこれまで蓄積してきたSaaS構築のノウハウやベストプラクティスが詰め込まれた、SaaSの見本となるフレームワークで、そのまま利用可能な参照環境（Reference Environmen
株式会社ディー・エヌ・エー様におけるEC2スポットインスタンスの大規模活用のための工夫とコンテナ技術を用いた設計例の紹介 | Amazon Web Services
Amazon Web Services ブログ 株式会社ディー・エヌ・エー様におけるEC2スポットインスタンスの大規模活用のための工夫とコンテナ技術を用いた設計例の紹介 EC2スポットインスタンススペシャリスト ソリューションアーキテクトの滝口です。この記事では、スポットインスタンスを最大限に活用した事例として、多くの技術的な工夫をこらしてAmazon Elastic Compute Cloud (Amazon EC2)インスタンスの費用の最適化に成功した、株式会社ディー・エヌ・エー様をご紹介します。またその考え方をコンテナ技術を用いて設計するとしたらどのようになるかを検討し、設計例を構築手順とともにご紹介します。 はじめに アプリケーションの実行環境にEC2インスタンスを選択する環境では、全体のAWS費用の中でEC2インスタンスの費用が大きな割合を占めるケースが多くあり、AWS費用全体の
AWS、ElasticsearchとKibanaのフォークによる「OpenSearch」プロジェクトを発表。Elasticとの溝は埋まらないまま
AWS、ElasticsearchとKibanaのフォークによる「OpenSearch」プロジェクトを発表。Elasticとの溝は埋まらないまま AWSは、オープンソースの検索エンジンと可視化ツールの「OpenSearch」プロジェクトを発表しました。これは検索エンジンおよび可視化ツールとして人気のElasticsearchとKibanaをフォークしたものです。 Introducing the #OpenSearch project: a community-driven, open source fork of Elasticsearch & Kibana. https://t.co/VmlP14DiIC pic.twitter.com/YFAI0KkIx3 — AWS Open Source (@AWSOpen) April 12, 2021 すでにGitHub上には、Elastics
今年も GitHub のトレンドで 2021 年の JavaScript/TypeScript を振り返ります。去年の記事はこちらです。 — GitHub のトレンドで振り返る 2020 年の JavaScript | WEB EGG 集計方法 GitHub トレンドは過去の履歴を公式に提供していないため、非公式に集計されたデータを利用しています。 データソースはlarsbijl/trending_archiveを使用 去年はxiaobaiha/github-trending-historyを利用したが今年のデータは無かったので変更 日ごとにまとめた markdown になっており、remark で AST→ データ化しました 集計期間は 2021/01/01 から 2021/12/15 まで 対象言語はJavaScriptとTypeScriptのみ 集計後のデータはこちらのスプレッドシー
Amazonが展開するクラウドコンピューティングサービス「Amazon Web Services(AWS)」は企業の規模に関係なく利用可能で、使い方によっては業務の効率化やコストの大幅削減が可能です。一方で、環境によってはAWSを使うとコストが増加してしまう場合もあります。アクセス解析システムを開発する「Ahrefs」は、AWSを使わないことで3年間で4億ドル(約527億円)以上の節約に成功しているとのことです。 How Ahrefs Saved US$400M in 3 Years by NOT Going to the Cloud | by Efim Mirochnik | Mar, 2023 | Ahrefs https://tech.ahrefs.com/how-ahrefs-saved-us-400m-in-3-years-by-not-going-to-the-cloud-89
EC2 でリザーブドインスタンス（RI）と Savings Plans （SP）のどちらを選ぶべきか？基準とするための最強の比較表を作ってみた | DevelopersIO
15 USD で RI を購入し、その後にオンデマンド料金の価格改定があったとします。前払いなし/ありの支払い種別によらず、購入済みの RI の価格が 15 USD というのは価格改定後も変わりません。 当初はオンデマンドに対して 5 USD 分の割引の幅があった分が、改定後は 3 USD 幅に減少するため、相対的に割引率が低下しています。価格改定後に RI を購入していれば 13 USD で済んでいたため、そのぶん損が発生していると考えることもできます。 コンバーティブル RI の場合は、購入済みの RI を新しい価格の RI に交換できます。（今回の例では 15 USD から 13 USD に交換できる。）しかし、「同等以上の価値となる場合にのみ交換可能」という制約があるため、そのぶん数を増やすといった調整が必要になります。 2021/11/28修正 SP の場合は コミットメント額で
Amazon Web Services ブログ AWS上でどのようにゼロトラストアーキテクチャを考えていくか 2021年7月追記： AWSにおけるゼロトラストに関するアップデートされた情報は、以下をご参照ください。 https://aws.amazon.com/jp/security/zero-trust/ また、本Blogを詳細にアップデートしたBlog記事もありますので適宜ご参照ください。 「ゼロトラストアーキテクチャ: AWS の視点」 https://aws.amazon.com/jp/blogs/news/zero-trust-architectures-an-aws-perspective/ —————————————————————– 厳しい規制への対応やリスク回避を考慮事項として擁するお客様は、レガシーアプリケーションのリファクタリングや新しいアプリケーションのデプロイに際
Amazon Web Services ブログ ゼロトラストアーキテクチャ: AWS の視点 本投稿は、AWS の CISO オフィスのディレクターを務める Mark Ryland と AWS Identity の専門家である Quit Van Deman による寄稿を翻訳したものです。 アマゾン ウェブ サービス（AWS）の使命は、安全なシステムの構築、デプロイ、迅速な反復処理を行う際に行う作業がより少なくなるようにお客様に代わってイノベーションを行うことです。お客様からはセキュリティの観点について以下のような質問をよくいただきます、 “システムとデータの機密性、完全性、可用性を適切なレベルに確保し、スピードと俊敏性を向上させるのに最適なパターンは何ですか？“。ゼロトラスト・アーキテクチャまたはゼロトラスト・ネットワーキングのカテゴリーに該当するセキュリティアーキテクチャパターンが、これ
HashiCorpは今後リリースする全製品のライセンスを、これまで採用してきたMozilla Public License v2.0（MPL2.0）から、商用利用に制限があるBusiness Source License v1.1（BSL1.1）に変更すると発表しました。 Future releases of HashiCorp's core products will adopt the Business Source License. We know our community will have questions, so please read our blog post to understand why, and see our FAQs to understand the changes: https://t.co/riF4EZdQhphttps://t.co/TID1ps7
ElasticのクライアントライブラリがAWS OpenSearchへの接続を排除。AWSは仕方なくクライアントライブラリのフォークを発表
ElasticのクライアントライブラリがAWS OpenSearchへの接続を排除。AWSは仕方なくクライアントライブラリのフォークを発表 オープンソースの検索エンジンElasticsearchは、ログ解析による運用監視やセキュリティインシデントの発見、データ分析などに使われている人気のソフトウェアです。 その開発元であるElasticは、Elasticsearchのクライアントライブラリに対して変更を加え、AWSが提供しているElasticsearch互換のサービス「Amazon Elasticsearch Service」に対して接続を拒否する機能を追加しました。 今後、Elasticsearchのクライアントライブラリを用いたアプリケーションはAWSのElasticsearch Serviceを使えなくなってしまいます。 そこでAWSはElasticsearchクライアントライブラリ
はじめに どうも、情シスの徳道＠上越オフィスです。今回はネットワークネタです。 唐突ですが、会社を代表するグローバルIPアドレスって多くの場合は本社の固定グローバルIPアドレス（プロバイダに依存）ではないでしょうか。 ゼロトラストが叫ばれて久しいですが、弊社のようにお客さまの環境を保守するサービスを行っている場合、やはり境界防御として接続元のグローバルIPアドレスを指定して許可されることが多いです。 地方オフィスが増えてくると特定の環境への接続許可をしてもらうIPアドレスの登録も増えてきます。VPN接続で本社など特定拠点経由での接続を行っていたとしても、プロバイダに依存することになったり冗長化が大変だったりしますね。 弊社では数年前からAWSのElastic IP経由で変化しない&冗長化されたグローバルIPアドレスからAWSに接続する社内ネットワークを構築してきました。 今回はクラスメソッ
サマリ Capital OneからのSSRF攻撃による大規模な情報漏えい等をうけて、Amazonはインスタンスメタデータに対する保護策としてInstance Metadata Service (IMDSv2) を発表した。本稿では、IMDSv2が生まれた背景、使い方、効果、限界を説明した上で、SSRF対策におけるIMDSv2の位置づけについて説明する。 SSRFとは SSRFは、下図のように「外部から直接アクセスできないエンドポイント」に対して、公開サーバーなどを踏み台としてアクセスする攻撃方法です。SSRF(Server Side Request Forgery)の詳細については過去記事「SSRF(Server Side Request Forgery)徹底入門」を参照ください。 最終的な攻撃目標は多様ですが、近年問題になっているのが、クラウドサービスのインスタンス・メタデータを取得する
Amazon Web Services ブログ AWS Batch ベストプラクティスまとめ この記事はプリンシパル HPC ソリューションアーキテクトの Pierre-Yves Aquilanti、AWS Batch のプリンシパルプロダクトマネージャの Steve Kendrex とプリンシパル HPC アプリケーションエンジニアの Matt Koop によるものです。 更新: 2021 年 10 月 5 日 セクション 2 に於けるサブネット CIDR ブロックのガイドラインを修正。 AWS Batch は、科学者や技術者が複雑なシステム構成を管理する必要なく、自由にスケールできる計算環境を提供するサービスです。2017 年に登場して以来、疫学、ゲームシミュレーション、大規模機械学習といった諸々のワークロードを稼動させる様々な業種や組織といったお客様に採用されてきました。 この投稿で
LAMP 構成のシステムが抱えていた問題を Amazon API Gateway + AWS Lambda のサーバレス構成にして解消した話 - WILLGATE TECH BLOG
ウィルゲートのアーキテクト兼技術広報の岡田（@okashoi）です。 今からおよそ 1 年前に取り組んだ、社内システムをリニューアルによってサーバレス化した事例についての紹介と、1 年経過したところのふりかえりや所感を書きたいと思います。 システムリニューアルの背景 利用量の増加に対してスケールしにくい サーバリソースの利用効率が悪い エラーが発生した場合の原因究明が難しい リニューアルプロジェクト発足 目的は「スケーラビリティ向上」 「コスト削減」 「信頼性向上」 メンバー3 名でおよそ半年にわたるプロジェクト 目的へのアプローチ Amazon API Gateway + AWS Lambda によるサーバレスアーキテクチャの採用 Amazon Elasticsearch Service を用いたログの可視化と運用を考えたログ設計 プロジェクトでの取り組み 機能の洗い出し Go 言語 +
AWSの構成図をChatGPT(GPT-4V)に読み込ませてIaCコードを生成してみた | DevelopersIO
こんにちは、つくぼし(tsukuboshi0755)です！ 最近ChatGPTがGPT-4Vを発表し、AI業界がさらに盛り上がりを見せてますね。 GPT-4Vを用いる事で、ChatGPTがユーザ側から入力された画像を読み取った上で、応答を返してくれるようになります。 GPT-4V(ision) system card この機能追加により、なんと以下のようにAWSの構成図を読み取って、IaCコードを生成できる事が話題になっていました。 本日をもって引退します pic.twitter.com/fygAQDQ5kj — 電気ひつじ(onoteru) (@teru0x1) October 13, 2023 これを見て私もGPT-4Vを試してみたくなったので、今回はChatGPTを使って、様々なAWSの構成図を入力し、どこまで正確にIaCコードを生成できるか確認してみます！ GPT-4Vを利用する際
Amazon Web Services ブログ AWS ファイルストレージサービスの選び方 オフィス文書や画像データなどの様々な非構造化ファイルを、ファイル共有サーバや NAS（Network Attached Storage） などに格納して共有で利用されている方も多いと思います。AWS のファイルストレージサービスを利用することで、ファイル共有ストレージを簡単にクラウド上へ構築できます。また、AWS が提供するフルマネージドサービスのため、パッチ適用やストレージのディスク増設などの運用負荷を軽減できるメリットがあります。初期費用が不要の従量課金のため手軽に利用でき、調達が不要なのですぐに利用を開始することができます。また、ストレージのバックアップ機能が備わっているため、手間のかかるバックアップの設計や運用負荷も軽減できます。 AWS のファイルストレージサービスは、Amazon Ela
こんにちは。こむろです。 今年の札幌の夏はハードモードだ（湿気と暑さ） この先生きのこるためにエアコンが投入されました。 はじめに クラウドネイティブなアプリケーションを設計・構築・運用している皆さんは、普段どのようにアプリケーションやインフラの更新作業を行っているでしょうか。 順次インスタンスやコンテナを切り替えていくRolling Update？それとも環境を複製してDNS Routingの切り替えによるBlue-Green Deploymentでしょうか。他にも様々な方法があるかと思いますが、今回もまたBlue-Green Deploymentにおける実際の現場で発生した事象について報告したいと思います。 あまりネット上にもこういった情報が出てこないようなのですが、皆さんこういった問題は軽々とクリアされているのでしょうか。自分がポンコツなだけなのかととても不安にかられるばかりです。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSで“データのサイロ化”を防げ すべてのデータを1ヶ所に集めるデータレイクの作り方
リアクティブは難しいが役に立つ - Chatwork Creator's Note
無料＆オープンソースで大規模なネットワークを常時グラフィカルに監視できる「Moloch」
【2022年】AWS全サービスまとめ | DevelopersIO
令和にふりかえる C10K 問題
身に覚えのない170万円の請求が……AWSの運用管理で起きた“4つのしくじり”
12月Webサーバシェア調査、Nginxが大量にシェア失う
GitHubのトレンドで振り返る2021年のJavaScript/TypeScript
AWSを使わないだけでサーバー代を500億円以上節約できた実例
AWS上でどのようにゼロトラストアーキテクチャを考えていくか | Amazon Web Services
ゼロトラストアーキテクチャ: AWS の視点 | Amazon Web Services
HashiCorp、全製品のライセンスを商用利用に制限があるBSLライセンスに変更すると発表
くらめその情シス：クラスメソッドの基幹ネットワーク構成を紹介します。 | DevelopersIO
SSRF対策としてAmazonから発表されたIMDSv2の効果と限界
AWS Batch ベストプラクティスまとめ | Amazon Web Services
AWS ファイルストレージサービスの選び方 | Amazon Web Services
Blue-Green Deploymentにおける注意点 | DevelopersIO