AWS の Public IPv4 アドレスに 2024年2月1日から請求が開始される件について影響を事前に確認する - サーバーワークスエンジニアブログ
マネージドサービス部 佐竹です。 2023年7月末に発表された AWS における Public IPv4 アドレスの有料化が話題ですが、事前にこの利用料金への影響度合いを調査する方法についてお知らせします。 はじめに AWS 公式ブログ 新着情報 – パブリック IPv4 アドレスの利用に対する新しい料金体系を発表 / Amazon VPC IP Address Manager が Public IP Insights の提供を開始 AWS におけるパブリック IPv4 アドレスの使用状況の特定と最適化 影響の確認方法について 利用料金への影響を確認する AWS 利用料確認ページから明細を確認する AWS Billing > Bills から確認する AWS Cost Explorer から確認する 費用発生の原因となるリソースを特定する Amazon VPC IP Address Man
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 手を動かしてわかるクリーンアーキテクチャ ヘキサゴナルアーキテクチャによるクリーンなアプリケーション開発 Tom Hombergs(著), 須田智之(訳) 詳解 AWS CloudFormation 潮村 哲 その決定に根拠はありますか？ 確率思考でビジネスの成果を確実化するエビデンス・ベースド・マーケティング 小川 貴史, 山本 寛 プログラマーのためのVisual Studio Codeの教科書【改訂2版】 川崎 庸
今押さえておくべき知識をアップデートし、ノウハウを共有し、さらなるスキルアップを実現する場として開催されている、AWS で最も Developer に特化したカンファレンス「AWS Dev Day Online Japan」。ここで、「[AWS Startup ゼミ]よくある課題を一気に解説！御社の技術レベルがアップする 2021」をテーマに、松田氏と齋藤氏が登壇。まずは、「単一のAWSアカウントを分けたい」「CI/CDを簡単にやりたい」という2つの要望に対する解決方法を紹介します。 自己紹介 松田和樹氏（以下、松田）：「[AWS Startup ゼミ]よくある課題を一気に解説！御社の技術レベルがアップする 2021」秋期講習と題して、私と齋藤の2名でお届けします。 最初に自己紹介を簡単にします。私は松田と言います。ふだんはスタートアップ企業専任のソリューションアーキテクトとして、スタート
AWS サービスのログの可視化やセキュリティ分析を実現する SIEM on Amazon Elasticsearch Service 公開のお知らせ | Amazon Web Services
Amazon Web Services ブログ AWS サービスのログの可視化やセキュリティ分析を実現する SIEM on Amazon Elasticsearch Service 公開のお知らせ みなさん、こんにちは。セキュリティ ソリューション アーキテクトの中島です。先日(2020年10月23日)にオープンソースで公開した SIEM on Amazon Elasticsearch Service (Amazon ES) をご紹介します。SIEM on Amazon ES は、セキュリティインシデントを調査するためのソリューションです。AWS のマルチアカウント環境下で、複数種類のログを収集し、ログの相関分析や可視化をすることができます。 SIEM on Amazon ES とは SIEM は Security Information and Event Management の略で、
無料でGoogleドライブ・FTPなど70以上のストレージサービスに対応しているファイル転送・同期アプリ「Rclone」を使ってみたレビュー
さまざまなクラウドサービスを使っている場合、それぞれのシステムに応じたファイルの転送手段を準備するのは面倒なもの。「Rclone」は70種類以上のストレージサービスに対応しており1つのアプリでほぼ全てのストレージサービスとファイルのやりとりをできるとのことなので、実際に使ってみました。 Rclone https://rclone.org/ RcloneはUNIXコマンドで言うところの「rsync(同期)」「cp(コピー)」「mv(移動)」「mount(マウント)」「ls(ファイル一覧表示)」「ncdu(ディスク使用量確認)」「tree(ディレクトリ構造をツリー表示)」「rm(削除)」「cat(ファイルの中身表示)」の動作が行えるとのこと。 また、「--dry-run」に対応しており事前にコマンドの結果をプレビューすることで重要なファイルを削除してしまうというミスを減らすことが可能となってい
はじめに AWSのクラウドストレージであるAmazon S3は、AWS上にファイルを保存する際に第一の選択肢となるサービスです。その普及度の高さから進化も早く、最新機能も含めた全体像の理解は労力が掛かります。 そこで備忘録も兼ねて、2023年4月時点での機能および使用法を、初学者でも理解しやすいことを心掛けてまとめました。 網羅度にこだわってまとめたので、「S3の全体像を理解したい！」という方は、ぜひご一読頂ければと思います。 また、S3のセキュリティとバックアップ機能は別記事にまとめたので、よければこちらもご参照ください。 Amazon S3とは 「Amazon Simple Storage Service」の略です。後ろの3つの単語の頭文字が全てSなので、S3と略しているようです。 S3は端的に言うとクラウド上にファイルを保存するためのサービスで、Googleドライブのようなオンライン
はじめに こんにちは。ブランドソリューション開発本部 WEAR部 SREの和田（@wadason）です。普段は「ファッションコーディネートアプリ WEAR」のSREとしてクラウドの運用やリプレイスをおこなっています。 WEARはサービス開始から10年が経ち、クラウドやオンプレミスを含む大小様々なシステムが稼働しています。アプリケーションを動かすための基盤にはAmazon ECSのようなコンテナを前提としたものから、オンプレミスのAPIやBatchを動かすIISまで幅広く扱っています。そうした中で、約1年前にSREチームが結成され、技術負債の脱却やクラウドを中心としたインフラの運用を行なってきました。当初取り組んでいた大規模なリプレイス案件も落ち着き、チームメンバーが増えてきたので、現在では分散した技術スタックをKubernetesへ統一するリプレイスプロジェクトを開始しています。 本記事で
New – A Shared File System for Your Lambda Functions | Amazon Web Services
AWS News Blog New – A Shared File System for Your Lambda Functions July 1, 2020: Post updated to take care that Amazon EFS increased file system minimum throughput, when burst credits are exhausted, to 1 MiB/s. I am very happy to announce that AWS Lambda functions can now mount an Amazon Elastic File System (Amazon EFS), a scalable and elastic NFS file system storing data within and across multipl
待望！Amazon ECSのコンテナにログインできるAmazon ECS Execを試してみた - SMARTCAMP Engineer Blog
スマートキャンプ、エンジニアの入山です。 前回のブログにも書きましたが、弊社では昨年末から既存のEC2からECS/Fargateへのインフラ移行作業を実施しています。 EC2からECSへ移行する上では、特に運用面が大きく変わります。利便性やメンバーへの教育コストを考慮すると、今までEC2でやっていた運用をECSでどう上手く代替するかが力の入れ所だと思います。 一ヶ月前に弊社インターンの関口が書いた以下の記事も、既存運用の置き換えやデバッグ時の利便性向上を目的とした手段の１つで、この記事を執筆した時点ではECS/Fargate上のコンテナに対するAWS公式のログイン手段はありませんでした。 tech.smartcamp.co.jp 弊社のECS移行も稼働直前の佳境を迎えている最中ですが、この度Amazon ECS Execがリリースされ、待ち望んでいたECS/Fargate上のコンテナに対す
【速報】コンテナ実行専用OSのBottlerocketがパブリックプレビューで発表されました！ | DevelopersIO
AWSにおけるワーカーノードの管理を効率化、かつセキュア化する新しいOS、Bottlerocketの速報です。 「ふわぁ、今日も仕事すっか…って、Bottlerocket、なんやねんこれ？」 朝の日課、twitterのTLを眺めていたら、いきなりこんなツイートが飛び込んできました。 ? Check out the public preview of Bottlerocket: a new Linux-based open source operating system that we designed and optimized specifically for use as a container host: https://t.co/i3tT3rG56g — Nathan Peck (@nathankpeck) March 10, 2020 Bottlerocketは、Linuxベース
Amazon EKS on AWS Fargate Now Generally Available | Amazon Web Services
AWS News Blog Amazon EKS on AWS Fargate Now Generally Available Starting today, you can start using Amazon Elastic Kubernetes Service to run Kubernetes pods on AWS Fargate. EKS and Fargate make it straightforward to run Kubernetes-based applications on AWS by removing the need to provision and manage infrastructure for pods. With AWS Fargate, customers don’t need to be experts in Kubernetes operat
ECSを運用していくにあたり、気をつけておいたほうがよいことや改善ポイントがギュッと濃縮されたウェビナーでした。これからAWS上でコンテナワークロードを展開することを考えている全ての人にオススメな内容です。 みなさん、AWS INNOVATE視聴しましたか？ AWS Innovate オンラインカンファレンス | 2020 年 3 月 10 日 (火) 〜 4 月 17 日 (金) 開催 AWSの中の人が、幅広い分野で最新のクラウド事情を解説してくれるオンラインカンファレンスです。コロナウィルスの影響でなかなかリアルなイベントに参加する機会が難しくなりましたが、こういったオンラインで参加できるように設計されたカンファレンスはこの時期非常にありがたいですね。 いろんな分野がセッションあるのですが、自分は「実践的 AWS コンテナ運用ガイド -モニタリング、ロギング、デプロイ、スケーリングの実
[アップデート] 実行中のコンテナに乗り込んでコマンドを実行できる「ECS Exec」が公開されました | DevelopersIO
もう、コンテナ調査のためにEC2に乗り込む必要は無い！ もう、Fargateだからコンテナの状況が見れないと悩むこともない！ ECS開発者待望の機能がリリースされました！ みなさん、こんにちは！ AWS事業本部の青柳＠福岡オフィスです。 Amazon Elastic Container Service (ECS) において、実行中のコンテナに乗り込んでコマンドを実行できる機能「ECS Exec」が公開されました。 Amazon ECS now allows you to execute commands in a container running on Amazon EC2 or AWS Fargate どんなものなのか、早速使ってみたいと思います。 これまでの方法 デバッグやトラブルシューティングを行うために、実行中のコンテナに乗り込んでコマンドを実行したいという時があると思います。
![[アップデート] 実行中のコンテナに乗り込んでコマンドを実行できる「ECS Exec」が公開されました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/f10e4b6d55aa4fe987e9584f7b2febd50e43f158/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-elastic-container-service.png)
メールはツラいよ！！波乱のメールサーバAWS移行を振り返ってみる - LIVESENSE ENGINEER BLOG
はじめに 概要 移行したメール基盤について AWS移行における制約事項 設計 機能要件の整理 移行過渡期の構成 移行後の構成 AWS移行前の準備 AWS上でのプロビジョニング OSレイヤでのプロビジョニング AWS移行中の課題 細かな設定値の調整とスケジュール AWS移行中に発生したトラブルの数々 AWS移行完了後の振り返り 普段からやっておいたほうが良いこと できればやっておいたほうが良いこと はじめに リブセンス インフラエンジニアのsheep_san_whiteです。お酒とロードバイクとランニングが好きなおじさんです。 リブセンスではオンプレミス環境からAWS環境への移行を進めてきました。移行対象がたくさんあったAWS移行が終わり、つい先日データセンタの解約も完了しました。今回は3年がかりの長期プロジェクトであったメール基盤の移行について振り返っていきます。 概要 移行したメール基盤
本日はコンシューマチームのブログリレー2日目です。 エムスリーエンジニアリングG コンシューマチームの松原(@ma2ge)です。 今回は以前筆者が M3 Tech Talk で話した AWS Lambda での Web アプリ開発に Rails を使う内容について、 若干内容を変えつつ Tech Blog の方でも紹介をしたいと思います。 最近使っているキーボードの様子 現在のチームで担当している主要なアプリは Rails で書かれていて、ほとんどがコンテナ化され Amazon ECS(ECS) と Fargate を使って運用されています。 そんな中今年の初めに AWS Lambda(Lambda) に適したプロジェクトが話にあがりました。ただ Rails で Lambda しかも Web アプリとなるとあまり採用事例を耳にしません。 とはいえ使い慣れている Rails をそのまま生かし
なぜネットワークACLでなくセキュリティグループで細かいトラフィック制御を行なうのか | DevelopersIO
VPC内のトラフィック制御設定を行うにあたり、ネットワークACLでもセキュリティグループでも実現できる要件の場合、ネットワークACLでは全トラフィックを許可して、セキュリティグループで細かい設定をすることが多いです。なぜそうしているのかまとめました。 ネットワークACLとセキュリティグループの違い まず表題の理由を述べる前に、ネットワークACLとセキュリティグループの違いを抑えておきましょう。 設定対象 ネットワークACLはサブネット単位で設定します。サブネット以下の全インスタンスが影響を受けます。各サブネットは必ずいずれか一つのネットワークACLと紐付ける必要があります。設定しない場合デフォルトのネットワークACLが勝手に紐付きます。 セキュリティグループはインスタンス単位で設定します。各インスタンスには少なくとも 1 つのセキュリティグループを紐付ける必要があります。言い換えれば複数個
「Amazon Elasticsearch Service」の名称が「Amazon OpenSearch Service」に変更。ElasticsearchからフォークしたOpenSearchも採用
「Amazon Elasticsearch Service」の名称が「Amazon OpenSearch Service」に変更。ElasticsearchからフォークしたOpenSearchも採用 Amazon Web Services（AWS）は、クラウドサービスとして提供しているAmazon Elasticsearch Serviceの名称を「Amazon OpenSearch Service」へ変更することを発表しました。 同時に、Elasticsearchからフォークし、同社がオープンソースで開発しているOpenSearchを採用することも発表しました。 Rejoice, you can use the open source tools you love without the operational overhead! OpenSearch is here and avail
Mountpoint for Amazon S3 – Generally Available and Ready for Production Workloads | Amazon Web Services
AWS News Blog Mountpoint for Amazon S3 – Generally Available and Ready for Production Workloads Update (September 2023) – Add information about enabling file deletion. Mountpoint for Amazon S3 is an open source file client that makes it easy for your file-aware Linux applications to connect directly to Amazon Simple Storage Service (Amazon S3) buckets. Announced earlier this year as an alpha relea
docker-compose で複数サービスを起動する際に時間を要するのが、Docker イメージのダウンロードと展開です。この時間を削減するために、ベースイメージを共通化する方法を試してみました。 本エントリでは、開発環境や CI 環境に docker-compose を利用することを想定しています。 改善前 ここでは、dokcer-compose up(pull) の時間を削減できるかを確認するだけなので、下記のように dynamodb, elasticmq, elasticsearch のみを docker-compose.yml に含めています。 version: "2.0" services: dynamodb: image: amazon/dynamodb-local:1.12.0 ports: - 8000:8000 elasticmq: image: softwaremil
［速報］AWS、クラウド基盤にMac mini（Intel）を組み合わせた「Amazon EC2 Mac instances for macOS」発表
Amazon Web Servicesは、クラウド上でmacOSのインスタンスを提供する「Amazon EC2 Mac instances for macOS」を発表しました。 Run macOS on AWS for the first time with new Amazon EC2 Mac instances. Start developing, building, testing, and signing Apple apps on AWS. Learn more: https://t.co/3faNVwprmv pic.twitter.com/ZEe4L6OORb — Amazon Web Services (@awscloud) December 1, 2020 Amazon EC2 Mac instances for macOS（以下EC2 Macインスタンス）は、Intel
[待望のアプデ]EC2インスタンスメタデータサービスv2がリリースされてSSRF脆弱性等への攻撃に対するセキュリティが強化されました！ | DevelopersIO
[待望のアプデ]EC2インスタンスメタデータサービスv2がリリースされてSSRF脆弱性等への攻撃に対するセキュリティが強化されました！ EC2のメタデータサービスv2がリリースされました。これまでSSRF等の脆弱性と組み合わせることによりクレデンシャルの流出が多発していましたが、v2を利用することにより簡単にセキュリティを向上することができるようになりました。 こんにちは、臼田です。 皆さんセキュリティ対策してますか？(挨拶 今回はEC2インスタンスメタデータサービスv2がリリースされたのでこの機能について解説していきます。 Add defense in depth against open firewalls, reverse proxies, and SSRF vulnerabilities with enhancements to the EC2 Instance Metadata
![[待望のアプデ]EC2インスタンスメタデータサービスv2がリリースされてSSRF脆弱性等への攻撃に対するセキュリティが強化されました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e03678dab7b09cb34c564b7250c4c7eac8677103/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-ec2.png)
RISC-VのCPUにメモリの内容を好き放題にできる脆弱性「GhostWrite」が見つかる、対策するとCPU性能が大幅に低下
RISC-VのCPUのひとつに、デバイスのメモリを自由に読み取ったり書き換えたりすることができてしまう脆弱(ぜいじゃく)性の「GhostWrite」があることがわかりました。ハードウェアの設計上の問題であるため、修正パッチなどのソフトウェア的な対策を講じることはできず、対処するには性能を大幅に犠牲にしなくてはならないと指摘されています。 GhostWrite https://ghostwriteattack.com/ 今回発見された脆弱性のGhostWriteは、Alibabaの子会社である中国のメーカー・T-Headが開発しているCPUで、現行で最速のRISC-Vチップとされている「T-Head XuanTie C910」の不具合です。 GhostWriteを発見したヘルムホルツ情報セキュリティセンター(CISPA)の研究チームによると、GhostWriteの影響を受ける命令は仮想メモリ
Amazon Elasticsearch ServiceによるECSアプリケーションのログ解析基盤の構築 - BASEプロダクトチームブログ
こんにちは、BASE BANK 株式会社 Dev Division でエンジニアとしてインターンをしている前川です。 今回、Amazon Elasticsearch Service(以下、Amazon ES)による、ECS/Fargate で稼働するアプリケーションのログデータの解析基盤を新規で構築することになったので、構築するにあたって調査した内容や関連する内容、実際におこなった構築方法についていくつか紹介します。 今回の構築の簡単な全体構成図は次のようになります。 今回は、 ECS/Fargate のログを S3 にルーティングする Amazon ES にログをルーティングする VPC アクセスの Amazon ES を構築し、Kibana を外部からアクセスできるようにする の３つの手順にわけて、構築方法や関連する内容について紹介していきたいと思います。 なお、この記事で取り扱ってい
GitHub - bregman-arie/devops-exercises: Linux, Jenkins, AWS, SRE, Prometheus, Docker, Python, Ansible, Git, Kubernetes, Terraform, OpenStack, SQL, NoSQL, Azure, GCP, DNS, Elastic, Network, Virtualization. DevOps Interview Questions
In general, what do you need in order to communicate? A common language (for the two ends to understand) A way to address who you want to communicate with A Connection (so the content of the communication can reach the recipients) What is TCP/IP? A set of protocols that define how two or more devices can communicate with each other. To learn more about TCP/IP, read here What is Ethernet? Ethernet
こんにちは、計測プラットフォーム本部バックエンド部の髙木（@TAKAyuki_atkwsk）です。普段はZOZOMATやZOZOGLASSなどの計測技術に関する開発・運用に携わっています。ちなみにZOZOGLASSを使って肌の色を計測したところ、私のパーソナルカラーはブルーベース・冬と診断されました。 さて、本記事ではZOZOMATシステムで利用されていたNetwork Load BalancerをApplication Load Balancerに移行した事例をご紹介します。 ZOZOMATのシステム構成（2020年当時）に関しては、こちらの記事で詳しく説明されていますので合わせてご覧ください。 techblog.zozo.com 移行の背景 ZOZOTOWNアプリやZOZOTOWNシステムからZOZOMATシステムに対するリクエストの負荷分散のためにNetwork Load Balan
AWS re:Invent 2021の会期中に発表された新サービス/アップデートのまとめです。 今年も、後から出来るだけ素早く簡単に振り返ることができるようにまとめました！ 凡例 (無印) 新サービス (Update) 既存サービスのアップデート (APN) パートナー制度に関連したリリース/アップデート 日時は日本時間で表記します。 11/29(月) 今年の開幕は「Amazon IoT RoboRunner」でした。 Midnight Madness (15:30-) Amazon IoT RoboRunner ロボットと作業管理システムを接続し、単一のシステムビューを介した業務作業全体のオーケストレーションが可能 詳細はYouTubeでも公開 https://youtu.be/q8POXvJ4nMI AWS Management Consoleで1つの施設（サイト名と場所など）を作成す
Amazon Web Services ブログ 新しいサーバーレス LAMP スタック – Part 1: 概要紹介 本投稿は AWS サーバーレス アプリケーションのシニアデベロッパーアドボケートである Benjamin Smith による寄稿です。 本シリーズの他のパートは以下のリンクからアクセスできます。また、関連するサンプルコードはこちらの GitHub リポジトリにあります。 パート2：リレーショナルデータベース パート3：Webサーバーの置き換え パート4：サーバーレス Laravel アプリの構築 パート5：CDK コンストラクトライブラリ パート6：MVC からサーバーレスマイクロサービスへ これは、PHP 開発者向けの投稿シリーズの第一弾です。このシリーズでは、PHP でサーバーレステクノロジーを使用する方法を説明します。サーバーレスアプリケーションを構築するために利用で
S3データレイクをAWSの分析サービスを使って有効活用する #AWS-06 #AWSSummit | DevelopersIO
本記事は、AWS Summit Japan 2021のセッション動画、「AWS-06: 貯めるだけじゃもったいない！AWS 分析サービスを使ったデータレイクの有効活用」のレポート記事です。 「データはとりあえずS3に溜めておけ！」とデータレイクっぽいものは作れたけど上手く使いこなせていない方、それなりにいらっしゃるのではないでしょうか？本セッションでぜひAWSの分析サービスの活用術をおさらいしてみてください。 概要 データの持つ力を活かす方法としてデータレイクがありますが、データレイク上にデータは貯まってきたものの、どう有効活用すればいいか悩んだ経験はないでしょうか？データレイクに存在するデータと分析ツールと組合せ、活用する方法として、“レイクハウスアプローチ”があります。本セッションでは"レイクハウスアプローチ"の考え方を紹介すると共に、どのようなAWSサービスを用いて"レイクハウスアプ
TIGの伊藤真彦です。 最近会社のPodCastであるFuture Tech Castに出演させていただきました。聞いていただけると嬉しいです。 先日クラウドサービスの障害について社内で体系的に説明する機会があり、0から全体的なイメージがつかめるような情報を整理してみました。 まえがき、良質なクラウドサービスWebサービス、ITソリューションが自前のサーバーではなくクラウドサービスを利用して構築されるようになって久しいですが…と語っていきたい所ですが、私がITの世界に足を踏み入れた時には、既にAWSを使う事が当たり前の時代になっていました、世の中の変遷を語るだけの含蓄を私は持っていません。 私のようにIT技術に触れた瞬間からクラウドサービスが存在していた世代が産まれる程度に長い時間をかけ、AWS、GCP、Azure各種クラウドサービスは業界に浸透し、使いこなすためのノウハウは一朝一夕では身
こんにちは。技術部プラットフォームグループのshibatchです。プラットフォームエンジニアとして、主にSUZURIとminneをより良くするおしごとをしています。 さて私が主として携わっているSUZURIですが、2014年のサービス開始以来、一貫してHerokuを利用してきました。このたび、10年間使っていたプラットフォームを卒業し、新たにAmazon EKS(Elastic Kubernetes Service)へ移す方針に決めた経緯についてお話しします。EKSに移すという決定にするまでに多角的に検討し、時に悩みながら決定した過程について明らかにしていきます。 なお、現在プラットフォーム移設の真っ最中であり、移設の詳細な内容はこの記事に含めません。移設作業はほぼ完了に向かっており、また別途お話しする予定です。 この記事は以下の3部構成になっています。 Herokuから移行しようと思った
［速報］Amazon OpenSearch Serviceをサーバレス化する「Amazon OpenSearch Serverless」プレビュー版登場。AWS re:Invent 2022
［速報］Amazon OpenSearch Serviceをサーバレス化する「Amazon OpenSearch Serverless」プレビュー版登場。AWS re:Invent 2022 Amazon Web Services（AWS）の年次イベント「AWS re:Invent 2022」が米ラスベガスで開催中です。 2日目の基調講演では、検索エンジンサービスのAmazon OpenSearch Serviceをサーバレス化するオプション「Amazon OpenSearch Serverless」プレビュー版が発表されました。 Amazon OpenSearch Serviceは、Elasticsearchから派生した検索エンジンサービスです。ログファイルやドキュメントなどの検索、解析などを実行できます。 もともとはElastic社がオープンソースで開発していたElasticsearc
Elasticsearch 6系および7系への無停止アップグレード事例 - はてなブックマーク編 - Hatena Developer Blog
はてなブックマークチームのエンジニアリングマネージャー id:yigarashi です。はてなブックマークでは全文検索エンジンとしてElasticsearchを利用しており、最近6.8および7.10への無停止アップグレードを実施しました。非互換な変更の影響を真っ向から受けるユースケースでしたが、リスクを分割し少しずつ対処することで迅速かつ安全にアップグレードできました。本記事ではポイントを絞りつつアップグレードの様子をまとめます。 アップグレードに至る経緯 はてなブックマークでは長らくElasticsearchの5系を使っていました。エントリーとブックマークの検索を中心にサービスのかなりの部分を支える重要なミドルウェアですが、大きな変化は以下の記事にある2020年のAWSへの移転が最後（その時もメジャーバージョンは変わらず）で、なかなかElasticsearchの面倒を見られていませんでし
AWS による docker コンテナのオーケストレーションサービスである Amazon ECS / Fargate のヘルスチェックの挙動について調査する機会がありましたのでアウトプットしておきたいと思います。 前提として Fargate で ECS のサービスとして、ロードバランサーは Application Load Balancer（ALB）を利用して実行するケースで調査しました。網羅的ではない点、ご了承ください。 ECS におけるヘルスチェック さて、ECS でサービスを実行する上で、いわゆる「ヘルスチェック」は2種類あります。 Elastic Load Balancer（今回は ALB）に関連付けられる Target Group によるヘルスチェック タスク定義のコンテナに対して実行する docker によるヘルスチェック（参考 : docker ドキュメント, AWS ドキュ
スノーフレイク (SNOW) の技術的な企業分析
Snowflake（SNOW）は、2012年に設立されたクラウドベースのデータウェアハウス企業である。カリフォルニア州サンマテオに拠点を置く、同社は9月下旬にニューヨーク証券取引所に上場し、米国での株式公開で過去最大のソフトウェア企業となった。 当初、株式の価格は75ドルから85ドルの間と予想されていたが、同社は120ドルで上場し、取引初日には300ドルにまで急上昇した。これは別の記録を更新した。スノーフレークは、上場初日に株式価値が2倍になった史上最大の企業となり、時価総額は750億ドル近くに達した。 これまで多くの企業データはオンプレミスで保存されてきた。つまり、データは企業が管理する物理サーバーに保存されていた。OracleやIBMなどの現存企業が伝統的にこの領域を支配してきた。 しかし、Snowflakeは根本的に違う。Snowflakeは、データをオンプレミスに保存するのではなく
The Four Innovation Phases of Netflix’s Trillions Scale Real-time Data Infrastructure
My name is Zhenzhong Xu. I joined Netflix in 2015 as a founding engineer on the Real-time Data Infrastructure team and later led the Stream Processing Engines team. I developed an interest in real-time data in the early 2010s, and ever since believe there is much value yet to be uncovered. Netflix was a fantastic place to be surrounded by many amazing colleagues. I can’t be more proud of everyone
概要 今回はTerraformを使って VPC パブリックサブネットとプライベートサブネット IGW ルートテーブルおよびルーティングの設定 Elastic IP NATゲートウェイ を構築したいと思います 今回作成するインフラ構成は下記の図のようになります 前提 東京リージョンを使用 AWSを使用 main.tfとvariables.tfを設定済み ネットワークに関する基本的な知識をある程度持っている 上記のファイルをまだ作成していない方は下記の記事を参考にしてください AWSにおけるネットワークの概要について知りたい方は以下の記事を参考にしてください また、コンテナ経由でTerraformを使用すると複数ブロジェクトで使用する際にバージョンによる違いを意識せずに済みます コンテナを使用したい方はこちらの記事も参考にしてみてください ディレクトリ構成 構成は以下の通りです # -----
Google Cloudなんもわからないマンが、Cloud Runの凄さをあれこれ調べてみた | DevelopersIO
この記事はクラスメソッド Google Cloud Advent Calendar 2021の9日目の記事です。 Google Cloud自体ナンもわからないマンが、以前から気になっていたCloud Runをあれこれ動かしながら学んでみた様子をお届けします。もともとAWSのApp Runnerがお気に入りのサービスだったので、それとの機能上の違いも入れています。 （祭） ∧ ∧ Y ( ﾟДﾟ) Φ[_ｿ__ｙ_l〉 Cloud Run祭りﾀﾞﾜｯｼｮｲ |_|＿| し'´Ｊ 注意事項：この記事には両者のサービスの優劣をつける意図は全くありません そもそも、違うプラットフォームに存在するサービスを単独で機能比較して優劣がはっきり出るほど、パブリッククラウドは単純なものではありません。AWSもGoogle Cloudもサービス単体で利用するよりは、そのエコシステムの中でビルディング
こんにちは。SCSKのふくちーぬです。 皆さんは、プライベート（閉域網）環境下でのLambdaを利用したことありますでしょうか。セキュリティに厳しい環境下でLambdaを利用する場合は、VPC設定を施したLambdaを利用する機会があると思います。 今回は、インターネットに接していないVPC Lambdaの設計ポイントをお話しします。また、VPC Lambdaを実現しているAWS内の裏側もご紹介します。 VPC Lambdaとは LambdaにVPC設定を施すことで、顧客VPC内のサブネット上に足を出すことができて(ENIが作成されます)、RDS等のプライベートなリソースにアクセスをすることができます。VPC設定をするためには、VPC・サブネット・セキュリティグループが必要なため、EC2同様のネットワーク設計を行う必要があります。 VPC Lambdaをプライベートサブネット内に配置するこ
「AWS Toolkit for Visual Studio Code」がAmazon S3をサポート。VSCodeからS3バケットの作成やデータのアップロード、ダウロードなど可能に
「AWS Toolkit for Visual Studio Code」がAmazon S3をサポート。VSCodeからS3バケットの作成やデータのアップロード、ダウロードなど可能に Amazon Web Services（AWS）は、オープンソースのコードエディタVisual Studio Codeの拡張機能として提供している「AWS Toolkit for Visual Studio Code」の新機能として、Amazon S3対応を発表しました。 New #AWSLaunches! Amazon Elasticsearch Service now supports integration with Tableau & Microsoft Excel Amazon S3 features now available in the AWS Toolkits for Visual Stud
Introducing Amazon Managed Workflows for Apache Airflow (MWAA) | Amazon Web Services
AWS News Blog Introducing Amazon Managed Workflows for Apache Airflow (MWAA) As the volume and complexity of your data processing pipelines increase, you can simplify the overall process by decomposing it into a series of smaller tasks and coordinate the execution of these tasks as part of a workflow. To do so, many developers and data engineers use Apache Airflow, a platform created by the commun
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「単一のアカウントを分けたい」「CI/CDを簡単にやりたい」 スタートアップに“あるある”のAWS相談の解決策
【AWS】Amazon S3 を徹底的にまとめてみた！ - Qiita
WEARにおけるKubernetes導入と改善の歩み - ZOZO TECH BLOG
ECSの実践的コンテナ運用基礎を凝縮された30分ウェビナーで学ぶ | DevelopersIO
AWS Lambda でも Rails で Web 開発 - エムスリーテックブログ
ベースイメージを共通化して docker-compose up を速くする - Shin x Blog
ZOZOMATのgRPCリクエスト負荷分散をNLBからALBに移行した話 - ZOZO TECH BLOG
AWS re:Invent 2021で発表された新サービス/アップデートまとめ - Qiita
新しいサーバーレス LAMP スタック – Part 1: 概要紹介 | Amazon Web Services
AWSクラウドの耐障害性、可用性を高めるための前提知識 | フューチャー技術ブログ
なぜSUZURIはHerokuから「EKS」へ移設する決定をしたのか - Pepabo Tech Portal
ALB と docker ヘルスチェックによる ECS の挙動について
Terraformを使ってAWSのVPCをはじめとしたネットワークを構築しよう！ - Qiita
VPC Lambdaを実現しているAWS内の裏側と設計の心得三箇条