メールはツラいよ！！波乱のメールサーバAWS移行を振り返ってみる - LIVESENSE ENGINEER BLOG
はじめに 概要 移行したメール基盤について AWS移行における制約事項 設計 機能要件の整理 移行過渡期の構成 移行後の構成 AWS移行前の準備 AWS上でのプロビジョニング OSレイヤでのプロビジョニング AWS移行中の課題 細かな設定値の調整とスケジュール AWS移行中に発生したトラブルの数々 AWS移行完了後の振り返り 普段からやっておいたほうが良いこと できればやっておいたほうが良いこと はじめに リブセンス インフラエンジニアのsheep_san_whiteです。お酒とロードバイクとランニングが好きなおじさんです。 リブセンスではオンプレミス環境からAWS環境への移行を進めてきました。移行対象がたくさんあったAWS移行が終わり、つい先日データセンタの解約も完了しました。今回は3年がかりの長期プロジェクトであったメール基盤の移行について振り返っていきます。 概要 移行したメール基盤
署名付きURLを利用したファイルアップロードWeb API設計の勘所 | フューチャー技術ブログ
はじめに現代のWebアプリケーションにおいて、ユーザが写真や動画などのファイルをアップロードする機能は、しばしば求められます。 本記事では、ファイルアップロードを実現するための一手段として、「署名付きURL」を利用した方式を取り上げ、その設計について詳しく解説します。 今回は、Amazon Web Services（AWS）を利用する前提のもと、このアプローチを探求していきます。 前半部分は署名付きURLをそもそもよく知らない方向けの導入部となっていますので、要点だけ抑えたい方は設計上のポイントから読まれることをお勧めします。 ファイルアップロードの実現方式パターン署名付きURLの話をする前に、ファイルアップロード機能をWeb APIとして実現する方式について、いくつか代表的なものを紹介します。 Pattern 1. multipart/form-datamultipart/form-da
How an empty S3 bucket can make your AWS bill explode
Update 7.05.2024 The S3 team is working on a fix: https://twitter.com/jeffbarr/status/1785386554372042890 Imagine you create an empty, private AWS S3 bucket in a region of your preference. What will your AWS bill be the next morning? A few weeks ago, I began working on a PoC of a document indexing system for my client. I created a single S3 bucket in the eu-west-1 region and uploaded some files th
S3へのファイル転送を高速化する手順 - skymatix Developers Blog
システムエンジニアの椎葉です。 ファイル数が多くなるとファイルの転送に時間がかかってしまいます。 ファイル転送の改善で処理時間やEC2のコストを削減することができます。 今回の例でも30%ほど転送時間＆コストを削減することができているので是非参考にしてみてください。 設定項目 今回改善するために変更する設定は下記の２つです。 項目名 説明 max_concurrent_requests 同時に実行できるリクエストの最大数を制御。この設定により、バケットへの同時アクセスを制御することができる。デフォルト:10 max_queue_size タスクキュー内の最大タスク数を制御。タスクが多くなると速度も速くなるが、比例して多くのメモリが必要になる。デフォルト:1000 設定変更のコマンド 設定を変更する際は下記のコマンドを実行します。 aws configure set default.s3.m
GitHub - awslabs/mountpoint-s3: A simple, high-throughput file client for mounting an Amazon S3 bucket as a local file system.
Mountpoint for Amazon S3 is a simple, high-throughput file client for mounting an Amazon S3 bucket as a local file system. With Mountpoint for Amazon S3, your applications can access objects stored in Amazon S3 through file operations like open and read. Mountpoint for Amazon S3 automatically translates these operations into S3 object API calls, giving your applications access to the elastic stora
マルチテナントを支えるkintoneのメール送信戦略 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは！kintoneチーム DevOpsエンジニアの @szkayeah です。 Webサービスを使っていると、何らかの操作をトリガーにメールが届く時がありますよね。サイボウズの kintone(キントーン) も例外ではありません。「データを登録したよ」とか「Aさんからコメントがあったよ」など主に通知のために普段から多数のメールが送られています。 kintone は、エンドユーザーが業務アプリを自由に作成できるマルチテナント型のクラウドサービスです。ゆえに、テナントによってご利用方法が多種多様に渡ります。メールでの通知に関してもエンドユーザーが柔軟に設定できるため、テナントごとにメール送信量に差があるといった現状があります。 本日は、私のチームが運用している AWS版kintone でメールを安定して送るためにどんな仕組みを作っていったかを紹介します！ メールは非同期で順次送信されて
【2023/3時点】AWSの通信料(コスト)を一枚にまとめてみた | いくらは神の食べ物
AWSの主な通信料を1枚もので記載しました。 日々AWSは新サービス、値下げを繰り返しているので最新情報はAWS公式ドキュメントをご確認いただきたいですが参考資料として役にたてば幸いです。 @ohsawa0515さんの作成されていた画像を参考に作りました！ AWSのネットワーク・データ転送料金がひと目で分かる図を作った。Direct ConnectとGlobal Acceleratorは描ききれんかった･･･ pic.twitter.com/97RM8fxgbe — shu1 (@ohsawa0515) January 30, 2020 上記画像の補足、ケース別の料金計算例などを以下に記載していきますので参考になれば幸いです。 EC2の通信料(コスト)について こちらの情報は2023/03/05時点の情報です。 AWSはコストダウンを定期的に行っておりますので情報が古い場合がございます。
AWS×IaC本 『クラウド破産を回避するInfrastructure as Code実践ガイド』 を出します #技術書典 - 憂鬱な世界にネコパンチ！
AWSアカウントセキュリティをIaCで実装する『クラウド破産を回避するInfrastructure as Code実践ガイド』という本を出します。 BOOTHと技術書典9から購入できます。 booth.pm techbookfest.org どんな本？ 本書のテーマはAWSアカウントセキュリティとInfrastructure as Codeです。 実装技術にはTerraform・Serverless Framework・Go言語を採用し、サンプルコードは150以上用意しています。 特に次のような人にオススメです。 クラウド破産の記事を見るたびにドキドキする AWSアカウントを安心して運用できるよう、セキュリティを向上させたい セキュリティでもInfrastructure as Codeを実践したい AWSアカウントセキュリティの実装スキルを効率よく習得したい TerraformやServe
AWS システム構築 非機能要件ヒアリングシートを公開してみた | DevelopersIO
こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きなネクストモード株式会社の吉井 亮です。 日本国内においても多くのシステムがクラウド上で稼働していることと思います。 俊敏性、拡張性、従量課金、IaS、セキュリティなどクラウドのメリットを享受しやすい所謂 SoE で多くの実績があるように感じます。 ここ1~2年は、社内基幹システム・情報システム、SoR 系のシステムのクラウド移行が本格化してきたというのが肌感覚であります。 クラウドでのシステムインフラ構築は従来のようにゼロから非機能要件定義を行っていくものではなく、ベストプラクティスをまず実装して少しずつ微調整を行っていくものと考えています。とはいえ、システムごとの要件は予め明らかにしておくことがインフラ構築においても重要になります。 クラウド上では出来ること出来ないこと
読んでみたら最高だった「クラウド系オススメ技術同人誌」を7冊紹介します #技術書典 - 憂鬱な世界にネコパンチ！
2020年4月5日に閉幕した技術書典 応援祭では、たくさんの技術同人誌が頒布されました。 本記事ではAWS・コンテナ・CICDをテーマにしたオススメの技術同人誌を紹介します。 個人的な趣味趣向から、特定領域について広く網羅している本ばかりになりました。 なお本記事で紹介している本はすべてBOOTHから購入できます。 リンクも貼ってあるので、気になる本はぜひ買いましょう。 どの本も1000円か1500円でとってもお安いので、全部買ってもいいぐらいですよ！ クラウド破産を回避するAWS実践ガイド いきなり自著の紹介からスタートしますが、『クラウド破産を回避するAWS実践ガイド』ではAWSアカウントのセキュリティについて解説しています。「AWSなんか怖い…」を「AWSなど恐るるに足らず！」に変える本です。AWSは気になってるけど勇気が出ないという人・AWSアカウントは持ってるけどセキュリティが放
AWS 構成図を PlantUML で描画できる『AWS-PlantUML』の紹介 - サーバーワークスエンジニアブログ
技術4課の多田です. AWS 環境の構成図を書く機会で PowerPoint や Cacoo 等のサービスを使うことがあると思います.作図もコードで制御する方法もないかと思い調べてみたら,「AWS-PlantUML」というツールがありました.今回はこのツールを使って作図する方法と所感を書いていきます. milo-minderbinder/AWS-PlantUML 「AWS-PlantUML」とは 「AWS-PlantUML」とは,PlantUML 形式で AWS 構成図を書くためのツールになります.PlantUML の実行環境は調べればたくさん出てきますが,僕は普段 Visual Studio Code(以下,vscode)を使うため vscode で使う環境をセットアップしました. 参考URL PlantUML qjebbs/vscode-plantuml 「AWS-PlantUML」を
AWSサービスで実現するバッチ実行環境のコンテナ/サーバレス化/ Container service of batch execution environment realized by AWS service
AWS DevDay Tokyo 2019での発表資料です
AWS支払の円払いへの切り替え方法について | Amazon Web Services
Amazon Web Services ブログ AWS支払の円払いへの切り替え方法について 先日のCloud Roadshow 2017 広島、名古屋、大阪では、KeyNoteの中でAWSの円払い対応および日本準拠法対応についてみなさんにご案内いたしました。本ブログの中で2回連載という形でそれぞれ、支払方法の円対応、日本準拠法切り替えについてご案内をいたします。 実は、AWSの支払い通貨変更機能は、2015年2月にお客様からのご要望受けて実現してる機能ですが、新しくAWSのご利用をご検討いただいている皆様に改めてお伝えしたいこと、また管理者画面のデザイン変更などで過去ブログで記載された手順と少し変更が入っているため、改めてみなさんにその特徴・注意点と手順を共有させていただきます。 [特徴] 管理者画面での変更だけで切り替え作業が完了します 対応しているクレジットカードはVISAとMaste
自堕落な技術者の日記 : Amazon AWSの認証局が少し怪しい件 - livedoor Blog（ブログ）
Amazon AWSのELBとCloudFrontで使えるらしい、無料の証明書発行サービスで、AWS Certificate Manager(ACM)というのがあるそうです。([参考1])。ちょっと気になったきっかけはJavaからHTTPSで繋ぐと検証失敗するケースがあった はてブを垂れ流すだけのフレンズ@matsuuん？これJRE同梱のルート証明書にACMのルート証明書が含まれてなかったってことか。どのバージョンから対応してるんだろ。決済連携などで決済会社の環境が古くてACMが使えないパターンありそう。 / “JavaクライアントからAWS…” https://t.co/pf9J6QRSTD 2017/04/30 11:57:07 というので、ちょっと見始めたらドツボにはまったので、少しメモを書き残しておこうかとおもいます。 ACMの証明書を使ったサイトにブラウザで繋いでみると、、、 J
» アダルトサイトをAWSで運用する時に信頼性と料金節約を両立する為のノウハウ | アダルトサイト制作会社
弊社で大規模なアダルトサイトの運用を行う上でのAWS利用構成を紹介させて頂きます。 利用料金を抑えたいというビジネス的な観点と、サービスを止めない為の障害回避を念頭に構成を紹介します。 関連：AWSのt2.microで月間100万PVに耐えるアダルトサイトを制作した話 この記事は技術者向けの内容になっています。 システム開発の発注をお考えの方は、こちらアダルトホームページ制作のご案内をご覧下さい。 サービスを止めない為のAWS利用構成 サービスを止めない事は弊社では2つの思想によって設計をしております。 障害を防ぐ為の堅牢な設計とする 障害が起きた時に瞬時に復旧、あるいは回避する 前者はイメージしやすいと思いますが、弊社では後者のフェイルオーバーも非常に大事であると考えています。 システム障害が起きない様にスペックを十分に確保する等は当然の事ですが、 万が一障害が発生した場合に即座に代替機
定額プロバイダ併用で転送量破産に備える
定額プロバイダ併用で転送量破産に備える Tweet はじめに 今回は、転送量課金が定額制のプロバイダを利用してコスト削減に成功した事例を紹介します。この事例そのものは当社特有のケースになりますが、似たような考え方が適用できるケースは多いと思います。 当社はインフラをほぼ全面的にAWSに移行していますが、コストの内訳を見るとおよそ三分の一が転送量課金でこの割合が増える傾向にあります。また、月々の変動が激しいのも転送量課金です。 従って、コストを考える上で転送量課金の管理が重要になるのですが、これはなかなか難しい課題です。その理由は、AWSにおいては、転送量課金を削減するオプションがあまりないことです。これは、長くAWSを使っていると、多くのユーザが悩まされる問題ではないかと思います。 インスタンスの料金であれば、リザーブドインスタンスとかスポットインスタンスとか、いろいろなオプションがあって
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「初級から上級までセキュアなAWS環境の作り方」というタイトルでAWS Summit Tokyoのクラスメソッドブースでミニセッションしました #AWSSummit | DevelopersIO
GitHub - neondatabase/neon: Neon: Serverless Postgres. We separated storage and compute to offer autoscaling, branching, and bottomless storage.
AWSとオンプレミスを繋ぐときに知っておきたいルーティングの基礎知識（CCSI監修！）
「義務教育で教えて欲しい」AWSの『技術的なお問い合わせに関するガイドライン』は職業を問わず全人類が読むべき
