一番星はてのを支えるインフラを整備しました - 一番星はての開発ブログ
ずっとさぼっていたのですがインフラ周りを整備し、AWS SAMで構築できるようにしました。 下記が一番星はてのシステム構成図です。 一番星はてのシステム構成図 システム概要 はてのさんはLambda上におり、EventBridge経由で基本的に2時間に1回のスケジューリングではてなAPIやOpenAI APIと連携しブックマークを行います。 LambdaはコンテナイメージタイプでFastAPIで動いています。FastAPIのルーティングとLambdaを統合するためmangumを利用しています。 各インフラはAWS SAMによってコード管理されており、GitHub Actionsでpush時に自動ビルド、デプロイでAWS上のインフラが構築されます。 感想 これまでIaC化できてなかったが、すごくいい。 構成全体が把握しやすくなるし、変更や拡張が容易になる。 あとからやるのも面倒だし今後は最初
はてなにおけるメール基盤とDMARC対応
https://platformengineering.connpass.com/event/310994/ で発表させて頂いた内容になります。
突貫でおぼえるSPF、DKIM、DMARC | DevelopersIO
しばたです。 昨年10月にGoogle(Gmail)および米国Yahoo!においてスパム対策の強化がアナウンスされました。 この件に関してつい先日まで他人事でいたのですが、実は全然他人事では済まないことが発覚し突貫で知識を仕入れています。 アナウンスに対する具体的な対応策についてはこちらのZennの記事を見れば全部わかる感じです。 最高ですね。 また、メール送信にAmazon SESを使っている場合はAWSのブログを確認すると良いでしょう。 「これらの記事を読み解けば万事解決！」という感じではあるのですが、私自身が学んだなかで予め知っておくと良さそうに思えた点がいくつかありました。 本記事ではその辺を共有するのと、実際にAmazon SESの環境を作って動作確認をしたのでその結果も合わせて共有します。 はじめに覚えておくと良い基礎知識 Zennの記事でも詳細な解説がありますが、個人的に「最
世界同時接続数130万人超の話題ゲーム『パルワールド』はたった1人の24歳化け物エンジニアがワンオペで捌いているらしい
Takuro Mizobe | Craftopia, Palworld @urokuta_ja (株)ポケットペア代表 代表作: Palworld, AI: Art Impostor, Craftopia, Overdungeon, Coincheck Founder ゲーム開発の全職種で積極採用中です！ インタビュー: bit.ly/2ObnR2k store.steampowered.com/app/1307550/Cr… Takuro Mizobe | Craftopia, Palworld @urokuta_ja ポケットペアはやばい会社なので、全世界同接110万人ゲームをネットワーク兼インフラエンジニア1人が捌いています 確か彼もまだ24歳ぐらい・・ 彼が1人で協力プレイ、専用サーバーの構築（サーバー1000台近く建ててるので自動化必須。k8s）、通信最適化などを支えています 彼
高校入試の出願システム、Gmailにメール届かず……神奈川県、受験生に「@gmail.com以外のアドレス使って」
神奈川県教育委員会が2024年1月4日にリリースした、公立高校入試のインターネット出願システムで、「@gmail.com」ドメインのアドレスにシステムからのメールが届かず、受験生が出願用アカウントを作成できない問題が起きている。 15日夜時点でも解消しておらず、県教委は受験生に対して、「@gmail.com以外のメールアドレスで登録してほしい」と呼び掛けている。 このシステムは、公立高校の2月入試に出願する受験生などが利用する。中学校で受け取った書類に書かれたURLから出願サイトにアクセスし、メールアドレスなどを登録して「志願者アカウント」を作成すると、出願サイトへのログインに必要な「登録番号」がメールで届く、という流れだ。 だが、登録したメールアドレスが「@gmail.com」の場合、登録番号入りのメールが届かない不具合が起きているという。 新システムによる出願は1月4日に受付スタート。
カプコン: Cloud Spanner や GKE を用いて『ストリートファイター6』のためのクロスプレイ プラットフォームを構築 | Google Cloud 公式ブログ
カプコン: Cloud Spanner や GKE を用いて『ストリートファイター6』のためのクロスプレイ プラットフォームを構築 『ストリートファイター』や『バイオハザード』、『モンスターハンター』など、世界中で愛されるゲームシリーズでその名を知られる株式会社カプコン（以下、カプコン）。その最新 AAA タイトル『ストリートファイター6』では、ユーザーのすそ野を広げる意欲的な取り組みを多数実施して注目を集めています。そこに Google Cloud のテクノロジーがどのように役立てられているのか、開発の中核メンバーにお話を伺いました。 利用しているサービス: Cloud Spanner, Memorystore for Redis, Google Kubernetes Engine, Anthos Service Mesh, Cloud Monitoring, Cloud Logging
メール配信システムを SaaS から新規社内システムへ移行した - エムスリーテックブログ
この記事はエムスリーAdvent Calendar 2023の20日目の記事です。 エムスリーエンジニアリングG コンシューマチームの松原(@ma2ge)です。 今回はコンシューマチームで利用していたSaaSのメール配信システムを、新規に開発した社内システムに移行した経緯や設計時に意識したことなどについて紹介します。 最近使っているキーボードの様子 背景 今回移行する契機となったのはメールの配信数増加に伴うSaaSの利用料金増です。 特に定期的に送るメルマガ配信については、配信量も多く利用コストを押し上げる要因となっていました。 そのためメルマガ配信で大量に使用する部分についてのシステム移行検討が始まりました。 移行検討 SaaSから移行後のシステムについて試算すると、システムの開発や利用料といったコスト面では社内で構築したシステムの方が大幅にコストが下がることがわかりました。 しかしなが
postfixによる大量メール送信にまつわる問題と対処 - エムスリーテックブログ
【SREチーム ブログリレー2回目】 お疲れ様です。エンジニアリンググループ、コアSREの山本です。 前回ブログリレー1回目の記事で大量メール送信のために基本設定について書かせていただきました。 www.m3tech.blog 今回はそれを受けて構築したサーバで実際に発生したいくつかの問題、その問題への対処といったものを書かせてください。 エムスリーのメール送信で発生した問題とその対策 特定のメールサーバからの突然のメール拒否 メールの翌日までの滞留 TLS問題 メールがどうしても迷惑メール扱いされるという苦情 postfixのメール処理とステータス メールログの監視 まとめ We are Hiring! エムスリーのメール送信で発生した問題とその対策 実際にここ一年あたりの間に発生した問題とその問題への対応を記述していきたいと思います。postfixを利用して送信していますので設定はpo
さくらインターネット、データセンターのラック解錠業務を無人化
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます さくらインターネットは、西新宿データセンターにサーバラック・セキュリティシステム電子錠コントローラ「RMS-EL128」を導入した。同システムをさくらインターネットと共同で開発した東京エレクトロン デバイス長崎（TED長崎）が発表した。 RMS-EL128は各ラックに設置された電子錠ハンドルを個別に近距離無線通信（NFC）によって認証／解錠できる。カードキーの通信にはFeliCaとMifareの2方式を採用し、入退室管理システムなどとの共通化が可能だ。 西新宿データセンターでは、オペレーション業務の自動化など運用面の効率化に取り組むことで、データセンター業務の省人化や効率化を進めている。例えば物理鍵を使用したデータセンターのサーバラック
Project Googrename: Google Workspace で 14 年運用されたドメインエイリアスをプライマリドメインに変更 & 全ユーザーを安全にリネームする - クックパッド開発者ブログ
コーポレートエンジニアリング部の id:sora_h です *1。今回は 3 ヵ月ほど前に実施した、Google Workspace テナントのプライマリドメイン変更について、記録を兼ねて説明します。 クックパッドは 2009 年頃 *2 より Google Workspace *3 を利用しています。当社の対外的なメールアドレスは cookpad.com ですが、Google ではプライマリドメインとして cookpad.jp が設定されています。各ユーザーには cookpad.com のアドレスを別名 (エイリアス) として登録されていて、メールアドレスとしては cookpad.com を利用、ただ Google へログインする時だけ cookpad.jp を利用する運用になっていました。想像が出来ると思いますが、これが様々な面で不便・混乱を発生させていました。どうしてこうなった… *
私がインフラ運用保守で意識して行っていること(コラム) - Qiita
～はじめに～ 運用保守は、手順書通りするだけの楽な業務と勘違いしていませんか？ 私は3年間運用保守(インフラ)に携わり、手順書作成や障害対応/調査、運用支援など様々なことを行ってきました。そんな私が思うに運用保守は、全くそんな楽な業務でありません。 運用保守は過信と油断をすれば、すぐに業務影響を出してしまいます。 構築設計段階でのお客様に影響を出すのとは、全く影響度合いが違います。 既に稼働しているシステムで業務影響を出すというのは、エンドユーザーへ多大なるご迷惑をおかけするということ、つまり絶対に許されません。 そんな状況にならないために、私が運用保守をする上で意識して行っていることについて書きたいと思います。 ～運用保守をする上で意識して行っていること～ 1. 簡単な作業や慣れた作業でも慎重に行う 私はどんな作業だとしても、過信や油断をせずに慎重を行うようにしています。 簡単または慣れ
最近のDHH「サーバーレスをやめろ」 - laiso
(インターネットやめろジェネレーターで作成) Ruby on Rails生みの親であり最強の逆張りおじさんであるところのDHHが昨年あたりからしきりに脱パプリッククラウドの主張をしている。 これは彼らの会社が運用しているBasecampやHEYのインフラをAWSから自社保有のベアメタルサーバーへ移行しようとしているからで、実際に移行作業は進んでおり、今後5年間で700万ドルのサーバー費用を節約できるだろうという見込みがあるようだ。 world.hey.com world.hey.com あとタイトルに「サーバーレスをやめろ」と書いたけどDHHのファンボである筆者の誇張表現であり、サーバーレスというキーワードに関しての言及は正確には以下のポストを読んで欲しい。 world.hey.com この文章における「the computing cycles」とは、一台のコンピュータが持つ計算能力全体を
AWSの開発環境の利用時間をGoogleカレンダー連動させたら開発チームが自由に使えてコスト70%削減！！ - Uzabase for Engineers
こんにちはNewsPicks SREチームの美濃部です。 NewsPicksのSREのミッションの1つに「コストを適正化する」というものがあります。サービスの規模拡大に比例してインフラコストが増えないようにし、売上に対するコストの割合を低く維持していくのがミッションになります。 今回はこのミッションに対するアクションとして開発環境のインフラコストを適正化した話をします。 NewsPicksの開発環境について 開発環境のコストをどうやって適正化したか 稼働時間対応を実現する仕組みについて 実際どれくらい削減できたのか まとめ NewsPicksの開発環境について まず、NewsPicksの開発環境について概要を説明します。 インフラ基盤は本番環境と同様にAWSを利用しており開発チームは現在10以上のチームが存在し、それぞれのチーム専用に用意された開発環境を利用しています。 2年程前までは開発
CloudflareのサーバーはもうIPを所有していません。では、どのようにインターネットに接続しているのでしょうか？
データセンター内のIP共有サーバー間でIPを共有するという考え方は新しいものではありません。ルーター上のSource-NATで実現してきた方法です。残念なことに、必要なエグレスIPの数が非常に多く、また運用のサイズも大きいため、ルーターレベルでステートフルファイアウォールまたはNATに依存できません。また、当社は共有状態を好まないので、NATの分散インストールは避けたいところです。 代わりに選択したのは、ポート範囲によるサーバー間におけるエグレスIPの分割です。特定のエグレスIP に対して、各サーバーは使用可能な送信元ポートのごく一部（ポートスライス）を所有します。 インターネットからリターンパケットが届くと、それを正しいマシンに戻すルーティングをしなければなりません。このタスクのために、L4 XDPベースのロードバランサーである "Unimog "をカスタマイズしました。当社のL4 XD
3大クラウド(AWS,Azure,GCP)をそれぞれプロダクションで実運用した感想(その1 シェア、将来性) - Qiita
3大クラウド(AWS,Azure,GCP)をそれぞれプロダクションで実運用した感想(その1 シェア、将来性) 3大クラウド(AWS,Azure,GCP)をプロダクションで実運用した感想(その1 シェア、将来性) はじめに 今まで私がエンジニアとして10年以上仕事をしてきた過程で、利用されているクラウドインフラ基盤を転職要件に含めていなかったことも相まって、AWS(Amazon Web Services),Azure(Microsoft Azure),GCP(Google Cloud Platform)という3大クラウドのクラウド基盤で、サービスの立ち上げから運用まで関与することができました。 各々のクラウド基盤に関して掘り下げられていることはあっても、エンジニア/SREの視点から俯瞰して述べられていることはあんまり無いので私が実務レベルで各々のサービスを使っていて感じたことを共有しておきま
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
翻訳記事 -「インフラ基盤部門は本当に必要か」に関する議論 - CyberAgent SRG #ca_srg
Gmailへのメールが届かなくなる？ 2024年6月までにやるべき3つの対応 | Web担当者Forum
マイクロサービス環境におけるDB戦略 in DMMプラットフォーム
実録_マルチテナント環境でのGmailガイドライン対応
「光ファイバー」で10km先に給電もできる技術、NTT
