10年モノのインフラを3年がかりでカイゼンした - Qiita
CI いちおうJenkinsが立ってました。失敗して赤くなってるジョブが大半で、かといって誰が治すわけでもなく、よくわからないけど失敗したり成功したり、とにかく不安定でした。 CloudWatchのメトリクスで眺めて、EBSのIOPSクレジットの枯渇から激遅になって、Jenkinsジョブのタイムアウト設定で失敗になる、まで明らかにしました。その時の対処は、IOPSクレジット上限サイズの1TBのSSDのEBSを付けることと、同時並行で動けるJenkinsジョブ数に上限を設けることで、落ち着くようになりました。 とはいえ「Jenkinsおじさん」問題があるので、CIをどうにか民主化する必要があります。SaaSから検討して、TravisCIとCircleCIが最終候補になって、トラブルシュートをSSHでできるのを決め手に、CircleCIを導入しました。 8月末にCircleCI1.0が死んだと
mirage-ecsで各メンバー専用開発サーバーを実現！まちのコインの運用事例を紹介します - KAYAC engineers' blog
SREチームの長田です。 突然ですが、 mirage-ecs というツールをご存知でしょうか？ 今回はこのツールをまちのコインの開発チームでの使用例をもとに紹介します。 coin.machino.co mirage-ecs を使うと動作確認用のサーバー環境を、サーバーサイドのエンジニアでなくとも自由にいくつでも立ち上げることができるようになります。 「環境」は AWS のECSクラスタ上で起動し、専用のURLが割り当てられ、 認証*1を通過すればどこからでもアクセスできます。 これにより 「クライアントアプリとつなぎ込んで動作確認したいけど、開発環境が空いてないから確認できない」 や、 「プロダクトオーナーに新機能を確認してもらいたいけど、開発環境が空いてないから(以下略)」 といった問題が解消し、 開発と動作確認のサイクルをスピーディーに回すことができるようになります。 mirage-e
第763回 RustDeskですいすい繋がるリモートデスクトップを実現する | gihyo.jp
今回はオープンソースでマルチプラットフォームなリモートデスクトップソフトウェアであるRustDeskを紹介します。 RustDeskとは RustDeskはオープンソースでマルチプラットフォームなリモートデスクトップソフトウェアです。あけすけな表現をするとセルフホストできるTeamViewerやAnyDeskのようなものです。 使い勝手もおおむね同じで、今回構築する中継サーバーに接続することによりルーター等の設定を変更しなくてもすいすい繋がるリモートデスクトップ環境を構築できます。 サーバーはUbuntuやDebianとWindowsが想定されていますが、クライアントはUbuntu/Debian/Windows/macOS/Android/iOSなど、何にでも対応しています。ただし今回はUbuntuとWindowsしか取り上げません。 TeamViewerやAnyDeskを使用したことがあ
令和にふりかえる C10K 問題
C10K 問題 (the C10K problem) は1999年に Dan Kegel が発表した文章、ならびにそこで提示された「問題」です。文章はその後も2000年代前半に何度か更新されているのですが、さすがに令和に読み返すと、当初の問題意識がわかりにくいところがあります。 2000年からの10年は、 ソフトウェア面では、select(2), poll(2) にかわる新しいシステムコールの実装と、それを使ったアプリケーションの普及 ハードウェア面では、x86 アーキテクチャの64ビット移行、仮想化命令の追加と、マルチコア化 さらにそこにクラウドも登場する、面白い時代でした。ここでは、それらの出来事を中心に、さらに、当時の雰囲気をつたえるような日本国内のブログやインタビュー記事をまとめることで、C10K 問題が、さまざまな側面から解決されていく流れを説明したいと思います。 書き足したいと
Webサーバーアーキテクチャ進化論2023
はじめに 最近プログラマーとしてのキャリアに一区切りつけようと思っており、これまでのプログラミングの勉強の集大成となるブログを書きたくなったので書く。初めてプログラミングをして、フロントエンド開発をして、サーバーから値が返ってきたときは「どういう仕組みで値が返ってきたんだ？」と疑問に思っていた。ずっと理解したくて理解できていなかった。だからずっと勉強していた。そして最近になってようやく自分の言葉で説明できるようになった気がしたのでブログを書きたい。 2015 年版が自分の原点であり、この記事を書くモチベーションになった このような記事は実は過去に存在している。 FYI: https://blog.yuuk.io/entry/2015-webserver-architecture その記事はサーバーがどういう仕組みで動いていて、どのように進化し、2015 年に至るかを解説してくれた記事だ。自
VPSや自宅サーバーにインストールしたいSaaS代替Webアプリ38選
シェアウェア（という表現はおいておいてのやつ。https://anond.hatelabo.jp/20230124045812）の記事が面白かったので、自分の得意分野の領域でいろいろ紹介します。 基本的に、SaaSのサービスは便利だけど、あれもこれもと契約していったらサブスク破産するので、 ものによってはセルフホストした方がいいと思ってる派。 Dropbox/GoogleDrive/box代替 NextCloudもともとownCloudっていうDropbox代替があったんだけど、そこから分派して今も機能開発が続いている。 興味深いのはLAMP構成なので、VPSや自宅サーバーじゃなくても、レンサバで動くのがいいよね。 データ保存領域はオブジェクトストレージ（S3互換）も利用できるので、例えばWasabiなんかと契約してお安く済ませてしまうのも全然アリかと。 Trello代替 Wekan最近は
サーバーレスでスケールするメール送信システムをAWS CDKで構築する - 365歩のテック
概要 タイトル通りですが、AWSでサーバーレスなメール送信システムを、AWS CDKを使って構築してみました。 サーバーレスなので、スケールする良い感じの構成になります。 荒いところもありますが結構便利なのでよかったらぜひご参考に、またはそのまま使ってくださいという感じで読んでいただけたら光栄です。 Amazon SESを使用してメールを送信していますが、（少し変えれば）SES以外でも送信できるかと思います。 目次 目次 概要 目次 まとめ(AWS Dev Day 2022 Japan) 要件 前提 アーキテクチャ 構成図 使用AWSサービス コード アーキテクチャ解説と補足 AWS CDK aws_lambda_nodejs パラメータ用コンフィグファイル バリデーション Amazon SES SQS 標準キュー 可視性タイムアウト ロングポーリング 部分バッチ応答 S3 DynamoD
Firezone: Zero trust access that scales
EFFORTLESS SETUPReplace your obsolete VPN with a modern zero trust upgrade. Firezone supports the workflows and access patterns you're already familiar with, so you can get started in minutes and incrementally adopt zero trust over time. Create a SiteDeploy one or more GatewaysAdd a Resource (e.g. subnet, host or service)Choose which user groups have access RELIABLE ACCESSFirezone is fast and depe
インフラエンジニアが学ぶと良さそうなgRPCサーバーについて - じゃあ、おうちで学べる
3-shake にはSreake共有会 という毎週、火曜日と木曜日に担当者が現場で得た知見などを発表する社内勉強会が開催されています。こちらのブログはそれらを変更修正しております。 syu-m-5151.hatenablog.com 元々しようとしていたの話 Go 1.18 の最新情報←Generics の深い話とかはもう既出すぎて気になる人は読んでる Go でのTDD(が実は20周年なので)←書いてる途中で自分が言うべきことなんてないことに気付く 今後、案件で増えるであろう gRPC についてインフラエンジニアが知っておいても良いと思ったという話 ← 今ここ TL;DR protobuf (Protocol Buffers) はデータフォーマットで、JSONの役割を置き換えるものです。一方 gRPC は通信プロトコルで、HTTPの役割を置き換えるものです。 gRPC をライブラリやツール
接続が途切れないストリーミングサーバの無停止アップデートを実装してみました - Mirrativ Tech Blog
こんにちは ハタです。 最近 SO_REUSEADDR / SO_REUSEPORT を使ったストリーミング配信サーバの無停止アップデート(Hot Deploy)を実装してみたので紹介したいなと思います ことの経緯 HTTPサーバによる Hot Deploy の仕組み ストリーミング配信サーバへの応用 SO_REUSEADDR/SO_REUSEPORT を使った実装例 Hot Deploy の組み込み Hot Deploy 実装時に気をつけたこと その後 We are hiring! ことの経緯 ミラティブでは以前から何度か紹介したとおり自前の配信基盤設備を持っています。 配信基盤のミドルウェアも内製であり、機能追加やライブラリの更新などがあるたびにミドルウェアのバージョンアップ作業(メンテナンス)も自社で実施しています ストリーミング配信サーバといっても、何か特別な事はなく一般的なHTT
WireGuardのAllowed IPsの設定についての補足
前回、DD-WRT上でWireGuardトンネルを有効にする記事を書きました。 OpenVPNからWireguardに乗り換え このなかで「Allowed IPs」の設定がいまいち理解できていなかったのですが、CodeBlue 2016で開発者の Jason A. Donenfeld さんが発表していたスライドに説明がありました。 ここでのスライド8から10にかけて触れられているのですが、 トンネル経由での送信時、ルーティングテーブルより送出先インターフェースとしてWireGuardトンネルインターフェースに送信されたパケットは、Allowed IPsに記載されたピアを宛先として選択する。トンネル経由での受信時、受信したパケットを復号して出てきたIPパケットをチェックして、そのパケットの送信元IPアドレスがAllowed IPsに記載されており、かつ復号前のパケットの送信元が該当のピアであ
WireGuardとWg Gen Webで管理が簡単なVPN環境を作る | FreeBSD Days
概要 シンプルでクロスプラットフォーム、しかも構成しやすいVPNソフトウェアのWireGuardでVPN環境を作ります。WireGuardの設定ファイルはWg Gen Webを使ってWeb UIで管理します。設定ファイルはsystemdで監視し、WireGuardを自動で再起動、更新を反映します。ネットワーク設定は環境によって異なるため、環境に合わせて調整してください。 以下では、Ubuntu 20.04 LTSがインストールされたサーバにDockerとDocker Composeが利用できる環境が構築されていることを前提として進めていきます。 1. WireGuard環境の構築 WireGuard自体はaptで瞬時に入ります。そのままだと設定ファイルは手動で作成になりますが、それほど難しい作業ではないので、この時点で動作確認を行います。 sudo apt update sudo apt
インフラエンジニアなら気になるQUICのロードバランサ (方式編)
図1: QUICコネクションを振り分けるロードバランサはじめに本記事では、バックエンドのWebサーバへリクエストを振り分ける装置の意味でのロードバランサ(図1)について、QUIC対応の議論状況を紹介します。方式編と実装編にわけて二編を予定しており、本稿は方式についての解説です。 IETFでは、F5 Networksとマイクロソフトから提案されたロードバランシング方式が議論されています。本稿では下記のインターネットドラフトをQUIC-LBと表記します。 QUIC-LB: Generating Routable QUIC Connection IDs https://datatracker.ietf.org/doc/html/draft-ietf-quic-load-balancers 執筆時点の -07 をベースとしますが、ドラフトですので今後の議論次第で改版が続きます。あらかじめご承知おき
Goのおすすめのフレームワークはnet/http | フューチャー技術ブログ
僕としてはGoのおすすめのフレームワークを聞かれたら、標準ライブラリのnet/httpと答えるようにしています。というよりも、Goの他のフレームワークと呼ばれているものは、このnet/httpのラッパーでしかないからです。 Goでアプリケーションを作成する場合のイメージは次の通り。battery includedなアプローチは他の言語でもたまにありますが、ついてくる機能が今時のものが多くて、標準ライブラリで済むことが多いです。ウェブ開発についてもそんな感じです。 PythonとかRubyとかもそうですが、言語組み込みのウェブサーバー機能はテスト用で本番運用には機能が足りない、性能が足りない、ということから「プロダクションに耐えうるフレームワークを別に入れないと」と思う人も多いんじゃないかな、と思いますが、Goの場合は組み込みのサーバーで問題なかったりします。Node.jsに近いかも？世間に
サーバー乗っ取りからメールの誤送信まで PPAPで起こりやすい8つのセキュリティインシデントその対策
インターネットでのセキュリティ分野で話題の、電子メールのパスワード付きZIP添付書類（PPAP）問題について語るイベント「パスワード付きzip添付メール問題を考える」。ソフトバンク株式会社の北崎氏、株式会社インターネットイニシアティブの櫻庭氏、株式会社 TwoFiveの加瀬氏が「データ保護・誤送信防止のメール技術とは？」をテーマに語りました。まずは加瀬氏による、セキュリティインシデントと対策の話から。 セッションの紹介と流れの説明 加瀬正樹氏（以下、加瀬）：このセッションは、「データ保護・誤送信防止のメール技術とは？」と題して、3人でプレゼンテーションしていきたいと思います。よろしくお願いいたします。 私のパートでは、網羅的にさまざまなセキュリティの問題点と、その対策として8つのセキュリティインシデントと、10個の手段を紹介したいと思います。そのあと櫻庭さんにバトンタッチして、TLS通信の
HTTPステータスコードをGooglebotはどのように処理するのか？ Googleが詳細に解説
[レベル: 上級] HTTP ステータスコードとネットワーク/DNS エラーに関する技術ドキュメントを Google は検索セントラルサイトに新規に公開しました。 この記事では、概要と、特に重要な部分を紹介します。 Google 検索での HTTP ステータスコードの扱い HTTP ステータスコードの定義は RFC 7231 などで定められています。 しかしながら、Google 検索は独自の扱いをすることもあります。 Googlebot がウェブをクロールしてきたなかで最も多く返された 20 種類のステータスコードの扱いをドキュメントは説明しています。 2xx/3xx/4xx/5xx の最終的な扱いは基本的に同じ ステータスコードは次の 4 つのカテゴリに大別できます。 200 番台 (2xx) 300 番台 (3xx) 400 番台 (4xx) 500 番台 (5xx) 基本的に、それぞ
魔窟と化した全文検索サーバーとふっかつのじゅもん - Cybozu Inside Out | サイボウズエンジニアのブログ
サイボウズのクラウド黎明期から運用し続けていたSolrサーバーを Elasticsearchに置き換えるプロジェクトが先日完了しました。 プロジェクト完了報告もかねてプロジェクトのあらましを公開したいと思います。 はじめに このプロジェクトの主軸は『魔窟と化したレガシー技術をどう捌くか？』になります。 このプロジェクトの報告をする前に、いくつかエクスキューズをさせていただきます。 クラウド黎明期を支えてくれたSolrには畏敬の念に近い感謝をもっています レガシーな技術に対してマウントやディスリスペクトの意図はありません 魔窟にかかわることになってしまった人に対して負の感情は一切ありません 今回の採用している構成はElasticsearchのあるべきアーキテクチャではありません 今後、Neco 環境への移行を通して継続的に改善していきます サイボウズでのSolrの使い方と用語説明 サイボウズ
ミラティブ おすすめ配信の仕組みについて解説 - Mirrativ Tech Blog
こんにちは、エンジニアのタテノです。 ミラティブアプリを起動するとおすすめ配信の一覧が表示されます。 今回はこのおすすめ配信の仕組みについて解説しつつ、おすすめ配信の運用・改善を行う上でのポイントなどをまとめてみました。 システム面では機械学習などのトピックも含みますが、今回はサーバサイドの設計周り、特にパフォーマンスを考慮している部分にフォーカスしています。 おすすめ配信一覧 おすすめ配信の役割 ユーザはすでにお気に入りの配信があれば、フォロータブから配信に入室しますが、ミラティブをはじめて初期の段階やお気に入りの配信がない場合は、そのほとんどはおすすめ配信から配信に入室します。おすすめ配信はユーザが配信に興味を持つきっかけとしてその役割を果たしており、とても重要です。 ミラティブでは常時、多数の配信が行われており一度に全ての配信を表示することはできません。たくさんある配信の中からそのユ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
目的別クラウド構成と料金試算例 | AWS
既存のHTTPサーバーをHTTP/3化する手法を使ってPiping ServerをHTTP/3対応する - nwtgck / Ryo Ota
