Webサーバーアーキテクチャ進化論2023
はじめに 最近プログラマーとしてのキャリアに一区切りつけようと思っており、これまでのプログラミングの勉強の集大成となるブログを書きたくなったので書く。初めてプログラミングをして、フロントエンド開発をして、サーバーから値が返ってきたときは「どういう仕組みで値が返ってきたんだ？」と疑問に思っていた。ずっと理解したくて理解できていなかった。だからずっと勉強していた。そして最近になってようやく自分の言葉で説明できるようになった気がしたのでブログを書きたい。 2015 年版が自分の原点であり、この記事を書くモチベーションになった このような記事は実は過去に存在している。 FYI: https://blog.yuuk.io/entry/2015-webserver-architecture その記事はサーバーがどういう仕組みで動いていて、どのように進化し、2015 年に至るかを解説してくれた記事だ。自
ファイルダウンロード完全マスター | フューチャー技術ブログ
Real World HTTPでも紹介したネタですが、お仕事で受けている技術コンサル中に質問をいただいた時に、微妙に本で紹介した内容では少し足りなかったので、改めて整理のためにブログ記事にしてみました。次回、本が改訂されることがあればこのブログエントリーの内容も入れて加筆したいと思います。 Real World HTTPだとGoを使っていましたが、フロントとサーバーを同時にいじるので、本エントリーではNext.jsをサンプルに使います。Next.jsでプロジェクトを作って（npx create-next-app@latest –ts)、適当なプロジェクト名を入れてアプリケーションの雛形を作っておいてください。 Next.jsでは、1つのスクリプトファイルを作成すると、それがサーバーAPI(/pages/api以下)と、フロントの画面(/pages/以下のapi以外)になります。Next.j
1000万ユーザに耐えるサーバを作ってみた
概要 スケーラビリティが高く1000万ユーザに耐えるAPIサーバを作成しました。TwitterのようなSNSです。実装はGitHubで公開しています。 開発環境は次の通りです。 Node 16.14 Express 4.17.3 DynamoDB 2012-08-10 機能要件は次の通りです。 ツイート機能 ツイートに対してコメント機能 フォロー機能 タイムライン機能 導入 Facebook、Amazon、Youtubeのような数億人のユーザを抱えるサービスでは大量のトラフィックを捌く必要があります。大量のトラフィックを捌くためのアプローチとして一般的に使われるのはスケールアップではなくスケールアウトです。スケールアップは性能の高い機器を使うためにコストが高いです。また、1つのサーバで運用するためにパフォーマンスの限界が存在します。 スケールアウトについて考えます。アプリケーションは大きく
インフラエンジニアが学ぶと良さそうなgRPCサーバーについて - じゃあ、おうちで学べる
3-shake にはSreake共有会 という毎週、火曜日と木曜日に担当者が現場で得た知見などを発表する社内勉強会が開催されています。こちらのブログはそれらを変更修正しております。 syu-m-5151.hatenablog.com 元々しようとしていたの話 Go 1.18 の最新情報←Generics の深い話とかはもう既出すぎて気になる人は読んでる Go でのTDD(が実は20周年なので)←書いてる途中で自分が言うべきことなんてないことに気付く 今後、案件で増えるであろう gRPC についてインフラエンジニアが知っておいても良いと思ったという話 ← 今ここ TL;DR protobuf (Protocol Buffers) はデータフォーマットで、JSONの役割を置き換えるものです。一方 gRPC は通信プロトコルで、HTTPの役割を置き換えるものです。 gRPC をライブラリやツール
「メタバース」「電子工作」「サーバ管理」を一挙に体験できる“マイクラ”の魅力 そのIT要素を一挙紹介
世界で最も売れたインディーズゲームとも呼ばれる「Minecraft」をご存じだろうか。筆者はちょうど1年前のゴールデンウイークに「そういえば有名だけどやったことないな。ちょっとだけ始めてみるか」と思ってうっかり手を出し、まんまとはまってしまった。今では休日に8時間溶かす程度に遊んでいる。それだけ中毒性の高いゲームだ。 Minecraftの起動画面 MinecraftはPC版の他Nintendo Switch版やモバイル版など、対応プラットフォームが多いのも特徴 有名でプレイヤーも多いゲームではあるが、遊んだことがない人も多いだろう。ITmedia NEWSでも米Microsoftが開発元のスウェーデンMojangを買収した頃から業界動向記事として取り上げてはいるが、内容やゲーム性にはあまり触れていなかった。 しかし、このゲームはただの遊びと言うにはIT要素が多い。今回はMinecraftが
PayPayがAWSを使い続ける理由 日本No.1のQR決済サービスを支えるインフラ構成
ZOZO×一休×PayPay AWS Nightは、2020年7月22日に開催されたZOZOテクノロジーズ・一休・PayPayの3社による合同イベントです。各社それぞれAWSの活用事例を紹介します。PayPay株式会社プラットフォームチームの西中氏がPayPayのインフラの概要について話しました（記事内の情報はイベント開催時点のもの）。 日本のNo.1 QRコード決済サービス 西中智樹氏（以下、西中）：「PayPayでのAWS活用事例について」と題して、PayPay Platformチーム・西中が発表いたします。 簡単に自己紹介します。西中智樹と申します。2018年12月よりPayPayで仕事をしていまして、現在、AWSなどのPayPayのインフラを所管するPlatformのチームに所属しています。好きなAWSサービスはEKSです。 本日のセッションのアジェンダになります。この順番でお話を
React Server Components はウェブ開発を変えるゲームチェンジングな技術である
去年末に Facebook の人達が出した React Server Components というものが、React 界隈に激震を及ぼしていますが、速報以外でこの技術について言及している国内のブログが見当たらないため、この記事で解説してみます。間違いや分かりづらい部分があればぜひツッコミをお願いします。 React Server Components は、ただのサーバーサイドレンダリングではありません。クライアントサイドレンダリング（SPA）とサーバーサイドレンダリングを、ギアを切り替えずにいいとこ取りする仕組みです。これまでに存在した様々な技術よりも踏み込んで、フロントエンドとバックエンドの境目を曖昧にしてしまうユニバーサルな技術です。 勝手な造語としていうなら「コンポーネント指向ユニバーサルウェブ開発」とでも呼ぶべきものでしょう。 そして、これはただのユニバーサルなだけの仕組みではあり
Webアプリ負荷試験ガイド - withgod's blog
Webアプリ負荷試験ガイド 目次 Webアプリ負荷試験ガイド 目次 前置き 時間がない人向け要約 about me 何故負荷試験を行うのか 負荷試験ツール 負荷掛けるツール 負荷計測 負荷の可視化 負荷試験の流れ 負荷試験スケジュールについて 注目すべきポイント シナリオ作成 アカウント情報は自動生成出来るようにする DB分割を行ってる場合はDB分割を意識したシナリオを用意する。 負荷試験元 http or https サーバ1台 サーバ単体での負荷 アプリの正常性の確認 サーバ複数台 KVS Memcached Redis RDB 問題になりやすいDB キャッシュの話 大前提 注意すべき点 CDNやProxyレベル local cache or remote cache local cache or memory cache(in app cache) references 更新情報 前
ネットワーク越しリトライ考 - その手の平は尻もつかめるさ
ここ最近では何らかのインターネットサービスを構築・運用するにあたって、ネットワーク越しのリトライを考えることは避けられなくなりつつあります。 micro services のようなアーキテクチャを採用している場合はサービス間のメッセージのやり取りはまず失敗する前提 (つまりリトライをする前提) で組む必要がありますし、たくさんのクライアントがいてそのクライアントが定期的に何かを処理してセントラルにデータを送ってくる IoT のようなシステムを構築する時もその処理のリトライをよく考える必要があります。 というわけで「ネットワーク越しのリトライ」についてここ最近考えていることをざっくりと書き留めるものであります。 前提 リトライをする側をクライアント、リトライを試みられる側をサーバと呼称します リトライにおいて、サーバおよびネットワークはクライアントよりも弱者です クライアントはリトライをコン
システム構成図をテキストで
Gigazineさんでdrawthe.netを取り上げていたので紹介です。使い方はGigazineさんのほうが丁寧なので、気になる方はチェックしてみてください。（2020年12月1日、追記） drawthe.netとは cidrblock/drawthe.netは複雑なネットワーク図も「テキストで書いてブラウザ上でSVGレンダリングできるようにしよう」というコンセプトのもと開発されたツールです。下図のように複雑な構成図も精度高く描くことができます。 拡大してみると情報量が多いこと、またいかに整っているかがわかると思います。 デモサイトも用意されているので、サクッと試したい場合はコチラが便利です。コードはGitHubで公開されています。更新が2017年末で止まってしまっているのが玉に瑕ですが、十分な性能を発揮してくれます。 drawthe.netを使いたい理由 美しい構成図といえばInter
仮想サーバ17万台、物理サーバ9万台 「ヤフオク!」「Yahoo! JAPAN」を支えるヤフーのITインフラ運用術
仮想サーバ17万台、物理サーバ9万台 「ヤフオク!」「Yahoo! JAPAN」を支えるヤフーのITインフラ運用術（1/2 ページ） 国内最大級のポータルサイト「Yahoo! JAPAN」をはじめ、ECサイト「Yahoo!ショッピング」やオークションサイト「ヤフオク!」など、コンシューマー向けWebサービスを数多く運営するヤフー。同社はこれらのサービスを裏で支えるシステム基盤として、大規模なプライベートクラウド環境を自社で構築・運用している。 ヤフーの奥村司さん（クラウドプラットフォーム本部 プライベートクラウドチーム リーダー）が、クラウドインフラの運用管理者向けイベント「Cloud Operator Days Tokyo 2020」で明かしたところによると、その規模は、仮想サーバが約17万台、物理サーバが約9万台。物理サーバのうち2万台がIaaSの仮想化ハイパーバイザーとして使用されて
株式会社FOLIOの次世代証券システムをひもとく - itohiro73’s blog
これはFOLIO Advent Calendar 2017の25日目の記事です。昨日は弊社CTOである椎野（tshiino48）による「IOTA ~ポストスマートフォン時代のフィンテック~」でした。 qiita.com 本日はFOLIO Advent Calendar最終日、締めの記事を「株式会社FOLIOの次世代証券システムをひもとく」と題して、Head of Engineeringの伊藤（@itohiro73）が務めさせていただきます。 株式会社FOLIOでは、フォリオという、個別銘柄ではなくテーマを選んで投資するオンライン証券サービスを提供しています。 *図表やデータ等はあくまでもサンプルであり、将来の運用成果等を示唆あるいは保証するものではありません。また、サービスの詳細はこちら 。 本エントリーでは株式会社FOLIOを支える次世代証券システムについて、機能面とエンジニアリングの両
PHPでのゲームの サーバサイド開発の変遷 ~PHPとの付き合い方~
PHP Way #1 で発表した資料です
PHPサーバーサイド速度改善のアプローチ - Qiita
こんにちは、17新卒エンジニアのジャンハンです。 現在はDMM電子書籍サービスの開発部門で改修、保守の業務を担当しています。 サーバーサイド（PHP）がメインで、フロントの実装も度々あったりしまして、たまーーーにデプロイツールの実装や環境周りの業務も担当しています。 本日はDMM.com #2 Advent Calendar 2017の6日目を担当させていただき、新米エンジニアが電子書籍サービスの速度改善タスクを担当した時のアプローチについて文章にまとめました。 カレンダーのURLはコチラ DMM.com #1 Advent Calendar 2017 DMM.com #2 Advent Calendar 2017 速度改善の指標 webサイトのアクセス速度に影響する要素は、css、jsの圧縮、画像の圧縮、初期レンダリング情報量、画像サーバーの返答速度等がありますが、今回の担当はメインサー
やってみよう、サーバーサイド Kotlin
和田です。趣味は Rising Storm2: Vietnam でやる芋砂です。 さて、先日開催された Google I/O 2017 では、 JetBrains 社が開発している JVM 言語 Kotlin がめでたく Android の公式開発言語になりました！ これで名実ともに Android 言語となったわけですが、 Kotlin は別に Android 専用じゃなくてもいいじゃない。そうです。JVM 言語なのだからサーバーサイドも Kotlin で行こうじゃない！ というわけで Kotlin でかける Web Application Framework をざっくり紹介です。 確認環境 macOS 10.12.5 Java 1.8.0 Kotlin 1.1.2 Maven 3.3.9 IntelliJ IDEA 2017.1 Spring Framework トップバッターは最近の
世紀末SNS「hokutodon」を運営してみてわかったマストドンの可能性と課題 | さくらのナレッジ
こんにちは。ヨッピーです。自宅作業中に失礼します。 実は今、最近流行りの「Mastodon（マストドン）」の新しいサーバーを立ち上げようと悪戦苦闘中です。 そもそも、「マストドン？なんやそれ！」みたいな人もいらっしゃるかと思うので解説しておこうと思うのですが、ざっくり言えばマストドンは最近出たばかりの新しい、Twitterのような短文投稿SNSであって、操作方法や使用感なんかはTwitterを使い慣れてる人にとってはあまり違和感を覚えずにスッと受け入れられるかと思います。 ただし、Twitterが140文字までしか投稿出来ないのに対してマストドンでは500文字まで投稿出来たり、「閲覧注意」的に注意を促してから画像を開かせる事が出来る機能が実装されていたりと、Twitterとは異なる部分もあります。 その中でも一番大きな特徴が、マストドンを構築するソフトウェアはオープンソースとして公開されて
［53選］国内注目のWebサービス・アプリを大調査！ プログラミング言語、フレームワーク、アーキテクチャの一覧【2017年】 - エンジニアHub｜Webエンジニアのキャリアを考える！
［53選］国内注目のWebサービス・アプリを大調査！ プログラミング言語、フレームワーク、アーキテクチャの一覧【2017年】 星の数ほど存在するWebサービスやアプリ。その裏側を覗いてみると、開発当時のトレンドや開発者の設計思想が見えてきます。53サービスのフレームワークやアーキテクチャ、開発効率化ツールを集めました。 国内だけでも星の数ほど存在するWebサービスやアプリ。その裏側を覗いてみると、開発当時のトレンドや開発者の設計思想が見えてきます。 今回は53サービス（追記を含む）のフレームワークやアーキテクチャ、開発効率化ツールを集めました。選定理由もお答えいただけたサービスについては、アーキテクチャを選んだ理由も紹介していきます。 C2C、コマース メルカリ、ココナラ、BASE、Tokyo Otaku Mode、STORES.jp、Snapmart、IQON 情報サービス グノシー、価
Mastodon インスタンスのリモートフォローの仕組みと必要な購読更新の設定方法 - Qiita
[追記]Mastodon バージョン1.3.3がリリースされて、このページに書いている不具合は解決されて、今後は発生しなさそうです。このページも御役御免ということですね。問題にハマってる人は1.3.3にアップデートしましょう。 Mastodon のインスタンス運営をする上で、v1.3.2以下の Mastodon の設定が悪いとリモートフォローのユーザーの投稿がある日突然見えなくなることがあります。逆に相手サーバーの設定が悪いとせっかくリモートフォローしてくれたユーザーの投稿が届かなくなります。原因はいくつかあって、主に 受信側の購読の更新設定が出来ていなくて７日で期限が切れた場合 受信側サーバーのエラー時に送信側が投稿し購読が解除された場合 受信側か送信側の SSL の Mastodon への設定ミス の３つが挙げられます。 まず、なぜそもそも購読とか期限とか、ややこしいことが必要なのでし
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://twitter.com/koba0367/status/1532861948152680448
サーバーサイドSwiftをためしてみた - Qiita