コンパウンドスタートアップのためのスケーラブルでセキュアなInfrastructure as Codeパイプラインを考える / Scalable and Secure Infrastructure as Code Pipeline for a Compound Startup
ここ最近では何らかのインターネットサービスを構築・運用するにあたって、ネットワーク越しのリトライを考えることは避けられなくなりつつあります。 micro services のようなアーキテクチャを採用している場合はサービス間のメッセージのやり取りはまず失敗する前提 (つまりリトライをする前提) で組む必要がありますし、たくさんのクライアントがいてそのクライアントが定期的に何かを処理してセントラルにデータを送ってくる IoT のようなシステムを構築する時もその処理のリトライをよく考える必要があります。 というわけで「ネットワーク越しのリトライ」についてここ最近考えていることをざっくりと書き留めるものであります。 前提 リトライをする側をクライアント、リトライを試みられる側をサーバと呼称します リトライにおいて、サーバおよびネットワークはクライアントよりも弱者です クライアントはリトライをコン
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog ヤフーのプロダクションネットワークの設計・構築・運用を担当している津秦です。 ヤフーではオンプレミスで大量に物理サーバーを導入し、社内向けプライベートクラウドや、データ分析基盤などに利用しております。もちろんそのサーバーを接続するためのネットワークも、自分たちで設計・構築・運用を行っております。 今回はデータセンター内ネットワークの中でも、最近取り入れているClosネットワークというものに着目して、ヤフーのデータセンターネットワークをご紹介したいと思います。 なお、大量に物理サーバーを導入する点では、昨年末に同じくインフラを担当する藤見から、サーバーの調達に関する取り組みを紹介しました。合わせて参照いただければ、ヤフーのインフラ部
概要 インターネットに晒されているWebサービスでは TV等で紹介されたことによる大量流入 悪意ある人物からの攻撃 クライアントのバグに依る大量リクエスト など、本来想定していた以上のトラフィックが来ることはよくあります。 単純にシステムを構築すると大規模トラフィックに対応できずシステムがスローダウンしてしまうため、何かしらrate limitをかけておいた方が良いです。 ただしrate limitと一口に入っても色々あるため、今回は主なrate limitアルゴリズムを紹介します。 Leaky bucket Leaky bucketはデータ転送レートを一定にする(=上限を設定する)アルゴリズムです。 下の図のように、様々な流量の水流がそのバケツに流れ込んでも小さな穴からは一定の水流が流れ出す仕組みです。 ref: What is the difference between token
こんにちは。「Neco」の @ueokande です。 サイボウズでは、cybozu.comのアーキテクチャ刷新プロジェクト「Neco」を実施してます。 その思いについては以下の記事からどうぞ。 アーキテクチャ刷新プロジェクト「Neco」の紹介 運用本部長を退任して Neco プロジェクトに専念します 今回は、Necoにおけるネットワーク設計についてお話します。 ネットワークの方針 ネットワークの耐障害性は必須の条件です。 Necoでも同様で、ネットワーク機材の単一障害点が無いネットワーク構成にする必要があります。 具体的には以下のような要件です。 ホストマシンのNICを二重化して、片方のNICが故障しても通信が行えること ネットワークスイッチを冗長化して、スイッチが故障してもスイッチ下のホストが停止しないこと スイッチを冗長化する方法は、以下のような選択肢があります。 STP (Span
[CEDEC 2010]ネットゲームの裏で何が起こっているのか。ネットワークエンジニアから見た,ゲームデザインの大原則 編集部:touge 先週行われた「CEDEC 2010」の講演から「ネットワークゲームの仕組みとゲームデザイン」と題されたセッションを紹介しよう。 「CEDEC 2010」公式サイト 登壇したのは,セガ第三CS研究開発部のテクニカルディレクター 節政暁生氏。節政氏は「ファンタシースター オンライン」シリーズのプログラマとして,長年ネットワークゲーム(オンラインゲーム)の開発を手がけてきてきた人物だ。この講演では,その経験からネットワークゲームのゲームデザインにおいて,気をつけるべきことについてのレクチャーが行われた。その内容には一部技術的な要素を含むものの,基本的にはプランナーに向けたものであるため,理解にそれほど専門的な知識は必要ない。いわばネットワークの基礎の基礎にあ
クラウド時代のネットワーク再入門 2015年06月20日 qpstudy さくらインターネット株式会社 / さくらインターネット研究所 上級研究員 松本直人Read less
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog saegusa2017-04-16Yoshihiro was a network engineer at LINE, responsible for all levels of LINE's infrastructure. Since being named Infra Platform Department manager, he is finding ways to apply LINE's technology and business goals to the platform. こんにちは。LINEでネットワークやデータセンターを担当している三枝です。2017年1月にJANOG39で登壇する機会を頂きましたので、今回
はじめに 1回目を書いてからまたしばらく間をあけてしまいましたが…。しかもその間で図をいったん全部書き直したりしているし。図は再掲します(Visioで書き直しました。) 2回目では「ヒント」「心得」についていくつか見ていこうと思います。1回目は「何のために書くのか目的をはっきりさせる」「物理構成と論理構成を分離する」という点についてでした。今回は「ルールを決めよ」「大胆に省略せよ」「簡潔さを保つ」です。「省略」と「簡潔さ」はだいたい同じことを言っていると思います。そして、そのためにはルール設定が必要です。 ネットワーク図のルール ネットワーク図にはルールが必要です。まあ別にネットワーク図に限らず、技術文書に書くべき図には(…技術文書自体も)どれもルールが必要なのですが。なぜルールが必要なのでしょうか? スタイルや表記方法を統一する 読者の負荷を軽減する 誤解を防ぐ 記載する情報を簡略化する
広大なアドレス空間をどう設計するか 個人向けのIPv6インターネット接続サービスが続々と開始され、いよいよIPv6が身近になってきました。 さて、最近“IPv6のアドレスはどう設計すればいいの?”という声をよく聞きます。節約が重んじられたIPv4では、需要に応じてネットワークの大きさを決めて無駄がないように設計すればよかったのですが、誰もが広大なアドレス空間を手にするIPv6では、少し勝手が違います。 今回は、IPv6、あるいはデュアルスタックネットワークでのアドレス割り当てについて説明します。 IPv6におけるネットマスクとアドレス生成 IPv6でも、IPv4の可変長サブネットマスクと同様の考え方が採用されています。 IPv4ではプレフィックス長(ネットマスク)によって、ネットワークアドレスとホストアドレスを区別していました。IPv6のユニキャストアドレスでも同様に、プレフィックス長を使
自宅サーバのインフラ設計書を公開します。 Design paper of the home server(抜粋) 昨夜にTwitterで公開したら予想外に反響があったので、ちゃんとエントリに残すことにしました。クラックされるおそれがあるので、細かい部分は公開できないことをご了承ください。 内容はこんな感じ。 要件概要 機器仕様 ネットワーク設計 ソフトウェアスタック設計 共通基盤設計 サーバ詳細設計 上記にバックアップ設計や運用管理まわり*1を加えれば、インフラの設計書はだいたいこんな感じではないかと思います。 インフラの要件定義は難しい 一方で、インフラの要件定義は十分に標準化が進んでおらず、会社やチームによって文化がかなり違います。特に受託開発(SI)の場合は、お客様の中にインフラに詳しい人がいなくて調整に苦労することも多いと思います。費用と可用性のトレードオフの部分はなかなか伝わりづ
Interopに構築される最新機器を活用したネットワークであるShowNetの図は、ネットワーク図とは思えない美しさです。 Twitter上でInteropの話をしている人の中には、ShowNetのトポロジ図をPC壁紙に設定していると言っている人もいます。 いつの間にか、ShowNetのトポロジ図にファンが居る状態が出来上がりつつあるようです。 このことを図を描いている人に伝えたところ、びっくりしてました。 あのトポロジ図を見て「ShowNetトポロジ図はデザイナさんが描いている」と信じている人は非常に多いと思います。 しかし、実際にShowNetトポロジ図を描いているのはデザイナさんではありません。 あのトポロジ図は発注されて描かれたものではなく、ボランティア参加している方が描いているという事実を知る人は少ないのかも知れません。 あの図は、河口さんというバリバリのネットワークエンジニアに
企業におけるキャンパスLANのほぼ全体がイーサネットとTCP/IPで構成されることが一般的になって数年が経過しました。キャンパスLANを利用するアプリケーションも“○○overIP”という言葉が多く聞かれるように多種多様化し、企業活動を支える重要な基盤に成長してきました。しかし、現実にはネットワークの無計画な構築、増設を繰り返した揚げ句、新しいアプリケーションに対応できないなどの問題を抱えているユーザーも多いようです。快適にかつ長期のキャンパスLAN利用のために最新機器・技術を用い、ふんだんに費用を掛けて構築するのも1つの方法ではありますが、今回は「ネットワーク設計の定石」ともいえる基本的な方法を用いたネットワーク設計の概略を準備、設計、構築と順を追ってご紹介したいと思います。 ネットワークを設計、構築する際の手順はほぼ同じと思いますが、以下の手順で実行することが多いように思います。 本稿
Project Description: Please provide a description of the project.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く