東京の水はどうやって飲めるようになってるのか？｜miyasaka
明治中期から後期の #多摩川 は上流部の森林が荒廃しており、渇水や濁水が頻繁に発生していました。そのため #尾崎行雄 東京市長は東京市が水源林の経営を行うべきと決断し、水源地帯の買収、植栽や崩壊地の復旧などの施策を講じました。その結果現在の豊かな水道水源林が形成されることとなりました。 pic.twitter.com/U8qHfdIXFm — 東京水道株式会社【公式】 (@Tokyo_Water_Co) July 19, 2022 先日、東京都の持っている巨大な水源林にいってきた。 デジタル技術も都市を支えるインフラの一つになりたい。その際、水道局、下水道局、港湾局、交通局などの既存の都市インフラの先輩部局の在り方が参考になるのではと思いインフラ系部門の現場に時間をみては行って話をきいてる。 これが毎回、滅法、面白い。今回は水道局の奥多摩から山梨県甲州市にかかる水源林に行ってきた。以前に行
「Fate/Grand Order」ユーザー爆増の裏側で、エンジニアが挑んだデータベースとの戦い
「Fate/Grand Order」ユーザー爆増の裏側で、エンジニアが挑んだデータベースとの戦い（1/2 ページ） このほど国内累計1700万ダウンロードを突破した、スマートフォンゲーム「Fate/Grand Order」（FGO）。2015年7月末にサービスを開始し、18年には年間約885億円を売り上げた（ファミ通調べ）ほどの人気ゲームに成長したが、ユーザーが爆発的に増える中、運営元のディライトワークス社内ではインフラエンジニアが戦っていた。 彼らが経験した戦いの1つは、18年7月に実施したデータベースの負荷対策だ。同社の甲英明さん（技術部 マネジャー）は「ゲーム画面上に『ゲームサーバが混雑しています』と頻繁に表示されたり、画面が『Loading』からなかなか切り替わらなかったり、遊びづらい状況が続いていた」と、当時の深刻な状況を振り返る。 「このままでは、ファンがゲームで遊べなくなる」
インフラ・サービス監視ツールの新顔「Prometheus」入門 | さくらのナレッジ
サーバーやインフラなどの監視ツールの1つとして最近注目されているのが「Prometheus」だ。Prometheusはインストールや設定が容易で、かつ十分な機能を持ち管理しやすいという特徴を持つ。本記事ではこのPrometheusの導入方法、基本的な監視設定の流れを紹介する。 クラウド時代の監視管理ツール ネットサービスを運営する場合、そのサービスを運営するソフトウェアやサーバー、ネットワーク機器などの状況を監視する手段を用意するのが一般的だ。監視を行い、意図しない状況になったら自動的にメールなどで通知を行うシステムを構築することで、問題をいち早く解決できるようになる。さらに、サービスやマシンの稼働ログを適切に記録することで潜在的な問題を事前に見つけたり、最適化に向けた分析を行うといったことも可能になる。 監視や問題発覚時の通知などを行うオープンソースのツールとしては、過去にElastic
CDNとの付き合い方 – cat /dev/random > /dev/null &
最近何かと話題なCDNですが、そもそもCDNってなんだろう・・・どんなことに使えるんだろう？的なことを書いてみようと思います。 一応先に言っておくと、私はCDN業者に所属したことないのであくまでも利用者として見た時の話を書きます。 また、私の考えであり、様々なワークロードがあるなかでこれがすべてではありませんので、こんな考えもあるんだなぁぐらいに思ってもらえると助かります。 そもそもCDNってなんだろうか そもそもCDNはContent Delivery Networkの略であってCache Delivery Networkの略ではありません。 要はコンテンツをクライアントに対して高速・効率的に配信するためのネットワークです。 良くCDNといえばその成り立ちからキャッシュというイメージはありますが、重要な要素の一つではあるもののCDNの全てではありません。 さらに言えばAkamaiのInt
Web アプリケーションのインフラ等の即応対応要員の問題だが - Diary
Web アプリケーションのインフラ等の即応対応要員の問題だが 、単純にいって 1 年間は 9000 時間弱ある。一方人間の稼働時間はというと、土日祝日盆正月で 120 日、これに年次有給休暇が 10-20 日はある。 Web 業界では平均勤続年数がさほど長くないからここでは有給 15 日で計算するとして 230日 * 8時間 で 1840 時間ある。 面倒なので 1800 時間としよう。 単位時間あたり二人の要員をアサインする場合 8 時間交代でぎちぎちに監視スケジュールを組んだとして単純にいって 10 人いれば事は足りるということになる。突発的な事態については他の開発者にも応援を要請するとしても、とにかく 10 人は必要である。 実際のところ、昼間の業務から完全に外してとかじゃなくて、昼間のインフラ開発の業務も行いつつ定期的に深夜番や早朝番などを続ける形で入れていくことになるだろうが、総
実際に運用してみてわかった、大規模Mastodonインスタンスを運用するコツ - pixiv inside
おはようございます、ImageFlux開発責任者のharukasanです。3日前の4月14日、ピクシブではPawooが急にリリースされることになりまして、ここ数日はずっとPawooサーバにログインしていました。このPawooサーバ、既にピクシブの監視体制に入っており、アラート受信後インフラエンジニアが障害対応できる仕組みを整えています。案の定、リリース直後の15、16日は週末にもかかわらずアラートを受け取ることになり、サーバにはりつくことになったわけです。どんなシステムであろうとアラートを受け取ったら対応する、それが我らインフラエンジニアです。 pawoo.netの構成 さて、それではまずPawooの構成を見ていきましょう。digすればわかりますがpawoo.netはAWS上に構成されています。数百台以上の物理サーバを常時運用しているピクシブであっても、さすがにこんなにはやく物理サーバは用
グランブルーファンタジーを支えるインフラの技術
2017/02/16 Developers Summit 2017
大量接続に耐えるWebSocketアプリケーションサーバ構築のコツ - pixiv inside [archive]
WebSocketの扱うサービスでは、長時間のコネクション、再接続処理、プロキシ、ロードバランサなど、インフラの面で多くの問題を抱えがちです。弊社のサービス「pixiv」の9周年企画でも、この問題に直面しました。 実際にそこで構築したインフラの事例をもとに、本運用に使えるWebSocketサーバの構成について、pixivインフラ部の南川からご紹介します。 * 9周年企画 “黒歴史”をロケットで宇宙に飛ばす pixiv黒歴史 そもそも WebSocket とは？ WebSocketはTCP上で動く双方向通信のための通信規格です。 Webページの読み込みで行われているような、クライアントがサーバにデータを要求し、サーバはクライアントにレスポンスを返すというHTTPの通信ルールとは違います。サーバと長時間コネクションを確立し、Socketのようにデータのやり取りを行います。そして、コネクションを
![大量接続に耐えるWebSocketアプリケーションサーバ構築のコツ - pixiv inside [archive]](https://cdn-ak-scissors.b.st-hatena.com/image/square/95f08ea3414673bb0131022fbc9dc354bb7483ba/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fd%2Fdevpixiv%2F20161129%2F20161129204837.png)
NEWS ZERO砲、炸裂！そのとき人気Webサービスの裏側で何が起こったか？[PR] - 週刊アスキー
Webサービスで一旗あげようとしているスタートアップにとっては、自社の商品が首尾よく当たって、利用者が殺到することによるアクセス過多をどうさばくかは、技術力を試される最初の試練だ。 大手メディアや人気テレビ番組で紹介されて多大なアクセスが一瞬のうちに来る「○○砲」が直撃したときに起こる事象は、実際にそのアクセスを受けた企業にしかわからないデータ。 実際、「テレビ放送の直撃にどう耐えるか」といったノウハウは、スタートアップ企業のCTOの間でもあまり共有されていなかったりする。 そこで今回、女性向けの人気ファッションレンタルサービスを手掛け、テレビやメディアでの紹介経験も多い『airCloset』の天沼代表、辻CTOにお声掛けして、根掘り葉掘り聞いてみることにした。対策の指南役には、ITインフラのプロとしてさくらインターネット研究所の鷲北賢所長にご出演願った。 人気サービスにアクセスが殺到！と
![NEWS ZERO砲、炸裂！そのとき人気Webサービスの裏側で何が起こったか？[PR] - 週刊アスキー](https://cdn-ak-scissors.b.st-hatena.com/image/square/9a6fee63f9967f8d3d9e3dc3a2ff797a64132b04/height=288;version=1;width=512/https%3A%2F%2Fascii.jp%2Fimg%2F2020%2F02%2F27%2F2393133%2Fl%2F072ccf2d03410df4.jpg)
「iOS 8」を運んだAppleの独自CDN:Geekなぺーじ
今年7月に入ってから、Appleが独自CDN(Content Distribution Network)の運用を開始しています(参考)。今回公開されたiOS8も、Apple独自CDNによる大規模配信が行われました。 これまでは、Appleは、他社が提供するCDNのサービスを購入することでOSアップデートなどの大規模配信を行っていましたが、その方針を大きく転換した形です。インターネットの「超巨人(Hyper Giants)」として語られることが多いGoogleやAmazonなどと違って、巨人でありつつも自社で世界的な配信網をそこまで強烈な整備をするわけではなかったAppleがついに超巨人になる方向性を示したとも言えそうです。 現時点ではApple独自CDNだけで同社コンテンツを全て配信しているわけではなく、アカマイなどの商用CDNも併用しているようですが、今後は徐々にApple独自CDNのみ
料理動画を支える技術 - クックパッド開発者ブログ
インフラストラクチャー部 星野(@con_mame)です。 少し前から、一部レシピページに料理動画を掲載していました。当初はYoutubeを使用していましたが、本日から自社配信に切り替わりました。現在はまだ掲載数は少ないですが、今後掲載数を増やしていきたいと考えております。 そこで、今回は、動画配信プラットフォームの裏側がどうなっているかという点を簡単にですがご紹介したいと思います。 構成図 構成図を見ていただくのが一番わかり易いと思うので、最初に掲載します。 見て分かる通り、今回は全てAWSのサービスを使用して構築しています。 今回使用したサービスは エンコード: Elastic Transcoder データストア: DynamoDB + DynamicDynamoDB ストレージ・配信: S3 + CloudFront エンコード通知など: SNS 今回、構築までの期間とエンコードや動
大規模災害時には無料のSSID“00000JAPAN”に接続！ - 週刊アスキー
また、2020年の東京オリンピックを前に、訪日外国人向けの公衆無線LAN環境を整備していくことも発表。公衆無線LANサービス間のローミング等の施策を説明。 災害対策としては伝言サービスなどを各キャリアが提供していますが、今回の発表はキャリアを問わない統一SSIDの無料開放で、より多くの人に連絡手段を提供するのが狙い。当然、誰でも接続できるということで、サイバー攻撃などの可能性も指摘されていますが、今後随時対策を進めるとしています。 東関東大震災の際は、被災地だけでなく都市部でも安否確認の電話で回線がパンク。ツイッターでの情報共有が活用されていましたが、最新情報を得られるか否かは生存確率につながる重要なポイント。郊外の無線LANアクセスポイントの拡充など、インフラの整備が望まれます。
AWS 導入事例：任天堂株式会社、株式会社ディー・エヌ・エー| AWS
Super Mario Run の配信を開始した当日は、待ちわびた世界中のユーザーからのアクセスが一気に集中しましたが、AWS のインフラは十分なレスポンスを返し続けてくれました。ここまで何も大きな障害が発生しないケースは、大量のアクセスが想定されるゲームの配信開始時では極めてまれなことですし、2017 年 3 月時点で 8,000 万ダウンロードを突破する規模になっても AWS で特に問題は起こっていません。 任天堂株式会社は「任天堂に関わる全ての人を笑顔にする」ことを目指し、ホームエンターテインメント分野において、世界中のユーザーにかつて経験したことのない楽しさ、面白さ、驚きを持った娯楽を提供することを最も重視しています。任天堂ではこれまで、ホームエンターテインメントのビジネスを主にゲーム専用機の提供で推進してきました。 さらに任天堂では、先進国が中心となっているゲーム専用機の利用者に
構成管理ツール「Chef」の概要とインストール手順
自動化ツールの必要性 昨今、仮想化およびクラウドの普及に伴い、サーバを短時間で増設することが容易になってきました。例えばユーザアクセスが増えてシステムの負荷が高くなった場合、サーバそのものは即座に準備できるようになりました。しかし、システムの設定は別途実施しなければいけないという状況も多々見受けられています。 サーバの台数が少なければ一台一台構築や設定を行えますが、何百台ものサーバを扱うとなると時間がかかって迅速性は失われてしまいますし、多くの人手が必要となれば設定の間違いが起こる可能性も高くなるでしょう。そして管理するサーバが増えたとしても、それらを管理する人は増えていないのが現状です。 そのため、サーバ構築とともにアプリケーションやミドルウェアの設定をも実施する自動化ツールが注目されています。 Chefとは Chef（シェフ）は、米Opscode社が提供するクラウドコンピューティングを
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google - Site Reliability Engineering
ピクシブ新広告サーバー構築物語
Pull Request ベースのインフラ運用と Cookbook CI
第64回、第65回 NHK紅白歌合戦 | クラスメソッド株式会社
BLOGOS サービス終了のお知らせ
「秒速で1億PV稼ぐ条件」をエンジニアに聞いてみた