総工費360億円、23Tbpsで通信が可能な全長9000kmの光海底ケーブル「SJC」の製造工場＆敷設船見学レポート
日本とシンガポールの間をつなぐ総延長約9000kmの光海底ケーブルの敷設を目指し、KDDIとGoogle(アメリカ)、Sing Tel(シンガポール)、Globe Telecom(フィリピン)、China Mobile(中国)、PT. Telekomunikasi(インドネシア)など11社が共同で行っているプロジェクトが「SJC(Southe-East Asia Japan Cable)」です。 日本～シンガポール間光海底ケーブル「SOUTH-EAST ASIA JAPAN CABLE SYSTEM」の建設保守協定締結について http://www.kddi.com/corporate/news_release/2009/1210/index.html ※2012年11月時点では、2009年の発表時と内容が一部異なっています 今回はそのプロジェクトの要であるケーブルの製造工場に行って光ファ
TechCrunch | Startup and Technology News
When Alex Ewing was a kid growing up in Purcell, Oklahoma, he knew how close he was to home based on which billboards he could see out the car window.…
ソーシャルメディア大会中継現場の裏側:Geekなぺーじ
11月3日に、第60回全日本剣道選手権大会が開催されました。 今年もネット中継班として手伝いに行ってきました。 ソーシャルメディアを活用した大会情報発信の手伝いを2008年から行っていますが、毎回何らかの新しい取り組みをしており、徐々にノウハウが溜まって来たので、それらを紹介しようと思います。 これまでの取り組み これまで、全日本剣道連盟では、Facebook、Twitter、Flickr、YouTube、ブログ、TwitPic、ニコニコ動画、などを使ってきました。 最近は、Facebook、Twitter、Ustream、YouTubeが中心になっています。 今年は、全日本剣道連盟WebサイトのトップをUstreamと融合させる仕組みを開始しています。 大会中継実施中は、全日本剣道連盟トップページが自動的に「大会モード」に切り替わるという設計思想です。 これ以外にも、ソーシャルメディアを
Instagram のスケール正攻法 -- Kosei Kitahara's Blog
Instagram がどこに買収されたとかは他のニュースサイトにお任せして、Django アプリケーションを正攻法でスケールして "成功" してるのがとても興味深いです。現時点で Instagram Engineering で紹介されていることと TechCrunch にも掲載されたスライドから個人的なメモとしてまとめてみました。 Instagram の哲学は シンプルであること オペレーション負荷を最小化すること すべて装備 とのこと。 Instagram は以下の OSS, サービスで構築されているようです。 >>> OS / ホスティング Ubuntu Linux 11.04 を Amazon EC2 にホスティング。以前のバージョンは高トラフィックになると固まる問題があったようです。運用は 3 人。EC2 にホスティングしている理由は、調査結果によるものではなく、"まだ進化途中だか
dstatの万能感がハンパない - （ひ）メモ
サーバーのリソースを見るにはグラフ化は重要ですが、推移ではなくリアルタイムな状況、例えば秒単位のスパイキーな負荷を見るには、サーバー上でvmstatやiostatなどの*statファミリーを叩く必要があります。 さて、vmstatはメモリの状況やブロック数単位のI/O状況は見られますが、バイト単位のI/O状況やネットワークの送信、受信バイト数を見ることはできません。 # vmstat 1 procs -----------memory---------- ---swap--- -----io----- --system-- -----cpu------ r b swpd free buff cache si so bi bo in cs us sy id wa st 3 1 0 4724956 355452 726532 0 0 54 484 3 3 1 0 99 0 0 2 0 0 47
コード書けるインフラエンジニアの深刻な不足問題
インフラエンジニアを厳密に定義しないであえて使うことをお許しください。 だいたいは、ゼロスタートの山崎さんの記事を見てほしい。 巷で聞かれる、「インフラエンジニアの深刻な不足問題」は、実は「コード書けるインフラエンジニアの深刻な不足問題」であり、それは「コード書けるインフラエンジニアへの深刻な給与不足問題」なのではないかと思うのです。 インフラエンジニアに15年前にはいった人(私は大学卒業が15年前なので感覚で語れるのはこのころから)は特にインフラエンジニアなどとは呼称されていなかったはずです。オープン系サーバ屋、オープン系ネットワーク屋、汎用機のプログラマ、IPのネットワーク、ATM、sonet、INSのエンジニアなどのように分類されていたように記憶しています。もちろん複数の分野を持つ人、持たざるをえなかった人が時代を推進していたことは事実です。しかし、そのように区分されて業界にはいって
垂れ流されるログのおしりを追いかける - （ひ）メモ
滝のように流れるログは見ていて楽しいのですが、見ているばかりでは仕事にならないので、 https://github.com/hirose31/chase-tail というスクリプトを書きました。 機能はこんな感じで、 ログ中のきわどいキーワードに色をつけて目立たせる HTTPステータスの「50[0-9]」とかMySQLの「Lock wait timeout exceeded」とか 秒間にある一定行数以上ログが流れたら「NOTIFY_FLOOD」と出力する iTerm 2のPreferences→Profiles→AdvancedタブのTriggersにキーワードを登録しておくとGrowlで通知できるので、「NOTIFY_FLOOD」を登録しておけば、いつよりログがビャービャー流れたときにGrowlで知ることができます ちなみに、iTerm以外のアプリがフォアグラウンドでも、chase-ta
神田敏晶の「オルタナペディア」 Vol.07“つぶやくメディア”、twitter大流行の兆し、 企業はソーシャルメディアとどのようにつきあうべきなのか？
アクセスされたアドレスにはページが見つかりませんでした。既にコンテンツは削除された可能性もあります。 お手数ですが、アドレスをご確認いただくか、当ページ上部のメニュー（「商品・サービスを探す」「ニュース」など）やページ下部の「サイトマップ」などの各リンク先をお探しください。また、入力フォームから、キーワードにより検索していただくことも可能です。 Webマガジン「NexTalk」のコンテンツの一部は、リニューアルし専用サイトへ移行しました。以下のリンクよりご参照ください。 NexTalk:（http://nextalk-uniadex.com/） ご不明な点がございましたら、以下のリンク先よりお問合せください。 お問合せ： https://www.uniadex.co.jp/cgi-bin/form/form-s.cgi
Imo Judge を支える技術
オンラインジャッジとはプログラミングコンテストのために作られたプログラムの自動採点システムであり，選手が提出したソースコード (以下，ユーザプログラムと言う) をコンパイルして実行しその結果を元に採点を行います．プログラミングコンテストは公正にかつ問題を起こさずに粛々と行われなければなりません．送られてきた任意のソースコードを実行するという極めて危険な行為をせざるをえないオンラインジャッジでは，これらを満たすために様々な工夫が行われています．この記事では，私が作っている Imo Judge を例にとり様々な工夫を紹介します． サーバの構成 ICPC では PC2 という Java で書かれたジャッジシステムが使われています．また TopCoder も同様に Java で書かれたジャッジシステムが使われています．しかし，クライアント側でアプリケーションとして動かすと環境依存を避けることは (
今日から始めるサーバ構築の省力化 - GeekFactory
SSHクライアントたくさん並べてペーストしまくるのが許されるのは小学生までだよね と言ってみたかっただけです。こんにちは。 Capistranoでサーバ構築を省力化する方法を紹介します。サーバ構築の自動化といえばChefやPuppetが有名ですが、CapistranoはサーバにSSH接続さえできれば利用できるメリットがあります。データセンタに持ち込むノートPCにCapistranoを仕込んでおけば便利なツールになるし、短期間に検証用のサーバを構築する場合も有用なツールになるでしょう。Capistranoはデプロイツールとして使われることが多いですが、サーバ構築にも有用です。 CapistranoはRubyで書かれたツールで、複数のサーバにSSH接続してコマンドを実行できます。同様のツールとしてexpectがありますが、CapistranoのスクリプトはRubyの内部DSLなので書きやすく拡
DSAS環境でのDNS活用法 〜ネットワーク設定の格納にDNSを使う〜 : DSAS開発者の部屋
KLab Advent Calendar 2011 「DSAS for Social を支える技術」 の12日目です。 昨日までの apache の話題からガラリとかわって DNS についてお話します。 DSAS 内では、サービスに用いるドメインに関する権威サーバのほかに、システム内部の各サーバのホスト名や DB、memcache などの役割に応じた名前を登録した内部向けドメインの権威サーバやキャッシュサーバを運用しています。 システム内に、内部向けの権威サーバや、キャッシュサーバを設置するのは、珍しい構成ではありませんが、DSAS では、内部向け DNS サーバに、システムの設定情報を一部格納しています。 今回は、DSAS 環境で DNS サーバに設定情報を格納している理由や運用方法を紹介します。 ネットブートと設定ファイルの動的生成 DNS の話題に入る前に、DSAS の特徴を 1 つ
Qudo, daemontools, capistranoを使ってWorker処理の仕組みを作る - $shibayu36->blog;
最近PrePANの開発を手伝っていて、Workerの仕組みをQudoで作りました。初めてWorkerの仕組みを一から作ったのでメモしておきます。 Worker処理に必要な部品、それぞれのQudoでの実装、Workerプロセスを管理するためのdaemontools、capistranoでのdeployという順番で書いていきます。 Workerとは ざっくり言うと非同期に色々実行するための仕組みです。perlだとTheSchwartz、Qudo、Jonkとかがあります。 Worker処理に必要な部品 今回作ってみて、Worker処理は大きく分けて次の三つくらいのものが必要だと分かりました。 ApplicationからJobをinsertする部分(Qudo) 実際のJobの処理(Qudo::Worker) Jobの実行を管理して、Jobに処理を委譲する部分(Qudo, Qudo::Paralle
災害時、急激なアクセス集中に備えてウェブマスターができること
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
PR：「さくらのクラウド」のアーキテクチャは、意外なほどシンプルだった － Publickey
国内ベンダ発のIaaS型クラウドサービスとして期待されている、さくらインターネットの「さくらのクラウド」が、9月5日に行われた同社のユーザー会「さくらの夕べ」にて11月に正式サービス開始予定と発表されました。 さくらのクラウドは「開発者指向のシンプルクラウド」をコンセプトに、高性能な仮想サーバや拡張性の高いネットワークなどを明朗会計型の料金体系で提供するというもの。まだ料金体系は発表されていませんが、「圧倒的なコストパフォーマンスで提供する」と田中邦裕社長は明言しており、機能や性能だけでなく価格競争力にも大きな自信を持っていることがうかがえます。 しかし低価格なクラウドサービスで、高性能、高機能なサービスを提供できるのでしょうか？ 一般にクラウドベンダはこれまで、クラウド内部のほとんどをブラックボックス化してきました。私たちがクラウドの内部で何が起きているのかを知りたくても、その振る舞いか
「さくらのクラウド」を例に見るネットワーク仮想化の設計と実装
さくらインターネット研究所の大久保です。 先日、株式会社ハートビーツさんが主催されている勉強会、hbstudy#27にて弊社クラウドサービスのネットワーク構成について発表を行いましたので、そのご報告です。 今年11月中旬に石狩データセンターの開所にあわせてクラウドサービス（さくらのクラウド）をリリース予定です。 そのネットワークの構築を私の方で担当しており、こちらの勉強会では、ネットワーク全体のアーキテクチャ、ネットワーク機器評価試験の際にはまりやすい（はまった）ポイント、今後の展開について説明をさせていただきました。 発表資料を以下にアップしておりますので、ご興味がありましたらご覧いただければと思います。 → 発表資料：「さくらのクラウド」を例に見るネットワーク仮想化の設計と実装
3000req / sec と戦う - だるろぐ
ざっくり概要 ピークで3000req / sec 毎分コンテンツ更新要求 コンテンツ更新の際は他所からデータをapi経由で受け取る コンテンツ更新にはTheSchwartzを使用 なコンテンツを色々してきたログ。 尚、ここに書く技術は大半が周囲のギークな方々にサポートしてもらったもので、僕自身が何かしたわけではない。残念すぎる。 構成 internet -> www(squid -> apache) -> app(memcached -> app) -> db フロントエンド wwwサーバがapacheとsquidを動かしている。apacheがリクエストを受け、squidのキャッシュが有ればそれを返し、無ければバックエンドのappサーバへproxy。 バックエンド appサーバがmemcachedとアプリを動かしている。 それぞれ冗長化してるけど、リクエスト数の割に台数は少ない。 技術があ
Software Design 2011年9月号に運用エンジニアに関する記事を寄稿しました - blog.nomadscafe.jp
Software Design 2011年9月号にて『運用エンジニア「攻め」の仕事術」という特集の最初の章を担当させて頂きました。 運用エンジニアとはどんな職業で、何をすべきなのかを10年ぐらい前の昔話や前職の経験、今の職場で感じることなど自分の経歴を含めて書かせて頂きました。 今回の特集は、自分の他に@riywoさんや馬場さん(@netmarkjp)などの方々も記事を書いています。Mobageの半年で10億PV以上増えた話やアツい運用話、馬場さんの専業ならではの監視運用の話も非常に参考になりました。 中でも、馬場さんの記事中の、「障害対応のときに冷静でいる為のポイント」が参考になったので引用します 否が応でも心拍が早くなるので、心拍が早くなっていることを確認して自覚する 「冷静に」を心がける。心がけても冷静でいられないから、余計に心がける 呼吸、口調、タイプスピードを意図的にスピードダウ
Designs, Lessons and Advice from Building Large Distributed Systems
Designs, Lessons and Advice from Building Large Distributed Systems Jeff Dean Google Fellow jeff@google.com Computing shifting to really small and really big devices UI-centric devices Large consolidated computing farms Google’s data center at The Dalles, OR The Machinery Servers • CPUs • DRAM • Disks Racks • 40-80 servers • Ethernet switch Clusters Architectural view of the storage hierarchy … P
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
インフラの話
ウィキメディアのサーバ - Meta
