Hello London, Hello Europe - stanaka's blog
はてなを退職してその後、しばらくロンドンに行ってました。(ちなみに、はてなとは引き続き技術顧問として関わりを持っています。) morning in #london Shinji Tanakaさん(@stanaka)が投稿した動画 - 2016 10月 8 2:22午前 PDT なぜロンドン？という疑問に答えると、9/1よりメルカリのUK担当としてヨーロッパ方面のエンジニアリングの立ち上げに携わることになったためで、ロンドンの中心部にあるオフィスでしばらく働いてました。 入社翌週から先週まで1ヶ月ほどロンドンで立ち上げに向けていろいろ仕込みに行っていたのですが、ロンドンはアメリカのサンフランシスコやシリコンバレーあたりとはまた違う雰囲気でなかなか面白いです。実際にこれからのロンドンでの生活や仕事が楽しみになってきています。 今回の滞在で感じたロンドンの印象的なポイントはいくつかあるのですが、
JAWS DAYS 2014 Immutable Infrastructure パネルディスカッション - stanaka's blog
JAWS DAYS 2014のImmutable Infrastructure パネルディスカッションでモデレーターをしましたのでそのまとめです。満員でしたので、ご覧になった方々にはありがとうございました! 事前に勉強も兼ねて、次のメモを書いておいた( https://gist.github.com/stanaka/9547623 )のですが、このパネルでは個人的にも議論してみたかった話も含め、6名のパネリストに以下の質問をさせてもらいました。 IIを突き詰めていくと、どんどんPaaSに近づいているのでは? IIを実現する上で、なにが一番の課題となるか? Statefulサーバーはどのように扱うべきか 最後に一言 冒頭の最初のIIを突き詰めるとPaaSになっていくのでは？という話では「技術的にどんどん新しいハード、ツールは出てくるので、ニーズはPaaSとIaaSの間を揺れ動くことになると思
AWSユーザーにもお勧めできる「インフラ/ネットワークエンジニアのためのネットワーク技術&設計入門」 - stanaka's blog
興味をそそられたので読んでみました。 インフラ/ネットワークエンジニアのためのネットワーク技術&設計入門 作者: みやたひろし出版社/メーカー: SBクリエイティブ発売日: 2013/12/27メディア: 大型本この商品を含むブログ (4件) を見る 本書の内容は、ネットワークの物理的なレイヤーから、ネットワークプロトコルの概要、セキュリティ(主にSSL)や負荷分散や可用性の確保など、幅広い内容に及んでおり、それぞれの分野が網羅的に書かれています。各技術についても、すぐに古くなりがちな個別の実装の詳細に入るのではなく、プロトコルや設計ポリシーなど基礎的、基本的なところがしっかりと記述されており読み応えがあり、また数年単位で長持ちする知識が得られます。 例えば、第1章の「物理設計」では、機能分散や冗長化まで考慮された、具体的な機器の構成例まで図にしてあり参考になりますし、機種選定の方針までも
さようなら、自作サーバー - stanaka's blog
一昨日、自作サーバー同窓会というイベントを開催しました。 このイベントは2009/11(4年半前!)に開催した自作サーバーカンファレンスに登壇された方々を中心に、自作サーバー現役の方々を交え、あの頃の自作サーバーと、自作サーバーの今を振り替えってみようという趣旨のものでした。 イベントの詳細は吉岡さんのエントリ、桑野さんのエントリ、@nekoyaさんのエントリとtoggetterのまとめを参照してください。 僕の思いは「自作サーバー同窓会」という名付けに集約されています。AWSが常識になり、物理的な世界との距離が広がりつつある今、各社の様々な取り組みなどを楽しく振り返ることができました。 さようなら、自作サーバー。いろいろな面白い経験と仲間を得ることができました。登壇及び参加された皆さん、ありがとうございました! 余談 会場はフリークアウトさんの新オフィスで、シャレオツすぎて、前向きになれ
2014年のウェブシステムアーキテクチャ - stanaka's blog
(Monitoring Casual Talk in Kyotoで発表してきたので、ブログエントリにまとめ直しました) 2013年はインフラ周りの技術的な進化が大きく、いくつかのエポックメイキングな概念と実装が産まれました。個人的には特に以下の2つが大きいと思っています。 AWSの本格普及期 DockerとImmutable Infrastructure これらを踏まえて、2014年のウェブシステムの進化の方向性を考えてみます。また、それによるモニタリングへの影響もあわせて考えます。だいぶ長くなってしまったので、急ぐ人は最後に結論をまとめましたので、そちらからどうぞ! 2013年という時代背景 AWSが本格普及期を迎えているのは、言わずもがなのことで、Re:Inventでの246件という膨大のセッション数などにその勢いが表われています。 また、DockerはLXC (LinuX Conta
EC2上でMySQL Multi-masterフェイルオーバー - stanaka's blog
EC2上では、仮想IPアドレスなどのIPレベルの機能が制限されているため、仮想IPアドレスを使用した冗長化は基本的には使用できません。が、DNSを使用することで、VIPほどの精度は高くないもののMySQL Multi-master構成を構築することができました。 今回は、MySQL Multi-masterの切り替え用の支援ツールとして、Multi-Master Replication Manager for MySQLを使用します。このツールでは、MySQLの死活監視と仮想IPアドレスの切り替えを行ってくれます。 もちろん、EC2上では仮想IPアドレスは使えないので、そのままではうまく動作しません。ここで、このツールに含まれるns_agentを使用することで仮想IPアドレスではなく、DNSによる切り替えができるようになり、EC2上でMulti-masterを構築することができます。 今回
はてなのCTOを引き継ぎます - stanaka's blog
本日9月1日付けで、はてなのCTOを引き継ぐことになりました。 この2年半は主にはてなのインフラを見てきましたが、これからは、はてなの技術全般を見ていくことになります。 昨日の退職エントリでも書かれていた通り、「はてな」という会社は、プレイヤーの個人技を中心とした属人的な体制から、チームプレイによる組織的な体制に徐々に移りつつあります。この変化には良い面、悪い面の両面がありますが、はてなのサービスをより拡大させるために必要なことだと考えています。また、個人の働き方としても、一定の役割りが固定的に与えられ、それを何年も続けるよりは、流動性と多様性を確保したほうが、会社としても個人としても幸せになれると思います。 昨日、id:naoyaが退職し、今日、id:ShigeakiYazakiが入社しました。このようにサービスを担う人は徐々に代わりつつも、「T型コミュニケーションを促進する」というはて
Scala on Hadoop: Hadoop Conference - stanaka's blog
先日、Hadoop ConferenceでScala on Hadoopというタイトルで発表してきました。スライドを以下に置いておきます。 Scala on HadoopView more presentations from Shinji Tanaka. ダイジェストとして、ScalaをHadoopで動かすための方法を書いておきます。 まず、Hadoop上でScalaを実行させるためには、JavaとScalaを接続するライブラリが必要となります。ここでは、SHadoop( http://code.google.com/p/jweslley/source/browse/#svn/trunk/scala/shadoop )を使用します。SHadoopは、型変換を行うシンプルなライブラリです。 よくあるWordCountのサンプル、WordCount.scala (http://blog.jo
自作サーバカンファレンス - stanaka's blog
昨晩、自作サーバカンファレンスを開催しました。その時のオープニングプレゼンを公開します。(オープニングなので短かいものですが) Original Server ConferenceView more presentations from Shinji Tanaka. カンファレンスの内容については、id:rx7さんのエントリとBB watchさんの記事があがっておりますので、それらをご参照ください。id:rx7さんのエントリには、Ustreamの録画もありますので、是非、ご覧ください。 他のスピーカーの方にも資料公開をお願いしております。公開され次第、リンクを追加していきたいと思います。 来年もネタが溜まれば、是非開催したいと思いますので、今後ともよろしくお願いします。
KOF2009「ウェブサービスのパフォーマンスとスケーラビリティ」 - stanaka's blog
KOF2009にて、「ウェブサービスのパフォーマンスとスケーラビリティ」と題して発表してきました。発表資料を以下に置いておきます。 Performance and Scalability of Web ServiceView more presentations from Shinji Tanaka. 概要は、「ウェブサービスのパフォーマンスを向上させスケーラビリティを高めるために、はてなでは様々な取組みを行っています。本セッションでは、はてなで採用している具体的な技術、ノウハウ、可視化手法と、それらの効果について紹介します。」というものです。 最近の、Interopやカーネル読書会あたりで話した内容をまとめつつ、レスポンスタイムの可視化という最近の取り組みについて話しました。 最近、レスポンスタイムについては、以下のようなグラフを使っています。 x軸がレスポンス時間、y軸がその時間内に収
はてなでの仮想化技術の使い方@AMDセミナー - とあるはてな社員の日記
先週、AMD主催のセミナーで「はてなでの仮想化技術の使い方」という発表をしてきました。 はてなでは、1年半ほど前から仮想化技術に取り込んでおり、現在では300台以上のサーバが仮想化されています。仮想化技術には、様々なメリットがありますが、はてなではサーバリソース利用率の向上と、システムの安定化の二つの利点を重視しています。サーバを仮想化していく際に、どのようなポリシーで一つの物理的なサーバに仮想化ホストを積み重ねているか、とか、実際どれぐらい効率を上げられているか、とか、あとAMDさんのセミナーなので、消費電力的にはOpteronが実測結果からは10〜20%程度効率がいい(負荷時にOpteron 1.82A, Xeon 2.17A)、というあたりの話をしてきました。 How to use Virtualization Technology in HatenaView more presen
技術者としての「日本語が亡びるとき」 - stanaka's blog
日本語が亡びるとき を読みました。普段は、あまり書評らしいものは書かないのですが、いろいろ確信が得られたので、熱が逃げない内に記します。 日本語が亡びるとき―英語の世紀の中で 作者: 水村美苗出版社/メーカー: 筑摩書房発売日: 2008/11/05メディア: 単行本購入: 169人 クリック: 12,641回この商品を含むブログ (456件) を見る この本で論じられている「日本語はこのままだと亡びる可能性がある」ということは、僕にとっては、若干背を向けたかった現実だったりします。僕は、英語が完璧にはほど遠いエンジニアの常として、なんだかんだ言って日本語をベースとした活動としています。「日本語が亡びる」ということは、それらの活動が将来的に無になってしまうことと、ほぼ同義です。 技術、特に情報科学・技術を専門としている身としては、英語が普遍語である、というのは、この本に教えられるまでもなく
1日で作る全文検索エンジン - Building a full-text search engine in "ONE" day - - とあるはてな社員の日記
最近、「Introduction to Information Retrieval」というStanfordの大学院向け教科書のドラフトを読んでいます。id:naoyaあたりが勉強会で読んでいる教科書です。この教科書には、効率のいい全文検索システムを作るにはどうすればいいか、という(まさに)教科書的手法が網羅的に書いてあり、そのあたりに興味がある人には、非常に興味深く読めるお勧めの本です。 ただ、面白い面白いと言っているだけでは、エンジニアとしては価値半減ですので、GW中にrubyで一日かけて実装してみました。 さすがに実装は、一日で作ったものですから、非常に素朴です。マルチバイト文字はbi-gramで、シングルバイトはスペースなどの区切り記号で認識しています。インデックスは、rubyの処理系のHashやArrayで保持しており、外部にMarshallで書き出す、というものです。検索エンジン
MySQL Conference & Expo 2007 - とあるはてな社員の日記
一昨日から今日まで3日間の日程で開催されていた、MySQL Conference & Expo 2007に行ってきました。日帰り圏内どころか、自転車圏内で、こういうカンファレンスがあるのは、素晴しいです。 詳細は、随時アップされるであろうプレゼン資料と、Planet MySQLに大量の報告があります(全部英語ですけど)。 個人的に注目していたのは、Digg.com、Flickr.comとYoutube.comのDB周りアーキテクチャのセッションでした。あとは、http://www.mysqlperformaceblog.com/の人のセッションは、細かいTipsが多く、具体的にだいぶ役に立ちそうです。 というわけで、簡単に注目したセッションの内容を紹介してみます。ちなみに、内容の正確さは無保証です:P 気が向けば、もっといろいろ考察してみるかもしれません。 Technology at Di
サーバにDoS耐性を付ける - stanaka's blog
ウェブサービスでは、アクセスが集中して、サイトが落ちる、というのは、よくある話です。純粋に人気が出てアクセス集中するなら、サーバ管理側の責任と言われても、しかたないと思います。しかし、botやF5アタックによる突発的な集中アクセスで、落ちてしまう、というのは、運営側としても、あまり納得がいくものではありません。 そのような突発的なアクセスに対応するために、大量のアクセスをしてくるクライアントを検出し、優先度を落すか、アクセス禁止にする方法などがあります。 というわけで、Apacheモジュールでそれを検出するためのmod_dosdetectorを開発しました。(ちなみにコア部分の開発期間は、Apacheモジュールって、どう書くんだっけ、という状態から、3日でした。) mod_dosdetectorは、Apacheモジュールとして動作し、クライアントのIPアドレスごとにアクセス頻度を測定し、設
iPhoneとワンマン社長 - stanaka's blog
iPhone来ましたね。あいかわらず、Jobsのプレゼンは神がかっているかのようで、革命的なデバイスであるとの印象を打ち出しています。iPhoneの機能セット、デザインには、Jobsの強烈なこだわりが感じられて、Appleの本気度が伝わってきます。 単純なスペックの比較だと、iPhoneは、SharpのW-Zero3と似ているし、Sonyのmyloや、PalmやNokiaのスマートフォンも似ています。カメラ、無線LAN、ブラウザなどなどのキーワードは、だいたい共通しています。 どうして、Sharpを初めとするメーカーは、このようなインパクトのあるの製品を出せなかったのでしょう？ この問に対する回答は、星の数ほど考えられますが、やはり、Jobsのこだわりとリーダーシップが一番重要だったのではないかと思います。たぶん、周辺のデザイナーやエンジニアは、Jobsに強烈にダメ出しされたり、プレッシャ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
