はてなブックマーク

今年読んだ本は今年のうちにレビューしてしまおう、の第二弾「Staff Engineer」です。 Staff Engineer すこし前にTwitter界隈でIndividual Contributor(以下、IC)の話が話題になってましたが、そのICとしてのキャリアの先にある、日本ではあまり馴染みのないStaff Engineerについての本です。ちなみに本の内容は全て https://staffeng.com/ でも読むことができますので、紙が不要な人はこちらからどうぞ。 Staff Engineerは、会社ごとに、またおそらく部署ごとでも様々なバラエティのある役割の定義があり、この本は著者での経験に基づく記述と、各社のいろいろなStaff Engineerの人たちからのインタビューから構成されています。 著者の経験によると、Staff Engineerの典型例として、一つ、もしくは複数

今年の振り返りを兼ねつつ、ロンドン雑感です。 2016年の最大の変化はなんと言っても、はてなからメルカリに転職し、ロンドンに引っ越してきたことです。 ロンドンに引っ越したのは11月末なので約1ヶ月となります。Web系ではロンドンなどヨーロッパ方面に行く人は周りにもほとんどいないので、いろいろあることないこと吹き込まれましたが、滞在1ヶ月の所感を書いてみます。 「冬はとにかく日が短かくて天気が悪い」説 先週の冬至のロンドンは日の出が8:05、日の入りが15:51と、だいぶ日が短かくなっています。事前に思っていたよりは慣れるもので、朝の薄暗い雰囲気や夕方になるころにはもう暗いとかは、こんなものか、と思えばこんなものとして過ごせるものだな、と思います。 どんよりした天気が続くのは確かで、だいたい曇り空です。ただ雨が一日降ることはほとんどなく、曇りか小雨がほとんどで、たまに晴れるといったところです

はてなを退職してその後、しばらくロンドンに行ってました。(ちなみに、はてなとは引き続き技術顧問として関わりを持っています。) morning in #london Shinji Tanakaさん(@stanaka)が投稿した動画 - 2016 10月 8 2:22午前 PDT なぜロンドン？という疑問に答えると、9/1よりメルカリのUK担当としてヨーロッパ方面のエンジニアリングの立ち上げに携わることになったためで、ロンドンの中心部にあるオフィスでしばらく働いてました。 入社翌週から先週まで1ヶ月ほどロンドンで立ち上げに向けていろいろ仕込みに行っていたのですが、ロンドンはアメリカのサンフランシスコやシリコンバレーあたりとはまた違う雰囲気でなかなか面白いです。実際にこれからのロンドンでの生活や仕事が楽しみになってきています。 今回の滞在で感じたロンドンの印象的なポイントはいくつかあるのですが、

はてなを8月末で退職することになりましたので、お知らせします。 はてなに入社してから10年経ち、年齢も40を越えてきたタイミングでそろそろもう一つチャレンジしようかなという想いから、わがままを言わせてもらいまして今回の退職という形にすることになりました。退職理由として、はてなになにか不満や問題があったわけではなく、あくまで僕が新しいことをしたいという意図を汲んでもらって社長をはじめとする経営陣からも円満に送り出してもらっています。はてなのエンジニア層もこの数年で質量ともに充実し体制もだいぶ形が整っており、安心して後を任されるようになっています。 はてなでの10年間では、いろいろな経験をさせてもらいました。前任の伊藤直也さんから引き継いだCTOを6年勤めたのをはじめ、アプリケーションエンジニア、インフラエンジニアから、ディレクター、事業責任者、サポート部長、総務部長、法務部長など、エンジニア

来月ぐらいにはGo 1.7がリリースされそうなのですが、CONTRIBUTORSに名前が載せられそう( https://github.com/golang/go/blob/release-branch.go1.7/CONTRIBUTORS#L915 )なので記念エントリです。 内容自体は、4月にあったGoCon 2016 Spring( http://gocon.connpass.com/event/27521/ )での発表済みです。 tl;dr 一部のディストリの最新版でlinux/386でビルドしたバイナリが起動すらできない、というバグがあった 問題はruntimeのアセンブラ部分だったけど、なんとかパッチ書けた パッチ提出→コードレビュー→やりとり→マージまで、3日程度とスムーズに進行できた https://go-review.googlesource.com/#/c/21190/

僕たちは「新しい技術」で生き残る テクノロジーで未来のビジネスをつくる戦略会議 作者: 日本実業出版社出版社/メーカー: 日本実業出版社発売日: 2016/07/28メディア: 単行本（ソフトカバー）この商品を含むブログを見る 今年の2月に登壇させていただいた dots. CONFERENCE SPRING 2016 の内容が本になりました。 僕の部分は7ページほどにまとめられていて、ざっと次のような内容です。 はてなでの10年を越えるサービスの運用にまつわる技術的環境の変化 その間の中長期のパフォーマンス管理のためのPV/CPU(%)という指標の導入 次の10年を戦うための指針 他にも人工知能、IoT、ヘルスケア、FinTech、デザインなどの各分野で一線で活躍されている方の講演がコンパクトにまとめられており、なかなか読み応えがあります。 いまの時代のビジネスとテクノロジーがうまく切り取

SOFT SKILLS　ソフトウェア開発者の人生マニュアル 作者: ジョン・ソンメズ出版社/メーカー: 日経BP社発売日: 2016/06/02メディア: Kindle版この商品を含むブログを見る 少し前にSoft Skillsを読み終わりました。Soft Skillsは、 d.hatena.ne.jp で紹介されていた本です。翻訳が出る前に原著を買ったのを積んでおいたら翻訳が出てしまったので、あわてて原著を読み終えました。 内容はいわゆる自己啓発的なものなのですが、これまでのエンジニアのキャリア論として、ここまで網羅的かつ実践的に書かれた本はこれまでなかったのではないかと。いくつか個人的に面白かった/興味深かった箇所を書き出してみます。 Fake it till you make it (Chapter 16) ブログを書いて知名度をあげるとよい (Chapter 22) 学習するには人

ErgoDoxを買った! 局所的に流行っているErgoDoxを買いました。ErgoDoxとはなにかとか、購入方法の話はこのあたり(ErgoDoxを購入して人生がバラ色になった - YAMAGUCHI::weblog)をどうぞ。 セパレートキーボードの特徴を生かして、間にMagic Touchpadとコーヒーを置いてます。 Touchpadがあるので、Macbookを普通に使っている時のようにタッチパッドを操作できます。 またコーヒーカップを間に置くことで、ついうっかりこぼしてしまうような事故も減らすことができます。 ちなみに、僕もErgoDox EZのフルセット(ErgoDox EZ Bundle: Blank)で買いました。 フルセットでもキー上の刻印有無やキースイッチの種類(押圧力やクリック感などが変わるそうです)が選べます。 ErgoDoxはキーマップを自由に変更できるのが魅力なので

はてな社内での勉強会で、Courseraの機械学習コース( https://www.coursera.org/learn/machine-learning/home/welcome )を皆で履修するというのを去年秋に始めていました。 developer.hatenastaff.com 前回は途中脱落してしまったのですが、気をとりなおして年明けからのコースでは無事に修了しました。(スコア100%になってますが復習がてら間違ったQuizやりなおしたりしてます。) このコースの良さは各所で語られていますので、個人的な所感のみを書いておきます。 日本語字幕もあるけど、英語で頑張ったほうがいいんじゃないか 機械学習系は新しい情報も多いので英語の用語に慣れておいたほうが、後々応用が利きそう 他のコースは日本語字幕ついていないことも多いので、英語での講義に慣れることができるのも良い Octaveでのコー

先日からLINE BOTで遊んでいたところ、今朝のfacebookのDeveloper Conferenceのf8でMessenger Platformが公開されたので、合わせてGoのライブラリを作ってみました。 github.com いつものechobotはこんな感じです。 Callback URLはhttps必須ですので、herokuなどで動かすのがお手軽でしょう。LINE BOT APIとは異なりIPアドレスのホワイトリスト設定は不要なので、Fixieアドオンなどなしで普通にheroku上で動かすことができます。FB_TOKENとVerify用のFB_VERIFY_TOKENは環境変数として設定します。 また、最初にcallbackのverifyが必要ですので、その処理が入ってます。この処理はVerifyが終われば消しても問題ありません。もちろんCallback URLを変更する際は

先日、LINE BOT APIが公開されたので、この波に乗らねば、というわけでいろいろ遊んでいます。最近はGoが手に馴染んでいるのでGoでbotを書いているのですが、皆さんもご存知の通り、JSONのAPIをGoで扱うのはなかなか辛いものがあるので、ライブラリにしてみました。 github.com こんな感じでecho botを書けます。まだテキスト部分しか実装してないので、これから画像などは実装していきます。 herokuで動かすことを想定していますので、お試しの際はLINE BOT をとりあえずタダで Heroku で動かす - Qiitaあたりを参考にデプロイしてみてください。 LINE BOT APIのアカウントの取得方法やcallbackが来ない!といったトラブルシュートは他にもいろいろ情報あがってますので、そちらでどうぞ。 package main import ( "fmt"

最近、SREが話題ですね。 tech.mercari.com www.wantedly.com ということでSREについて調べてたら、SREconなんてものが開催されていたので中を見てたら、「Building a Billion User Load Balancer」というタイトルでFacebookのDNS〜LBまでの話があったので、そのメモです。 Building a Billion User Load Balancer | USENIX tl;dr tinydns + IPVS で Facebook規模はいける httpsの接続確立はかなり重い(RTTの4倍 = RTT 150msとするとGETまで600ms)ので、太平洋越えとかは厳しい httpsを終端させるCDNとかは活用の可能性ありそう (国内だけを考慮するなら影響は軽微かも) メモ L4 LB shiv (IPVS + pyt

本日発表されたSORACOM AirのSIMを事前に使わせていただけたのでトライしてみました。 サービスの詳細はTechCrunchの記事が詳しいので、そちらを参照してください。 jp.techcrunch.com blog.soracom.jp SORACOM Airの最大の特徴は、定額な基本料金(10円/日)と完全従量制による価格体系で、通信帯域を動的にAPIで変更できることです。 また容量は事前申請ではなく、AWSのように使った分だけの事後清算ですので、 うまい使い方をすればするほど安くなる特徴があります。 SIMはSORACOMの管理画面もしくはAmazonから買えます。 (初日から買えるのはすばらしい) SORACOM Air SIMカード（データ通信のみ） (ナノ) 出版社/メーカー: 株式会社ソラコムメディア: エレクトロニクスこの商品を含むブログを見る SORACOM Ai

7/4にDocker Meetup Tokyo #3を開催したので、その報告です。今回は日経さんに会場を提供していただいたのですが、非常に良い会場でありがとうございました! また動画配信にご協力いただいた@cojiさんもありがとうございました! (@peryaudoさんのDockerレイトレデモでのmobydockモデルより) 今回のmeetupは、6月上旬にDockerConが開催されDocker 1.0を始めとする様々なプロダクトが発表されたことを受け、この波を活かすために#3として開催しました。 冒頭に会場でDockerの利用状況を挙手で聞いてみたのですが、触っている人 7割、開発サーバーやテストサーバーで使っている人 3割、プロダクションで使っている人 4,5名(数台規模)という現状で、まだまだ本格的な展開はまだまだこれから、ということが分かりました。 ただ、コンテナ管理ツールへの

JAWS DAYS 2014のImmutable Infrastructure パネルディスカッションでモデレーターをしましたのでそのまとめです。満員でしたので、ご覧になった方々にはありがとうございました! 事前に勉強も兼ねて、次のメモを書いておいた( https://gist.github.com/stanaka/9547623 )のですが、このパネルでは個人的にも議論してみたかった話も含め、6名のパネリストに以下の質問をさせてもらいました。 IIを突き詰めていくと、どんどんPaaSに近づいているのでは? IIを実現する上で、なにが一番の課題となるか? Statefulサーバーはどのように扱うべきか 最後に一言 冒頭の最初のIIを突き詰めるとPaaSになっていくのでは？という話では「技術的にどんどん新しいハード、ツールは出てくるので、ニーズはPaaSとIaaSの間を揺れ動くことになると思

いよいよ明日はAWSのユーザーズグループ最大のイベントJAWS DAYS 2014が開催されます。 私は「Immutable Infrastracture パネルディスカッション」のモデレータを拝命していますので、どのようなことを話そうと思っているか事前にエントリにしてみます。 このパネルディスカッションのパネリストは、Immutable Infrastructureトラックの豪華スピーカー陣、伊藤 直也氏、成田 一生氏、澤登 亨彦氏、吉羽 龍太郎氏、宮下 剛輔氏、栗林 健太郎氏の方々がずらりと並びます。改めてみるとだいぶ壮観ですね。 Immutable Infrastructureはいくつかの概念が含まれているため、パネルに向けて整理も兼ねてこれまでの関連エントリのリンク集にまとめてみました。 https://gist.github.com/stanaka/9547623 また明日ディス

興味をそそられたので読んでみました。 インフラ/ネットワークエンジニアのためのネットワーク技術&設計入門 作者: みやたひろし出版社/メーカー: SBクリエイティブ発売日: 2013/12/27メディア: 大型本この商品を含むブログ (4件) を見る 本書の内容は、ネットワークの物理的なレイヤーから、ネットワークプロトコルの概要、セキュリティ(主にSSL)や負荷分散や可用性の確保など、幅広い内容に及んでおり、それぞれの分野が網羅的に書かれています。各技術についても、すぐに古くなりがちな個別の実装の詳細に入るのではなく、プロトコルや設計ポリシーなど基礎的、基本的なところがしっかりと記述されており読み応えがあり、また数年単位で長持ちする知識が得られます。 例えば、第1章の「物理設計」では、機能分散や冗長化まで考慮された、具体的な機器の構成例まで図にしてあり参考になりますし、機種選定の方針までも

先週にpublic betaが始まったgithub製のエディタのAtomを使ってみたので、旬な内にパッケージ (他のエディタでいうところの拡張とかプラグインとか)を作ってみました。 公式ドキュメントが充実しており、開発が活発(バージョンも毎日にようにあがっている)で変化も大きそうですので、ちゃんと触りたい方はそれを読んだほうが良いと思いますが、雰囲気を知りたい人向けの解説を書いてみました。 Atomのエディタとしての基本的な使い方は、次のリンクをどうぞ http://qiita.com/spesnova@github/items/d3096d062d70e7385e9d Invite権もまだ残っているので、欲しい方は@stanakaまでmentionしてみてください。→権利終了しました パッケージ作成の基本 パッケージ作成の基本は、次の二つの公式ドキュメントを読むと分かります。 - htt

「インフラデザインパターン」を献本いただきましたので、ざっと読んでみました。いつもありがとうございます! インフラデザインパターン ~安定稼動に導く127の設計方式 (WEB+DB PRESS plus) 作者: 株式会社NTTデータ,杉原健郎,吉田一幸,岩崎賢治,三浦広志,吉田佐智男出版社/メーカー: 技術評論社発売日: 2014/02/07メディア: 大型本この商品を含むブログ (1件) を見る 「インフラデザインパターン」は、NTTデータの人による各種システムのインフラを設計する上でのいろいろな設計方法をパターンとして整理した本です。内容は、可用性、セキュリティ、性能、保守性や、サーバーネットワーク構成、クラウドまで言及されていて、網羅的に書かれています。 例えば、DBサーバの可用性のところは、FTサーバー、並列DBクラスタ、N+1クラスタ、相互待機クラスタと、それぞれの定性評価がか

(Monitoring Casual Talk in Kyotoで発表してきたので、ブログエントリにまとめ直しました) 2013年はインフラ周りの技術的な進化が大きく、いくつかのエポックメイキングな概念と実装が産まれました。個人的には特に以下の2つが大きいと思っています。 AWSの本格普及期 DockerとImmutable Infrastructure これらを踏まえて、2014年のウェブシステムの進化の方向性を考えてみます。また、それによるモニタリングへの影響もあわせて考えます。だいぶ長くなってしまったので、急ぐ人は最後に結論をまとめましたので、そちらからどうぞ! 2013年という時代背景 AWSが本格普及期を迎えているのは、言わずもがなのことで、Re:Inventでの246件という膨大のセッション数などにその勢いが表われています。 また、DockerはLXC (LinuX Conta

I gave a presentation about lightweight REST API Server by Go, and performance comparison with Go, Perl and Ruby at GoCon 2013 autumn. The slide about benchmarking result is as follows. This shows milliseconds per request with 10,000 sequential requests at various conditions, which are go/perl/ruby, messagepack/json, and mysql SQL query/innodb memcached plugin. "direct memcached (innodb)" is direc

fluentdを多段構成にして、mongodbに出力するところでハマったのでメモ。 上の構成のように、各サーバにfluentd + out_forwardを置き、集約するログサーバにfluentd + out_mongoでmongodbに出力している場合に、上段のfluentdでbuffer_chunk_limitを10mより大きい値にしていると、エラーになることがあります。 まず、out_mongoでbuffer_chunk_limitを10m以内にしないといけない理由は、fluentdからMongoDBへ連携する際の注意点 #fluentdを参考にしてください。 ここで多段構成の場合、上流の buffer_chunk_limitが大きいと上流から大きなサイズのデータの塊が流れてくることがあります。それを受けとったfluentdはそれをそのままoutput pluginに流す実装となって

追記 2/17 現在のmajor-modeに対応して、検索対象のdocsetが絞りこまれるようにしました。以下のようにカスタマイズすることもできます。 (add-to-list 'dash-at-point-mode-alist '(perl-mode . "perl")) 追記ここまで OSXで開発している時に各言語やライブラリのリファレンスをオフラインで検索したい、とTweetしたところ、 @stanaka Dash ってアプリがオススメ。あれの docset てのが chm でやってたのと似てる気がする。iOS のマニュアル引くのに愛用してるお— Naoya Ito (@naoya_ito) February 17, 2013 とid:naoyaさんにお勧めしてもらったDashを試してみました。各言語、ライブラリのリファレンスが簡単にダウンロードでき、それをオフラインで高速に検索でき

追記(2/17) 変換スクリプトを見せてほしい、という要望があったので、 https://gist.github.com/stanaka/4967403 に上げておきました。ltsvを読み込んでオプションで指定したフォーマット(デフォルト JSON)に変更します。 追記ここまで LTSVの盛り上りも収束してきていますが、サイズに関する懸念があがっていたので、確認してみました。 手近にあったアクセスログ 186万件ほどを対象に、 ssv .. Combined Log Formatの拡張で、ラベルなし (レスポンス時間とか10個ぐらいのフィールドを拡張しています) json .. ラベルあり ltsv .. ラベルあり の3パターンで試してみました。 まずは行数を確認しておきます。 % wc -l access_log.json 1861706 access_log.json未圧縮だと、 a

追記(2/8 11:30) id:naoyaによる一連のまとめが【今北産業】3分で分かるLTSV業界のまとめ【LTSV】 - naoyaのはてなダイアリーにあります。 また、仕様などをまとめるために http://ltsv.org/ を立ち上げました。 追記ここまで Labeled Tab Separated Values (LTSV) というのは、はてなで使っているログフォーマットのことで、広く使われているTSV(Tab Separated Value)フォーマットにラベルを付けて扱い易くしたものです。はてなでは、もう3年以上、このフォーマットでログを残していて、one-linerからfluentd、Apache Hiveまで幅広く便利に使えています。 ログフォーマットに期待されることは、 フォーマットが統一されている → 共通のツールで集計し易い 新しいフィールドの追加が容易 → サー