VancouverにあるAmazon S3チームのDeveloperになります - As a Futurist...
tl;dr - Amazon に入って 3 年が経ちましたが、この度転籍という形で Canada の Vancouver にある Amazon S3 開発チームに Systems Development Engineer として移ることになりました。 2010 年頃からずっとなりたいと思っていた北米での開発者の仕事(もちろん英語のみ)なので、本当に嬉しいです。AWS の Solutions Architect(SA)としてお客さんと向き合う仕事をじっくりさせてもらい、そこから実際に開発をしているチームに開発者として拠点も含めて移れるキャリアパスがあるんだよ、という一例になれましたので、SA になると自分の手を動かす機会が減ってしまうことを懸念している開発者の方の背中を押せたら幸いです。なお、2018 年 6 月頭に日本を出国予定で日本の会社も退職してしまうので、(旅行を除いて)日本に戻って
とあるつけ麺屋での素敵な出来事 - As a Futurist...
今日帰り道に新宿のやすべえでつけ麺食べてたんですが、ちょっとそこで感動的な場面に出会ったのでブログにします。 記憶ベースで書いてるので若干歪曲があるかも知れませんがご容赦下さい。 出来事 僕は入り口に一番近い所でおいしいつけ麺を食べてました。丁度僕が食べ終わった頃だったんですが、 2 人の外国人のカップルが入ってきました。彼らは日本語はしゃべれないみたいで、最初の応対に向かった 女性の店員の方はよくある感じで「英語わからない」になって、カウンター内の店員たちに助けを求めました。 やすべえは入り口に券売機があって先にお金払って食券を買うんですが、彼らはどれが何なのかとか さっぱり分からない様子で、僕的には「なんでこの店に入ったんだろう？」とか思ってしまいました。 一番近くにいた店員の兄ちゃんは店の奥の方に向かって「あー、誰か英語できる人いないー？オレはできないわ」と 声をかけました。「誰もい
DeNAを退職してAWSにJoinしました - As a Futurist...
タイトルの通りですが、12 月末で 6 年弱勤めた DeNA を退職して、1 月から AWS に Join してます。日本の Solution Architect です。初めての B2B のお仕事なので新卒新入社員の気持ちです。新卒入社時の予定ではもうアメリカに留学してるはずだったのに、どうしてこうなったのやら。。。 さて、DeNA にはエンジニア未経験の状態からここまで力を付けさせてもらって大変感謝しています。売上に直接貢献するような仕事はほとんどできなかったですが、起こらなかった問題に対する貢献は少しは出来たかなと思っています。そういえばここではちゃんと書いてなかったですが、最後の１年間は MYCODE という遺伝子解析サービスの開発をゼロから行っていて、何もないところからリリースまで辿り着くという産みの苦しみを味わうことができて非常にエキサイティングでした。ちょっとだけですが Sec
簡単！Vagrant+Docker+td-agent+Elasticsearch+Kibanaで流行に乗ろう - As a Futurist...
Fluentd Advent Calendar 2013に登録したものの、そういえば 1 年位全く fluentd に触ってなかったので、リハビリも兼ねて最近バージョンアップで導入された Vagrant の Docker provisioner を使って、ES+Kibana に流すとこまでを作ってみた。実用性には乏しい。 riywo/vagrant-docker-td-es-kibana-sample 以下解説。 Vagrantfile localhost から port forwarding で box の同じポートに接続させてる。さらに box の中で Docker が走っていて、Docker provisoner でコンテナを起動する時に、port redirect させているので、クライアントからダイレクトにコンテナと会話ができるようになっている。 ES と Kibana はarc
ポータブルなwebアプリケーションとそのインフラの未来の一考
naoya さんのポータブルな Web アプリケーションを受けて最近思ってることをば。140 文字で時々書いてるんだけど、まとまりがないので一回まとめておきます。 12-factor app ステートフルなアプリケーションについては、Heroku の人が提唱してる 12-factor app というのが現在の状況をよく表してます。 The Twelve-Factor App The Twelve-Factor App（日本語訳） Heroku や他の PaaS によってもたらされたこうした一種の”制約”によって、アプリケーションの新しいカタチが生まれてきています。引き算によって新しい価値が生まれてきているわけですね。 とはいえ、PaaS は PaaS でそれぞれに独自の仕様を持っているわけですが、Heroku の buildpack という仕組みを使って、Heroku とインタフェース仕様
jemallocとかLD_PRELOADについて調べてみた - As a Futurist...
何周遅れか分かりませんが調べてみました。僕の理解は浅いので間違っている可能性大ですが自分用にメモしておきます。 malloc とは？ C 言語ではmallocという関数を使って、使いたいメモリを実行中に割り当てることができます。例えば Wikipedia によればこんな感じ(適当に main 足してます)。 #include <stdlib.h> int main() { /* 10個のintの配列のためのメモリを確保 */ int *ptr = malloc(sizeof (int) * 10); if (ptr == NULL) exit(EXIT_FAILURE); /* メモリを確保できなかったので、exit */ /* 確保成功 */ } malloc – Wikipedia これを素朴に gcc でコンパイルすると、glibc(libc.so.6)が動的にリンクされます(ここら
LTSVというのが流行っているそうなので翻訳で乗っかってみた - As a Futurist...
See also Contributed to the LTSV page. 細かい経緯はよく知りませんが、LTSV というのが流行っていて、いろんな人がこぞってライブラリを作ったりしているそうです。僕もなんか乗っかりたい！と思ってたときに@stanaka さんが id:naoya さんの書かれた日本語の FAQ を誰か英語にしてみない？っていう post を見かけたので、ktkr!ということでやってみました。 FAQ of Labeled Tab-separated Values (LTSV) LTSV FAQ – LTSV って何? どういうところが良いの? – naoya のはてなダイアリー この程度の量で 3 時間くらいかかってしまったので、もっと英語のスピードアップしないと。。。翻訳終わったあとは HTML に仕立てて pull request しました。@stanaka さんの
MyrokuというHerokuっぽいものを実装してみた - As a Futurist...
あけましておめでとうございます。SF アドベントカレンダーも書けず、2012 年のまとめとかも書けず、まぁ何をしてたかというと生きるのに精一杯だったんですが、あともう一個やってたのがアプリ書くってことでした。前から、自前で簡単につかえる Heroku っぽい PaaS があるといいなぁと思ってたのですが、やっと動くものができましたので公開します。”My Heroku”で Myroku。 riywo/myroku-cookbooks · GitHub riywo/myroku-server · GitHub どういうもの？ 基本の挙動は超シンプルです。Heroku っぽい感じ。 好きな名前のアプリを作成する(sample-app) .llenvに使いたい LL のバージョンを書く(node-0.9.3) Procfileに起動するプロセス書く(web: node app.js) 一番最初に
サンフランシスコ生活始めました - As a Futurist...
サンフランシスコからこんにちは。今日からひとまず 1 年間、アメリカのサンフランシスコで仕事をすることになりました。だいぶ前から言っていた夢がひとまず叶ってとてもハッピーです。 今回、日本の会社からの出向という形でアメリカの会社で働くことになりましたが、アメリカで働くというのがこんなにも大変で面倒なことなのかと思い知らされました。ビザの取得に始まり、日本で住んでいるところの処理やアメリカでの住宅探し、銀行や携帯電話など今まで当たり前に持ってたものがないこと、仕事の引継ぎ(業務自体や評価)、保険や税金などの違い、などなど。今回は会社にたくさんサポートをしてもらえて本当に助かりました。 また、諸事情あって 10 月頭という当初の予定から 1 ヶ月遅れてしまったのですが、9 月からの 2 ヶ月間に本当に色々な方から「いってらっしゃい！がんばれよ！」と言って頂けて大変ありがたかったです。イクイク詐
netstat | grep が遅いなぁと思ったときにはgrep -m - As a Futurist...
サーバ間の通信を調査したいときに、netstatはよく使うと思います。たとえば、あるポートを使ってるプロセスを探したい時。 # netstat -taopn | grep :29324 tcp 0 0 192.168.11.11:29324 192.168.11.12:3306 ESTABLISHED 10726/perl off (0.00/0/0) ただ、すごいたくさん通信してるサーバだと、netstat自身がすごい遅くて、上記コマンドが終了するのに時間がかかります。手で見てる時はまぁどうでもいいんですが、自動化したい時とかにずっと待ってると微妙ですよね。 見つけたいのは 1 行だけだなぁと思ったので| head -1とかしてみたんですがあんまうまくいってない。 # time netstat -taopn | grep :29324 | head -1 tcp 0 0 192.168.
DevOpsDays Tokyo 2012に参加してきたので聞いたこととか思ったことまとめ - As a Futurist...
DevOpsDays Tokyo というイベントが行われていたので参加してきました。DevOps という単語やムーブメントを牽引する英語圏のゲストを招いての大規模なイベントでした。会場の GMO さんやスポンサー各社のご協力のおかげか、至れり尽くせりな感じですごかったです。 Tokyo 2012 – welcome セッションスピーチはほとんどが各社製品紹介みたいな感じだったので割愛しますが、その後に行われた OpenSpace が相当エキサイティングでした。これは海外のカンファレンスだとよくある形式なんですが、会場とコマだけ用意されているので、あとは話したい人が話したいテーマをその日に適当に入れてプレゼンとかディスカッションをするという感じのものです。その場で生まれる議論のダイナミズムは、普段から色々と頭を使って手を動かしているエンジニアにとってはとても刺激されるものではないかと思います
dstatの万能感を満喫するためにfluentdにログを飛ばしてみた - As a Futurist...
@hirose31 さんが突如として流行らせた感のある dstat ですが、「乗るしかない、このビッグウェーブに！」ということで python の勉強ついでに触ってみました。 dstat の万能感がハンパない – (ひ)メモ dstat の結果を fluentd に投げる やったこととしては、csv に吐き出す部分をパクってそのまま fluend に投げる様にしてみました。 fluent-logger · b6dcb12 · riywo/dstat これで、dstat の起動オプションに--fluentdというのを与えると、ローカルの TCP:24224 で待ち受けている fluentd に対して「debug.*」の形で毎秒ログを送りつけることができます。(fluentd の接続先とかタグとかは誰か調整できるようにして下さい。。。) 2012-03-03 03:36:43 +0900 de
コミュニティがあって僕は生きられた - As a Futurist...
コミュニティについて、ふと振り返ってみた。 オフ会というもの コミュニティとはちょっと違うけど、多分オフ会的なのにちゃんと参加できたのは本屋オフが初めてだと思う。インターネットでしか見たことない人と会うことはすごい不安だったけど、とてもいい人ばかりだったし尊敬できる人ばかりで、おかげで 12000 円も散財した。。。 コミケ書き終わったからオフ充してきた – As a Futurist… 第 3 回本屋オフに行ってきた – As a Futurist… これがあったおかげで、オフ会というかインターネットでしか知らない人と会うことに抵抗なくなったし、むしろ積極的に会ってみた方がネットだけじゃできない話もできてものすごく有益だということを認識したんだと思う。 Tsukuba.R との出会い 僕が最初に出会ったコミュニティは Tsukuba.R。彼らとの出会いは、僕の人生にはかなり衝撃的だった。
MySQLがおかしい！あなたならどうしますか？ – MySQL Casual Advent Calendar 2011 - As a Futurist...
しわっす！DBA 兼オペレーションエンジニア兼タスクマネージャやってる riywo です。何のネタを書こうかなぁと考えたのですが、正直ネタを仕込む時間もなかったので僕がいつもやってることをさらっと紹介するということで勘弁して下さい＞＜ MySQL がおかしい！ 03:14 hidek: なんかエラー出まくってるんだけど！ 03:14 zigorou: MySQL と通信してるとこっぽい 03:15 riywo: 見ます こんなやりとりは皆さん日常茶飯事ですよね？ね？ね？こんな時に、DB に責任を持つものとして真っ先に対応するのが僕らの仕事です。でも、じゃあ具体的にこのあと何をしましょう？既にサービスはエラーだらけで一刻を争う状態です。 (対応開始) まずはエラーメッセージ 今回の様な場合はアプリのエラーログにどばっと MySQL に関するエラーが出ているでしょう。まずはそれを見ることが始ま
Webサーバ勉強会＃3に参加してきた＆LTしてきた - As a Futurist...
イケメンエンジニア@oranie さん主催の Web サーバ勉強会に参加してきました。某緑の会社ははじめてで、渋谷とかホント((((；ﾟ Д ﾟ))))ｶﾞｸｶﾞｸﾌﾞﾙﾌﾞﾙで道に迷いましたすいませんすいません。 Web サーバ勉強会 #3 : ATND 感想とか 僕は一応 DB 側の人なので、WEB サーバ正直全然詳しくなかったので、マジメに勉強になりました。ざびたんを除いて この勉強会は、参加者全員発表という形式なのでかなり幅広い話題が聞けて面白かったです。以下、自分が特に気になったものを取り上げます。 mod_security 僕はあんまりこの方面詳しくないんですが、mod_security は Apache の処理のステージの中でいくつかの箇所にフックを引っ掛けてポリシーを適応させたり監査ログを出したりできるモジュールということで結構最近盛り上がっているみたいです。WAF って言
GNU Parallelがすごすぎて生きるのがつらい
皆さん今日もたくさんのサーバを相手にされていることかと思いますが、いくつかのサーバにアクセスして 1 秒間の統計情報(例えばvmstat 1 2)を集めてパッと表示したい時ってどうやってますかね？shell script を学びはじめたばっかりの僕はこんな感じで書いてました。 $ for i in host1 host2 host3; do ssh $i "vmstat 1 2 | tail -1"; done 0 0 0 329004 210836 14275360 0 0 0 2424 1410 1828 0 0 100 0 0 0 0 0 3716112 587704 25921684 0 0 0 488 1643 2026 0 0 100 0 0 1 0 0 555440 265560 14015548 0 0 0 4204 1534 2392 1 0 99 0 0 vmstatと
パスワード管理について「安全なWebアプリケーションの作り方」で学んだので実装してみた - As a Futurist...
前回半分くらい読んで積読になってしまっていた「徳丸本」こと「安全な Web アプリケーションの作り方」を週末に読みきりました。本当にいい教科書だと思いますので、脱初心者を目指す人は読んでみると良いと思います。 特に今までぼんやりとしか理解していなかった「パスワード管理」について非常に体系的に分かりやすく説明されていたので、せっかくなので Plack アプリで実装してみました。ソースは gist に貼っておきました。 基本的には徳丸本にあったとおりに実装しています。 パスワードはハッシュをかけた値を DB に保存 但し単純なハッシュ関数だと漏洩したときにクラックされる(=逆方向に解析される) そこで 2 つの対策を組み合わせる salt 値 user_id と固定値を利用して salt 値を作りパスワードに付加してハッシュを取る もし同じパスワードのユーザがいてもハッシュ値は異なる ストレッ
「出過ぎた杭」を目指してみませんか？ – 新卒エンジニアに向けて - - As a Futurist...
新卒準備カレンダー 2011 春というおもしろい企画がありまして、3 日目は自分が担当させて頂くことになりました。@shibukawa さんの様に抽象的なレベルまで高めて書くほどの経験は残念ながらありませんので、僕ものんべんだらりと自分語りをしたいと思います。 Who are you? DeNA のサーバインフラエンジニア新卒 2 年目(=もうすぐ 3 年目)です。主な言語は Perl とshow slave statusです。プログラムやコンピュータに結構詳しい学生さんでも、インフラって何やってるのかについてはイマイチ伝わらないことが多いのですが、一応説明しておきます。僕は大してコードも書いてませんし、かといってプロジェクトマネージャみたいに人の管理もしていません。僕が相手にしているのはシステムが動いているコンピュータ(=サーバ)そのものです。システムの多くは無数のサーバが通信しあって提
MySQLでslave追加時にmasterが全力でbinlogを送って困る時 - As a Futurist...
たまにはしょうもない TIPS でも。MySQL の魅力といえば言わずもがな 10 年の歴史を誇る「レプリケーション」の仕組みだと思います。これさえあれば 1 つの筐体で必死にデータ保全しなくてもコピーがいくらでも増やせるし、@nippondanjiさんのスライドにある通り、レプリケーションの妙技を駆使することで様々に柔軟な運用を行うことができます。 Art of MySQL Replication. slave 追加とは？ さてそんなレプリケーションですが、実運用で最も多く行われるオペレーションは「slave の追加」だと思います。追加の方法は大きく分けると 2 通りです。(ストレージエンジンは InnoDB を想定。というか InnoDB 以外認めません＞＜) 論理バックアップを利用 mysqldump 等を利用して論理的にデータの静止断面を作る＆その時の binlog のポジションを
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
