クックパッドを退職して株式会社リスタを立ち上げました - mikedaの日記
しばらく前にいろいろあってクックパッドを退職し、 諸事情によりリスタという会社の立ち上げをやっていました。 クックパッドを退職したのは完全になりゆきと勢いです。 クックパッドはめちゃめちゃちゃんとしたリーダー陣とあきれるくらい優秀な同僚たちのいるすごくいい職場でした。 いやーもういい歳なのでそろそろ落ち着きたいと思っているのですが、 なかなか縁が無いですね。。。安定と嫁。。。 で最近はRailsとかCSSをオラッと勉強して、 JOBLISTという求人サイトをオラッと立ち上げてました。 でも気がついたらgithubのissueが70個とかになってて、 なんかもう1人じゃダメそうなのでエンジニア募集します！ 興味ある人、ぜひメッセージ下さい！ twitterでもfacebookでもなんでもokです！ なかなかすごい経営陣が揃ってるので面白い経験が出来ると思います。
WEB系各社で使われている監視ツールまとめ - mikedaの日記
次世代 Web カンファレンスで監視について話すことになったので、ネタとしてWEB系各社で使っている監視ツールを調査中。 うちはこれ使ってるよ！！！ってのがあったら@mikedaにメンションください！ Cookpad Zabbix 昔はNagios+muninだけど台数増えて性能的に破綻した ビューはそのままじゃ辛いのでmunin風に表示するのを自作 StatusCake DataDog。サービス系、サーバに紐付かない系の監視に。DashBoard便利 waker。通知用。PagerDuty高い、と言ってryot_a_raiが秒で作ったらしい Kibana imon。独自のリアルタイムなサービス稼働状況表示ツール NewRelic 試し中なもの Real-User Monitoring : JSでbeacon飛ばしてfluentd -> BigQuery。Google SpreadShee
InnoDBのウォームアップに別サーバでdumpしたib_buffer_poolを使ってみる - mikedaの日記
MySQLでスレーブを複数台並べている。 負荷増加やサーバ障害で新規スレーブを追加したい。 で、構築したばかりのMySQLスレーブをいきなりサービスに突っ込むとどうなるか。 それなりの規模のサービスであれば、buffer_poolが空っぽのDBだとIOがつまって応答遅延が発生します。 というわけでサービス投入前にbuffer_poolのウォームアップが必要で、方法としてはいくつか考えられます。 クエリを実行して主要テーブルのIndexをロードする 低い振り分け比率でサービスに投入してしばらく待つ tcpdump + (mk|pt)-query-digest等で既存スレーブのクエリを流し込む 基本的にサービス投入前の完璧なウォームアップは無理ゲーなので、 普段は主要テーブルのIndexを読み込んでから、低い振り分け比率でサービス投入、ディスクIO見ながら徐々に振り分け比率を上げていく、という
Cookpadに入社しました - mikedaの日記
2/9に入社を決めて、「じゃあ来週から行きますね」「はい、じゃあそれで」みたいな感じで今日から出社してます。 来週には社員旅行あるらしく、ハミりそうですごく心配です。 Cookpadではインフラストラクチャ部に所属します。 上司はmirakuiさんです。今日はラーメン作ってもらいました。 細かいことは決まってないですが、AWSメインのインフラとかを見てくことになります。 自分は今まではオンプレがメインの人で、ファシリティやNW、資産管理とか、ラッキングやケーブリングとかも、得意だしけっこう好きでした。 そのへんは個人じゃさわれないので参入障壁が高くて需要もあるんだけど、 どうしても大規模向けスキルになってきて、自分はあんま大規模志向とかスペシャリスト志向が無いので、今後考えるとどうだろうなぁ、と思ってました。 ここで強制的にそれが無い環境にして、そのぶん開発基盤の仕組み作りやマネジメントみ
負荷低すぎはもはや障害じゃないのか - mikedaの日記
前のブログの続きで、もにかじ7で話した小ネタその2。 実際にサービスでなんかやったというのじゃなく、こういうこと考えてるんだけどみんなどうしてます？って話です。 まずオンプレ時代はサーバのスペックダウンはけっこう大変だったし、頑張ってメモリやCPU引っこ抜いてもそんなに節約にならなかった。 ※CPUやメモリはサーバ価格の一部でしかないし、ラック費用(消費電力)もあるし。 でもクラウド前提だとスペックダウンはとても簡単で、スペック半分にすると価格も半分になる。 そうすると、 『イベントで一時的にc4.4xlarge(8万/月)にして、そのまま最大CPU使用率10%とかで数ヶ月放置されている』 みたいなのはビジネス的な損失という意味で明らかに障害で、監視すべきじゃないだろうか？ みんななんかやってますか？ というようなことを参加者に聞いてみました。 参加者の中では、AutoScalingしてい
歳は気にするな。という自戒 - mikedaの日記
自分はLinuxは社会人になった26歳(新卒研修中に27歳になってたけど）から、WEB系技術は最初の転職の29歳から、と全体的にスタートが遅かった。 ※ちなみにプログラムは大学院の24歳から。CとC++とVBを少々。 なのでずっと、歳相応の能力がない点についてそれを言い訳的に使うことが多かったし、 個人に関する何かの決断について、もうけっこういい歳だしなぁみたいなことを考えることも多かった。 ※この業界はすんごく若くて優秀なやつがいっぱいいるからね！ まぁでも、 CAのoranieさんは26歳までアパレル店員だったし、 ペパボだと四天王の黒田さんは30歳まで郵便局員で、 技術責任者のあんちぽさんは32歳まで役場職員だった。 うろ覚えだけど。 少なくともWEB系のエンジニアとしてなら何をするにせよ、ビジネス的な成果を出すために最低限必要なスキルを身につけることに関して、そんなに長大な時間を要
自宅ルータをVyattaに移行しました - mikedaの日記
自宅ルータをコレガのルータから、KVM上のVyattaに移行しました。 きっかけは設定ミスって繋がらなくなったときの、GUI＆記憶ベースの復旧作業がとてもめんどくさかったからです。 というわけで今回やった作業や構成について簡単にメモ書いておきます。 とても簡単なのでみんなもぜひ！！！ 移行前の構成 よくある構成ですね。 移行後の構成 KVMのホストサーバに物理NICを増設して仮想ブリッジを追加、VyattaVMだけグローバル/ローカル両方に接続する形です。 いちおう写真も！ 今回追加購入した機器はこの２つです。 BUFFALO Giga対応 電源内蔵 5ポート スイッチングハブ LSW3-GT-5NS 出版社/メーカー: バッファロー発売日: 2008/02/10メディア: Personal Computers購入: 5人 クリック: 39回この商品を含むブログ (9件) を見るインテル
twilogからリア充度グラフを作る - mikedaの日記
先日、友人の結婚パーティでLTをすることになり、 『リア充化（奥さんと付き合い始めた）前後で、その友人のTwitterのツイートにどのような変化があったか』 について語って来ました。 メインはこの2つのグラフでした。 Tweet数の推移 リア充度の推移 ※ちょっと茶化し過ぎたかと反省したので名前はふせます(´・ω・｀) 今回はこのグラフ（主に下側）をどうやって作ったかについて、簡単に説明します。 リア充度について 元ネタは@namikawaさんのブログエントリ、 『俺流、リア充・ネト充の見分け方』 です。 詳細は上記ブログを見てもらうとして、ポイントはここで提唱されている、 『リア充ほど休日のtweet率が低くなる』（リア充は休日はリア充活動が忙しくてTwitterなんてやってられん） という理論です。 これもとに、『リア充度=平日ツイートの割合』と定義すると リア充（@namikawaさ
qpstudyの懇親会でLTしてきた！ - mikedaの日記
『qpstudy 2013.07 懇親会 〜ドキッ！エンジニアだらけのビアバッシュ！〜』でLTしてきました。 今回はこういう流れで、急いでLT資料作って懇親会だけ参加しました。 今日は極力、外出てよう。ジム行って、喫茶店で本読んで、夜はだれか飲みに行く？ 2013-07-28 08:16:17 via web @mikeda qp行けば？わたくしは懇親会から参加予定なのです。 2013-07-28 08:29:59 via twicca to @mikeda @netmarkjp 今日、qpstudyだったのか。自分も懇親会から参加するかなぁ 2013-07-28 08:49:55 via web to @netmarkjp LTは『自分もいつのまにかいい歳になって、将来のこととか考えないとなぁと思い立って、みんなの意見を聞いてみよう』ってお話でした。 こういう簡単なアンケートページを作っ
CLIでNagiosのアラートを停止する - mikedaの日記
先日、こんなことをつぶやいたところ、 Nagiosで作業サーバのアラートを管理画面でポチポチ停止するのが超ダルいんだけど、コマンドラインとか設定ファイルでできないのかなぁ 2013-05-16 17:56:03 via web @hirose31さんから親切なアドバイスをいただきました。 @mikeda つ URL 2013-05-16 18:13:29 via atig.rb to @mikeda 使ってみるとなかなか便利だったので紹介しておきます！ Nagiosの外部コマンド機能について 名前付きパイプにコマンドを書き込むことで、Nagiosに命令を送る機能があるようです。 『外部コマンド』 コマンドのリストや書式、設定については上記リンクで確認して下さい。 EPELからインストールしたNagiosだとデフォルトで有効化されていました。 # nagios.cfg check_exter
『qpstudy３周年記念LT大会』でLTしてきた！ - mikedaの日記
『qpstudy３周年記念LT大会 〜新人さん、業界にようこそ！〜 with ビール』に参加＆LTしてきました！ 14時から始まって簡単なメインセッションの後、20人くらいのLTが19時近く？まで！ いやー、さすがに飲み疲れましたｗ 自分のLT資料です qpstudy3周年記念LT大会 from Tomohiro Ikeda 今回のやりたかったのはこのへんでした なにか新人さんが参考になる話をする ライブオペレーション ライブオペレーションについては、開発系の勉強会の『ライブコーディング』と同じ感じで、 みんなでだれかのオペレーションを見て それについていろいろ議論する と楽しいかなーと。 初挑戦だったので、テキパキ行かずに何やってるかうまく伝えられなかったですが、なかなか楽しかったのでまたやりたいと思います！ あとはライブオペレーションでやったことについて、ザッと解説しておきます！ ライ
Fluentd Meetup 2で話してきました - mikedaの日記
というわけでFluentd Meetup #2で話してきました！！！ Fluentd meetup #2 from Tomohiro Ikeda Fluentd & TreasureDataに関する使ってみた系の発表です。 資料みづらいっすねー ※『事前アンケートの結果、7割の人がFluentdを既に使っています』（ホントか！？）と言われてすごく焦りました。 で、GREE初突入、参加者200人、ということでドキドキワクワクだったわけですが・・・ 事前にプロジェクタのチェックをやっていなかった自分はまさかの大失態！！！ 当日はこんなありさまでした・・・ 自分の順番がくる（トリなので入れ替え不可能） PCをプロジェクタに接続するもうまく映らない いじってるうちにPCの画面が真っ黒に 再起動してもなおらない＼(^o^)／ｵﾜﾀ ファイルのバックアップ取ってない・・・ セーフモードで起動してみる
inotify-toolsでファイルの更新を監視 - mikedaの日記
Linuxでファイル更新の監視というと、inotifyという機能を使います。 実際はPHPやPerlのラッパーライブラリを使うことが多くて、コレがけっこうめんどくさかったのですが、 inotify-toolsというCLIツールがあることに最近気が付きました。 『特定ディレクトリ下の更新ファイル名をリアルタイム出力する』、などがとても簡単にできます。 inotifywait -m -e modify --format %w%f -r /tmp動作や発行されるイベントは事前に確認しましょう。↑はファイルのmoveなどは拾えません。 inotifywait -m -r /tmp/js/ 例えば『JavaScriptの更新を監視し、自動でYUI-Compresserで圧縮する』、ならこんな感じでできそうです。 簡単ですね！ daemontools等でデーモン化しちゃいましょう。 RedHat系なら
検証中のtd-agent（fluentd）の設定とか負荷とか - mikedaの日記
せっかくなのでアクセスログ関連のところだけ抜き出してみます。 構成 概要 Fluentdを使ってWEBサーバ（APPサーバ）のアクセスログを集約サーバに集約、いくつかの処理をやってます。 要するにこの3つです。 まとめてファイルに保存する（とりあえずやってみてるだけ） TreasureDataプラットフォームにデータを送信して集計可能にする Zabbixでサービスの稼働状況を可視化する TreasureDataプラットフォームに関しては前の記事で書いたように、簡単な管理画面を作って集計テストをしています。自社フレームワーク用のライブラリも作成するつもりです。 Zabbixを使った可視化はこんな感じです。 プラグインの構成図 td-agentはサーバごとに1プロセス、できる限りシンプルでFluentdっぽい使い方を心がけてます。 負荷 2億/dayくらいのログを突っ込んでみたところ、集約サー
Treasure Dataプラットフォームの管理画面を作る - mikedaの日記
前置きです。 IT界隈の人とHadoopの話をするとこういうギャップを感じます。 Hadoop使ってみたいところ >>> 実際に使っているところ みんな どう使って、どう収益に結びつけるか 設計、サーバ購入、構築、運用などなどの技術的コスト とか考え始めて止まっちゃいます。たぶん考えるよりTreasureData使ってみたほうが早いです。 そんなの使ってみないとよくわからんからです。 Hadoopガッツリ使ってました！なんて人そうそういないのです。 というわけで問答無用で構築して（そのあたりは前記事）、簡単な管理画面を作ってサービスチームに公開しています。 無料のトライアル版でもけっこう使えますし、気合入れればきっと数日で構築出来ます。 以下はその管理画面についてです。 ポイントはとにかく、『テキトウに作ってさっさと使ってみる』です。 （ちゃんとしたものはそのうちだれかが作ってくれるでしょ
いい感じにサーバの構成情報を出力してくれるツール、ohaiを使ってみた - mikedaの日記
サーバの構成情報の収集にはdmidecode、uname、/proc/*などなど、いろいろ駆使してると思うのですが 覚えるの大変・・・出力のパースめんどくさい・・・複数OS使ってる場合は特に・・・ というわけでいい感じにサーバの構成情報を出力してくれるツール、ohaiを紹介 （実はChefっていう構成管理ツールで内部的に使うためのものなのですが単体でも利用可能です） http://wiki.opscode.com/display/chef/Ohai インストール Rubyで書かれたツールなのでgemで [root@test01 ohai]# gem install ohai※うまくインストールできない場合はgemをアップデートしてください。ruby-develも必要 実行例（コマンド） ohaiコマンドを実行するとJSON形式でサーバの情報が出力されます HPサーバ上のCentOS [ro
Treasure Dataの解析プラットフォームを使ってみた - mikedaの日記
ログの解析は日時でscpでかき集めてバッチ集計してるんだけど リアルタイムで集計したい もっと柔軟に集計したい という人は多いんじゃないでしょうか。 リアルタイム収集はFluentdを使えばいけそうですが、集計部分を柔軟にというとどうだろう。 CookpadやAmebaはHiveを使ってるとの情報がある。 『Hive on AWS @ COOKPAD』 『Amebaのログ解析基盤』 （どっちも古い。HiveはHadoop上でSQL（っぽく）ログ解析するためのプロダクトです） 「面白そうだなー。でもHadoopよくわからん、というかサーバいっぱいいりそうだから承認通すのめんどくさい(´・ω・｀)」 とか思ってたらSoftwareDesignの最新号にこんな記事が。 Cookpadの人 「Treasure Dataは...ログ解析用の商用プラットフォームを提供しています。 Fluentd経由で
bashを便利に使うためのいくつかのTIPS - mikedaの日記
人のオペレーションを見てるとそれぞれクセがあっておもしろいですよね！ というわけで自分がよく使うbashの便利機能をまとめてみました。 1つ前の作業ディレクトリに戻る cd -で戻れます。 [mikeda@test01 tmp]$ cd [mikeda@test01 ~]$ cd - [mikeda@test01 tmp]$pushd、popdを使えば2つ前でも3つ前でも戻れるのですが、めんどうなので基本コレだけ使ってます。 コマンドラインを移動する この状態から Ctrl+aを入力するとプロンプトが先頭に移動します。 Ctrl+eを入力すると末尾に移動です。 Ctrl+wを入力すると直前のワードを削除できます。 Ctrl+cで入力をキャンセルして次の行に移ります。 自分がよく使うのはこの4つです。 ヒストリをうまく使う ヒストリ検索 Ctrl+rを入力するとヒストリ検索モードになります
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
