(2013-12-28 タイトルをエンジニア→プログラマに変えました) cybozu.com の中の人、山本泰宇です。2013年も今日で仕事納めです。 さて、先ほどプレスリリースが出たのですが、来年から私は運用本部長として、自社クラウドサービスおよび社内情報システムの運用を統括する仕事をすることにしました。この２年ほどはプログラマとしての仕事を多くしていたのですが、今後は自らプログラミングする機会は大幅に減ることになると思います。 ご存知の方もいるかもしれませんが、実は私が本部長になるのは２度目です。2005年に開発部長になり、そのまま規模を拡大して2006年に開発本部長となり、2007年に退きました。本部は違いますが、７年ぶりの再登板ということになります。略歴としては以下のようになります。 2001年12月 サイボウズに入社 プログラマとしてガルーンを開発 2005年 開発部長
2013年も本当にあとわずかになりました。 本日は今年話題になったPHPについての記事を公式のリリースやはてなブックマークから抽出してきた内容を元に今年を振り返ってみましょう。PHPにとって今年はどのような一年だったのでしょうか。 参考： 2012年のPHP周辺の話題振り返り | Engine Yard Blog JP PHPのバージョン 2013年中にリリースされたPHPのバージョンは5.3、5.4、5.5の3系統で合計29のリリースが行われました。リリースサイクルはほぼ毎月という形でした。またPHPの公式サイトがレスポンシブ対応の新しいデザインに切り替わりました。詳細は下記の通りです。 Version 5.4.11 2013/1/17 Version 5.3.21 2013/1/17 Version 5.4.12 2013/2/21 Version 5.3.22 2013/2/21
ソフトウェアエンジニアとして働き始めて 20 年以上になります。 元々ソフトウェアでいろいろ作りたくて就いた職業なので、結構な数のプロダクトを開発してきました。 私がメインで開発したもので OSS として出ているものでは、 yrmcds: memcached クローンで、レプリケーション機能などを持つ usocksd: SOCKS4/5 サーバー & ライブラリ transocks: アプリのネットワーク通信を透過的に SOCKS サーバーにプロキシする透過プロキシ coil v2: Kubernetes の CNI ネットワークドライバ moco: MySQL を自動運用する Kubernetes オペレーター accurate: Kubernetes 上で namespace ベースのソフトマルチテナンシーを実現するためのソフトウェア などがあります。これらのソフトウェアの多くは、現役
子供のころからできるだけ手抜きして成果を挙げることだけは長けている山本です。 今回は、C/C++ で作ったプログラムが運用中にクラッシュするときのデバッグ方法のお話しです。 開発中のデバッグは gdb などでソース追いながらデバッグできますが、運用中ですと strip していたり最適化していたりしてデバッグが難しくなります。 そもそも、いきなりクラッシュすると情報が残らずに困ってしまいます。そんなときどうするか。 Step1. スタックトレースを出力する こんな関数を用意しましょう。Linux 以外の人はそれなりに実装してください。 #include <execinfo.h> #include <unistd.h> void dump_stack() { void* bt[100]; int n = backtrace(bt, 100); backtrace_symbols_fd(bt,
@ymmt2005 こと山本泰宇です。 今回は memcached 互換で冗長構成を簡単に組める自社製 KVS である yrmcds のリリースをご案内します。 ... この Redis 全盛なご時世になんで？とか、repcached や Kyoto Tycoon があるじゃない、といったツッコミの嵐が聞えてきそうです。わかってます、わかってますから物を投げないで！ 順を追って説明しますので、批判はそれからにしてください！ 何が欲しいのか 私は日頃 cybozu.com のインフラで動作するソフトウェアを開発しています。リリース後もうすぐ２年になりますが、お蔭様で 4,000 社以上にご利用いただくまでになりました。商売繁盛で嬉しいのですが、運用側は日々増えるデータとアクセスを捌くべく奮闘しています。 ここのところ問題になっていたのが、MySQL に保存しているセッション情報でした。アプリ
yrmcds 1.0.0 をリリースしました - Cybozu Inside Out | サイボウズエンジニアのブログ
@ymmt2005 こと山本泰宇です。去る 7 月に yrmcds という memcached 互換な KVS を公開したことをご案内しました。それから 5 ヶ月経ちましたが、今回は安定版となるバージョン 1.0.0 をリリースをご案内します。 ダウンロードはこちらからどうぞ: https://github.com/cybozu/yrmcds/releases/tag/v1.0.0 0.9.0 からの変更点を短くまとめるとバグがなくなって、memcached より多分高速になっています。ちょっと長めの記事ですが、末尾にいいことが書いてありますので、是非ご一読ください。 yrmcds の特長 レプリケーション サーバーサイドロック No slabs その他 memcached との差異 運用実績と性能 クライアント 0.9.0 からの変更一覧 バグ報告を募集します！ yrmcds の特長 y
nginx の拡張モジュールを書いて DoS 対策をした - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは。インフラチームの野島です。 最近、cybozu.com はロードバランサを Apache から nginx に置き換えました。 (参考: cybozu.com のリバースプロキシを nginx にリプレイス) 置き換えの一環として、Apache に実装していた DoS 対策の仕組みを nginx の拡張モジュールにする形で移植しました。今回、この拡張モジュール nginx-maxconn-module を OSS として公開しましたので紹介します。 背景 DoS 対策 秒間リクエスト数 v.s. 瞬間同時リクエスト数 実装方針 nginx-maxconn-module 基本的な使い方 高度な使い方 インストール おわりに 背景 本題に入る前に、cybozu.com において、HTTP リクエストがどのように処理されているかを説明します。 cybozu.com では、負荷分散のた
人類は大袈裟ですが、私には厳しかったという話。 IPv6 対応のプログラムとは？ いたるところに書かれているので省略。以下の記事などを参考にどうぞ。 IPv6ソケットプログラミング Programming using C-API 手短にまとめると gethostbyname(3) ではなく getaddrinfo(3) を使って名前解決する accept(2) や getpeername(2) で返るアドレス情報は struct sockaddr_storage に格納する listen するソケットは AF_INET6 指定で作ると IPv4/v6 両対応になる シンプルですよね。ここまでは。 落とし穴１：リンクローカルアドレス IPv6 のアドレス体系は IPv4 とかなり異なります。最たるものがリンクローカルアドレスです。 リンクローカルアドレスはルーティングされないので、リンク（≒
サイボウズエンジニアの職場環境 @ 2016 - Cybozu Inside Out | サイボウズエンジニアのブログ
山本泰宇(@ymmt2005)です。今回はサイボウズエンジニアの働く環境を詳細にご紹介します。 働く場所 働く時間 机・椅子・PC 社内情報システム 開発用ソフトウェア 開発用共有サーバー 勉強や研修の機会 制度と風土 オープンソース活動 働く場所 サイボウズの開発拠点は現在国内外に 5 箇所あります。 東京(東京日本橋タワー) 大阪(梅田阪急ビルオフィスタワー) 松山(あいおいニッセイ同和損保 松山三番町ビル) 上海 ベトナム オフィスで働くのが基本ですが、サイボウズには自分の好きな時間・場所で働けるウルトラワークという制度があるので、自宅や実家で働くことも可能です。どの程度可能かというと、 Amazon から宅配便が届くから、 雨・雪が降っているから、 電車が混んでいて乗りづらいから、 急に子供が熱を出したから、 といった様々な理由で、連絡一ついれれば在宅勤務できます。後述する社内情報
本部長や副本部長もプログラミングを（たまに）することで有名なサイボウズの運用本部長、山本泰宇です。 有名じゃないかもしれませんが、ブログに書いたので有名になるということでご了承ください。 今回は、先日発生した yrmcds に起因する障害の原因と対策を解説します。 yrmcds というのは、サイボウズが開発している memcached 互換のキーバリューストレージです。 問題の理解のため、まず TCP 通信で、通信先の相手の障害にどう対応するか解説します。 データの送信中に相手が落ちるケース このケースはさらに二つに分かれます。 相手の OS は生きているが、通信しているプログラムが落ちるケース 相手の OS ごと（あるいはネットワークごと）落ちるケース 1 と 2 の違いは、前者の場合 RST パケットが返ってくるのに対して、後者ではなにも返ってこない点です。後者の場合、ack されない
@ymmt2005 こと山本泰宇です。 公式発表とは別に、こちらでは yrmcds のもう一つの使い方を紹介します。それと、私の気持ちなどを。 yrmcds は実際のところ、作ることをかなりためらいました。工数という観点でみれば Apache が Redis を扱えるようにするとか、レプリケーションの仕組みを頑張るといったほうが小さい気がしたからです。C++11 の実践課題という動機は個人に寄っているので、会社に十分なメリットがないことには・・・と。 そこで会社へのメリットとして、以下の価値を加えることにしました。 後進の開発者が設計やプログラミング技法を学ぶ教材として使える 英語圏では無名のサイボウズの知名度の足しになるようにオープンソース化して宣伝を頑張る 教材として yrmcds が提供しているものは以下です。 簡潔なコード 以下の cloc レポートが示すように、ほとんどのファイル
yrmcds by cybozu
yrmcds memcached compatible KVS with master/slave replication View on GitHub Download .zip Download .tar.gz yrmcds is a memory object caching system with master/slave replication. Currently, yrmcds supports two protocols: the first is an enhanced memcached, and another is a protocol to implement distributed resource counters. Since the memcached protocol is perfectly compatible with the original i
yrmcdsという memcached のクローンを開発・メンテナンスしています。yrmcds は memcached を機能拡張しているので、クライアントライブラリも独自に開発する必要があり、libyrmcds という C/C++ 用クライアントライブラリとそれを基にした php-yrmcds という PHP の拡張モジュールも開発・メンテナンスしています。 この時点でもう関心ない人が大半だと思いますが、ここから書くのは世界中でたぶん私くらいしか苦労してないし、することもない話です。苦労したので書き残しておくか、くらいな駄文です。 You've been warned! memcached には当初から実装されているテキストプロトコルと、後から追加されたバイナリプロトコルがあります。後から追加されたバイナリプロトコルは後発なだけあって、テキストプロトコルにはない、以下の特徴があります。
株式会社カヤックでは今年の 1 ~ 3 月にかけて、 運用しているソーシャルゲーム 3 タイトルをオンプレミス環境から AWS に移行しました。 Perl で実装されているそれぞれのタイトルを事例に、 AWS 移行の知見を共有し、アーキテクチャについてお話ししたいと思います。 事例はソーシャルゲームですが、他の分野にも応用ができるお話しになる予定です。 全てのゲームで consul を活用していますので、consul の導入事例もお話しできると思います。 本発表では、以下のトピックについてお話しします。 AWS 移行によるメリット・デメリット 機能面、金額面 オンプレミス環境の MySQLから RDS へ移行する際の注意点 MySQL のデータ移行時間を200分から95分に短縮した話し consul の DNS と Health Check 機能の活用方法 consul と stretch
サイボウズではミドルウェアエンジニアも活躍しています - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、アプリケーション基盤チームの青木(@a_o_k_i_n_g)です。 先日、エンタープライズジン様の記事で、弊社の名前が挙がっていました。 井上 まあ、ミドルウェアに詳しい人間もいないと。ミドルウェアだけじゃないですけど、やっぱりアプリケーションベンダーも、我々もそうですし、サイボウズさんとかだって、ある程度ミドルウェアに詳しい人は一定数必要じゃないですか。そういう意味でいうとポジションはあるかなって。 神林 それはあるかなあ。研究所ですよね。サイボウズだったらサイボウズラボですよね、結局。 http://enterprisezine.jp/dbonline/detail/8770?p=6 この意見について、サイボウズではミドルウェアエンジニアも活躍しているという紹介をさせていただきます！ まず初めに、サイボウズとサイボウズ・ラボの関係について紹介します。サイボウズは cyboz
GitHub - cybozu/yrmcds: memcached compatible KVS with master/slave replication.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
エンジニアなら詳細が気になるもの。というわけで、個人ブログのほうで yrmcds 1.0.0 リリース記事の技術的な補足をしておきます。 keepalived 使うの、split brain になるんじゃないの？ さてはプロの方ですね。困りますな、そういう突っ込みは！ 気になる人は split brain 起こさない heartbeat をご利用ください。 用途次第でまあどうでもいっかなーという人は keepalived の方が手軽かと思います。 サーバーサイドロックとレプリケーション ロック状態はレプリケーションされません。非同期レプリケーションなのでしても無駄というか。 するとロックした後、フェイルオーバーするとオブジェクトがロックされない状態になるわけです。危険です。 対策として導入したのが、バイナリプロトコルの RaU (Replace and Unlock) です。 このコマンド
スタッフの皆様お疲れ様でした。本当にありがとうございました。 最近妙に忙しいというか色々あって、直前まで頭がYAPCモードに切り替わらなくて「こんなことで最後のYAPCを楽しめるのか」とか変な心配もしてたんだけど、行ってみたら最高でした。ベストトーク賞を獲得したhitode909くん風に言うと「最高」。 登壇した 発表資料:Mackerel開発におけるScalaとGo、そしてPerl 朝の電車の中で発表資料を見返していたら、つながりがおかしいとことか書き足したいところとか見つかって会場ついてから発表開始ギリギリまで資料を修正してたら逆に緊張せずに話せてよかった。 2日目朝イチで強豪揃いの枠とはいえ、僕は一番小さい部屋だったので気楽にやろうとか思ってたら、満員御礼で立ち見が出るほど来ていただいて本当にありがたかった。トークの反応も概ね好評だったようで何よりです。 伝説に残るであろうYAPC:
yrmcds 1.1.1 + libyrmcds 1.2.0 をリリースしました - Cybozu Inside Out | サイボウズエンジニアのブログ
最近はもっぱらオフィスの引っ越し作業で忙しくている山本泰宇です。 ブログを書くのも久しぶりなら、yrmcds についてお知らせするのも１年ぶりになってしまいました。 ご存じない or 忘れた方も多いと思いますので改めて紹介すると、yrmcds はサイボウズで開発している memcached 互換の KVS です。互換性が高いのが特徴で、テキストプロトコルはもちろん、バイナリプロトコルもしっかり実装しています。他にレプリケーションやサーバーサイドロックといった memcached にない機能も備えています。 １年ぶりのリリースとなる yrmcds 1.1.1 では、以下の機能が追加されています。 リソースカウンタ cybozu.com の DoS 対策のために追加したプロトコルです。memcache プロトコルではありません。 分散セマフォのように使えますが、セマフォと違い、キャパシティを動
yrmcds 1.0.0 をリリースしました - Cybozu Inside Out | サイボウズエンジニアのブログ
@ymmt2005 こと山本泰宇です。去る 7 月に yrmcds という memcached 互換な KVS を公開したことをご案内しました。それから 5 ヶ月経ちましたが、今回は安定版となるバージョン 1.0.0 をリリースをご案内します。 ダウンロードはこちらからどうぞ: https://github.com/cybozu/yrmcds/releases/tag/v1.0.0 0.9.0 からの変更点を短くまとめるとバグがなくなって、memcached より多分高速になっています。ちょっと長めの記事ですが、末尾にいいことが書いてありますので、是非ご一読ください。 yrmcds の特長 レプリケーション サーバーサイドロック No slabs その他 memcached との差異 運用実績と性能 クライアント 0.9.0 からの変更一覧 バグ報告を募集します！ yrmcds の特長 y
How to create a Debian package of support to sysvinit, upstart, systemd — mkouhei's blog
How to create a Debian package of support to sysvinit, upstart, systemd 最近、サイボウズラボさんが開発した、yrmcdsというmemcached互換のKVSをDebianパッケージにして、main入りしました。 1 いつもパッケージスポンサーをお願いしている 岩松さん 、upstreamの 山本さん のご協力のおかげです。 特に問題なければ、Ubuntuの次のLTSにも取り込まれるのではないかと思います。 お二人には、この場を借りてお礼申し上げます。 Python以外で、また、デーモンのパッケージ化は今回初めて行いました。 2 sysvinitだけでなく、upstart, systemd対応も行ったので、デーモンのDebianパッケージを作成する場合のsysvinit, upstart, systemd対応の方法につい
YAPC::Asia Day 2 レポート 〜 Mackerelの開発言語、ペパボのデプロイ高速化など - 無印吉澤
引き続きDay 2も参加してきました。昨日のDay 1のレポートはこちらをどうぞ。 関連記事：YAPC::Asia Day 1 レポート 〜 Miiverseのデプロイ手法、HTTP/2、Electronなど - 無印吉澤@HatenaBlog Day 2に聴講したセッションはこちら（↓）。ベストトーク賞（1日あたり2件、計4件投票できる）は、★付きの講演に投票しました。 2日目（2015-08-22）のトークスケジュール [★]Mackerel開発におけるScalaとGo、そしてPerl (Masayuki Matsuki, @songmu) 我々はどのように冗長化を失敗したのか (Kenji Naito, @kenjiskywalker) MySQLで2億件のシリアルデータと格闘したチューニングの話(斉藤 健二, @saiken3110) [★]3分でサービスのOSを入れ替える技術 (
誰かの役に立てばいいブログ
AlloyDB, 正式には AlloyDB for PostgreSQL は名前が示す通り PostgreSQL 互換の Google Cloud 上で利用できるマネージドデータベースです。 AWS だと Aurora が類似のサービスで、ストレージとコンピュートのノードが分離したアーキテクチャになっていてスケーラビリティや可用性に優れます。 諸事情で最近 AlloyDB を使っているんですが、通常の PostgreSQL とはちょっと違う点があります。 たぶん最たるものがユーザーと role 周りでしょう。 PostgreSQL の通常のユーザー認証はユーザー名とパスワードで行われます。 AlloyDB のクラスタを作成するときも、postgres という初期ユーザーが平文で指定したパスワードで作られます。 他のマネージドサービスの認証は通常このようなユーザー名パスワード方式ではなく、I
カテゴリー ansible (2)Bike (3)book (23)cat (63)Celery (1)Cloud (1)computer (195)CouchDB (35)Debian (425)Dev (26)emacs (1)error (74)gadget (117)Git (14)git-buildpackage (1)Golang (2)Kids (1)LDAP (3)life (798)lint (1)MacBook (137)meeting (107)network (84)nonsense (208)Ops (90)Packaging (3)PowerDNS (1)programming (7)Python (19)Ruby (2)security (54)TeX (13)Unix/Linux (238)virt. (109)Windows (1)work (261) タ
@ymmt2005 さんの開発した yrmcds の開発シナリオ(何が欲しいのか)を読んで、これは適用出来るシーンがあるんではなかろうかと思い、早速手元で動かして確認してみようとしたので記録。 gcc-4.8.1のインストール 最新のgccが必要なのでまずはそちらからインストールする必要があります。 kawa0810さんのエントリを参考にして、gcc-4.8.1をインストールしましょう。 prefix を /opt あたりに指定して閉じ込めておけば扱いも面倒がないので良いかと思います。 yrmcdsのビルド ドキュメントの通りやれば良いです。 IPv6 が無効だとビルドは通るけど実行時にコケるので、ipv6.conf を変更して適用しておいたほうがいいです。 $ cat /etc/modprobe.d/ipv6.conf alias net-pf-10 off options ipv6 d
カテゴリー ansible (2)Bike (3)book (23)cat (63)Celery (1)Cloud (1)computer (195)CouchDB (35)Debian (425)Dev (26)emacs (1)error (74)gadget (117)Git (14)git-buildpackage (1)Golang (2)Kids (1)LDAP (3)life (798)lint (1)MacBook (137)meeting (107)network (84)nonsense (208)Ops (90)Packaging (3)PowerDNS (1)programming (7)Python (19)Ruby (2)security (54)TeX (13)Unix/Linux (238)virt. (109)Windows (1)work (261) タ
[レポート]YAPC::Asia TOKYO 2015 Day 2(インフラ系) #yapcasia | DevelopersIO
YAPC::Asia Tokyo 2015 Day 2に参加してきました。私が聴講したトークの中から、インフラよりのものを中心にごご紹介します。 ISUCONの勝ち方 by Masahiro Nagano abstract http://yapcasia.org/2015/talk/show/86ebd212-fab3-11e4-8f5a-8ab37d574c3a 3行でまとめると ISUCON は実サービスを意識したパフォーマンス厨向けコンテスト 各システムの動作原理を具体的に理解すること コンテストなので競技ルールに則ること ISUCON について ISUCON はWebアプリの高速化コンテストです。 アプリのコードをいじる事ができないチューニングコンテストへのアンチテーゼでもあり、 レギュレーション範囲内であれば、どんなチューニングもOKです。 ベンチマークのためのベンチマークではな
![[レポート]YAPC::Asia TOKYO 2015 Day 2(インフラ系) #yapcasia | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/999790ab713306af5078d60ae16d9893b65a5c44/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2015%2F08%2F1ca692075d3d86de27e58c153739f628.png)
Cybozu Tech Conference 2016に行ってきたときのメモです。 タイムテーブル 14:10〜14:35 「サイボウズの現在と未来」 14:40〜15:05 「kintoneの開発プロセスとプロジェクト管理ツール」 15:15〜15:40 「cybozu.comの認証」 15:45〜16:10 「バグの調べ方」 16:20〜16:45 「とある脆弱性の永い議論」 16:50〜17:15 「SREチーム発足！」 17:25〜17:50 「開発者を支える生産性向上チームの取り組み - CI, Browser Test, Tools and Infrastructure」 17:55〜18:20 「サイボウズのリモートワーク・リモートチーム」 「サイボウズの現在と未来」 資料 サイボウズの生い立ちから現在までのお話。 過去 愛媛で発足。まだWebが一般化する前の1997年からグ
Gotanda.pm #8 で memcached-cli について喋ってきた #gotandapm #memcached - weblog of key_amb
既に2回このブログで紹介している memcached-cli について、昨日開催された第8回 Gotanda.pm で LT してきました。 資料はこちらです。今回は Speaker Deck に上げてみました。 Speaker Deck だとスライド中のリンクが無効になる(？)ようなので、いくつか貼っておきます: https://github.com/key-amb/perl5-App-Memcached-CLI https://github.com/memcached/memcached scripts/memcached-tool doc/protocol.txt https://metacpan.org/pod/Term::ReadLine 残念ながら時間が足りず、デモが幻に終わってしまいました。 デモでは、Memcached の slab reassign, lru_crawle
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
一流になれないプログラマの生存戦略 - 誰かの役に立てばいいブログ
2013年PHPの話題を一挙に振り返るまとめ | Engine Yard Blog JP
メンテのいらないソフトウェア - 誰かの役に立てばいいブログ
アセンブリ読んだら負けかなと思ってる - 誰かの役に立てばいいブログ
yrmcds 0.9.0 リリース - Cybozu Inside Out | サイボウズエンジニアのブログ
IPv6 は人類には早過ぎたんだ - 誰かの役に立てばいいブログ
TCPとタイムアウトと私 - Cybozu Inside Out | サイボウズエンジニアのブログ
教材としての yrmcds - 誰かの役に立てばいいブログ
memcached の二つのプロトコルと API デザインの難題について - 誰かの役に立てばいいブログ
ソーシャルゲームにおける AWS 移行事例 - YAPC::Asia Tokyo 2015
yrmcds 1.0.0 の補足 - 誰かの役に立てばいいブログ
YAPC::Asia 2015に行ってきた | おそらくはそれさえも平凡な日々
mkpasswdコマンドを使ってshadowパスワードを生成する。 — mkouhei's blog
うわさの yrmcds を CentOS6.4 で動かしたメモ - まいんだーのはてなブログ
圧縮されたテキストファイルを編集する。 — mkouhei's blog
Cybozu Tech Conference 2016へ行ってきた - Qiita