原文 は、2015 年 8 月 5 日に掲載されました。 著者は、家にファイル サーバーを 1 台と、サイト、メール サーバー、およびクラウド ストレージ サーバーとして 3 台の Live サーバーを持っています。 ホーム サーバーのセキュリティについては、外部と接続していないため、それほど心配していません。しかし、他の 3 台については、適宜保守をしています。サーバーを構築したいと考えている Linux 初心者が注意すべき点について、本文献で説明します。 必要なものをインストールする サーバーを構築する時、だいたいの人は、「40GB の SSD だから、欲しいサービスをなんでもインストールできる」と考えがちです。間違いではありません。しかし、そう簡単ではありません。どんなに強固なサーバーでもどこかに弱点があり、パッチが当たっていない部分があるため、乗っ取られる危険があります。 ですから

社で、徐々にConsulへの依存度が上がってきたので、Consulパーソンをより増やすべくワークショップを開催した。 gistを公開します。 やわらか Consul · GitHub サンプルプロジェクトは以下。Vagrantのプロビジョナでポンポンとステップを進められます。 github.com Consul、機能が多いけど、クールなこともできるので、知っていることはどんどんドキュメントにしていこうと思いました。

2015/11/13追記 docker 1.9 正式版での検証した記事を、マルチホストDockerネットワーキング（正式版 native overlay）で公開した。 正式版のoverlay networkは、サブネットアドレスが指定できるようになるなどかなり進化しているため、今後はコチラを参照してほしい。 ずいぶん間が空いてしまったが、マルチホストで動作するDockerネットワーキングツールについてのまとめ第四弾。 （第一弾：pipework＋GRE） （第二弾：etcd+flannel） （第三弾：weaveworks/weave） 今回はDockerのnative overlay networkを取り上げる。 Dockerのnative networkについて Docker libnetworkのWiki pageにあるように、Dockerは1.7.0からネットワーク機能を「libn

Reducing Memory Access Latency by Satoru Moriya (Hitachi LTC) が素晴らしすぎるのでメモ。 まとめ vm.swappiness = 0 により、解放可能なページキャッシュがあるうちはプロセスのメモリ(anon page)をスワップアウトしないようにできる*1。 swappines=0 にしても 解放可能なページキャッシュがあるのにプロセスのメモリがスワップアウトされる問題があったが、この資料を書いた守屋さんのパッチが Kernel 3.5 にマージされている → mm: avoid swapping out with swappiness==0 extra_free_kbytes で kswapd がページ回収を開始する閾値を上げ、direct reclaim が発生しにくくできる Kernel 3.2 以降、direct rec

ソラコム開発チームの小熊（おぐま）です。 この記事は SORACOM リリース記念リレーブログ の 10月9日分です。 そうそうたる顔ぶれの皆様のあとで、しかもソラコムからのトップバッターという二重の重圧の中、記事を書かせていただきます。 フルスケールエンジニア さて、ソラコムのリリース直前、弊社 CEO 玉川を取材していただいた エンジニア Type 様の記事 が公開されました。 この記事の中で「フルスケールエンジニア」という言葉が使われていて、そのキーワードが一部で話題となっていたかと思います。 実はその「フルスケールエンジニア」という言葉を考えたのは、何を隠そう私です。 「フルスケール」は、ある時パッとひらめいた言葉ではありますが、自分の中ではこれから先の理想のエンジニアを表現する言葉としてけっこうしっくりきていて、それはいったいどんな理想像なのかということについて、ちょっとこの場を

Kaizen Platform, Inc の社内勉強会での資料です。基本的には以前発表した資料の切り貼りです

遅い回線のエミュレーションをしたかったので、Squid で帯域制限をやってみた。 以前にも同じようなことを FreeBSD で bridge + dummynet でやったのだが、今回はお手軽に Squid のみで。 dummynet だと IP レベルで制限をかけるので遅延もエミュレーションできる (遅い回線で遅延を大きくするとか) が、Squid はダウンロード帯域のみの制限になるので、厳密さはちょっと落ちるはず。 squid.conf に以下のように記述。64, 128, 256, 512, 1024kbps の制限を port 別にかけて、クライアントから Proxy にその port を指定してやる。 http_port 10064 http_port 10128 http_port 10256 http_port 10512 http_port 11024 acl 64kbps

新規アプリケーションの構成 Rack::VCR リクエストの記録 リクエストのモック リクエストの再生 おまけ: Androidアプリのテスト 弊社での利用例 未来 こんにちは、会員事業部の小室 (id:hogelog) です。気づけば弊社に入社してから２年と2ヶ月が経っていました。 今回はその2年2ヶ月で初めて会社プロダクトを rails new したRailsアプリケーションと、そのアプリケーションで利用したRack::VCR (https://github.com/miyagawa/rack-vcr) について簡単に解説します。 新規アプリケーションの構成 今回私が新規に作成したRailsアプリケーションは仮にここではomoikane（仮）と呼ぶことにします。omoikaneはリクエストがあると社内の汎用APIサーバにアクセスし、APIサーバから取得した情報を元にレスポンスを返すアプ

Redis本家プロジェクトで開発されている、Redisサーバの死活監視/通知および自動フェイルオーバー機能を提供する管理サーバ(redis-sentinel)です。v2.4.16または2.6.0-rc6以降のバージョンから利用可能になりました。公式ドキュメントを参考にしつつ動作確認をします。 環境: CentOS 5.9 (x86_64), Redis 2.6.10 構成 ここでは2つのホストでSlaveを2プロセス、Sentinelを3プロセスの構成で試します。 Master db0:6379 Slave db0:6380, db1:6379 Sentinel db0:26379, db0:23680, db1:26379 設定 # port <sentinel-port> port 26379 # sentinel monitor <master-name> <ip> <redis-p

こんにちは、Service Reliabilityチームのいわなちゃん(@xcir)です。チーム名が読みづらいのでSRやSレアと呼ばれたりもしています。レアリティが上がるように頑張って行きたいと考えています。 前回は「Varnishでテストコードを書こう！」という記事を書いたので、今回はGREE Advent calendar 2013の17日目も兼ねてVarnish Cache(以下Varnish)のログを読んだり加工してみたりしようと思います。 また、使用したVersionは3.0.3です。 Varnishのログのしくみ Proxyでアクセスログを取得したいというのはよくあると思います。通常のミドルウェアでは設定ファイルで出力ファイル名を決めたりします。しかし、Varnish本体(varnishd)の設定ではそのような項目はありません。 では、Varnishはログを出していないのか？と

自分のiPhone6s or 6s+のA9チップがサムスン製かTSMC製かを調べる（バッテリーの持ちが違うらしい）のがタイムラインで流行っていて、その方法として下記記事がシェアされてました。 iPhone6s・6s+の「A9」が「サムスン版」か「TSMC版」か安全に調べる方法 シリアル番号とかから判断するのかなと思いつつ記事を読んでみると、AppStoreに出ているアプリを使って判定するとのこと。なるほど、ストアに出てるということは合法的に（Private API を使うことなく）プログラムからチップ情報を取得可能 ということなので、どうやってるんだろうと思いつつ、同日に見つけた GitHub の Trending で見かけた「CPU-Identifier」というOSSを思い出しました。 中身を見てみると、次のような実装になってました。 「CPU-Identifier」の実装内容 dlfc

最近のウェブ開発では各機能ごとをAPIでつなぎ込む時代になっています。 そのため、各チームが開発をしていく上で、 他のチームにAPIの仕様を伝える方法をきちんとまとめておく必要が出てきています。 そんな中でAPIドキュメントにどのような役割が求められていて どのような選択肢があるか、一旦自分の把握している知識をまとめています。 (ここで書いているAPIは、httpでアクセスしたら、JSON形式でレスポンスを返すウェブサービスのAPIを指しています) APIドキュメントを用意する上で、すぐにぶつかる壁 APIドキュメントを用意する場合に、何も考えずにExcelやwikiにまとめると、早い段階で メンテナンスのコスト の問題にぶつかります。 『APIドキュメントを書く時間がない』 『本当にドキュメント通りの結果が返ってくるか、試してみないとわからない』 『実際に返ってくるAPIとレスポンスが違

自社の採用活動に適切な結果を出し、価値を上げようと思えば、他社の採用活動との差別化が必須です。同時に、結果としてのミスマッチを未然に防ぐことが必要条件です。 その両者をかなえるためには、「コミュニケーションの親密化」を中心に、今までとは異なるコミュニケーションのありかたを考える時期に来ていると思います。 コミュニケーションの親密化によって、情報の量を増やし、情報の種類を変え、納得度を高める。そのことで他社との差別化を果たしたり、ミスマッチを未然に防止したりすることが目的です。経験上、採用活動にソーシャルツールを用いることの最大のメリットも、そこにあります。 その理由において「ソーシャルリクルーティング」はこれまで以上に行われる価値があるのだ、と思っています。 だから考えるべきは、（ソーシャルならソーシャルによって）「コミュニケーションの親密化」を、どう実現できるのか？その親密性をはぐくむも

マイクロソフトのプレゼンテーションツールである「パワーポイント」は、様々な場で活用されています。 話によると、最も初期のものがリリースされて以来、10億台以上のコンピューターにインストールされ、現在は1秒間に約350回ものパワーポイントによるプレゼンテーションが行われているそうです。 私のようなコンサルタントの場合、パワーポイントは必須アイテムとして使いこなすことが要求されます。また、クライアントによって違いがありますが、今までお付き合いした会社の中には、「パワーポイント大好き」といっても良い会社はいくつもあり、特にルール化されている訳ではないにもかかわらず、作成する資料は何でもかんでもパワーポイントを使っています。 しかし最近、特にアメリカの企業リーダーに、パワーポイントでのプレゼンテーションを好まない人が増えてきているのだそうです。 アマゾンやフェイスブック、リンクトインといったアメリ

井原（@ihara2525）です。 以前RSpecでElasticsearchを使ったテストを書くというエントリの中で、 before do Post.__elasticsearch__.create_index! force: true Post.__elasticsearch__.refresh_index! page Post.import # Wait test cluster to index the created objects sleep 1 end みたいなコードを書いていたのですが、いろいろと間違っていました。 まずimportがインデックスをつくってくれるので、 before Post.import # Wait test cluster to index the created objects sleep 1 do でOK。 そしてsleep 1しているのはここにも

本番環境で RDS を運用して数ヶ月。いろいろ試して RDS のパフォーマンスを上げるコツがわかってきたのでまとめたいと思います。 ここで取り上げるコツは以下を前提にしています。 データベースは PostgreSQL (Multi-AZ 配置) Read よりも Write が多い 夜間のバッチ処理がピーク 1 レコードは小さいが、一度に書き込むレコード数は多い アプリケーションの特性によっては当てはまらないこともあるでしょうし、他の RDBMS では結果が違ってくると思います。そこを踏まえたうえで参考にしてください。 Availability Zone はどちらかに寄せる RDS の Multi-AZ は耐障害性を上げるために欠かせない機能で、本番環境では Multi-AZ 配置が推奨されています。 Multi-AZ 配置にすると物理的に独立した AZ (Availability Zon

# -*- coding: utf-8 -*- import paho.mqtt.client as mqtt _host = "192.168.0.2" _qos = 0 topic = "mqtt/topic/test" def on_connect(client, userdata, flag, rc): client.subscribe(topic, qos = _qos) def on_message(client, userdata, message): print message.topic + " " + str(message.payload) def main(): mqtt_client = mqtt.Client(protocol = mqtt.MQTTv31) mqtt_client.on_connect = on_connect mqtt_client.on_m

変化の激しいエンジニアの世界で、どうすれば成長し続けられるのか。そのヒントを、飲食店向け予約台帳アプリを手がける「トレタ」の増井雄一郎さんが、3回にわたって解説します。勉強方法を紹介した前回に続き、第2回は勉強するための「時間と場所」について。 前回、エンジニアとして長く続けるには、継続的な勉強が大切だという話しをしました。勉強が大事というのは皆さんずっといわれていることなので反対はないと思うのですが、実際に勉強を継続するのは難しいモノです。 仕事をしながらの場合には、特に「どうやって勉強時間を確保するか」という問題があります。独身の方はまだ自分の努力で確保できそうですが、家族、特に子供がいる場合には時間と場所、両方の確保が難しいと思います。 「時間がない」は言い訳か 最近、ツイッターを見ていたところ、ドキリとするような言葉が出ていました。 「時間がない」 と言って行動しない人は、時間があ

Introduction Moore's law is applied only to the computing industry. Unfortunately, the storage industry is very much left behind even though they are very much a part of the computing infrastructure. Many data centers are already running into scaling issues. Investing in more CPUs alone isn't sufficient, because most of the time nodes wait for data to be read or written to a slow and busy storage

YAPC::Asia Tokyo 2015 (c) Tatsuhiko Kubo CC-BY-NC http://yapcasia.org/2015/talk/show/a4318242-f5f2-11e4-afb7-49b37d574c3a

ext4_file_open()の226行目のif文内を実行するのはどんな時なんだろう？と思って調べてみたらinit処理に関係している部分だったのでinitramfsのinitを読んでみた。 218 static int ext4_file_open(struct inode * inode, struct file * filp) 219 { 220 struct super_block *sb = inode->i_sb; 221 struct ext4_sb_info *sbi = EXT4_SB(inode->i_sb); 222 struct vfsmount *mnt = filp->f_path.mnt; 223 struct path path; 224 char buf[64], *cp; 225 226 if (unlikely(!(sbi->s_mount_flags

Improving web application performance is more critical than ever. The share of economic activity that’s online is growing; more than 5% of the developed world’s economy is now on the Internet (see Resources for Internet Statistics below). And our always‑on, hyper‑connected modern world means that user expectations are higher than ever. If your site does not respond instantly, or if your app does n

この記事には更新版があります AppStoreのアプリ審査リジェクト理由ランキング、2015年9月版が出ています。 Top 10 reasons for app rejections during the 7‑day period ending September 30, 2015. https://developer.apple.com/app-store/review/rejections/ 今回は新OSリリース直後の集計なので楽しみですね。 例によって前回2015年6月版と比較して見てみましょう。 前回の記事はこちらです。 「AppStoreリジェクトランキング 2015年6月版」 順位の行のカッコ内は前回6月版からの順位の変化です。 10位 不適切なレーティング （↓-6） 3% Guideline 3.8: Developers are responsible for assig

2015/8/28に開催された「Spring in Summer ~ 夏なのにSpring 」での講演「R1-2 マイクロサービスアーキテクチャの設計」の講演資料です。Read less

Vertex AI Matching Engine と CLIP を使って EC サービスの類似画像検索機能を作る / Development of similar image search function for EC services using Vertex AI Matching Engine and CLIP

ある日突然PRをもらった 自分がOwnerになってるCyberAgent/beezlibで昨日突然こんなPull Requestが来ました。 Fix typographical error(s) by orthographic-pedant · Pull Request #17 · CyberAgent/beezlib PRの中身は単純な README のtypoを直してくれたものでした。コメント通り即mergeしたわけですが…。 orthographic-pedantって何者? なんだか、コメントとかもやたら丁寧だし、これ何やってる人なんだろうかな?と興味本位でプロフィール見てみました。 …?! ナニコレ…。 アカウント作ったのはつい先日なのに、Contributionが1882? ヒゲの長さも尋常じゃない。 解決編 これはどう見ても、オカシイと思いちょっとググったところ。さくっと疑問は

私の上司って怖いんですよね。 女性なんですけど怖いっていうか、人間味がないっていうかマシーン？ いつも論理的に人を激ツメして、その知性を最大限に使って痛いところをついてくる。 しかも彼女は秘密主義でして、プライベートで何をしてるか一切話さないんですよ。そのため、結婚してるかも不明で、そもそも何人かもわからない。 なにこれ怖い。 まあいいんですよ。会社なんて仕事をする場所ですから。 プライベートを明かさないのもきっとその人の仕事のスタイルなんですよ。 でもね、やっぱ私なんか甘ちゃんなんで、ちょっと人間味ほしいなあって思ってしまうんですよ。 それでですね、出落ち感満載なんですけど、最近 上司をオタサーの姫だと思うことしたんですよ。 オタサーの姫っていうのは、はてなキーワードによりますと、 男性の割合が多い文化系サークル（オタクが集まるようなサークル）に存在する数少ない女性メンバー。サークル内で