スケールするメッセージングシステムを構築せよ ―チャットワークとNTTデータが挑んだKafkaベースの"土管"づくり クラウドコンピューティングが普及し、多くの企業が日常的に膨大で多様なデータを扱うようになるにともない、ITの世界では"スケール"という言葉がごく一般的に使われるようになりました。ニーズに応じて利用するコンピューティングリソースを柔軟に増減し、処理を分散してシステム全体の稼働力を上げる"スケール"というしくみは、いまや"あって当然"の概念となり、加えてここ数年はスケールにおいてもよりリアルタイムに近いパフォーマンスが求められるようになっています。 これはサーバやストレージといったハードウェアリソースだけではなく、データベースやミドルウェアにおいても同様で、スケールしやすい技術としてHadoopやPostgreSQLといったオープンソースプロダクトが選ばれるケースが飛躍的に増え

Docker vs. CoreOS コンテナ戦争とは何だったのか？ ―Linux Foundationが「Open Source Forum 2016」でOSSプロジェクト最新状況を紹介 Linux Foundationは11月15日、日本におけるオープンソース活用を推進する活動の一環として「Open Source Forum 2016」を横浜にて開催しました。 Linuxの普及をサポートするNPOであるLinux Foundationは、これまで毎秋に国内外のユーザ企業向け技術カンファレンスとして「Enterprise User's Meeting」を開催してきました。Linux Foundation 日本担当VPの福安 徳晃氏は、毎年改善を繰り返してきた「Enterprise User's Meeting」を今年から「Open Source Forum」として始動することになったといい

プロダクトの難しさ プロダクトを作るのは本当に難しい。ユーザーが抱える問題を解決しようとしているのだから当然だ。ひょっとしたらあなたは人類史で初めてその問題に取り組んでいるかもしれない。プログラミングも難しいが、「⁠難しさ」の種類が違うように思う。プログラミングの難しさはソースコードを介して他者と共有可能であり、ソースコードは機械語を解するコンピュータとエンジニア向けに書かれたものなのであいまいさが少ない。一方でプロダクトが解こうとする問題はあいまいで多岐にわたる。「⁠タクシーを見つけるのが難しい」から「一緒にお昼ごはんを食べる仲間がいない」まで、1つとして同じものはない。同じ問題を解いている人に出会えることは少ないだろう。 プログラミングにはデザインパターンというものがある。「⁠この形はどこかで見たことあるぞ」「⁠この種のコードはObserverパターンを使えばきれいに依存を分離できる」

Ubuntu Weekly Topics 2016年7月1日号“Bash on Windows”のリリース日・32bitサポート終了に向けた議論・UWN#471 “Bash on Windows”のリリース日 WindowsにUbuntuがやってくる日が確定しました。“⁠Bash on Ubuntu on Windows⁠”が搭載される、「⁠Windows 10 Anniversary Update」が8月2日から提供される予定です。このアップデート以降、Insider Previewを用いていないWindows 10環境でもBash on Windowsが利用できるようになります。 リリースにあわせ、WSLのFAQもアップデートされており、14.04.4がWindows上で動作している様子が示されています。リリース当初の状態から大幅に更新され、「⁠利用可能なそれなりに動作するターミナルソ

本連載も5年目になるが、今年は私がこの業界に長年関わる中で得た教訓というテーマで書いてみたいと考えている。 この業界で仕事をしていると、いろいろな場面で「どんな人がソフトウェアエンジニアに向いているのか」という話題になる。一番多いのが人を採用する場面でだが、キャリアパスに悩んでいるエンジニアに相談されるケースもあれば、子どもたちの教育に関する話題でこの話になることもある。 問題解決能力の高さ どんな人がソフトウェアエンジニアに向いているかを一言で言えば、それは「問題解決能力の高さ」である。それも、知識や経験を使った問題解決でははなく、複雑な問題をよりシンプルな問題の集まりに分解して解決していくという、地頭を使った純粋な問題解決能力の高さである。 算数、数学への興味 私は典型的な「理科系少年」として少年時代を過ごした。小学生のときは、算数の応用問題を解くのが大好きだった。武蔵や開成などの名門

この記事は、日本中のテストエンジニアが集う冬のイベント、JaSST⁠’15 Tokyo（ソフトウェアテストシンポジウム 2015 東京）のレポートです。マイケル・ボルトン氏の基調講演を中心に報告します。13回めとなるJaSST Tokyoは2月20、21日に東洋大学白山キャンパスで開催されました。 私はJaSSTには2004年から不定期にスピーカーとして参加していますが、今年は聴講者として参加しました。私が参加したJaSSTの中でも一、二を争う楽しいイベントとなりました。 満員となった基調講演会場 ASTERと学びの機会 JaSSTはASTER（ソフトウェアテスト技術振興協会）が主催しています。ASTERはテストに関わる人々の地位の向上、学習の機会の提供を目的にさまざまな活動をしています。ASTERの主な活動は、JSTQBの運営、各地方での教育の支援、シンポジウムの開催、テスト開発方法論な

Linux Daily Topics 2015年2月17日いよいよカーネルにライブパッチ機能が！？ Red HatとSUSEが共同でプロジェクト開始 Linuxではカーネルに対してパッチを当てる際、OSの再起動、つまりダウンタイムが発生することは基本的に避けられない。このパッチ当てとそれに伴うダウンタイムの発生は運用管理者にとっては実に頭が痛い問題なのだが、これを回避するためのソリューションとして、Oracle、Red Hat、SUSEの3社はそれぞれ独自にライブパッチ機能の開発を続けてきた。 なかでも有名なのはOracleの「Ksplice」だろう。Oracleは2011年7月、ゼロダウンタイムでのカーネルパッチ適用を実現する技術をもつKsplice社を買収した。Kspliceのコード自体はオープンソース（GPLv2）として公開されているものの、買収時までサポートはKsplice社が行っ

川口耕介氏、Jenkinsプロジェクトの現状やWorkflow Pluginの特徴を説明 ～Jenkinsユーザカンファレンス2015東京 基調講演 新年を迎えて早々の2015年1月11日(日)、Jenkinsユーザカンファレンスを開催しました。日本では第2回目となる今回のカンファレンス、会場は前回と同じく法政大学で、参加者は500名ほどでした。本稿では基調講演を中心にレポートをお届けします。 Jenkinsプロジェクトの現状 Jenkinsの生みの親である川口耕介氏の基調講演では、まずJenkinsプロジェクトの現状報告がありました。 Jenkinsの利用統計 Jenkinsの利用者数や利用シーンは、順調に増加しています。 Jenkinsのインストール数やスレーブ数・ジョブ数が増加していること、Javaのツール群の中でもJUnitについで70％のユーザが利用しているといった調査結果を取り

先を歩むエンジニアへのインタビューを通してエンジニアのキャリアについて考える本連載、今回は古くからPerlコミュニティで活躍し、最近ではWebテクノロジ情報発信のポッドキャスト「Rebuild」が話題の宮川達彦さんにお話を伺いました。宮川さんは、筆者のクックパッドの同僚でもあります。 ［撮影：平野正樹］ プログラミングに興味を持ったきっかけ ─⁠─最初にプログラミングやエンジニアリングに興味を持ったのはいつでしょうか？ 宮川：父親がプログラマだったので、コンピュータは小さいころから家にあったんですけど、プログラミングはしておらず、純粋にPCユーザとしてゲームとかで遊んでいました。プログラミングのきっかけは、東京大学に通い始めて、趣味でホームページや掲示板を作っておもしろいと思ったことですね。そのあと3年次に、理学部情報科学科を選択し学びました。それと前後して、大学の友達から「オライリー・ジ

鈴木：先のセッションで権限があったから入れましたという話が挙がっていましたが、インフラエンジニアだから入れられるというのは結構あると思います。 道井：インフラエンジニアは基本どこのサーバでもSSHログインできるため、勝手にFluentdを入れて、勝手にログをもってくることができます。 伊藤：待って、この話はあまり一般的でないと思う（会場：笑） 吉田：僕の会社も同じような感じです。2、3年前に、ログ解析やクエリログの収集をしたくなり、トレジャーデータのFluentdが良さそうだというのが分かりました。木曜にメールをして、翌月曜には全台にデプロイが完了していました。 伊藤：それはインフラエンジニアとしての業務にあたっていたんですか？ 吉田：趣味です。 伊藤：なぜ、皆さん趣味でやってるんですか（苦笑） 鈴木：僕はもともとはサーバサイドエンジニアで、インフラエンジニアの人にFluentdを入れるか

今回は「自由になるために起業」することと社会に対する貢献の意義・意味について取り上げます。 この連載のタイトルは「起業幻想」ですが、これは端的にいえば「好ましくないと思う起業」についての持論の展開をしています。好ましい、つまり、するべくしてする起業は別に良いのですが。 連載の第1回は、背景としての起業ブームについて触れました。 第2回となった前回は、 全部が全部というわけではないですが、エンジニアの起業の場合、とくに「自由に働きたい」と「自分の理想のサービスを実現したい」という理由で起業するケースが多いような気がします」 としたうちの後者「自分の理想のサービスを実現したい」について触れました。今回は前者について触れてみたいと思います。 正直このテーマについては、連載を通してもかなり持論の割合が高いのであまり共感が得られないと思っています（笑） 自由になるための起業とは 自由になるための起業

本日28日から30日までの3日間、慶應義塾日吉キャンパス 協生館にて「YAPC::Asia Tokyo 2014」が開催されています。本日は1日目。本稿では、この1日目の模様を随時レポートしていきます（注：すべてのセッションをレポートするわけではありません⁠）⁠。 受付でもらえるパスカード。その名刺には、参加者の皆さん自らが名前を書く形になっています。 オープニング オープニングの挨拶は、JPA director／YAPC::Asia 2014実行委員長の和田裕介さん（@yusukebe）です。テーマは「There is more than one way to enjoy it!」とのこと。YAPCではトークを楽しみ、スピーカーと交流してほしいと言います。そのために、無限珈琲、かき氷、Red Bull（ Girls）などの飲み物等も用意したそうです。 また、注意事項のほか、ベストトーク賞

2014年6月1日（日⁠）⁠、東京・渋谷マークシティにおいて、GitHubユーザグループ主催によるイベント「GitHub Kaigi」が開催されました。500人の定員に対し800人を超える参加申し込みのあったこのイベントには、日本におけるGitHub活用の第一人者たちはもちろん、米GitHub社から招いた開発者たちも登壇し、いずれ劣らぬ濃いセッションが繰り広げられました。ここではその様子を紹介します。 GitHub実践入門 ─⁠─ Pull Requestによる開発の変革 トップバッターとして登壇したのは、WEB+DB PRESS plusシリーズ『GitHub実践入門 ─⁠─ Pull Requestによる開発の変革』の著者である大塚弘記氏です。 『GitHub実践入門』の著者、大塚弘記氏 同氏はまず、「⁠GitHubを利用した開発の世界を知る」「⁠GitHubを（利用｜活用）する違いを

インフラにおける改善の実際 本章では実在するサービスを題材に、インフラの改善で取り組んできたことを紹介します。 ヘテムル 執筆陣が関わっているpaperboy&co.（以下、ペパボ）のサービスは「ヘテムル」です。ロリポップ！ と並ぶレンタルサーバのラインナップで、大容量・高負荷に耐えうる上位のサービスとして提供しています。2005年リリース当初はサーバ数十台でしたが、それから規模や機能も増え、2013年5月現在は400台弱の規模にまで成長しました。執筆陣は4年前の2009年からヘテムルに携わっており、運用と機能改善を行っています。 インフラの技術的負債 インフラの技術的負債には次のものがあります。 a．集中管理されていない設定情報によるサーバごとでの微妙な仕様差 b．すばやい変更手段を持たないことによるサーバ全台展開の手間 c．移り変わるハードウェア性能とそれを扱う運用の柔軟さがないことに

技術的負債と開発環境の改善 本章では、サービスの成長とともに大きくなる「技術的負債」に着目し、筆者が勤務するpaperboy&co.（以下、ペパボ）で取り組んでいる開発環境の技術的負債を返済していく具体的な方法について紹介します。 技術的負債とは 技術的負債は、英語でTechnical Deptと呼ばれます。技術的負債の「概念」が最初に登場したのはWikiの開発者として知られるWard Cunninghamが1992年に発表した「The WyCash Portfolio Management System」という報文の中です。そこから年を経ること17年後の2009年に、アジャイルソフトウェア開発宣言などで知られるMartin Fowlerによって「技術的負債」という名前が付けられました。 Webサービス開発での技術的負債の例 技術的負債は、サービスを構成するソースコードそのものであるアプリ

なぜ、エンジニアの採用は難しいのか？ 第7回エンジニアが考える「コミュニケーション能力」と採用担当者が求める「コミュニケーション能力」の間に横たわるもの エンジニアはコミュ障ではない この連載の内容は、このサイトのメイン読者であるエンジニアの皆さんにとっては「そんなこと、わかりきっている話だよ」というものが多いはず。ソーシャルメディアで感想を共有してくれる人たちの反応を見ていても、「⁠エンジニアの気持ちが、採用担当者にはわからない」という意味のものが多いので、「⁠ああ、わかってほしいけれど、なかなか伝わらないのだな」と思ってしまいます。 こういう話を書いていると「なんだ、結局『エンジニアはコミュ障』という話の流れか？」という声が聞こえてきそうですが、その通りです（汗⁠）⁠。ただし、エンジニアがコミュ障であると、実は私は思っていません。 たとえば、ちょっとしたイベントやセミナーに参加して、エ

最近の企業ネットワークにおいて、Active Directoryが存在していない環境というのは、まず考えられません。Active Directoryにより、Windowsサーバにアクセスする際のユーザ名やパスワードについての一元管理が実現されます。一般のユーザはあたりまえのように、この恩恵を享受していることが多いと思います。一方、Linuxも企業ネットワークの中で着実に地歩を固めつつあると言えます。結果として、大半の企業ネットワークはWindowsとLinuxの混在環境になっているというのが昨今の実状と思われます。 こうした場合に管理者が直面する課題の1つは、せっかくActive Directory（以下ADと呼びます）によりWindows環境では認証の一元管理が実現しているにもかかわらず、Linuxマシンは個々に認証を行わざるを得ないという点です。 本年第一弾として始まる本連載では、この

Linux Daily Topics 2012年12月14日センチメンタルになるかって？ いい厄介払いだよ─Linus、カーネルからi386関連コードを削除 あまり問題がないと思っていたら土壇場でカーネルスワップデーモン（ksapd）の問題で四苦八苦し、ようやく12月10日（米国時間）にリリースしたLinux 3.7。最大の注目点はARMアーキテクチャ関連の大幅な改善で、64ビットARMやARMマルチプラットフォームのサポートが行われている。そのほかBtrfsのアップデートやNFC v4.1の正式サポートなどもあり、派手な話題は少ないものの、地道に進化していてる印象だ。続くLinux 3.8のマージウィンドウもさっそくオープンしており、年内は12月24日までプルリクエストを受け付けるようだ。 カーネルが3.7、そして3.8へと進化しようとしているその横で、一世を風靡したひとつのアーキテクチ

右も左もわからないシューカツ中の女子大生・つつみともよが会社訪問。第1回はクックパッドで働き始めたばかりの@sora_h。なんと現在15歳の若きRubyコミッターを訪ねました。 クックパッドの台所にて。この日はクックパッドのみんなと手打ち蕎麦を作ったとか 「うちで働いてみる？」 ともよ：年齢を知ってびっくりしたんですが、そらはーくん、私より7歳も若い（のに働いてる）なんて……！ sora_h：今は高校に進学せず、クックパッドで働いています。中学にも、最初の半年を除いてほぼ行ってないです。学校に行かず家でコード書いてるか勉強してるか、インターネットしてました。 ともよ：勉強は嫌いじゃなかったんですね。 sora_h：単純になじめなかっただけかなあ。話題が合う相手がいなかったんです。高専進学も考えたんですが、中3の秋に高専カンファレンス[1]行ったあたりから、なんとなく、高専行っても一緒かなと