第21回Sparkの設計と実装[2]~Sparkにおけるデータ共有の仕組みと耐障害性の実現方法 猿田浩輔,山田浩之 2016-06-08
先を歩むエンジニアへのインタビューを通してエンジニアのキャリアについて考える本連載、今回は古くからPerlコミュニティで活躍し、最近ではWebテクノロジ情報発信のポッドキャスト「Rebuild」が話題の宮川達彦さんにお話を伺いました。宮川さんは、筆者のクックパッドの同僚でもあります。 [撮影:平野正樹] プログラミングに興味を持ったきっかけ ──最初にプログラミングやエンジニアリングに興味を持ったのはいつでしょうか? 宮川:父親がプログラマだったので、コンピュータは小さいころから家にあったんですけど、プログラミングはしておらず、純粋にPCユーザとしてゲームとかで遊んでいました。プログラミングのきっかけは、東京大学に通い始めて、趣味でホームページや掲示板を作っておもしろいと思ったことですね。そのあと3年次に、理学部情報科学科を選択し学びました。それと前後して、大学の友達から「オライリー・ジ
藤原:参加者のバックグラウンドはバラバラで、普段はフロントエンジニアとしてJavaScriptで開発している人もいれば、Javaで開発しているサーバサイド側の人もいました。ある程度プログラミングができる人がメインでしたが、普段JavaScriptで開発している人たちは、ちょっとたいへんそうでしたね。 ──受講生の方たちは、この取り組みにどの程度時間を使われていたのでしょうか。 原:就業時間内の2時間を課題の取り組みに使ってよいというルールにしましたが、かける時間は人によってまちまちでしたね。 伊藤:課題には提出期限を設けているのですが、その直前の3日間くらいで詰め込んでやる人も多かったようです。 ──課題のレベル感は、どの程度だったのでしょうか。 藤原:基本的には、我々が出しているサービスの開発の基礎的な部分を理解できるというレベルで考えました。スムーズに実務に入れるレベルという感じで
RubyKaigi 2014 レポート Aman Gupta, GitHubでのRubyの使われ方と高速化のテクニックを紹介 ~ RubyKaigi 2014 基調講演 3日目 2014年9月18日~20日の3日間、タワーホール船堀にてRubyKaigi 2014が開催されました。基調講演をそれぞれレポートしてきました。 3日目最後の基調講演は@a_matsudaの紹介を受けて登壇した、Aman Gupta(@tmm1)です。タイトルは「Ruby 2.1 in Production」。Aman Guptaは現在GitHub, Inc.(以下、GitHub)に勤め、そこで使用している高速化のテクニックとツールを紹介しました。Ruby本体のコミッタでもあるAmanによる講演は、圧巻でした。 当日のスライド(PDF版)は次のリンクから参照できます。 http://bit.ly/ruby21-
RubyKaigi 2014 レポート 笹田耕一さん、「Ruby開発者にとって簡単なこと、難しいこと」を語る ~ RubyKaigi 2014 基調講演 1日目 2014年9月18日~20日の3日間、タワーホール船堀にてRubyKaigi 2014が開催されました。基調講演をそれぞれレポートしていきます。 1日目の基調講演は、YARVやRGenGC、RincGCを始めたした主要機能の開発に携わっているRubyのコアコミッターの笹田耕一さんの「Ruby開発者にとって簡単なこと、難しいこと(Building the Ruby Interpreter What is easy and what is difficult?)」という講演です。 Rubyコントリビューターとしての活動 笹田さんにとって次の事柄が10年になることを挙げ、2014年はRubyコントリビューターとしての節目の年になった
2014年1月17日(金)、Webに関する勉強会の祭典「エンジニアサポートCROSS 2014」が開催されます。今回と次回にわたり、3回目の開催となるCROSS2014の見どころを紹介します。 「エンジニアサポートCROSS」とは? 「エンジニアサポートCROSS(以下「CROSS」)」は、「複数の技術を身につけなければWebサービスは作れない=クロスしないと生きていけない」をテーマとした、Webサービスに携わる人のための技術イベントです。 昨今、Webサービスを開発するためには、Webサーバ、データベースサーバを用意してひとつの言語でアプリを書くだけでは、時代の求める改善・運用の速度に追いつけなくなってきています。 アプリを作るのはもちろん、環境構築を自動化し、さらにそれらをクラウドに自在に展開・拡大していくことまで求められています。また、これらをよりよいものにするために各種ミド
2013年12月25日紙版発売 株式会社パイプドビッツ 著 A5判/224ページ 定価2,728円(本体2,480円+税10%) ISBN 978-4-7741-6205-8 ただいま弊社在庫はございません。 Gihyo Direct Amazon 楽天ブックス honto ヨドバシ.com この本の概要 恒例となった国民的アイドルグループ選抜総選挙。このウェブ投票システムに求められるものは非常にシビアな条件である。秒間10000アクセス,不正が行われないこと,そしてダウンしないことが挙げられる。実はこのシステムはわずか2ヶ月で構築された。しかもごく少数のエンジニアの手で作り上げられたのだ。本書はインフラとソフトウェアの両面から,パイプドビッツ開発部が作り上げた過負荷(アクセススパイク)に耐えるシステム作りを解説する。これらは多くのウェブエンジニアにとって技術向上の手がかりとなるだろう。
【特別企画】ソーシャルゲームのDevOpsを支える技術(前編)~魔法少女リリカルなのはINNOCENTの舞台裏~ モバゲーから提供されているソーシャルゲーム『魔法少女リリカルなのはINNOCENT』は、企画・開発・運用を(株)ユビキタスエンターテインメントが行っています。このサービスを支えるインフラは物理サーバと仮想サーバのハイブリッド構成となっており、(株)IDCフロンティアのクラウドサービスが採用されています。本稿はこの両社から、人気ソーシャルゲームならではのデータを交えながら、DevOps実現に向けての取り組みを披露してもらいます。 どんなゲームなの? 『魔法少女リリカルなのはINNOCENT』は2013年3月にモバゲーにてリリースされたソーシャルゲーム[1]です。原作者の都築真紀氏がこのゲームのために構築した世界観、従来のカード型ソーシャルゲームのシステムを踏まえつつも他作品
能力に自信がないのは、評価する機会に恵まれていないことの裏返し 「自分にそんなに自信を持っているエンジニアはいませんよ」 先週、とあるエンジニア対象のイベント(トークショーのゲストとして出演していました)で出会ったエンジニアの多くは、「エンジニア採用が難しいと企業が悩んでいる、だからエンジニアにとっては売り手市場なのだ」といくら説明しても、自分自身の能力にイマイチ自信が持てない、といった様子でした。 しかし、求人倍率などのデータを見れば、転職市場にエンジニアが足りていないのは一目瞭然です。私自身がプロデュースしているCodeIQへも、企業の採用担当者たちからの期待が高いことからも明らかなのですが。 本連載を読んでいる皆さんの中にも「自分の能力に絶対の自信がある」という人は、それほど多くないのかもしれません。しかし、それは同時に、自分の能力を客観的にアセスメント(評価)する機会に恵まれてい
メーリングリストでもっとたくさん酷い英語を見かけたい。ネイティブじゃない人が英語が上手くなくてと謝る場面がもっと減ってくれたらとも思う。母語ではない第二、第三、あるいは第四の言語を、たとえ熟達していない状態でも、とにかく使ってコミュケーションを図ろうとするのは全く恥じるようなことなんかじゃない。もし、外国語だというのを理由に不安や気後れを感じて重要な貢献を果たさなかったり、FLOSSツールへ貢献する方法やその使い方について質問を控えたりしたのなら、そういうことが恥になるんだ。 訳注 FLOSSは Free/Libre and Open Source Software の略。フリーソフトウェアとオープンソースソフトウェアとをまとめた言葉 オープンソースの美点の一つは多国籍ということ。それも“るつぼ”と見なしうる物事のうち最も真に“るつぼ”らしい多国籍なんだ。数百万もの人たちが英語で運
2013年8月22日紙版発売 2013年8月22日電子版発売 愛甲健二 著 A5判/320ページ 定価3,058円(本体2,780円+税10%) ISBN 978-4-7741-5918-8 ただいま弊社在庫はございません。 Amazon 楽天ブックス 丸善ジュンク堂書店 ヨドバシ.com 電子版 Gihyo Digital Publishing Amazon Kindle 楽天kobo honto この本の概要 「シューティングゲームをチートから守るには?」 「リバースエンジニアリングされないためには?」 「脆弱性を見つけ,権限を奪取するには?」 普通のプログラミングだけでは意識しない低レイヤーの世界は,コンピュータを自在に操れる楽しさでいっぱい。アセンブラの読み方から最新の応用事例まで,技術と考え方が実例を通じてわかります。 こんな方におすすめ コンピュータの仕組み/低レイヤーに興味が
RubyKaigi 2013 レポート 田中哲さん「Rubyの開発はこれからも多様性との戦い。それは『チャレンジしがいがある』もの」 ~ RubyKaigi 2013 基調講演 3日目 2013年5月30日~6月1日の3日間、お台場にある東京国際交流館にてRubyKaigi 2013が開催されました。基調講演をそれぞれレポートします。 3日目最後の基調講演は、open-uri、socketをはじめとし、たくさんのライブラリの開発に携わっているRubyコミッター、田中哲さんによる、Ruby開発における「多様性との戦い」についての講演でした。 自己紹介 始めに「お台場」で「多様性=ダイバーシティ」といえば……。と言ってダイバーシティの写真を映す、と言う和やかな冗談から始まった田中哲さんの発表は、Rubyのコミッターならではの切り口からみた多様性との戦いの記録でした。 田中さんは2008年度のR
5月29日~31日の3日間、日本では4年めの開催となるLinux開発者のカンファレンス、「LinuxCon Japan 2013」が開幕しました(主催:The Linux Foundation)。一昨年、昨年は横浜で行われましたが、今年は東京、文京区の椿山荘に場所を移しての開催です。ここでは初日の基調講演の模様をダイジェストでお送りします。 真に創造的なプロジェクトに“ボス”は要らない 初日最初の壇上に立ったのは、例年と同じくThe Linux Foundationの顔、エグゼクティブ ディレクターのJim Zemlin氏です。いつもはさまざまな数字を挙げてLinux、オープンソースの成長ぶりを紹介するZenlin氏ですが、今年は少し趣向が変わっていました。 Jim Zemlin氏 “How can you better take advantage of Open Source?
なぜLinuxを生み出せたのか? それはぼくが若くてバカだったからだよ!─LinuxCon Japan 2013で2年ぶりに来日したLinus Torvalds名言集 2年ぶりに日本の地を踏んだLinus Torvalds氏 「Linusと私の娘はよく似ている。2人とも、私にとって非常に大切で愛らしい(adorable)存在で、まったくもって天才としか言いようがない。そして2人とも私の言うことをいっさい聞かない」─5月30日、Linux Foundationのエグゼクティブディレクターとして日本のLinuxユーザにもおなじみのJim Zemlin氏は、東京・椿山荘で開催された「LinuxCon Japan 2013」2日目キーノートにおいてLinus Torvalds氏をこのように紹介しました。 Linuxの生みの親であり、誕生から20年以上経った現在もカーネル開発の最高責任者であり続
はたらくって何? シューカツも無事終わり、新社会人のスタートを気持ちよく切りたい女子大生・ともよが会社訪問。第4回は37歳で大学へ通いはじめた@gosukenator。 渋谷・セルリアンタワーにあるオフィスにて。オフィスからの眺めはバツグン! ずっと技術屋でいたい ともよ(以下と):北海道大学の経済学部経営学科という、かなり文系っぽい学科をご卒業されていると聞きました。 宮下剛輔(以下宮):文系なのですが、工学部出身の教授のゼミに入っていたので、1995年当時からWebサーバを気軽に触れる環境でした。もともとコンピュータや数学の授業は好きだったので、そのころからゼミのWebサイト運用をやらせてもらっていたんです。 と:大学時代から! 宮:大学を卒業してからは、伊藤忠テクノサイエンス(現在の伊藤忠テクノソリューションズ)にSE として新卒で入社し、企業へのインターネット導入をお手伝い
本連載では第一線のPerlハッカーが回替わりで執筆していきます。今回は普段Webアプリケーションの開発を行っているtokuhiromさんで、テーマはWebアプリケーションフレームワークAmon2です。 Amon2とは? こんにちは。tokuhiromです。本稿では、筆者が中心となって開発を進めているAmon2というWebアプリケーションフレームワークについて説明します。 Amon2は、次のような特徴を持つWebアプリケーションフレームワークです。 PSGI/Plackベース Amon2はHTTP::Engine/PSGI/Plackの開発/制定に初期のころから関わっている筆者が作成したWebアプリケーションフレームワークです。そのため、Plackの部品をできる限り利用することにより、少ないコードベースでWebアプリケーションフレームワークを実現しています。これにより学習コストが低くなってい
Linux Daily Topics 2013年3月15日地味で目立たなかったあのディストロが今や最もイノベーティブな存在に!? ─openSUSE 12.3がリリース The openSUSE Projectは3月13日(現地時間)、openSUSE 12.3を正式公開した。Linuxカーネルは3.7、デフォルトデータベースをMySQLからMariaDBに変更、OpenStackパッケージを完全同梱するなど、先進性に富んだバージョンとなっている。 openSUSE 12.3 - Awesome as 1-2-3 : openSUSE News 最大の特徴はやはり物議を呼んだMySQLからMariaDBへの変更だろう。オープンソースでありながらOracleによる情報公開が不透明すぎるとして、FedoraとともにデフォルトデータベースをMySQLからMariaDBに変更することを発表した
開発や運用作業の効率化、あるいは課題解決のためにちょっとしたプログラムを開発したことがある人は多いでしょう。オープンソースとして公開されている「Tomahawk」も、もともとサーバ構築の手間を軽減するために開発されました。今回は、このTomahawkの開発者であるサイバーエージェントアメーバ事業本部ピグディビジョンエンジニア、生沼一公(おいぬま かずひろ)氏にお話を伺いました。 生沼一公氏 負荷テスト用サーバを効率的に構築するために開発 ソースコードを広く一般に公開し、興味のある複数のエンジニアが協力し合いながら開発を進めるオープンソースは、LinuxやApache、MySQLなど優れたソフトウェアを世に送り出したほか、最近ではAndroidやHadoopといった注目度の高いプロダクトを開発しています。サイバーエージェントアメーバ事業本部ピグディビジョンエンジニアの生沼一公氏は、このオープ
シリコンバレーの投資家からも一目置かれるTreasure Dataの成長を支えているその技術力と経営理念について、Treasure DataのCTOである太田一樹氏が基調講演で語ったその内容をレポートします。 Feature Creepではなく“ナタ”を作る 太田氏をはじめとするTreasure Dataの創業メンバーはいずれもHadoopやmemcached、MongoDBなど、現在のビッグデータブームを支えるオープンソース技術の開発に学生時代から関わっていました。これらのオープンソースプロダクト、とくにHadoopに触れる経験が長かったことが、Treasure Data設立の大きなきっかけになっています。 「Hadoopの登場はこれまで使いづらいだけの存在だった分散システムの世界を大きく変えた。一方で、ユーザ企業がHadoopをデプロイし、運用をはじめても、結局はメンテナンスが大変にな
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く