Consulと自作OSSを活用した100台規模のWebサービス運用 - YAPC::Asia Tokyo 2015
カヤックが運営しているスマートフォン向けSNS Lobi は、Amazon Web Services(AWS)上でHashicorp社が開発しているオーケストレーションツール Consul を活用し、EC2インスタンス100台規模のサーバと、AWSのマネージドサービスを利用して運用しています。 Consulの機能と、それを活用するために開発したOSSとともに実践的に運用している事例をご紹介します。 Consulとは 機能の紹介 Consulを本番環境で運用するために 構成 監視 高可用性のためのノウハウ クラスタ障害時のリカバリ手法 オートスケール環境で動的に増減するサーバを扱う DNS interface によるホスト、サービスの名前解決 コマンドのホスト名補完 自前オートスケールやjob管理へのconsul execの応用 Stretcherを利用したデプロイ 自作OSS Consul
MogileFSをバックエンドとしたPrivate S3の作り方 - YAPC::Asia Tokyo 2014
2011年よりYAPC::AsiaのPhoto Sponsorを務めさせて頂いている写真共有・保存サービス 30days AlbumではオブジェクトストレージとしてMogileFSを利用しています。 そして、そのストレージにS3互換仕様でアクセスするためのWeb APIが 本日 社内向けにリリースされました。 本トークでは総容量700TBを超すMogileFSクラスタの運用苦労話と、そこにどうやってS3互換APIくっつけたのかをご紹介しようと思います。 キーワード /dev/sdafまである物理サーバ MogileFS(バッド)ノウハウ Nginxでreproxy(Accel Redirect) ngx_mrubyを使った認証 RailsとMogileFS
「最前線で戦う若手インフラエンジニアたちが語る「技術トレンド」と「数年後の未来」」 - JTF2015 (July Tech Festa)
10:00 - 11:00 《基調講演》 ベンチャーCTO、AWSエバンジェリストを経て考える、クラウド時代に向き合うエンジニア像のこれから 対象: 初級 概要: インターネット、モバイル、クラウド、21世紀の3つの技術トレンドと言われるこれらの技術はエンジニアの働き方も大きく変えようとしています。このセッションでは、スタートアップ企業のCTOと、AWSエバンジェリストの経歴をたどった視点から、クラウド時代の真っ只中で、私達エンジニアの働き方はどう変わるのか、技術との接し方や、その時どうしたら幸せになれるのか、未来像をお話いたします。 堀内 康弘 1978年生まれ。慶應義塾大学大学院理工学研究科修士課程修了。 株式会社ブイキューブにて、学生時代からWebシステム開発に携わり、卒業後は取締役として開発をリードする。その後動画共有サービス「FlipClip」の立ち上げを経て、2009年、創業期
Playframework の Akka 設定を読み解く - 技術をかじる猫
※ Play2.0.3 時代の古いやつです Playframework は Akka を利用しており、性能に直結してる。 もし、CPUやメモリに余裕があり、更に大規模なアクセスに対応したい場合は、設定を上書きできる。 application.conf で設定可能だが、Playのデフォルト設定は下記である play { akka { event-handlers = ["akka.event.slf4j.Slf4jEventHandler"] loglevel = WARNING actor { deployment { // Akka コントローラ処理を実行するActor設定(デフォルト24個のアクターをラウンドロビンで使いまわし) /actions { router = round-robin nr-of-instances = 24 } // タイムアウトまでに応答が完了できない場合の
FutureAutomation - YAPC::Asia Tokyo 2014
(日本語は下にあります / Japanese follows English) Automation. Deploy, setup server, CI etc... Automation is really important work to reduce repetitive (or complicated) tasks to focus on what we, engineer, human should really do. I've done many automations on different environments. My automation history started from where team did traditional by-hand deployment. And now I joined Internal PaaS Dev&Ops team a
【意訳】データベース駆動アプリのための、Play2最適化について #play_ja
この記事は、HerokuのPrincipal Developer EvangelistのJames Ward氏の記事の意訳です。参考程度にどうぞ。 誤訳・誤植等ありましたら、@modal_soulまでリプライいただけるとありがたいです。 先週Matt Raible氏と共に、UberConfで行われたPlay vs. Grailsスマックダウンでプレゼンテーションをしました。 このセッションの目標は、同じフレームワークを用いて同じアプリケーションを作り、Play2+JavaとGrailsを比較することです。 比較のために、いくつかのベンチマークを含む評価基準を使用しました。 結果については、こちら（Matt’s session recap blog）に詳しく掲載されています。 評価結果のプレゼンの後、これらのタイプのアプリケーションでPlay2のAkkaスレッドシステムを最適化するのに重要な
はてなインターンの作り方 - YAPC::Asia Tokyo 2014
2008年から実施しているエンジニア向けのインターンシップ「はてなサマーインターン」の裏側を紹介します。 はてなサマーインターンとは 毎年夏に実施するエンジニアを目指す学生向け長期インターンです 2008年から今年で8年目。これまでに80人もの「はてなインターン卒業生」を生んできました 前半はPerl, JavaScript を中心に「Webサービスを独力で作る」技術を習得するトレーニングを行います 後半ははてなの開発チームに参加し、実際にユーザーさんに使われる機能を開発します インターンの副産物として、研修カリキュラムを「はてな教科書」として無料公開、毎年更新しています 実際の開発フローに参加することで、ペアプログラミングやコードレビューといった文化に触れられます トーク内容 はてながインターンや教科書を通じてエンジニアを目指す若者に伝えたいこと、実際にインターンをする上での準備、体制、
FURYU Tech Blog-フリューテックブログ | Furyu Tech Blog
はじめに こんにちは、ピクトリンク事業部開発部サーバサイド開発課のkitajimaです。弊社サービスピクトリンクは、システム再構築の一環として
ペパボ新卒エンジニア研修2015が始まっています
先週6/8から、ついにペパボ新卒エンジニア研修1がスタートしました。 今年の新卒入社は10名で、そのうち6名がエンジニアです。 4月〜5月はGMOインターネットグループ研修、ペパボ東京プレ研修、ペパボ福岡支社研修などを全員で受け、6月からエンジニア・デザイナは職種別研修に入っていきます。 そして今年のエンジニア研修 (以下、研修) は、私が研修担当のメインとして、@hibomaさんと共に活動しています。 さて、研修から1週間、その間の出来事やみんなの様子を紹介していきたいと思います。 この1週間の出来事 箇条書きにすると、主に以下の6つの出来事がありました。 THE TAO OF PEPABO ENGINEER - ペパボ新卒エンジニア研修オリエンテーション Web開発研修イントロダクション 見積り計画ワークショップ 読書会 Web開発研修 キャリア・キーノート ここから、それぞれの出来事
本気で Server::Starter を fatpack する方法 - tokuhirom's blog
本気で Server::Starter を fatpack する方法 イチから作るには以下のようにせよ。 curl -o cpanm https://raw.githubusercontent.com/miyagawa/cpanminus/master/cpanm /usr/bin/perl cpanm -n -L tools App::FatPacker::Simple Server::Starter /usr/bin/perl -Mlib=tools/lib/perl5 cpanm -n -L local Server::Starter /usr/bin/perl -Mlib=tools/lib/perl5 ./tools/bin/fatpack-simple --output=start_server local/bin/start_server 一旦 tools/ 以下にインストー
The Talk on Talks
Most people are scared to present at a conference, or a meetup, or at a company meeting. Public speaking is a common fear, and many find themselves at night waking up from nightmares involving a disastrous speech. All too often, people think public speaking is something to be afraid of. THEY”RE TOTALLY RIGHT OH MY GOD PUBLIC SPEAKING IS ONE OF THE MOST STRESSFUL THINGS YOURE EVER GOING TO DO PLEAS
はてなブックマークのトピックページの裏側 - YAPC::Asia Tokyo 2015
はてなブックマークの「トピックページ」の作り方について解説します。 トピックページとは、話題の記事の中から関連性の高い記事をまとめることにより、インターネット上で話題となったトピックを閲覧できるページです。 はてなブックマークに蓄積された過去10年分の記事データを利用することにより、過去10年間の話題から最新の話題までを閲覧できるようになっています。 「トピック」機能は、これまで何人かのエンジニアが挑戦してきましたが、トピック生成の精度が低いという問題やトピックタイトル生成が難しいという問題により実現できていませんでした。 これらの問題をElasticsearch と自然言語処理技術を活用することにより解決したので、そのアプローチを紹介します。 アジェンダ(予定) トピックページとは これまでトピックが実現できなかったのはなぜか Elasticsearchを用いたトピック生成 自然言語処理
Yet Another Perl Cooking - YAPC::Asia Tokyo 2015
Perl (あるいは他の言語) を用いて料理・調理を自動化するという話をします． 料理は時間と手間がかかる営みですから，21世紀に生活する我々はこれを可能な限り自動化していく必要があります． 話す内容 2015年はプログラミング料理界にとって本当にエポックメーキングな年となっています．私は大変興奮しています！ 皆さんは nomikuというデバイスをご存知でしょうか．nomiku は簡単に言うと，鍋に装着して使う料理器具で鍋の中の温度を一定に保ってくれるというデバイスとなっています．これにより，人間が火加減を逐一確かめて調節するという手間を省き，機械に調理を任せることが可能となります． そして2015年，nomiku は更なる進化を遂げました．Wi-Fi を介して操作できる nomiku WiFi が登場したのです． このモデルは nomiku を遠隔地から操作するという機能を提供しているだ
技術ブログを書くことについて語るときに僕の語ること - YAPC::Asia Tokyo 2015
エンジニアには、なぜか「技術」についてブログに書き残すという文化があるということはここでは言うまでもないと思います。 新たに投稿されるエントリを見かけない日はなく、なんらかの技術について書かれたエントリが毎日のようにエンジニア界隈を賑わせています。 技術ブログの内容は人それぞれです。 自分が注目している流行りの技術の紹介であったり、自分が作ったソフトウェアの紹介であったりします。 ときには「ポエム」と呼ばれるような、技術を通して自分の考え方や生き方を表現したものもあります。 その技術ブログの評価システムの代表的なもののうちの１つとして、はてなブックマークがあります。 テクノロジーカテゴリのホットエントリを日常的に眺めて、技術そのものもしくはエンジニア界隈の情報を仕入れたり、エントリにつけられるブックマーク数をブログを書くモチベーションにされている方も多いのではないでしょうか。 発表者もその
世の中に最適化しているうちのばあちゃんの話
83歳のうちのばあちゃんの話。みんなは83歳のおばあちゃんというとどんなのを想像するだろうか。 おそらくうちのばあちゃんはみんなの思い描く生活を送っていない。おそらく特殊だ。小さい頃にもう片方のおばあちゃんが死んでしまったため、今も生きているおばあちゃんの生態は常識だと思っていた。でもよくよく考えるとなんかおかしい。というかかなり変な気がする。世間のおばあちゃんも本当はこんな感じなんだろうか。誰か教えてくれ いまからばあちゃんの生態系について話していこうと思う。 ばあちゃんは毎朝６時前くらいに起きる。このへんは多分普通のおばあちゃんだとおもう。ただ、理由がいただけない。曰く、「朝アニメ枠を見逃さないために、生活リズムを崩してはならない。」早寝早起きのせいか健康すぎるくらい健康だ。というかそもそも朝のアニメ枠って小さい子供向けのアニメとか特撮じゃないのか…？ 朝アニメを見ながら朝食を摂ったば
Instagram のスケール正攻法 -- Kosei Kitahara's Blog
Instagram がどこに買収されたとかは他のニュースサイトにお任せして、Django アプリケーションを正攻法でスケールして "成功" してるのがとても興味深いです。現時点で Instagram Engineering で紹介されていることと TechCrunch にも掲載されたスライドから個人的なメモとしてまとめてみました。 Instagram の哲学は シンプルであること オペレーション負荷を最小化すること すべて装備 とのこと。 Instagram は以下の OSS, サービスで構築されているようです。 >>> OS / ホスティング Ubuntu Linux 11.04 を Amazon EC2 にホスティング。以前のバージョンは高トラフィックになると固まる問題があったようです。運用は 3 人。EC2 にホスティングしている理由は、調査結果によるものではなく、"まだ進化途中だか
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://dmm-news.com/article/975585/
Bitbucket