次世代バックグラウンドジョブシステム Faktory を試す - リサーチ・アンド・イノベーション 開発者ブログ
リサーチ・アンド・イノベーションの浜田(hamadu)と申します。 いつものお買い物がちょっとお得に、家計簿にもなるポイントアプリ「CODE」のサーバサイド、およびAndroidアプリの開発を担当しています。 序 CODE ではバックグラウンドジョブシステムとして、Sidekiq を採用しています。その作者、Mike Perham 氏が新しい仕組みを作っていました。その名も Faktory。Sidekiq と違いワーカーが言語に依存せず、また本体はGoで書かれているためスケールするのがウリのようです。まだまだ開発中で、プロダクションで使うには厳しい印象を受けますが、今後Sidekiqを置き換えうるプロジェクトになるのではと思います。 本稿では簡単に仕組みの紹介をして、Rubyでジョブを投げるClientと、ジョブを処理するワーカーをそれぞれ実装してみました。 ソースコードは faktory
はてな、サーバー監視サービス「Mackerel」が「将来予測機能」をリリース。サーバー枯渇時期などをシステムで自動予測しエンジニアの属人的な経験依存からの脱却を支援 - プレスリリース - 株式会社はてな
株式会社はてな（代表取締役社長：栗栖義臣／本社所在地：京都市中京区）は、サーバー監視サービス「Mackerel（マカレル）」の「将来予測機能」をリリースしました。Standardプラン利用者向けに、本日より提供を開始します。将来予測機能は、これまでMackerelが提供してきた「リアルタイム監視」のための機能ではなく、将来の予測をアルゴリズムで支援する新しい機能です。 ▽ Mackerelトップページ https://mackerel.io/ Mackerelは、はてなが「はてなブックマーク」や「はてなブログ」などの大規模な個人ユーザー向けサービスの提供で培ってきたサーバー・インフラ環境の管理ノウハウを基に開発したSaaS型サーバー監視サービスです。サーバーにおける各種ハードウェアやアプリケーションソフトウェアの性能をリアルタイムに監視することができます。 この度リリースした「将来予測機能
elasticの新プロダクト「Beats」シリーズに震える！ - Taste of Tech Topics
初めてこのブログに投稿します、PlNOKlOです！ 皆さんよろしくお願いします。 このエントリーは、Elasticsearch Advent Calendar 2015の15日目です。 さて、 今日紹介したいのは、elasticの新プロダクト「Beats」シリーズです。 社内で @cero_t さんが「みんなでBeatsのWebinarを見る夕食会」なるイベントを 突発的に企画したので、よく分からないながらも参加してきたのですが、、、 震えました モニタリングツールとしてかなりよくできている感じで、 @cero_t さんが騒ぐ理由も分かる気がしました。 特にPacketbeatは想像以上にヤバかったですね。 皆さん、こいつは注目です！ ということで、そんなBeatsシリーズのうち、 TopbeatとPacketbeatの2つについて、私の震えポイントを紹介します！ 1. Beatsとは？
ディープラーニング専用GPUサーバファーム「紅莉栖（くりす）」を構築、 人工知能研究用に無償提供を開始 | 株式会社ドワンゴ
ディープラーニング専用GPUサーバファーム「紅莉栖（くりす）」を構築、人工知能研究用に無償提供を開始2015.09.17 株式会社ドワンゴ 株式会社ドワンゴ（本社：東京都中央区、代表取締役社長：荒木隆司）は、ディープラーニング専用GPUサーバファーム「紅莉栖（くりす）」を構築し、一部の研究機関を対象に人工知能研究用として無償貸出をすることとなりました。 Maxwell世代のCUDAコア搭載したGPUサーバを採用このたびドワンゴで開設したGPUサーバファーム「紅莉栖（くりす）」は、現時点で世界最高性能となるMaxwell世代のCUDAコアを搭載したGPUサーバー100台程度で構成される予定です。 サーバーファームの名称の「紅莉栖（くりす）」は、グループ企業の株式会社MAGES.が手がけるゲーム作品「STEINS;GATE」のヒロインである牧瀬紅莉栖（まきせくりす）と、ニコニコ生放送の大型企画
Serverspecの作者がつくる、あるひとつのOSS文化 - 書評『Serverspec』 - Kentaro Kuribayashi's blog
著者のmizzyさんこと宮下剛輔氏よりご恵贈いただきました。ありがとうございます。 Serverspec 作者: 宮下剛輔出版社/メーカー: オライリージャパン発売日: 2015/01/17メディア: 単行本（ソフトカバー）この商品を含むブログ (1件) を見る さて、本書について、技術的な側面で語れるひとはたくさんいるだろうので、ちょっと趣向を変えて、エッセイ的な話を書く。ちょうど、著者も「本書は、単なるServerspecに関する解説書ではなく、Serverspecに関する思いを綴ったエッセイとも言えるかもしれません」(「はじめに」より)と書いていることだし。 Serverspec誕生の頃 約2年前の今頃、ある新しいシステムのためにサーバを構築しようとしていて、我々(mizzyさん、@lamanotramaさん、僕)は苦心していた。Puppetでサーバ構成を記述するに際して、もっといけ
Stack Overflowの裏側は、Webサーバ9台、SQL Serverが4台など。月間5億6000万PVをさばくシステムの状況を公開中
ITエンジニアのコミュニティサイトStackOverflowなどを運営するStackExchangeが、同社のサービスを支えているシステム構成の状況を知らせるWebサイトを公開しています。 同社のサービスは各国版のStack Overflowのほかにも、サーバ管理者のためのServer Fault、数学関係者のためのMathematicsなど多岐にわたっています。 これらを合わせた同社のサービスは月間5億6000万ページビュー。このページビューを、48GBのメモリを搭載した9台のWebサーバ。384GBのメモリを搭載しライブ／ホットスタンバイ構成にクラスタ化した2台のSQL Serverと、288GBのメモリを搭載した2台のSQL Serverによるもう1つのクラスタの合計4台のSQL Server。96GBのメモリを搭載し、マスター／スレーブ構成にした2台のRedis Serverなどで
「RaptorはどのようにしてUnicornの4倍、Puma, Torqueboxの2倍の速度を達成したのか」を読んでまとめてみた - Qiita
Help us understand the problem. What is going on with this article? 「RaptorはどのようにしてUnicornの4倍、Puma, Torqueboxの2倍の速度を達成したのか」を読んでまとめてみました。 原文はこちらです。紹介については許可を貰っています。 How we've made Raptor up to 4x faster than Unicorn, up to 2x faster than Puma, Torquebox とても読みやすい英語ですので是非原文も読んでみてください。 How Ruby app servers work Rackアプリケーションの構成についての紹介と、コネクションをどのように扱うのかについて。 prefork/threadingやBlocking I/OおよびEvent I/Oの組み
AWSガチャは下手なチューニングよりも効果が出る？
Amazon EC2は立ち上げるインスタンスによって微妙なパフォーマンス差が出ると言われていて、複数回、インスタンスを立ち上げたり、捨てたりして、良いインスタンスを得ることを”Amazon EC2インスタンスガチャと”呼ばれています。 そのパフォーマンス差は、どれくらいなのか？気になったので測ってみました。 検証環境はこんな感じです。 AMI ID: CentOS 7 x86_64 (2014_09_29) EBS HVM-b7ee8a69-ee97-4a49-9e68-afaee216db2e-ami-d2a117ba.2 (ami-89634988) Instance Type: c3.xlarge １）Magnetic(standard) ２）Magnetic(standard) + EBS-Optimized ３）General Purpose (SSD) + EBS-Optimi
VagrantでUbuntuサーバを2台立ててMySQLでマスタスレーブ構成にしてみた - きのこる庭
久々の更新。 土曜日は これまで何となく使っていたVagrantを本格的にいじっていたけど、知れば知る程便利だなあ。 Vagrantfileって Gruntfileみたいに何となくいじるのが面倒くさそうな印象があったんだけど、実は全くそんな事がなくて 寧ろちょろっとやれば誰でも簡単にいじれるようになるくらい学習コストが低かった(まだChefと絡めていないので Chefと連携させると若干話が変わってくるかもしれないけど)。 というわけで今回は Vagrantを使ってUbuntuサーバを2台立てて MySQLでレプリケーションを構成してみた話を。 今回に関してはどちらかというとVagrantよりMySQL寄りの話になります。 Vagrantに関しては boxの構造とかVagrantfileの事とか 色々と整理できたので 後日 初心者向けにvagrantの基本的な事柄についてまとめます。 Vag
『アメーバピグにおけるDB構成&対応記』
2ヶ月前にインフルエンザとウィルス性胃腸炎でひどくダメージを受けた増田(@masudaK)です。アメーバピグは2009年2月に始まったサービスで、FLASH・Javaで作られています。そして、データストアにMySQLを用いてます。本記事では、わたくしが2年ほど見続けているアメーバピグのDB環境について構成や、日々どのようにして問題と向き合っているかを紹介したいと思います。インフラ寄りの内容が多いため、アプリ寄りの話は弊社生沼の資料を御覧ください。 1. 構成と規模 1.1. 構成 まず構成ですが、読み書きはすべてマスターへ行うようにしています。そのため、スレーブには参照を向けず、ホットスタンバイとして使っています。バージョンに関しては2012年中旬までは5.0を使ってましたが、DC移転にあわせて5.5にあげました。ロック機能を用いたシャード構成をしてまして、2014年3月現在6シャードにな
GoogleがサーバをIntelからIBMの「OpenPOWER」陣営に乗換え、Intelにとっては大打撃
Google＋プロジェクトのシニアディレクターを務めるゴードン・マキーン氏がGoogle＋ブログでGoogleの新サーバ用のIBM製マザーボードの写真を公開しました。このマザーボードは、IBMが開発したCPU「Power8」を採用したもので、Googleが1998年の創業以来、一貫して使用していたIntel製チップのサーバからIBMサーバに乗換えることを意味し、GoogleとIntelの蜜月関係が終了したことを示す象徴として注目されています。 Gordon MacKean - Google+ - Today I'm excited to show off a Google POWER8 server… https://plus.google.com/111282580643669107165/posts/Uwh9W3XiZTQ This Google Motherboard Means T
Immutable Infrastructureが開発プロセスに与える影響(仮) #immutableinfra
フロントエンドのパラダイムを参考にバックエンド開発を再考する / TypeScript による GraphQL バックエンド開発
使ってないパソコンをNASやVPN、メディアストリーマーにする『Amahi』
家に使い古したPCがあるんだけど、これでホームサーバーでも作れないかな...？ なんて人にぴったりのアプリがあります。それは 『Amahi』！ Amahiは、どんなPCでもホームVPNやホームNAS、メディアストリーマーに変えてしまう魔法のアプリです。 Amahiとは？ Amahi は、 Fedora Linux をベースとした、オープンソースのホームサーバー・ソフトウェアです。柔軟でカスタマイズ性に富み、インストールも簡単。プラグインや拡張機能、アドオンソフトウェアも揃っています。モバイルデバイスへメディアストリーミングをしたいなら、Amahi がパーフェクトな答えでしょう。自前のファイルサーバーや NAS を構築したい？ ならば Amahi です。外出先からホームネットーワークに安全に接続できる VPN を構築したい？ ならば Amahi で完璧。詳しくは、Amahi の機能一覧やプロ
インターネットに公開するサーバーの基本的なセキュリティ設定 | 774::Blog
定期的にこういう内容を書いて公開している気がする。昔の記事もあるのでそちらを読めばいいのだが、また書く必要性が生じてきたのであらためて書きます。 現代では AWS のようなクラウドや VPS など格安で手軽にインターネット上にサーバーを持てるようになった。しかしインターネットで誰でもアクセスできる環境でサーバーを稼働させるということは、常に人間やロボットの攻撃に晒されるということを同時に意味している。したがって初心者だからだとか、会社の中ではこうやって仕事をしているからといった言い訳は一切通用しない。セキュリティ設定をきちんとしなければ内部への侵入をたやすく許し、思わぬデータの漏洩につながるのである。とはいえセキュリティというのはトレードオフを考慮しなければいくらでも強化できるものでありキリがない。ここでは最低限これだけはやっておこうという現実的な落とし所を提示し、人々への啓蒙をはかるもの
さくらVPSを使って便利な開発環境を構築する - UNIX的なアレ
開発環境は難しい 最適な開発環境をつくるのっていつも難しいなーと思います。サーバ側に入って開発する人もいれば、クライアント側のIDEあげてる人もいるわけで人それぞれです。 その人に特化した開発環境をつくるだけであればそこまで難しい話ではありませんが、チームでの開発となるとそのあたりをうまく解消するのがだんだん難しくなってきます。また、新しくサブドメインが増えたりなど開発環境も常にアップデートし続ける必要があります。 このあたりを、サーバエンジニアが手動でやってると死にます。悪しきDev/Opsの対立関係がうまれてしまうので、なんとかしないといけない。 というわけで、オフィス移転をきっかけに開発環境を作りなおしてみました。以下の3点からさくらVPSを選びました。 コストを抑えたい 最近さくらVPSに東京リージョンができた ローカルネットワーク接続できるようになった 新規開発環境をつくる上での
今さら聞けない Immutable Infrastructure - 昼メシ物語
Immutable （不変な） Infrastructure は、サーバを一度セットアップしたら二度と変更を加えないという運用スタイルのことを指します。 クラウド環境では、必要に応じてすぐにサーバを用意し、不要になったら簡単に破棄することができます。Immutable Infrastructure は、このようなクラウドの特性を活かす運用スタイルとして、注目されつつあります。 背景 Immutable Infrastructure が提唱された背景にある技術として、 Auto Scaling や Blue-Green Deployment*1 などがあります。 Auto Scaling Auto Scaling は、負荷に応じて自動的にサーバ台数を増減させる技術で、 AWS では標準で提供されています。常に必要な台数だけ起動していればいいので、コスト削減になるというものです。 Auto S
Linux系インフラエンジニア3年目のスキルを見抜く50の質問（ホスティングの場合）
数年前になんとなく面白がって書いてた「Linux系インフラエンジニア3年目のスキルを見抜く50の質問（ホスティングの場合）」というのが、昔の資料をあさってると出てきて、意外と面白かったので少しだけ手を加えて（古い情報とかあったので）公開しようと思います。 意外とリアルなものがあって懐かしい気分になりました。過去に書いた以下の記事もどうぞ参考にして下さい。 「Linuxエンジニアを目指して入社一年目にやって役にたったと思う事」 「Linuxエンジニアを辞めて大学院に入学しました」 追記： 設問1があまりによくないので、@tagomorisさんのアドバイスを頂きつつ変更しました。1を消して3を追加しています。ありがとうございます！ 2000台以上のサーバー運用経験はありますか？ サーバやネットワーク機器のキッティング経験はありますか？ サーバやネットワーク機器の交換を現地のデータセンター職員に
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
欧美亚洲色欲色一欲WWW - 欧美大片欧美激情免费看 - 欧美特黄特色三级视频在线观看
軽くて使いやすい仮想化技術 「Docker」の仕組みと エンタープライズ開発における4つの活用事例
職人任せにしないインフラ構築/運用 ~ DevOps時代を生きぬくために ~
