秒間100万リクエストを支えるオープンソースのコードを書くヤフーのインフラチームに、はてなエンジニアが迫る - はてなニュース
国内有数のWebサービスを手がけるYahoo! JAPANは、その毎秒100万リクエストという膨大なトラフィックを支える大規模なインフラチームを抱えています。そのうち画像などを配信するプライベートCDNでは、オープンソースのATS（Apache Traffic Server）をキャッシュサーバーに採用し、本家OSSプロジェクトでの開発にも積極的に参加しています。OSSのコミッタを業務とするYahoo! JAPANのプラットフォーム開発エンジニアのお二人と、はてなからインフラチームとMackerelのエンジニアが参加し、インフラエンジニアの働き方について座談会形式でお聞きしました。 座談会出席者は、（上写真、左より）ヤフー株式会社の小柴薫居さんと北條正和さん、はてなの坪内佑樹（id:y_uuki）と松木雅幸（id:Songmu）。構成はITジャーナリストの星暁雄。記事の最後にプレゼントのお知
Yknot（ワイノット） を支える技術 - Yknot 開発ブログ
こんにちは！エンジニアの内藤 (@kakipo) です。 ディレクター 1 名、デザイナー 1 名、エンジニア 1 名の小さなチームでYknot（ワイノット）というサービスの開発、運用を行っています。 この記事では Yknot（ワイノット）で利用している技術やサービスについてお話いたします。 前半は技術的な内容を中心に、後半は運用が楽しくなる便利なサービスをご紹介いたします。 基本に忠実に、そして良い外部サービスは積極的に利用することを心がけています。 小規模チーム開発におけるシステム構成の参考になれば幸いです。 はじめに: Yknot（ワイノット）とは 企業向けサービスのクチコミサイトです。 食べログの BtoB サービス版です。 「今年はやたらと Slack っていうチャットの記事を目にしたけど、実際どうなんだろ。」 「サーバ監視のサービスって色々あるみたいだけど、なにがいいんだろう。
Serverspecの概要からインストールまで
変化の激しいビジネスに対応するためにシステムやサービスには、これまで以上に迅速な導入や安定した運用が求められるようになってきています。このような要求を満たすために、仮想環境やクラウド環境を基盤として利用し、サーバの構築プロセスや構成管理プロセスの効率化のためにChefやPuppet、Ansibleといった自動化ツールが活用されるようになってきています。 このように自動処理で手軽にシステムやサービスをセットアップできるようになると、構築時の人為的ミスを防げるようになるなど便利になる反面、内部で実施されている処理が人の手から離れて、把握しづらくなる傾向にあります。また自動化の導入に際しては、システムが意図した状態に作り上げられているのかを確認する作業も重要になってきます。特に大規模で複雑な環境において、この確認作業を手作業で実施することは、高コストの要因となってしまいます。 参考: Think
「夜はサーバの電源を落として帰ろう」 東急ハンズによる、6つの聖域なきシステム改革
東急ハンズにて情報システムと通販事業の責任者を務める長谷川秀樹氏が、AWS Cloud Roadshow 福岡 powered by Intel に登壇。AWSを導入した企業の部門責任者として、クラウド化が組織にもたらしたメリットについて語りました。 従量制のAWSだからこそ出来ること 長谷川秀樹氏：あとはハンズの、こういうふうにやってきたいなというところをパラパラッと紹介していきたいと思います。ちょっと業界的な話になってきちゃうんですけども、今オムニチャネルっていう話があって、ECと店舗をガッチャンコするというところをやっていこうと。 あと、これは業界全部に関わることかなと思います。夜間バッチの廃止。これは僕も口酸っぱく言っているところです。今新しくオンプレから移すときも、夜間バッチを絶対なくすということでやってます。 「お店が仮に夜の10時に閉まったら、10時半頃にみんな帰る時にお店の
閏秒を迎えるにあたってLinuxでは何を対策すべきか？ | Act as Professional
2016/12/27 更新Googleなどの大手IT企業がうるう秒対策済のNTPサーバが公開したため、これを利用する内容などを以下にまとめました。 元旦に実施される うるう秒の対策 まとめ2016/07/08 更新2017/1/1に閏秒の実施が決定されました。対応はこの記事のとおりで問題なさそうです。 2015/06/24 情報追加(2015/06/29 更新)下記の対応に関わるntpdの比較的新しいバージョンにSLEWモードで動作していても、うるう秒が挿入されるバグが発見されました。[redhat] これによりntp-4.2.8p3-RC1以降のバージョンでないとSLEWモードで動作していてもうるう秒が挿入されます。RedHatはntp-4.2.6p5-3.el6_6という対応済みのバージョンを提供しています。Ubuntuでは今日現在12.04LTS, 14.04LTSの２バージョンはパ
PythonでWebアプリをつくる（ApacheもWebフレームワークもなしで） - yifeの日記
この記事は、ワープロソフトでソースコードを貼り付ける方法を知らないことから、学校の授業におけるレポートの代わりとして執筆されました。 以下に記述されている内容は、学生が学習途中に記述した内容であり、その真偽について一切の保証はないものとします。 また、この記事は「みんなのPython Webアプリ編」に従って学習を進めます。 今回は、Webブラウザを使って操作するアプリケーション（Webアプリ）を、ApacheなどのWebサーバアプリケーションや、ZopeなどのWebアプリケーションフレームワークを使わず、標準のPythonモジュールだけで作成してみたいと思います。 標準のモジュールだけを使ってシンプルなアプリケーションを構築することで、ウェブアプリがどのように動作しているかを理解することを目的とします。 0章 セットアップする PythonでWebアプリを開発するためには、開発環境にPy
メール通知テストに便利な“ダミー”のSMTPサーバー「smtp4dev」
今回紹介するツール ［ツール名］smtp4dev ［対象］Windows ［提供元］Robert N Wood、Microsoft Shared Source Community License（MS-CL) ［ダウンロード先］［URL］http://smtp4dev.codeplex.com/［英語］（CodePlex） “ダミーのSMTPサーバー”って何者？ 何のため？ インターネットメールのプロトコルであるSMTP（Simple Mail Transfer Protocol）は、古くからシステム管理ツールのメッセージ通知にも利用されてきました。例えば、サーバーのダウン、ディスク領域不足、電源異常などなど、さまざまなトラブルやその予兆をIT担当者に電子メールで自動的に通知するといった使い方です。 SMTPによる通知機能が正常に動作するには、メッセージ転送が可能なSMTPメールサーバーが
Dockerで試す、はじめてのSerf - Qiita
はじめに 最近Serfに関する話題が盛り上がってきていて、Serfを紹介した資料がブクマ数をそれなりに稼いでいます。 Serfが面白いと俺の中で話題にwwwwww 【改訂版】 Serf という Orchestration ツール #immutableinfra そこで本エントリーでは、 Serfって何？ Serfってどうやって使うの？ Serfって何が出来るの？ などと思っている方を対象として、Serfの使い方を紹介したいと思います。 Serfとは Serf ( http://www.serfdom.io/ )とは、サーバプロビジョニングにおける、オーケストレーションレイヤーで利用するためのツールです。 オーケストレーションレイヤーでは サーバを冗長化させたり 障害を検知したらサーバを抜き差ししたり などの操作を行います。 Serfはクラスタ内のサーバの状態を監視し、これらの操作を発火させ
マイクロソフトはどうやってBingをFPGAで実装したか - Qiita
ドワンゴがニコ動の画像配信向けにFPGAエンジニアを募集したり、マイクロソフトはBingをFPGA実装したり、Baiduもディープラーニングの高速化にFPGAを導入したりと、なんだか世の中急にハードウェアくさくなってきた。IoTとは違う意味で。 金融分野ではすでにCPUでは遅すぎてFPGAによるナノ秒単位の株取引が行われているって記事を書いたのは2年前だけど、ここ数年はIntelのCPUのクロックもあまり上がらなくなってきたし、Fusion-ioやNetezzaといった大手御用達のハイエンド鬼速ストレージも、フタを開ければ中身はすでにFPGAに移行済み。IBMが最近出したData Engine for NoSQLという製品ではPOWER8プロセッサにFPGAを直付けしてRedisを高速化したり。いよいよデータセンターにも、先の見えないCPUに代わってFPGAやGPUを導入する波が押し寄せつ
複数の計算機をひとつのものとして扱う - Qiita
本日は趣向を変えて複数の計算機を透過的にひとつのものとして使う話です。以前にデータ分析用の計算機環境を用意する話をしましたが、その続きというか補足です。 手元の計算機で開発する問題点 人によっては手元のノート PC の性能にこだわり、ローカルで開発をしたりする人がいるようですが、この場合いくつかの問題があります。 いくら性能の高い計算機を買おうとも、その性能には上限がある 長時間かかるジョブを実行した場合、終了するまでノートを閉じて持ち運んだりできない 複数の拠点で開発する場合、重いノートを持ち歩かなければならない 手元の計算機に障害が発生するとすぐに開発の継続が困難になる ソリューション これに対し、遠隔に設置したものも含む複数の計算機によるクラスタで開発をする場合、さまざまなメリットがあります。 スケールアウトすることができる 長時間かかるジョブを実行し、そのまま接続を切り離せる 複数
インターネットを支える「運用でカバー」の憂鬱
「今ではインターネットを『ITインフラ』の1つと呼でしまう人がいますけど、昔のインターネットは『たまに落ちるのは当たり前』くらいの信頼性しかなかったんです。電気や水道みたいな、いわゆる社会インフラとは成り立ちが違います。ITインフラと呼ばれるほど堅固なものなんでしょうかね？」 数年前、インターネット上で使われるプロトコルのセキュリティに関する取材をした際に、ある技術者から聞いた言葉である。 もともとインターネットは、ネットワーク側の機能はなるべく少なく絞って、高度な処理は端末側に任せるのが基本設計だ。最低限の仕様さえ踏まえていれば、どんな端末でもつなげるオープン性が身上といえる。 プロトコルの仕様自体がセキュリティ上の弱点になる こうした“ゆるふわ”仕様のおかげで、インターネット上には様々なサービスが発展することになった。そして今では「ITインフラ」などと呼ばれることもあるわけだが、昔の“
「サーバーってなに？」～初心者でもよくわかる！VPSによるWebサーバー構築講座(1) | さくらのナレッジ
サーバーの扱いに慣れていない初心者の方を対象に、VPS(Virtual Private Server)を使ってWebサーバーを構築し、WordPressサイトを運用できるようになるまでの連載を始めます。 サーバーの構築方法については、中・上級者向けの情報は多く見つかりますが、 「初めてVPSに触れる方が、Webサイトを構築して運用できるようになるまでのノウハウ」 を体系的に解説しているサイトはあまり多くありません。 ネット上に存在している情報では断片的だったり、分からない専門用語が出てきたりして、途中であきらめてしまった方も多いのではないでしょうか？ 本連載では、初心者の方でも「これさえ読めばVPSを構築できる！」ように、初歩から丁寧に解説します。 「今までレンタルサーバーを使っていたけど、一歩進んでVPSに挑戦してみたい」という方のお役に立てれば幸いです。 本連載は以下の構成で5回に分け
弊社ホームページ改ざんに関するお詫びとご報告 | gihyo.jp
弊社ホームページにおいて、2014年12月6日11時～14時のあいだ、第三者からの不正アクセスによりサイトが改ざんされていた事が判明いたしました。ご利用頂いておりますユーザの皆さまにおかれましてはご迷惑をお掛けいたしまして、深くお詫び申し上げます。 なお、現在は被害を受けたサーバは復旧作業を実施済みです。ご利用ユーザーの皆さまの個人情報流出等は、現在のところ確認されておりません。 被害対象サイト／コンテンツ URL：http://gihyo.jp 改ざん内容とその影響 サーバの中身を入れ替えられ、外部のサイトにリダイレクトされるように設定されていた。 リダイレクトされていたサイト（アクセスしないようご注意ください） www.koushin-lawfirm.net live.livelistingreport.com 現在把握している改ざんされていた可能性がある期間 2014年12月6日
Herokuのメリット、デメリット - Qiita
メンテナンスコストがほぼゼロ ほぼ何もしなくても勝手に動いてくれます。 個人的な体感値だとAWSでEC2やロードバランサで環境を組んだ場合と比べると1:100ぐらいの手間無し感です。 デプロイがコマンド一発 デプロイは基本的にgit push heroku masterでHerokuにpushするだけです。(Railsのマイグレーションを行う場合はheroku run rake db:migrateも必要) 自分でデプロイスクリプトを頑張って書かなくてもいいので楽です。 スケールアウトがコマンド一発、もしくはGUIで非エンジニアでも操作可能 Herokuはdynoという独自のWebサーバプロセスの単位で操作するのですが、heroku ps:scale web=3でプロセス数を変更出来ます。 Herokuサイト上のダッシュボードからバーをスライドさせる事によって1〜100までdyno数を変更
SSH の設定でセキュリティ強化 for お名前.com VPS - 二度目の人生リセット
2014-08-22 SSH の設定でセキュリティ強化 for お名前.com VPS VPS お名前.com インフラ構築 SSH SSH のポート番号を変更しても意味がない VPS 初心者向けに初期設定の手順を公開しているサイトの多くが「セキュリティー強化のため SSH の Port は10022 に変更」と書かれていますがほぼ無意味である。数分程度の時間稼ぎは出来ると思いますが 0 から 65535 のポートすべてをスキャンすれば SSH のポートは判別可能。結論は SSH の Port はデフォルトの 22 のままで良いということ。 じゃぁ、不正アクセスの対策はどうすればいいかというと…。 SSH 接続は鍵認証方式（2048 bit以上推奨）のみ受け入れる root での SSH 接続は拒否する iptables で 接続可能なホストを指定する（固定IP推奨） Fail2Ban な
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Web API サーバーとしての Elixir の可能性
さくらインターネット、HTTP 503エラーを回避する無料機能「リソースブースト」、突発なアクセス集中に対応 
TechCrunch | Startup and Technology News
開発用ローカルサーバを立ち上げる方法 - Qiita
TechCrunch | Startup and Technology News