サーバレスアーキテクチャによる有料ライブ配信サービスの構築
ライブ配信を支える技術 2019年10月4日(金)〜6日(日)開催の「水曜どうでしょう祭2019」では＜昼の部＞の有料ライブ配信を実施。その技術サイドのお話をいたします。社内外の多くの方のご協力があってほぼほぼ内製で構築することができました。今回の構築をざっくりですが、残しておきたいと思います。 全体のざっくり構成図 会場からクラウドにあげるまで Media Services API橋渡し(DRM)(決済・認証) ネットワーク フロントエンド プロジェクト管理 1.会場からクラウドにあげるまで テレビ中継車から会場のビジョンに出しているものを中継します。 今回はHTB本社で放送用に受けた映像を分岐してもらいました。 この映像をSDIからHDMIに変換してLiveShellPro2台を用いてRTMPでAWSであげます。 AWSまではNTT東日本さんのCloudGateway Applipac
サーバ用途でコンシューマ SSD へ調子に乗って書き込みすぎると壊れるという話 - mura日記 (halfrack)
Crucial M500 の write endurance が 75TB しか無いというのが話題になっていて、同じく 75TB である m4 をわざと虐待していたホストはどうなったのか気になって調べて見たところ、面白い結果が観測されたという話。 石橋を叩いて壊し障害時の挙動を見るべく「自社全サービスのアクセスログを受け止める syslog サーバ」という、どう見ても書き込み中心で SSD にやさしくないホストをあえて動かしていた。具体的には下記のようなノリのホストである。 iostat の一行目なので uptime 数百日における平均値であることに注意。 [root@touge ~]# iostat -k -x -d sda | sed -n '3,4p' Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await
APCの無停電電源装置をはてなサーバーエンジニアが試してみた - はてなニュース
こんにちは、はてなのサーバーやネットワークの各種最適化、ハードウェア選定、運用保守などを手広く担当するエンジニアのid:halfrackこと村松雄介と申します。はてなのサービスを支えるサーバーのほとんどは、自家発電装置を備えたさくらインターネット様のデータセンターに設置しています。はてなの東京オフィスにも、開発用などの用途で一部のサーバーを設定しています。もし停止しても、ユーザーさまに直接ご迷惑をおかけすることはありません。とはいえ、それなりに大事な役割を担っていて、不意の停電で困ることもあります。「インテリジェントなUPS（無停電電源装置）を導入したいな」と思っていたそんな中！ APCの中容量UPSを試せるという願ったり叶ったりな話が舞い込んできました。 （※この記事は、株式会社エーピーシー･ジャパン提供によるPR記事です。） APC, a flagship brand of Schne
災害にあったITシステムを操作しなければならない人が知るべきこと
東北地方太平洋沖地震が金曜日に発生し、被災された皆様には心よりお見舞い申し上げます。 そんな中でも、この月曜日から多くのIT関係者が被災したかもしれないITシステムの復旧に取りかかるのではないかと思います。そうした方々に役に立つ記事を届けられないだろうかと、ユニアデックスの高橋優亮氏に相談したところ、大いなるご賛同をいただき有志の方々とノウハウをまとめたこの文書「災害にあったITシステムを操作しなければならない人が知るべきこと v0.2」を作り上げていただきました。 本文書の主眼は被災したITシステムを復旧させようとする方々に向けた情報提供ですが、システムに電源を入れる前の注意事項、電源投入順序の考え方などの説明は、これから関東地方で計画されている停電が起きたあとのシステム再起動の際などにも参考になると思います。 本文書はどなたにでも活用していただけるようにGNU Free Documen
はてなサーバーを更に解剖 - 発言注意！
はてなの1U自作サーバーの情報が出てましたね。せっかくなので、写真からみてもう少しわかるところを掘り下げてみるとします。 1Uラックマウント可能なサーバを自作する - marqs blog 電源 電源は「Enhance FLEX 300」 最安値は、￥8,650くらい。300Wクラスの薄型電源では、最安クラスだと思うので、コスト重視ならいいチョイス。 冷却ファン(ケース取り付け用) ケース背面近くに２つある冷却ファンは「San Ace 40」っぽい。 取り付け位置とかも計算されてるんでしょうね。ラックの前面・背面の両方につけるので、非対称な位置につけることで、前後2台で空気循環させるような考え方かな？メモリやCPUを避けて、空気の流れを作りやすくしてるっぽい。 冷却ファン（CPU） 冷却ファン（CPU）は「Dynatron P199」 最安値￥3980ほど。丈が低いファンで他の選択肢が
1Uラックマウント可能なサーバを自作する - marqs blog
はてなでは以前から自社製サーバを使用しているのですが、今年の春に、新たに自社製1Uハーフサーバを開発しました。 最近、タワー型だとメーカー製でもかなり安価なサーバがあるのですが、データセンターでの運用を考えると1ラックへの集積度が問題になってくるので、必然的にラックマウント可能なサーバが求められます。1Uサーバの中で価格対性能比のよいものを探すと、まだまだはてな的に使いやすいサーバが少ないので、今回このような1Uラックマウント可能なサーバを自社開発しました。 さてこのサーバの特徴としては、 ケーブル類がフロントアクセス 組み立て簡単 いけてるインフラアルバイトのid:hxmasakiが組み立てると15分 1ラックに60台以上搭載可能 もちろん、電源容量との兼ね合いもあります ディスクのホットスワップが可能 低消費電力 お値段据え置き 以前の自社製サーバとほぼ同価格 といったところがあげられ
UPS内蔵PC DNRH-001 - 清水 隆夫の「Good Job !」
激安の新品アウトレットUPS内蔵パソコンが楽天市場のショップで販売されていたので、思わず購入してみた。価格は、なんと19.999円（税込）の送料無料で、OSはWindows XP Home Editionがプリインストールされており、正規のWindows XP Home Edition（OEM版）のインストールCD-ROMメディアまで付属してくる。搭載しているCPUは、VIAのC3プロセッサで稼働クロックは1GHz、搭載しているメモリはDDR PC2100の256MBであるが、最大は1GBのメモリ・モジュールへ交換が可能だ。 この激安パソコンの型番は「DNRH-001」となっており、製造メーカなどは不明であるが、スチール製の筐体には、放熱用のパンチング形状の穴が無数の空いており、空冷用のファンは装備していない。そう、DNRH-001はファンレス稼働のパソコンで、しかも停電時にシステムをシャ
恐怖の停電対応で男子更衣室に侵入!?
1年のうちで、システム管理者がかかわっていることさえ意識されない、地味な定例イベントがある。それは停電対応だ。だがこれは、たくさんの貴重な経験が積める修行の場とも言える。 システム管理者には、1年のうちで必ず対応しなければならないイベントというものがある。新入社員を迎えるためのレイアウト変更やPC準備、人事異動シーズンの対応などは、システム管理者以外にも何かしら影響があるイベントのため、その忙しさや苦労は一般の社員にも分かりやすいものだ。しかし中には、そこにシステム管理者が関与していることさえ意識されない地味なイベントもある。停電対応だ。 最低でも年に1度は行われる法令点検に伴い、常時稼働させているサーバの電源を落とし、設備点検が完了した時点でサーバを立ち上げる必要がある。単純に、サーバを終了して起動すればいいだけの話じゃないかと、事情を知らない人は思うだろう。ところが、そう簡単にいかない
sanonosa システム管理コラム集: Linuxでそこそこ安全かつ楽にサーバを立てる方法
【1.初めに】 要望がありましたので、今回はLinux（実際はRedhat系Linux）でそこそこ安全かつ楽にサーバを立てる際の手順を記してみます。 ※一応注意：今回は、試しにサーバを立てる程度であればこのくらいで十分ではないかと思うレベルを想定しています。サービスに投入するサーバでは私はもっと細かいところまで手を入れています。 【2.そこそこ安全かつ楽にサーバを立てる手順】 さて、いよいよ本題です。サーバを立てる際は、不必要なものを全て取り除いてから必要なものを追加していくというのが基本になります。以下の手順1～5では不要なものの除去、手順6～7で必要なものを追加し確認しています。それを踏まえまして。 ■手順1. OSをインストールします。(私はLinuxであればCentOSを入れることが多いです。その際私はインストールの種類をカスタムにしパッケージグループの選択では開発ツール以外全部チ
とあるはてな社員の日記 - まっさらなサーバを30分で本番投入できるようにする
すこし前にはてなスターのリリースがされたのですが、サービス開始直後にありがちなことに、時々負荷で遅くなったり、アクセスしにくくなったりしてしまいました*1。これではいけない、ということで、すぐ次の日に、バックエンドのサーバを一気に10台近くまで増やして、おおむね快適に使える状態になっていると思います。この時に、新しいサーバをまっさらな状態から、だいたい30分程度で本番投入することができていました。これを、どのように実現したのかを軽く紹介したいと思います。 ちなみに、サービスの重さは、サーバ増強だけで済むものではなく、それ以降も、Javascriptが重い!とか、アプリケーションロジックで重いSQL を走らせてしまって遅いという問題は何回かありました。が、そこはインフラではなく、アプリケーションの問題で、アプリケーションの改善は、継続的に進んでいると思います。ので、今回は、インフラの話に限定
たった2行でできるWebサーバ防御の「心理戦」 − ＠IT
高い壁を作るだけがセキュリティ対策ではない。攻撃者の心理を考え、彼らに選ばれないシステム作りも大きな効果が望めるのではないだろうか。本連載では視点を変え、攻撃者に選ばれないためにできる、ほんのちょっとした対策を取り上げる。（編集部） 対策をもう一歩進めるための新たな視点を持とう システムは動くだけではなく、セキュリティ対策がなされていなければいけないといわれ始めて久しい。セキュリティという言葉を聞くと、物理的なものだけではなく、ネットワークセキュリティを連想するほどの認知度も得ているのではないだろうか。 個人宅のネットワーク環境にもファイアウォール機能を搭載したルータがあり、PC1台1台にアンチウイルスソフトがインストールされている。いまとなっては珍しくなく、むしろ当たり前とも思えるようになった。 一方、ネットワークに存在する脅威というと、ウイルス、ワーム、ボット、サイトの改ざん、個人情報
Open Tech Press | Linuxのパフォーマンスを改善する3つのTips
同じコンピュータでも、Linuxを走らせたときのほうがWindows XPやVistaを走らせたときよりも性能は高くなる。しかしLinuxシステムはさらに高速化することも可能だ。この記事では、Linuxシステムの性能を向上させるための、3つの異なるレベルで行なう最適化の方法を紹介する。 あらゆる最適化について言えることだが、何らかの簡単なベンチマークを行なわなければ、結果を本当に向上させることができたのかどうかを知ることはできない。Linux PC上では通常、数多くのプロセスが走っていて、それらが性能の測定に影響を与える可能性がある。その影響を最低限に抑えるために作業はランレベル1で行なうようにしよう。ランレベル1は、最低限のプロセスのみを実行するシングルユーザモードだ。ランレベル1で作業を行なうためには、ALT-F1を入力してコンソールに切り替え、ルートとしてログインして「init 1」
Open Tech Press | SSHのセキュリティを高めるためのハウツー
SSHサーバの設定ファイルは/etc/ssh/sshd_configとなっている。このファイルを変更した後は、変更を反映させるためにその都度SSHサービスを起動し直す必要がある。 SSHが接続を待ち受けるポートの変更 SSHはデフォルトでは22番ポートで接続を待っている。攻撃者はポートスキャナを使ってホストがSSHサービスを実行しているかどうかを把握するが、（nmapを含め）大抵のポートスキャナではデフォルトでは1024以上のポート番号のスキャンは行なわれないため、SSH用のポートを1024以上の番号に変更しておくのが賢明だ。 具体的には、/etc/ssh/sshd_configファイルを開き、以下のような行を見つけて変更する。 Port 22 この行でポート番号を変更したら、以下のようにしてSSHサービスを起動し直そう。 /etc/init.d/ssh restart SSHプロトコル2
1秒で10万行を処理するフリーの超高速なログ解析ソフト「Visitors」 - GIGAZINE
GIGAZINEのログは膨大な量になっているため、以前まで使っていた「ApacheLogViewer」では毎日のアクセス解析に時間がかかりすぎるのと、今後のさらなるログの増大を考えると不安を覚えたので、いろいろと試してみた結果、「Visitors」というアクセスログ解析ソフトが超高速でよかったです。 大体、10万行を1秒～2秒ほどで処理してくれます。しかもサイトへの人の流れをフローチャート化することも可能。ユニークユーザーベースで解析してくれるだけでなく、検索ボットは除外したり、特定のリファラをブラックリストにしてノーカウントすることも可能。非常にすばらしいです。 また、Linux版だけでなく、Windows版も一応提供されています。やろうと思えばWindowsで解析することも可能です。 というわけで、実際にインストールして実運用するまでの手順をメモしておきます。参考になれば幸い。 ■解析
naoyaのはてなダイアリー - さくらインターネット移行記#1
先日のライブドアのテクノロジーセミナー(http://d.hatena.ne.jp/naoya/20061214/1166063145)でも少し触れたのですが、はてなのサーバーは今後さくらインターネットのiDCでホストすることになりました。 複数の iDC を検討しましたが、最終的にさくらインターネットに決めた理由は回線品質の高さと回線が低価格である点でした。 はてなのようなコミュニティ中心のサービスは、お金の面では、どうしても回線コストと収益の間にアンバランスが生じがちです。ショッピングサイトや各種メディアのようなコンテンツに比べてマネタイズが難しい、というのがその主な理由です。 例えばはてなのトラフィックの多くははてなダイアリーの日記へのアクセスで占められていますが、基本的に個人の日記にははてな側からは広告を掲載しないポリシーでいます。そのためトラフィックを多数必要とされる箇所で収益を
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://jp.techcrunch.com/2014/04/08/jp140408hatena-mackerel/
【西川和久の不定期コラム】 新型Atomを使ってファンレスサーバーを作る
http://www.lpi.or.jp/linuxservertext/
Engadget | Technology News & Reviews
IBM 軽量 Web サーバー - Japan
