PinterestのHadoopインフラ - ワザノバ | wazanova
http://engineering.pinterest.com/post/92742371919/powering-big-data-at-pinterest 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約3時間前 Pinterestもものすごい規模になってきましたね。 1日当たり20TBの新しいデータ。Amazon S3には約10PBが保存されている。 同社ではこのデータの処理にHadoopを利用していますが、 毎日100人以上が、Quoboleが提供するダッシュボードを使って、2,000件以上のジョブを実行。 3,000個のノードで構成される6つのHadoopクラスタを利用。エンジニアは数分で専用のクラスタが立上げ可能。 毎日のログデータは、200億件。約1TBに達する。 このグラフによると、Pinte
Whispering Gophers
Whispering Gophers Network programming in Go Andrew Gerrand Francesc Campoy Introduction This code lab demonstrates network programming with Go. The final goal is to build a "whispernet": a peer to peer mesh network for transmitting text messages. Design overview Pre-requisites You must have these tools installed and working: Go 1.1 (see golang.org/doc/install) Mercurial (see mercurial.selenic.com
Euclid: The Game - Tutorial
Golden Medals: Info about medals and controls Submit your score Name: Highscores: 1. andersk 50 1. Вихухіль 50 1. spiglerg 50 4. alexk 48 5. Illias 45 5. MYXOMOPbI4 45 5. half-integer 45 5. theperfect 45 9. Zette 44 9. AlCash 44 9. Max 44 Highscores get updated every couple of hours. Sponsor Our game is proudly sponsored by a marketing agency Facebook Ad Agency Amazon Marketing Agency Twitter Mark
Home
Smart Home Setup Made Easy. Fast, Strong, and Reliable with Thread. Learn how Thread is making smart homes smarter, more reliable, and faster. Discover the seamless mesh design, which ensures strong, low-power connections, and watch how your network can grow stronger with each added device! "So what's a smart display to do if it wants to stay on top of the smart technology game? Add Zigbee, Thread
ScaleOut | Supership
「ミライリアルの幸せを、デジタルの力で創る」ことを目指すSupershipグループの社内報です。日々の出来事、メンバーの働く様子や声、未来への想いなど、Supershipグループの”Be Super”なストーリーをみんなでシェアしていきます。
Amazon Glacier からデータを取り出すときには気をつけようね - takatoshiono's blog
注意 この記事は2014年7月5日時点の情報に基いて書かれています。Amazon Glacierの最新の料金体系についてはAmazonの公式ページをご参照ください。 料金 - Amazon Glacier | AWS よくある質問 - Amazon Glacier | AWS 昨日の出来事 Amazon Web Services から6月の請求が来た。 Total: $20.30 あれ、なんか高いぞ・・。 ちなみに先月は 0.18 ドルだった。 やっぱり高すぎる。 内訳を見たら以下のようになっていた。 たしかに先月 Glacier のデータをリストアしたけど、なんだこの 1,633.224 GB というばかでかい数字は・・。こんな大きいデータリストアしてないし、そもそも持ってない。 調べた Amazon Glacier のリストア料金は「ピーク復元レート」というのに基づいて計算される。ピー
MQTTについてのまとめ — そこはかとなく書くよん。 ドキュメント
注釈 MQTT As a Service: sangoをリリースしました 2014年8月に、GitHubアカウントで簡単に登録できてMQTTを使い始められる sango を 時雨堂 がリリースしました。 無料プランもありますので、MQTTを一度使ってみたいという方はsangoを使うことをお勧めします。 最近voluntasさんが 活動 してお り、にわかにMQTT関連が熱くなってきました。たぶん観測範囲が狭いからだと は思いますが。 とはいえ、M2M (Machine to Machine)やIoT(Internet of Things)というバズワー ドもあり、モノがインターネットにつながる時代になってきて、MQTTの価値が 高くなってきている気もします。また、モバイル時代に適したプロトコルとい う意味でも注目されているのかもしれません。 ということ、MQTTについて一旦ここでまとめてみ
docker containerに対して直接ansibleを実行する — そこはかとなく書くよん。 ドキュメント
dockerのイメージを構築するにはDockerfileを使って構築します。しかし、 Dockerfileはほぼ単なるshell scriptなのでいろいろと書きにくいという問題 があります。そのため、packerを使ってイメージを構築する手段が取られたり します。が、packerのansible provisionerはansible-pullを内部で実行すると いう形式のため、ansible実行環境やgitをイメージの中に入れる必要がありま す。 また、起動しているコンテナに対してコマンドを実行するためにはsshで入る必 要があります。これはつまり、sshdを入れてsshのポートをexposeする必要があ り、なおかつ動的に変わるdockerの外側sshポートを把握する必要があります。 これらの問題点を解決するために、ansibleが直接dockerコンテナとやりとりを するプラグイン
次世代フライホイール向け高温超電導マグネットの開発に成功｜2014｜ニュースリリース｜古河電気工業株式会社
公益財団法人鉄道総合技術研究所（以下「鉄道総研」）と古河電気工業株式会社（以下「古河電工」）は、古河電工の子会社のスーパーパワー社が製造した第2世代高温超電導線材を用いた大型フライホイール用の高温超電導マグネットの開発に世界で初めて成功しました。（注1）
データセンターの原価計算について〜「クラウド」の別側面として - 急がば回れ、選ぶなら近道
要するにデータセンターの「原価計算」です。いろいろこのあたりに関わっています。複雑な計算ロジックと大量のデータを扱う必要があるので、大規模並列計算の適用が必須になり、結果として当方の出番になった、という状態。尚、実行基盤にHadoop（MapR）を利用しています。（一応予定ではSparkに移行するつもりで、開発も始まっています。） さて、いろいろやっていて思うところがあるので、現時点での考え方をまとめておきます。機微な部分はNDAになるので書きませんし、以下は自分の「個人的な」意見であり、特定のサービサーの話をしているわけではありません。基本的にInteropで公にしゃべった話のまとめです。 ■現状認識 現在、国内DCはほぼ乱立状態に近いと思われます。ここへ来て春先のAWSの値下げのインパクトもありました。今後は、より競争的なマーケットになるでしょう。退場する企業やM&Aも活発化していくで
Dockerコンテナに入るなら SSH より nsinit が良さそう - Gosuke Miyashita
追記 はてブでつっこみもらいました が、実行するカレントディレクトリは /var/lib/docker/execdriver/native/$id を使うのが正しいようです。（情報読み違えてた。）こちらには container.json があるので、ソースツリーからコピーしてくる必要ないですね。 また、コンテナ ID 取得は、docker ps -q --no-trunc の方が良い、とも教えていただきました。 つっこみにしたがって、最後の方の説明とシェル関数書き換えました。 つっこみありがとうございます！ tl; dr タイトルまま 経緯 Docker でつくったコンテナの中に入って状態を確認するために、コンテナ内で sshd を立ち上げてアクセスする、ってなことを以前やってたんですが、コンテナ内で sshd を立ち上げる、というやり方がいまいちだし、そもそもコンテナの仕組みから考えれば
GoogleがOpenSSLをフォークした「BoringSSL」を公開 | スラド セキュリティ
GoogleがOpenSSLをフォークし、「BoringSSL」として公開した(ImperialVioletブログの記事、 Ars Technicaの記事、 本家/.)。 Googleは何年もの間、OpenSSLに数多くのパッチを当てて使用していたという。一部のパッチはOpenSSLのメインリポジトリに取り込まれたが、大半はAPIやABIの安定性の問題があるなどの理由で取り込まれていなかった。AndroidやChromeなどの製品はパッチの一部を必要とするが、パッチは70以上もあるために作業が複雑になっていたそうだ。そのため、OpenSSLをフォークして、OpenSSL側の変更をインポートする方式に変更したとしている。BoringSSLは近いうちにChromiumのリポジトリに追加される予定で、いずれAndroidや内部的にも使われるようになる。ただし、BoringSSLではAPIやABI
On Mining | Ethereum Foundation Blog
On MiningPosted by Vitalik Buterin on June 19, 2014 Decentralization, n. The security assumption that a nineteen year old in Hangzhou and someone who is maybe in the UK, and maybe not, have not yet decided to collude with each other. There has been a large amount of ruckus in the past week about the issue of mining centralization in the Bitcoin network. We saw a single mining pool, GHash.io, amass
Zabbixサーバーの負荷を圧倒的に下げた話 - サーバーワークスエンジニアブログ
初めまして今年入社した長谷川です。 新入社員として最初の仕事である、Zabbixサーバの負荷を下げた話を書きたいと思います。 実はこのプロジェクトは、まだ新人研修を行っている入社１ヶ月目の時に、Rubyが得意？という理由でアサインされ、１週間で構築と実装しました。以上自慢です。 構築したシステムは、CloudWatch経由でしか監視ができないRDSやSQSなどのサービスのメトリクス（監視データ）を大量にZabbix取り込む場合の解決方法の一つだと思います。今後同じ問題に直面した方々の参考になれば幸いです。 従来のシステムの状況 従来のシステムは、Zabbixサーバがインストールされている1台のEC2インスタンスが、CloudWatchから値を取得しているだけのシンプルな構成でした。 ZabbixサーバーはCloudWatchから各サービスのメトリクスを取得するRubyスクリプトを実行し、そ
noteをAngularJSで構築した話
2014/06/02 LIGにて行われたイベントの時に発表したスライド AngularJSを業務で使いたいけど今一歩踏み出せない方のための勉強会 http://eventdots.jp/event/52461
Linuxのブロックデバイスレベルで実現するrsyncより高速な差分バックアップについて - ゆううきブログ
社内で論文輪読会みたいなことやってて、そこで紹介した論文の内容についてです。 最近、Graphite に保存しているデータのバックアップ（データ同期）に rsync 使ってて、かなり遅いので困ってた。 LISA っていう 大規模システム、sysadmin 系のカンファレンスがあって、ここから論文探してたら、ちょうど巨大データの高速バックアップの実装の話があったので読んでみた。 論文概要 dsync: Efficient Block-wise Synchronization of Multi-Gigabyte Binary Data - https://www.usenix.org/conference/lisa13/technical-sessions/presentation/knauth - Thomas Knauth and Christof Fetzer, Technische U
Dockerのネットワークの基礎
今までいろいろ触ってきて，Dockerネットワーク周りに関しては何となくは理解していたが，人に説明できるほど理解してなかったのでまとめておく．基本は，Advanced networking - Docker Documentationがベースになっている． 仮想ブリッジの仕組み Dockerのネットワークは，仮想ブリッジdocker0を通じて管理され，他のネットワークとは隔離された環境で動作する． Dockerデーモンを起動すると， 仮想ブリッジdocker0の作成 ホストの既存ルートからの空きのIPアドレス空間を検索 空きから特定の範囲のIPアドレス空間を取得 取得したIPアドレス空間をdocker0に割り当て が行われる． コンテナを起動すると，コンテナには以下が割り当てられる． docker0に紐づいたveth（Virtual Ethernet）インターフェース docker0に割り
Go言語のコードレビュー
SoundCloudが2年半ほどGo言語を利用したプロダクトを本番で運用した知見をGopherConで発表していた（“Go: Best Practices for Production Environments”）．その中で“CodeReviewCommentsというGoogleでのGo言語のコードレビューにおいてよくあるコメントをまとめたサイトが紹介されていた． 最近Go言語を書くようになり，使えそうなのでざっと抄訳してみた．“リーダブルコード”的な視点も含まれており，Go以外の言語でも使えそう． gofmtでコードの整形をすること コメントは文章で書くこと．godocがいい感じに抜き出してくれる．対象となる関数（変数）名で初めて，ピリオドで終わること // A Request represents a request to run a command. type Request str
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Introducing Dockercast – the Docker Podcast | Docker Blog
Open Sourcing FNR an Experimental Block Cipher