Twitter、数万台のHadoopクラスタとコールドストレージをGoogle Cloud Platformへ移行すると発表 － Publickey
Twitter、数万台のHadoopクラスタとコールドストレージをGoogle Cloud Platformへ移行すると発表 Twitterは、自社で運営している大規模なHadoopクラスタをGoogle Cloud Platformへ移行すると発表しました。 A new collaboration with Google Cloud - Twitter Twitterは基本的に自社でデータセンターを保有し運用してきました。2017年1月にTwitterのブログに投稿された記事「The Infrastructure Behind Twitter: Scale」によると、Twitterのデータセンターは5つの大陸にあり、合わせて数十万台のサーバが運用されています。 同社が運用しているHadoopクラスタは世界最大級の規模として、以下のように説明されています。 Hadoop: We have
オラクル、JavaやJavaScript、Ruby、Pythonなど多言語対応を単一ランタイムで実現する「GraalVM」をオープンソースで公開。Twitterが本番環境で採用
オラクル、JavaやJavaScript、Ruby、Pythonなど多言語対応を単一ランタイムで実現する「GraalVM」をオープンソースで公開。Twitterが本番環境で採用 JavaやJavaScriptなどには、それぞれその言語を実行するためのランタイムが存在します。JavaならJavaVM、JavaScriptならJavaScriptエンジンといった具合です。 米オラクルがオープンソースで公開した「GraalVM」は、これまで言語ごとに個別に用意されていたランタイムを統合し、単一の高性能なVMにするという同社の研究の結果開発された汎用仮想マシンあるいは汎用ランタイムです（米オラクルのブログ、日本語訳）。 GraalVMのWebサイトには、次のような説明が記されています。 GraalVM is a universal virtual machine for running appli
Cloudflareの1.1.1.1が「DNS over Twitter」を開始。ドメイン名をツイートすると即座にIPアドレスを返答
Cloudflareの1.1.1.1が「DNS over Twitter」を開始。ドメイン名をツイートすると即座にIPアドレスを返答 高速なDNSサービス「1.1.1.1」をAPNICと協力して開始したことなどで知られるCloudflareが、新たなドメイン名解決サービスの「DNS over Twitter」を開始しています。 これは@1111Resolver宛てにドメイン名とレコードタイプをツイートすると、即座にIPアドレスを返答してくれる、というもの。 下記はCloudflareのエンジニアNick Sullivan氏のツイート。 The 1.1.1.1 resolver now supports a new protocol: DNS over Twitter! Just send your queries to @1111Resolver. We’re also working o
ヤフー「つぶやき感情分析」で、衆議院議員の人気度を見る - プログラマでありたい
ネットを見てると、面白いサービスが出ていました。 ヤフー株式会社は12日、ソーシャルメディア上の投稿を検索できるYahoo!検索の「リアルタイム検索」において、「つぶやき感情分析」の正式版を公開した。 つぶやき感情分析は、Twitter上の投稿を分析し、検索したキーワードについてユーザーがどのような感情を持っているかを、「ポジティブ」「ネガティブ」の割合でグラフ表示する機能。2013年9月にベータ版として提供を開始し、今回、正式版として公開した。 ヤフー「つぶやき感情分析」、Twitter上の感情を「ポジ／ネガ」で判定 -INTERNET Watch Twitterの情報をもとに、感情分析をするというサービスです。簡単にいうと、入力されたキーワードに対して、世間は好きか嫌いかを出すというサービスです。こういったことをやりたいなぁと思って、Twitterのデータを大量に収集したり、そのデータ
Rubyのtwitterライブラリで、Twitter Streaming APIが扱えるようになっていた - プログラマでありたい
久々に@sferikによるTwitterのAPIを使ってみると、いつの間にかTwitter Streaming APIも取得できるようになっていました。Twitter Streaming APIは、APIの中でも異色のもので、ひたすらパブリック・タイムラインを取得するといったものです。4年ほど前に出た当初は、かなり話題になって色々な人がタイムラインを取得して分析していました。かく言う私も、AWSのEC2上で動かして、1年ほどTwitterの呟きを取得して遊んでいました。ちょうど4年前はワールドカップがあり、日本の試合がある度にTweet量が爆発して、プログラムも爆発していました。細かい数字は忘れましたが、無料で使える数%に絞ったAPIのうち日本語だけに絞っても、月数千万件レベルでデータがあったと思います。 そんなこんなのTwitter Streaming APIですが、当時はサードパーティ
「テスト考2014」考 - プログラマでありたい
テスト考2014が面白いです。記事本文は無論のこと、それに対するブックマークやTwitterの反応が興味深いです。反応としては、主に以下の2つにまとめられます。 賛成。テストの費用対効果を考えるべきだよね 反対。現実の開発の現場を見ろ ２つの世界 何故、ここまで賛否両論になるのしょう？恐らく2つの世界から見た意見なのです。 1つは、職人の世界。あるいは少数精鋭の開発者達です。ベンチャー企業やWeb系の企業が多いですね。こちらの世界では、少数精鋭で開発者の個々の能力が高いことが多いです。生産性をあげるには、元々もっているパフォーマンスをいかに出して貰うかが、組織としては大切になります。そうすると開発の方針としては、生産性を落とさない為の足かせを無くすということが大切になります。簡単にいうと、開発方式をトップレベルに合わせるということですね。 もう1つは、SIerにみられるような、大量の人を投
Markdown記法+Git+md2review+ReVIEWで原稿・ドキュメント管理 - プログラマでありたい
来年は、インプットあたりのアウトプットの増加を目指しています。具体的なアウトプットとしては、ブログを書くこともその1つですし、公開・非公開を問わずに効率的にドキュメントを書いていくこともあります。その中で効率的にドキュメントを書くには、バージョン管理を含めドキュメントを管理する仕組みが必須だと思います。以前、原稿を書いていた時は、Git+MS Wordで書いていました。版管理出来るという点では良いのですが、Wordということで執筆出来る端末も限定され、またフォーマット変更もしづらいので改善を考えていました。 そんな中で、IT系の物書きの人たちの間でReVIEW良いよという話を何度も聞いたので試してみようと思いました。一方で、記述のデファクトは今後はMarkDown基本になると思うのでそちらもマスターしたいと考えています。Twitterで何気なく呟いたら、@masawadaさんにmd2rev
Twitterの呟きでAmazon EC2のインスタンスを起動するスクリプト - プログラマでありたい
JAWS-UG Advent Calendar 2013の13日目です。ついでに独りでAdvent Calendarに挑戦中です。 AWSの費用を抑えるコツは、使っていないインスタンスをこま目に停止することです。例えば開発機として利用しているのであれば、出社した時に起動して退社時に停止するのが理想です。しかし、わざわざマネージメントコンソールにログインするの面倒くさいですね。私だったら、3日で手運用していることを忘れてしまいます。そんなモノグサちゃんでもちゃんと節約する方法を伝授します。Twitterによる起動停止です。 Twitterによるインスタンスの起動と停止 指定したユーザの特定の単語に反応して起動と停止するスクリプト例です。 起動・停止するインスタンスは、EC2のUserというタグ名でTwitterのユーザ名を設定しているインスタンスです。タグ指定なので、複数台でも起動出来ます。
はてなブックマークとSEOと検索エンジンと@fladdictさん - プログラマでありたい
体調わる子さんのブログのアクセス数とAmazonのアフィリエイトの結果を見て、割りと驚愕を受けました。50万PVで６千円台とのことで、恐ろしく効率が悪いなぁと。 一方で、はてブの傾向を考えると納得いく部分もあります。はてブ経由のアクセスは、ハッキリ言って殆ど収益性はないのです。以前、はてブ１万ブックマークの顛末で軽く触れましたが、トップに載って数万アクセスを得ても全く物は買ってくれません。本当に買ってくれません。ブコメの欲しいってなんだよと思うくらい買ってくれません。儲かってるんだろうなぁと羨ましがる必要が無いほど、買ってくれません。同様にGoogle Adsenseのクリック率も低いです。はてなの経営が大丈夫かと思う程、広告は踏まれません。それほどに訓練されているのが、はてなブックマークユーザです。 では、収益性が高いページというのは、どういったページなのでしょうか？それは、検索経由でア
1万ブックマークを達成して気がついた３つのポイント。或いはソーシャル・ネットワークについて - プログラマでありたい
はてなダイアリーを始めて、早6〜7年です。先日、1万ブックマークを達成しましたので、備忘録がてらに記録を残しておきます。1万ブックマークを意識したのは、今年の4月です。例のはてなのブックマークアルゴリズムの変更もあって、ホットエントリーに載るのはそれ程難しくないなぁという状況に気が付きました。当時、4,800ブックマーク程あったので、月600超ブックマーク平均で8ヶ月続ければ年内に達成出来るなと算段しました。月10〜15エントリー書くとして、平均40〜60くらい。1つ2つ当たりが出れば100〜200は簡単に行くので、2エントリーで300と残りの10エントリーで300と考えていました。結果的には、ほぼそれに沿う形で前倒しで達成出来ました。 そんな中で、ブックマークされるエントリーを考えながら8ヶ月を過ごして、幾つか気がついたことがあります。まとめてしまうと、これまた身も蓋も無い内容になってし
Facebook、Twitter、PayPal、LinkedInのMySQL担当者は、MySQLをどう使い、何を課題だと考えているか～MySQL Connect 2013
Facebook、Twitter、PayPal、LinkedInのMySQL担当者は、MySQLをどう使い、何を課題だと考えているか～MySQL Connect 2013 Facebook、Twitter、PayPal、LinkedInのMySQL担当エンジニアが集まり、それぞれの社内のMySQL利用状況、課題、これから期待する新機能などを語ったパネルディスカッションが、9月21日から23日までサンフランシスコで開催されたMySQLのイベント「MySQL Connect」の3番目の基調講演として行われました。 世界でもっともヘビーなMySQLユーザーといえる4社は、MySQLについてどのようなことを考えているのか、基調講演の内容をダイジェストで紹介しましょう。 Current MySQL Usage Models and Future Developments ──── まずはそれぞれの所
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Takao Setaka on Twitter: "Cisco Live Digital DGTL-BRKDCN-3378 "Building Data Center Networks with VXLAN EVPN Overlays"は、同タイトルのCisco Press本の著者… https://t.co/reTLzvsbbw"
Takao Setaka on Twitter: "少々時間をいただきましたが、5/10に開催した #CiscoACI Design Series Webinarの資料を公開しました。機器選定やライセンスに関しての情報をまとめております。なお、この回のWebEx動画の公開はありませ… https://t.co/Y6zrlyojp0"
どうした日本オラクル？ ギター侍ならぬデータベース侍がデータベースの現場を斬る！ 波田陽区本人が登場