Treasure Dataに入社しました - myui's memo
3/31付けで4月から国立研究開発法人になった産業技術総合研究所を退職致しまして、4/1からTreasure Dataに入社しました。第一号のResearch Engineerとして東京オフィスで働きます。 CTOの太田さんから2013年頃に一度お誘いを受けておりましたが、2014年になってまた声を掛けて頂き、2年越しでの入社となりました。 なんでTreasure Data？ 現在のTreasure Dataでは、毎秒45万レコード、4,000億レコード/日ものデータが投入されていて、Hiveで処理されるデータ量も3+ペタバイト/日と急速な発展をとげております。研究でもこの規模のデータ量を扱うことはGoogleやFacebook等の一部の研究者を除いてはありませんから、非常に挑戦的な課題に取り組める環境であることにDB研究者として第一に魅力を感じました。優秀なエンジニアが集まっていて刺激的
NoSQLデータベースのCouchbase、HortonworksのHadoopプラットフォームと統合
NoSQLデータベースを手がけるCouchbaseは米国時間2月19日、同社のオープンソースデータベースとHortonworksの「Apache Hadoop」データプラットフォームの統合を発表した。これにより企業が単一のシステム上で業務データと分析データの双方を取り扱えるようになるという。 Couchbaseは、分散メッセージングには「Apache Kafka」を、ストリームデータ処理には「Apache Storm」を用いて、「Couchbase Server 3.0.2」と「Hortonworks Data Platform 2.2」（HDP 2.2）を統合することになる。 今まで業務データと分析データは個別に扱われてきており、静的かつ大規模なオフラインデータセットの分析には昔からHadoopが用いられてきている。 Couchbaseの説明によると、同社のデータベースとHortonwo
Droonga
About Droonga Droonga is a distributed full-text search engine, based on a stream oriented processing model. In many operations (searching, updating, grouping, and so on), Droonga processes various data by pipeline. As the result, Droonga has large potential around its flexibility and extensibility. Moreover, those features provide high availability for people who develop any data processing engin
Facebook、分散SQLエンジン「Presto」公開。大規模データをMapReduce/Hiveの10倍効率よく処理すると
Facebookは、数ペタバイト級の大規模データに対しても、対話的にアドホックな問い合わせを可能にする分散SQLエンジン「Presto」を、オープンソースで公開しました。 PrestoはFacebook社内で大規模データの分析のために開発され、すでに同社社内使われているもの。 FacebookはPrestoを開発した背景として、大量のデータをHadoop/HDFSベースで保存したものの、バッチ指向のMapReduceではなく、リアルタイム性に優れた処理が必要になったためだと、次のように説明しています。 Facebook’s warehouse data is stored in a few large Hadoop/HDFS-based clusters. Hadoop MapReduce [2] and Hive are designed for large-scale, reliabl
第1回 halookでHadoop/HBaseを可視化しよう | gihyo.jp
この連載では、HadoopやHBaseのトラブルを解決する手順をご紹介します。第1回目となる今回は、本連載のキーとなるツール「halook」を紹介します。「halook」はオープンソースで開発しているHadoop/HBase用の可視化ツールで、トラブルの発生を可視化して把握し、原因究明するために利用できます。まずは「halook」の概要から紹介します。 Hadoop、HBaseの難しさ Hadoopは大量データの保存と分散処理のために、数十台～数千台のマシンを扱います。そのため、何かトラブルがあったときに、どこに原因があるのか突き止めるのが難しい場合が多く、あるいは、そもそもトラブルが起こっていることに気付くのが遅れてしまうこともあります。たとえば、次のような点が挙げられます。 データは正しく分散配置されているか 処理は分散して実行されているか 設定ミスをしていないか 問題の報告の難しさ
Spark shark
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
Hadoop/Storm の統合を実現する Twitter の SummingBird - Okapies' Archive
Twitter が SummingBird を正式リリースして早二ヶ月。「日本語の紹介記事がほとんど出てないな」と気付いたので、調査がてらまとめてみました。 SummingBird とは？ MapReduce なプログラムを書くための Scala/Java ライブラリ。最大の特徴は、ひとたび SummingBird で書いたジョブは Hadoop でも Storm でも同じように実行できること。 SummingBird では、Hadoop を使う「バッチモード」と、Storm を使う「リアルタイムモード」に加えて、二つを同時に実行する「ハイブリッドモード」がある。ハイブリッドモードでは、ジョブの作者が特に配慮しなくても、バッチとリアルタイムの処理結果を自動的にマージできる。 ハイブリッドモードでは、同じジョブを Hadoop と Storm で同時に実行できるので、Hadoop の耐障害性
Big Data Analytics with Scala
SCALDING : Clustering with Mahout lazy val clust = new StreamingKMeans(new FastProjectionSearch( new EuclideanDistanceMeasure,5,10), args("sloppyclusters").toInt, (10e-6).asInstanceOf[Float]) val count = 0; val sloppyClusters = TextLine(args("input")) .map{ str => val vec = str.split("\t").map(_.toDouble) val cent = new Centroid(count, new DenseVector(vec)) count += 1 cent } .unorderedFold [Stream
Windows Azure上のHadoopサービス「HDInsight」が正式公開。Excelからも利用可能
Windows Azure上のHadoopサービス「HDInsight」が正式公開。Excelからも利用可能 3月からパブリックプレビューが続いていた、Windows AzureのクラウドでHadoopクラスタが利用可能なサービス「Windows Azure HD Insight」が正式公開されました。 HDInsightは、Hadoopの有力なディストリビューションベンダの1つであるHortonworkの「HDP for Windows」をWindows Azureで展開したサービス。Hive、Pig、Sqoop、Oozieなどの機能も含まれています。 通常のMapReduceアプリケーションを利用してHDInsightを使うだけでなく、ExcelとHDInsightを接続して利用することも可能。「Hive ODBC Driver for HDInsight」を用いてODBCドライバ経由
Twitter: データ分析基盤改善取り組み - ワザノバ | wazanova.jp
https://www.facebook.com/photo.php?v=10151697364230687&set=vb.9445547199&type=2&theater TwitterのAnalyticsインフラチームが、データ分析基盤の改善に取り組んできた事例を紹介しています。 1) 背景 ４億tweet/日を発信 & 消費しているユーザのアクティビティを、Twitter社内の多くのチームがそれぞれの観点 & 様々な利用形態で分析データを必要とするため、量およびデータの依存関係が、相当大きく複雑なものになっている。Analyticsインフラは、1000ノードあるHadoopのクラスタをいくつかもつ規模。 ストレージフットプリント & I/Oを減らすだけでなく、他の方法でプロセススピードをあげることに取り組んでいる。 2) Parquet （「Hadoop用のカラムナストレージフォー
Ansibleを使ってHadoop(CDH4) アップデート – OpenGroove
（毎日同じようなAnsibleネタ記事を書いているようだが、これでも微妙に違う） つい先日Hadoop CDH4が4.3.0から4.3.1になったので、せっかくだからAnsibleを使ってアップデートをやってみた。対象は疑似分散環境だからわざわざAnsibleを使わなくてもいいと言えばいいのだが、こういう定型作業の抽象化に慣れておきたいので、ま、練習のつもりで。 実行環境 管理用マシンからAnsible実行 （AWS t1.micro CentOS 6.3） アップデート対象のHadoop疑似分散モードマシン （AWS m1.small CentOS 6.3） メインのplaybookとなるcdh_update.yml 実行場所直下のtasksディレクトリに子playbookを分けて格納し、それらを順次実行させる処理を記述した。ホストの定義はserversファイルに記述。 servers（
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - hailstorm-hs/hailstorm: Haskell distributed stream processing with exactly-once semantics
毎秒10億件以上のリアルタイムイベントを処理するDataTorrent 1.0
Using Coq in Specification and Program Extraction of Hadoop MapReduce Applications
https://jp.techcrunch.com/2014/01/15/20140114google-cloud-storage-connector-for-hadoop-launches-as-data-analytics-becomes-a-priority-for-cloud-providers/
http://tsunami.io/
MapR アーキテクチャ概要 - MapR CTO Meetup 2013/11/12
GitHub - paulgb/haskell_hadoop: Haskell module for streaming hadoop MapReduce jobs
GitHub - myui/hivemall: Scalable machine learning library for Apache Hive/Spark/Pig
http://storm-project.net/