AWS Announces New Serverless Options for Three Analytics Services
AWS Announces New Serverless Options for Three Analytics Services New serverless options for Amazon Redshift, Amazon MSK, and Amazon EMR help customers analyze data at scale without having to configure, scale, or manage the underlying infrastructure Roche, Riot Games, and Intuit among customers using new serverless analytics options LAS VEGAS--(BUSINESS WIRE)--Nov. 30, 2021-- Today, at AWS re:Inve
トータルの人件費を安くできる--デファクトの可能性もある「MongoDB」の勘所
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 「MongoDB」はNoSQLの中でもドキュメント型NoSQLに分類されます。MongoDBは他のNoSQLと同様に、リレーショナルデータベース（RDBMS）と比較してビックデータや非構造データの処理が得意といった特徴がありますが、ここではそういったNoSQLの一般的な特徴の紹介は割愛し、他のNoSQLとは違うドキュメント型NoSQLならではの特徴、そしてMongoDBならではの特徴を紹介します。 ドキュメント型ならではの特徴 ドキュメント型NoSQLではデータとして階層型データ構造であるJSONを扱います。図1にRDBMSのリレーショナルデータ構造、キーバリューストア（KVS）のキーバリューデータ構造、ドキュメント型NoSQLのJSO
検索エンジンの常識をApache Solrで身につける
表のような転置インデックス完成後は、クエリに対する結果を返す処理は簡単です。例えば、ユーザーが「Vim」というクエリを発行すると、検索エンジンは「Vim」を含む文書IDリストを返します。表では文書IDの「2」を返します。 検索エンジンを取り巻く7つの技術 検索エンジンのコア技術は前節で紹介したインデックスです。しかし実際に、検索インデックスだけで構成する検索エンジンから、検索サービスを構築するには多大なコストが掛かります。以下の節で検索エンジンを利用したシステム、検索サービスを構築する際に便利なコンポーネントを紹介します。 これらの機能のいくつかは、多くの検索エンジンが組み込んでいます。一方で、簡素な検索エンジンは、以下で紹介するコンポーネントをサポートしていないため、ユーザーが独自に開発するか、その機能を持つコンポーネントを組み込む必要があるものもあります。 【1】トークナイザ 検索エン
Apache Avro 1.3.0リリース | gihyo.jp
2010年2月26日、オープンソースのデータシリアライゼーションシステム「Avro」の1.3.0がリリースされました。執筆時点では2010年3月19日にマイナーアップデートが行われ、1.3.1がリリースされています。 Avroは、データ交換のプロトコルおよびフレームワークで、サーバ間でのデータのやりとりなどに利用します。Hadoopの生みの親であるDoug Cutting氏により開発が始まり、Hadoopのサブプロジェクトとして活動しています。競合するプロダクトにはGoogleのProtocol Buffers、Facebookが開発し現在はApacheプロジェクトにホスティングされているThrift、そして日本人の古橋貞之氏が開発を進めているMessagePackなどがあります。 今回の1.3.0のアップデート内容として、PythonやJava、C++、Rubyなど各種言語のパッケージン
unoh.github.com by unoh
こんにちわ、7月に入社したばかりの@emorinsです。 題名の通りですが分散データベース『Apache Cassandra』を紹介したいと思います。 少し前はHadoop(とHBase)と比較されることの多かったCassandraですが、最近はHadoopの人気に押されつつあるようにも感じます。 しかし、CassandraとHadoopは特徴が異なり、よく言われるのがCassandraはリアルタイム処理に向き、一貫性のかわりに可用性を重視し、またHadoopとは違って単一障害点もありません。 今日はそんなHadoopとは違った魅力のある分散データベース『Apache Cassandra』をはじめてみましょう。 目次 Cassandraとは アーキテクチャ Cassandraの特徴 コンシステンシレベル データモデル MemtableとSSTable セットアップ storage-conf
Twitter: データ分析基盤改善取り組み - ワザノバ | wazanova.jp
https://www.facebook.com/photo.php?v=10151697364230687&set=vb.9445547199&type=2&theater TwitterのAnalyticsインフラチームが、データ分析基盤の改善に取り組んできた事例を紹介しています。 1) 背景 ４億tweet/日を発信 & 消費しているユーザのアクティビティを、Twitter社内の多くのチームがそれぞれの観点 & 様々な利用形態で分析データを必要とするため、量およびデータの依存関係が、相当大きく複雑なものになっている。Analyticsインフラは、1000ノードあるHadoopのクラスタをいくつかもつ規模。 ストレージフットプリント & I/Oを減らすだけでなく、他の方法でプロセススピードをあげることに取り組んでいる。 2) Parquet （「Hadoop用のカラムナストレージフォー
Hadoop-CDH4.3.0にfluentd - なぜか数学者にはワイン好きが多い
WebHDFSを入れたのはfluentdを使うためだったのですが，fluentdはご覧のように依存があるので gem install fluentd ERROR: While executing gem ... (Gem::DependencyError) Unable to resolve dependencies: fluentd requires msgpack (!= 0.5.0, != 0.5.1, != 0.5.2, != 0.5.3, < 0.6.0, >= 0.4.4), yajl-ruby (~> 1.0), cool.io (~> 1.1.0), http_parser.rb (~> 0.5.1)gemでMessagePackとyajlとcool.ioとhttp_parser.rbを入れておきます． 通常，サックリいくはずですが，私はネットワークに繋がらないサーバ上で作
Running Hadoop On Ubuntu Linux (Single-Node Cluster)
In this tutorial I will describe the required steps for setting up a pseudo-distributed, single-node Hadoop cluster backed by the Hadoop Distributed File System, running on Ubuntu Linux. Prerequisites Sun Java 6 Adding a dedicated Hadoop system user Configuring SSH Disabling IPv6 Alternative Hadoop Installation Update $HOME/.bashrc Excursus: Hadoop Distributed File System (HDFS) Configuration hado
Presto の話 · GitHub
gistfile1.md Presto の話 概要など http://prestodb.io/overview.html ここを読めという感じである。 とにかくお手軽に使えそうな感じがある "Presto compiles queries to bytecode at runtime and thus produces many classes, so we enable class unloading." とのこと Java のバージョンの話 0.87 から Java8 必須である。 http://prestodb.io/docs/current/release/release-0.87.html Presto が使う java はどうやら環境変数 PATH 上にある java を使うようだ。 JAVA_HOME は関係ないっぽい。 https://github.com/facebook
How do I iterate RDD's in apache spark (scala)
You call various methods on the RDD that accept functions as parameters. // set up an example -- an RDD of arrays val sparkConf = new SparkConf().setMaster("local").setAppName("Example") val sc = new SparkContext(sparkConf) val testData = Array(Array(1,2,3), Array(4,5,6,7,8)) val testRDD = sc.parallelize(testData, 2) // Print the RDD of arrays. testRDD.collect().foreach(a => println(a.size)) // Us
GitHub - pranab/sifarish: Content based and collaborative filtering based recommendation and personalization engine implementation on Hadoop and Storm
Introduction Sifarish is a suite of solutions for recommendation personalization implementaed on Hadoop and Storm. Various algorithms, including feature similarity based recommendation and collaborative filtering based recommendation using social rating data are available Philosophy Providing complete business solutions, not just bunch of machine learning algorithms Simple to use Input output in C
バッチ処理、ジョブ管理について書いてみる - wyukawa's diary
僕はHive, Pythonでバッチ処理を書いてAzkabanでジョブ管理するシステムを構築、運用した経験が2年ほどあるので今日はバッチ処理、ジョブ管理について書いてみようと思います。 僕の経験上Hadoop特有の部分、例えばテスト環境が作りづらいとかバッチサーバーはジョブをsubmitするだけなので負荷はそんなにかからないとか、はあるけれど割と汎用的なのではないかと思います。そもそもバッチ処理、ジョブ管理について書かれたものはほとんど見た事がないので参考になれば嬉しいし、こういう良い方法もあるよ！とかあれば是非ブログ等に書いてほしいと思っております。 最初に言っておくとバッチ処理、ジョブ管理において重要なのは障害時のリカバリのしやすさです。正常時はまあいいでしょ。 なので例えば引数に日付を持てないようなバッチ書いたら辛いですし、LL言語で書く方がコンパイル、パッケージングとか楽です。CP
Hadoop: The Definitive Guide
Hadoop: The Definitive Guide Tom White foreword by Doug Cutting Beijing • Cambridge • Farnham • Köln • Sebastopol • Taipei • Tokyo Hadoop: The Definitive Guide by Tom White Copyright © 2009 Tom White. All rights reserved. Printed in the United States of America. Published by O’Reilly Media, Inc., 1005 Gravenstein Highway North, Sebastopol, CA 95472. O’Reilly books may be purchased for educational
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - dzharii/awesome-elasticsearch: A curated list of the most important and useful resources about elasticsearch: articles, videos, blogs, tips and tricks, use cases. All about Elasticsearch!
GitHub - jwills/avro-json: Utilities for converting to and from JSON from Avro records via Hadoop streaming or Hive.
GitHub - miguno/avro-hadoop-starter: Example MapReduce jobs in Java, Hive, Pig, and Hadoop Streaming that work on Avro data.
GitHub - hortonworks/gohadoop
GitHub - apache/gobblin: A distributed data integration framework that simplifies common aspects of big data integration such as data ingestion, replication, organization and lifecycle management for both streaming and batch data ecosystems.
GitHub - elastic/elasticsearch-hadoop: Elasticsearch real-time search and analytics natively integrated with Hadoop
GitHub - apache/hadoop: Apache Hadoop
