30分で実行するAmazon Elastic MapReduce（Amazon EMR）
今年のテーマの一つはビッグデータということで、そろそろ本格的にMapReduceに手を出そうと思います。 手軽にMapReduceを試してみるのであれば、やはりAWSでしょう。今回はAmazon Elastic MapReduce（Amazon EMR）を動かす方法を簡単にまとめておきます。 実行する処理の例としては、Hadoopのチュートリアルにある処理をそのまま使わせてもらいましょう。与えられたテキスト（英文）に出現する単語を数えるというものです。 実行する処理 与えられたテキストに出現する単語を数える 実行の手順 Amazon EMRにはApache Hadoopが使われています。本来Hadoopを使うためには、Hadoopの環境そのものをセットアップする必要があるのですが、そこをAWSが既にやってくれているわけです。 そのため、手順としては Hadoopのジョブとなるjarファイル
Solr でデータベースをインデックス化する
cles::blog 平常心是道 blogs: cles::blog NP_cles() « iPodTouchを「iOS 4.3.3」にアップデート :: FreeNAS が 8.0 に » 2011/05/06 Solr でデータベースをインデックス化する solr 309 0へぇ これまでSolrを使うときにはデータはテキストファイルに書き出して、それをXMLに変換してPOSTで送ってデータを登録するということをやっていたのですが、DBのデータを無加工でSolrに入れたいということも多くなってきたので、初めてData Import Request Handlerという機能を使ってみました。この機能を使うとDBの内容を直接Solrのコアに取り込むことができます。 パフォーマンス的にもXMLへのエンコード/デコードの負荷が大きかったので、データの投入もかなりスピーディーに行えるようにな
Cloudera Blog
Enterprise IT leaders across industries are tasked with preparing their organizations for the technologies of the future – which is no simple task. With the use of AI exploding, Cloudera, in partnership with Researchscape, surveyed 600 IT leaders who work at companies with over 1,000 employees in the U.S., EMEA and APAC regions. The survey, […] Read blog post
soleami - Apache Solr のクエリログ可視化サービス | 関口宏司のLuceneブログ
一定期間更新がないため広告を表示しています
HugeDomains.com
Captcha security check datasalt.com is for sale Please prove you're not a robot View Price Processing
Java 7最新アップデートで「Lucene」問題に対応 | エンタープライズ | マイコミジャーナル
Java Programming Language スケジュール通り7月28日(米国時間)に公開されたJavaの最新版「Java SE 7」だが、同日付で「Apache Lucene Core」および「Apache Solr」のユーザは「Java SE 7」を使わないようにという注意が発表されていた。JITコンパイラにバグがあり、誤って演算が実施されることがあるという。この問題はリリースの数日前に発覚したもので、正式リリースまでに修正が間に合わなかった。状況によってはJava仮想マシンがクラッシュするほか、データベースのインデックスデータが破損する恐れがあるという。 Oracleはアップデート版となるJava 7u1とJava 6u29をリリースしたが、このApache問題が解決しているのか明確な説明がなかった。しかし、10月26日(米国時間)に追加でアップデートされたリリースノートの中で
HadoopIndexing - Solr - Apache Software Foundation
What is Solr + Hadoop Indexing? SOLR-1301 implements a contrib module that enables indexing using Hadoop. This methodology is useful in cases where indexing to N master servers simply consumes too much time. This necessarily happens with systems that have terabytes of indexes. In this larger than average use case, simple schema changes would overwhelm the master servers, whereas creating shards in
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
