KVSとは - IT用語辞典
概要 KVS（Key-Value Store）とは、データ管理システムの種類の一つで、保存したいデータ(value：値)に対し、対応する一意の標識(key：キー)を設定し、これらをペアで格納する方式。 保存したい値に対して識別子となるキーを設定し、両者をセットでストレージなどに書き込む。読み出し時にはキーを指定すると対応する値を取り出すことができる。既存のキーを指定して書き込むと新たな値で上書きされる。 値やキーに指定できるデータの種類は処理系によって異なり、キーは参照や識別がしやすいよう数値や文字列などが用いられることが多い。値には単純なデータ型やバイト列を指定できることが多いが、複雑なデータ構造やオブジェクトなどを格納できるものもある。構造的なデータを一定の決まった手順で文字列やバイト列に変換（シリアライズ）して保存する処理系もある。 一意のキーに値を対応付けて保存するデータ構造は多く
第6回 パフォーマンスはどうなの？ | gihyo.jp
この表では言及していませんが、Consistent Hashingやshardingによって分散させやすいというのはすべてのNoSQLデータベースが備えている特徴でしたね。 検証用サーバの準備 では実際のパフォーマンスを比較してみましょう。比較のため、10,000件のデータの書込み/読込みを行います。実行にあたり各種サーバを起動します。 リスト1 検証用サーバの起動コマンド # memcached memcached -u nobody -d # TokyoTyrant sudo ttserver -pid /var/ttserver/pid -dmn /var/ttserver/bench.tch # MongoDB mongod --dbpath ~/tmp/mongodb & # HBase sudo /etc/init.d/hadoop-0.20-namenode start su
Resources | MongoDB
Expanding LLM Applications: From RAG to Agentic Systems 11 A.M. ET Are you ready to advance your AI application development skills? Join us for an exciting webinar that bridges the gap between large language model (LLM) applications, Retrieval-Augmented Generation (RAG), and the exciting domain of agentic systems. In this comprehensive session, Staff Developer Advocate Richmond Alake will explore
インテル、過去最大のデータセンター戦略投資でクラウデラの筆頭株主に。Hadoopとインテルアーキテクチャをビッグデータ時代のプラットフォームにすべく
米インテルとHadoopのディストリビューションベンダーとして知られる米クラウデラは、インテルがクラウデラへ出資、インテルがクラウデラの戦略的な筆頭株主となることを発表しました。 Cloudera, Intel Commit to Accelerate and Transform How Enterprises Use Big Data; Intel Makes Significant Equity Investment in Cloudera これはインテルにとってデータセンター関連で過去最大の投資。 プレスリリースでクラウデラは次のように記し、同社のHadoopディストリビューションをインテルアーキテクチャへ最適化していくと説明しています。インテルは技術やマーケティングの面でこれを支援していくとのこと。 Cloudera will develop and optimize Cloude
HadoopはいずれOLTPも実現し、エンタープライズデータハブとなる。Hadoop Conference Japan 2014
HadoopはいずれOLTPも実現し、エンタープライズデータハブとなる。Hadoop Conference Japan 2014 7月8日に開催されたHadoopに関する国内最大のイベント、「Hadoop Conference Japan 2014」には、Hadoop創始者のDoug Cutting氏が来日、基調講演「データの未来」に登壇しました。 Cutting氏はデータの重要性の高まり、オープンソースソフトウェアがソフトウェア市場で勝ち残ると指摘し、Hadoopはビッグデータのプラットフォームとしてさらに進化し唯一の存在になるだろうとの予想を披露しました。 Cutting氏の講演をダイジェストで紹介します。 データの未来 Hadoop創始者でClouderaチーフアーキテクト Doug Cutting氏。 私はとてもラッキーだった。開発に関わったいくつかのオープンソースは成功し、みんな
MongoDBがHadoopとの統合強化。HiveでMongoDBデータへSQL問い合わせ可能、BSONをHDFS上に保存など
Integration of Hadoop and MongoDB, Big Data’s Two Most Popular Technologies, Gets Significant Upgrade | 10gen, the MongoDB company MongoDB Connector for Hadoopは、Hadoopへの入出力データとしてMongoDBを使えるようにするソフトウェアで、新バージョンでは主に以下の機能が追加されています。 Apache HiveからMongoDBのデータへSQLライクな問い合わせ インクリメンタルなMapReduceジョブのサポートによる、アドホックな分析を容易に実現 MongoDB BSONファイルをHadoop Distributed File System（HDFS）上に保存することで、データの移動を削減 これにより以下のようなメリットが
DWHの技術トレンド---RDBMS単独の時代は終わり、複数のテクノロジーを組み合わせる時代に
「BIツールやDWHをどう選んだらいいのか」---。最近こうした問い合わせを受けることが多い。多くのユーザー企業が、BI、DWHの構築で悩んでいるのだ。そこでここでは、3回に分けて、2020年を見据えてBI/DWHをどう選び、どう構築していくべきなのかを解説したい。 まずは、DWHに関するテクノロジートレンドを紹介しよう。 従来、DWHにもデータマートにも、RDBMSが使われてきた。だが、RDBMSのみで、データ分析ニーズを満たすのは、段々難しくなってきている。例えば、Webサイトの大量のアクセスログを商用のRDBMSに格納すると、非常に高価になる。 このため、RDBMSとは異なる新しいテクノロジーが登場してきている。RDBMSに依存する時代から、複数のテクノロジーを組み合わせる時代に変わりつつあるのだ。 最盛期を過ぎて陳腐化に向かうRDBMS この傾向は、製品やサービスのライフサイクル全
インメモリー技術を利用したHadoop対応ビッグデータ分析用ソフト
SAS Institute Japanが2014年2月27日に発表した「SAS In-Memory Statistics for Hadoop」は、Apache Hadoop上で動作するビッグデータ分析用ソフトウエア。Hadoop上のデータをメモリーに読み込み、保持したまま管理・分析することにより、データを高速に処理できるほか、複数のユーザーが同時に分析できる。開発元は米SAS Institute。 Hadoopは、クラスタ化したサーバーにデータを分散させて並列処理を行わせるための分散処理フレームワーク。米Apache Software Foundationが、オープンソース・ソフトウエアとして開発を進めている。 SAS In-Memory Statistics for Hadoopが備えるインタラクティブなプログラミング環境を利用することにより、ユーザーはHadoopの分散ファイルシステ
到来IoT時代---アマゾン参入で分析を安価に
出典：日経コンピュータ 2014年2月20日号 pp.44-49 （記事は執筆時の情報に基づいており、現在では異なる場合があります） Internet of Things（IoT）を実現する鍵となる膨大なセンサー。そのセンサーで得られるデータをクラウドなどに集め、瞬時に分析し、ビジネス上の判断や処理に生かすための分析基盤が進化している。米アマゾンもIoT向けサービスを開始、安価に導入できる環境が整った。 「アマゾンがこの分野に進出してくるとは意外だった」―。米アマゾン・ウェブ・サービス（AWS）のパートナー企業で、ビッグデータの転送サービスを手掛ける米フライデータの藤川幸一共同創業者は驚きを隠さない。 AWSが2013年12月に開始した新サービスが話題になっている。クルマや工場の機械、各種インフラに設置したセンサーのデータを高速分析するのに使える「Amazon Kinesis」だ。これまで
国内電力会社もスマートメーター向けにHadoop採用へ、本番環境へ移行進む
クラウデラ日本法人は、金融、保険、製造業など30～40の国内企業を顧客に持つ。これまでCDHを導入した顧客の多くはまだ機能検証の段階だったが、2014年に入って本番環境への移行が進んでいる。 日本市場は、まだまだ開拓できる。クラウデラには世界では約600人、日本では8人の社員が在籍しているが、2014年のうちに日本法人の社員数を2倍に増やす考えだ。 クラウデラは、製品の公開やサポートに加え、トレーニングや資格認定サービスも提供している。日本では、年間数百人が受講している。以前はITベンダーの参加者が多かったが、最近はユーザー企業の社員が受講する例も増えてきた。 こうした教育サービスを通じて、データをより賢く利用できるデータサイエンティストを、顧客企業内に育成したい。 日本国内のユーザー企業は、Hadoopをどのような目的で利用したいと考えているのか。 例えば国内の電力会社は、既に電力の利用
Fluentd | Open Source Data Collector
Fluentd is an open source data collector for unified logging layer. Fluentd allows you to unify data collection and consumption for a better use and understanding of data.
柔軟なログ収集を可能にする「fluentd」入門 | さくらのナレッジ
複数台のサーバーやクラウド環境を組み合わせてのサービス運用においては、ログの収集方法に工夫が必要となる。こういった場合に有用なのが、さまざまなログの収集手段を提供するfluentdだ。今回はfluentdのアーキテクチャやそのインストール/設定方法、基礎的な設定例などを紹介する。 さまざまな方法でログを収集できるfluentd 今回紹介するfluentdは、Treasure Dataが開発するログ収集管理ツールだ（図1）。オープンソースで公開されており、Linuxや各種UNIXで動作する。 図1 fluentdのWebサイト ログ収集のためのソフトウェアとしてはsyslogdやsyslog-ngなどが有名だが、fluentdがこれらと異なる点としては、以下が挙げられる。 さまざまなソースからのイベントをさまざまな媒体に出力できる fluentdの大きな特徴としては、ログの収集方法やログの記
日本にWindows Azureデータセンター開設、災害時支援で岡山県と協定
日本にWindows Azureデータセンター開設、災害時支援で岡山県と協定 2013年5月中旬～5月下旬の更新情報 日本にWindows Azureのデータセンターが開設される計画が発表されました。また、米日のマイクロソフトが岡山県と協定を結び、災害発生時にクラウド技術を活用して自治体の活動を支援することを決めました。さらに日立製作所のテレマティクス関連データの分析/加工/配信サービスにWindows Azureが採用されました。さまざまな分野にWindows Azureの活用が広がっています。 Azureデータセンターの追加計画を発表、日本国内2カ所で稼働（5/23） Windows Azureは、現在世界で8カ所のデータセンター、および24カ所のコンテンツ配信用エッジサーバーでサービスを提供していますが、このたびデータセンターが追加され、日本にも新しくWindows Azureのデー
Windows Azureデータセンターを日本国内2拠点に設置へ
データセンターは、「首都圏近郊」と「関西圏」の2つ。サービス開始については明言はなかったものの、近々でのサービス提供を予定しているという。 Windows Azureのデータセンターについては、アジア地域では香港やシンガポールに拠点があったが、今まで日本国内に拠点がなく、エンタープライズ利用での障壁となっていた。マイクロソフトのクラウドサービス利用事例として、大手日本企業ではトヨタ自動車が挙げられるが、日本国内に関してはプライベートクラウドとオンプレミス環境を採用していた（関連記事）。 今後、日本国内の法規が適用される国内データセンターが利用できるようになれば、企業の資産に相当する情報などでの活用も視野に入れられるようになる。 この他、富士通とのパートナーシップ強化についても、「双方のソリューションを高める形で進んでおり、近々に発表できる」との発言もあり、富士通が現在推進しているクラウドビ
ノートパソコン、デスクトップ、プリンターなど
Click or use the tab key to select your country Africa Afrique América Central Argentina Asia Pacific Australia Bangladesh België Belgique Bolivia Brasil Canada Canada - Français Caribbean Česká republika Chile Colombia Danmark Deutschland Ecuador Eesti España France Hong Kong SAR Hrvatska India Indonesia Ireland Italia Latvija Lietuva Magyarország Malaysia México Middle East Nederland New Zealand
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cloudera | ハイブリッドデータカンパニー
Yahoo HadoopからスピンアウトしたHortonworksが計画を発表
日本ユニシス、ビッグデータ分析基盤「Vertica on MapR」
Cloud Partners
MongoDB
Delivering Business Value Using SAP HANA and Hadoop - SAP HANA
Cloudera | ハイブリッドデータカンパニー
米MapRが日本法人を設立、エンタープライズ向けHadoopソリューションを本格展開
Release
センサが集める大量データから、アプリケーションやサービスに必要な情報をリアルタイムで処理・配信できるCEP技術 | NEC R&D
「SAS® In-Memory Statistics for Hadoop」の日本国内提供を開始 | SAS プレスリリース
https://blogs.oracle.com/oracle4engineer/post/entry/bigdata_000251
【クラウド特捜部】 国内データセンター開設から4カ月、Microsoft Azureの今を聞く
Data warehousing and enterprise information management | Microsoft)
HDInsight Server