[B! データ][あとで読む] yamataku13のブックマーク

JAXA | 世界最高水準の全世界標高データ（30m版）の無償公開について

宇宙航空研究開発機構（JAXA）は、陸域観測技術衛星「だいち」（ALOS）による観測画像を用いて整備した、全世界の陸地の起伏を水平方向30mの細かさで表現できる標高データセット（30mメッシュ版）の無償公開を開始します。今回、日本を含む東アジア、東南アジア域から公開を開始し、順次、全世界の陸地（緯度82度以内）に拡大する予定です。（別紙1.参照）今回、公開するデータセットは、全世界規模で整備される標高データセットとして現時点で世界最高精度を持つ「全世界デジタル3D地形データ」（別紙3.参照）の標高データセット（5mメッシュ版）をベースとして作成しており、30mメッシュ版としての高さ精度も世界最高水準です。本データセットは、科学研究分野や教育、地理空間情報を活用した民間サービス等での利用が期待されています。（別紙2.参照）

yamataku13 2015/05/18

リンク

http://bdm.change-jp.com/?p=2761

yamataku13 2015/05/10

リンク

第1回　なぜ、Hadoopはどのように動くのか、を学ぶのか | gihyo.jp

はじめにビッグデータ解析のためのシステム基盤として、Hadoopをはじめとするオープンソースのデータ処理ソフトウェア（データ処理系）が広く利用されつつありますが、当該データ処理系をすでに利用している、もしくは利用の検討をしている読者の方々の中には、たとえば以下のような問題を抱えている方が少なからずいらっしゃるのではないでしょうか。データ処理系の使い方はなんとなくわかるが、その内部をあまり理解できていない。または、内部の動作原理がよくわからないので、本格的に使う気にならない。同様の目的を達成する複数のデータ処理系において、どれを使って良いかがよくわからない。または、適切に使い分けられていない気がする。たとえば、どのような場合にHadoopを用いて、どのような場合に同類のデータ処理系であるImpalaやSparkを用いれば良いかが“⁠明確に⁠”わからない。このような問題を解決するには、

yamataku13 2015/04/01

リンク

文法圧縮入門：超高速テキスト処理のためのデータ圧縮（NLP2014チュートリアル）

言語処理学会第２０回年次大会（2014/3）のチュートリアル講義資料です。 - 要旨 - 文法圧縮とは，入力テキストをよりコンパクトな文脈自由文法（CFG）に変換する圧縮法の総称である．文法圧縮の強みは圧縮テキストを展開すること無く，検索等のテキスト処理を効率よく行える点にある．驚くべきことにその処理速度は，元テキスト上での同じ処理を理論的に，時には実際にも凌駕する．また近年，ウェブアーカイブやログ，ゲノム配列等の大規模実データを高効率に圧縮できることで注目を集めている．しかしながら，文法圧縮についての初学者向けの解説資料はまだまだ少ない．そこで本チュートリアルでは，文法圧縮の歴史的背景から最新動向までを幅広く紹介する．具体的には文法変換アルゴリズム，圧縮テキスト上での文字列パターン検索，文法圧縮に基づく省メモリデータ構造等の解説を行う．Read less

yamataku13 2014/03/19

リンク

データ分析がデキるITエンジニアになるために必要な「道具」を揃える

データ分析がデキるIT エンジニアになるために必要な「道具」を揃える：IT エンジニアのためのデータサイエンティスト養成講座（2）（1/4 ページ）データ分析の準備・加工に優れた道具とは？今回はIT エンジニアがデータ分析する際のデファクトスタンダードになっている環境をセットアップしていきます。連載バックナンバーはじめに連載第1回「IT エンジニアがデータサイエンティストを目指すには？」ではデータサイエンティストの役割を説明し、その中でIT エンジニアが担う役割と必要となるスキルについて解説しました。第1回の中でも述べましたが、この連載の目的の1つはデータサイエンティストを目指すIT エンジニアが必要最低限の知識とスキルを中心に紹介し、読者の皆さんにすぐに始められることから実際に着手していただくことですので、第2回の今回は実際に分析使う“道具”をご紹介します。この連載では分析ツールとしてP

yamataku13 2013/05/25

リンク

第1回　大規模データではRDBMSのどこがボトルネックになるのか？ | gihyo.jp

RDBMSはオワコン？「右を向いても左を向いても“⁠ビッグデータ⁠”というキーワードが闊歩する時代に、いまさらRDBMSの話題？」本連載のタイトルを見てそう思われたかもしれません。「ディスクベースのRDBMSはオワコン、これからは○○（お好きなアーキテクチャを入れてください）の時代だ！」とおっしゃる方もいるかと思います。しかし、むしろ多くの企業がビッグデータに注目しているおかげで、RDBMS側でも大規模データを取り扱うニーズが増えています。大規模データを取り扱う時にボトルネックとなる5つのポイント数百ギガバイトといったレベルのRDBMSであれば、現場のエンジニアの方にとってはあたりまえの世界でしょう。しかし、テラバイトを大きく超えたデータを扱う場合には、ボトルネックの傾向が変化するのはご存じでしょうか。次の図は、RDBMSにまつわるボトルネックを示したものです。図1　大規