第5回 データ処理の並列化 | gihyo.jp
はじめに 前回は、データ処理の方法を整理し、また、宣言型言語をインターフェースとして用いる並列データベースなどのデータ処理系を詳細に見ていく準備として、当該データ処理系における実行プランの作成の流れをかんたんに説明しました。今回は、当該データ処理系において、どのように実行プランを並列化するかについて、その概要を説明します。 データ処理における並列性について 並列データベースをはじめとするデータ処理系は、SQL文などの問い合わせ（クエリ）の内容に応じてデータ処理を行うものであり、問い合わせの観点においては、当該処理系において用いられる並列性（Parallelism）は、次の2つに分類することができます。 問い合わせ間の並列性（Inter-Query Parallelism） 問い合わせ内の並列性（Intra-Query Parallelism） 問い合わせ間の並列性は、複数の異なる問い合わせ
日本のドローン利用、一歩前進
国内のドローン利用が一歩前進したと感じさせられる記事を読みました。「国内初のドローン飛行場が開設、飛行ログ記録で安全性の担保も 」がそうです。 記事冒頭にある、日本UAS産業振興協議会（JUIDA）の鈴木真二理事長の「誰でもドローン（無人飛行機）を試験的に飛行できる場所が必要だ」というコメントも印象的でした。首相官邸に落下したことが明らかになってから、にわかに規制についての議論が強くなってきたドローンですが、多くの活用の可能性を秘めるものだという点に異論のある方は少ないでしょう。専用の施設で様々なことが迅速に検証できるはずです。 引用した記事には、専用飛行場で荷物を搭載して飛行するドローンの動画も見ることができます。ご一読ください。
Flumeを使いMac上でTwitterのツイートを取得する - Qiita
Apache Flume 1.5.0 で Twitter Source が入ったので、Twitter から簡単にデータを取得することができる。(注: Experimental のため利用には十分注意すること) この記事ではMac上で簡単に試すための方法を紹介する。 環境 Flume バージョン: CDH 5.4.2 (1.5.0 ベース) OS: Mac OS X 10.10.3 準備 ファイルのダウンロード Cloudera のリポジトリからFlumeのtar.gzを取得する。 最新版へのリンク 適当な場所に Flume を設置し、展開する。私は ~/lib/flume にしている。 次に avro-tools をインストールする。 Twitter API キーとアクセストークンの取得 https://apps.twitter.com/ から取得する。取得の仕方はググってください。 以下
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
