BigDataをリアルタイム処理させるDrill - ウィリアムのいたずらの、まちあるき、たべあるき
ウィリアムのいたずらが、街歩き、食べ物、音楽等の個人的見解を主に書くブログです（たま～にコンピューター関係も） Hadoopはビッグデータをバッチ処理させるには向いてるけど、 ビッグデータは、リアルタイム処理するのは向いてない... っていわれてたんだけど、それをやっちゃおうっていうのが、 （インタラクティブ処理）Ｄｒｅｍｅｌで・・・ ってことは、ＮＨＮカンファレンスで、最後の最後に言っていたけど、 そのDremelベース(って下の記事には書いてあるけど、さらにその下のサイトには、インスパイヤされたと書いてある）のアドホックな検索システムにApache Drillというのがあるらしい。 その話が載っていたので、メモメモ New Apache project will Drill big data in near real time http://www.itworld.com/big-da
コピペを見破る能力について - 発声練習
数十人のレポートを採点していると誰でも開眼します。 Ohnoblog 2：言い張れば通るという感覚のはてなブックマークコメントより 「ネット上にある映画の感想文からの剽窃を数件発見」凄い検索能力だな これがびっくりするほどに簡単だったりします。レポートの採点をしていると、その学生の文章の癖（句読点や言い回し）や語彙の量がなんとなくわかってくるわけです。で、そこに、突然、把握してきた癖や語彙とは別のものが登場してきます。で、「あれ？なんか変だ」という気を持ちつつ、読み進めるとまたもや突然に元の癖や語彙に復帰するのです。 変な言い方ですが、コピペした部分だけ光を発するように違和感バリバリなのです。で、そんなときどうするかといえば、違和感ばりばりな部分をそれこそコピー＆ペーストしてGoogle先生にお伺いをたてます。すると、上位10件ぐらいの中にオリジナルが登場するという次第です。 多くの学生は
"BigData"では何が問題なのか？ - 急がば回れ、選ぶなら近道
”ビッグデータで奇跡が起こる” はいどうも。まず、個人的には楽天的な進歩史観には、まったく組しない。 従って、突然に新技術ができて、なんか凄い事になる、というのはさらにまったく同意しない。すべからくブレイクスルーは課題解決により起こると思っているので、問題意識のないところに、こんなものできました的な発想は、基本的にプラスにならないことが多いと思っている。現状のビッグデータブームは2011年の秋口現在は完全にハイプになっており、バブルと言ってもいいと思う。印象として、十数年前のナノテク・ブームに似ている。 とはいえ、過度の期待という側面を除けば、それなり効果もある部分もあり、”そこだけ”を見ていけばそれなりに効果はある（と思う）。大体において、今後は以下の二つのユースケース・カテゴリーに集約されると思う。すなわち、ビッグデータの拠り所はまずもって以下の２点だ。 1 Webのログ解析 というか
ビッグデータの活用は企業にとって本当に必要か
ビッグデータの活用は未開の領域 NECが2月13日、ビッグデータ関連事業の取り組みについて記者会見を行い、この領域のさらなる事業創出に向けて、製品・サービスの強化、全社横断の戦略プロジェクトの立ち上げ、専門要員の強化・育成を図っていくと説明した。 その具体的な内容については、すでに報道されているので関連記事等を参照いただくとして、ここでは原点に立ち返って、ビッグデータの活用は多くの企業にとって本当に必要なのか、という視点で考えてみたい。 NECの山元正人 執行役員常務は会見で、同社が考えるビッグデータとして、まず社会の情報量が2025年には2006年の200倍に増加するという調査機関の結果を紹介。その内容が、企業内や企業間、各種のセンサーやデバイス、各種メディアから、さまざまなタイプのデータになって大量生成されるようになるとの認識を示した。 そのうえで、山元常務はこう語った。 「現時点でも
国のデータを個人のパワーで“使える”ものにする
最近、Facebook上での知人の呼びかけがきっかけとなり、「International Space Apps Challenge」にかかわるようになった。これはNASA（米航空宇宙局）が主催する活動で、NASAが所有するデータ（data.nasa.gov、Planetary Data System）を活用し、気象など50個以上の世界規模の課題を解決しようという壮大なプロジェクトである。 その中核のイベントとして、4月20日と21日の両日には、東京大学の駒場キャンパスで50人規模のハッカソン（短期間でのサービス開発コンテスト）が行われる。今後、本格的に参加者を募ることになる予定で、当日の運営を支援してくれる協賛団体も募集中だ。 「もともと航空宇宙には関心があったから」「スマートフォン向けアプリのコンテスト“Android Application Award”を主催しているので、このイベント
顧客との接点は「ビッグデータ」にある
リアルタイムに時々刻々と生成される大量のデータから、いかに知見を見出してビジネス戦略に生かすか――。ビッグデータ活用が情報システムのあり方と企業戦略を大きく変えようとしている。ビッグデータに注力するITベンダーに、ビッグデータ活用の重要性および従来の戦略的データ活用との違いなどを聞いた。（聞き手は井上健太郎/田島篤＝ITpro） データの戦略的活用という点でBIとビッグデータの違いは何か。 BIからおさらいしていこう。BIを一言でまとめると、「生産・販売・開発といったさまざまな企業活動のなかで、現場で何が起きているかを、経営層や営業部門がリアルタイムに近い形で把握して、その場のビジネス判断に生かすこと」となる。 従来のBIの使われ方からすると、「既存の情報を集めてきて表示するだけ」と思われがちだが、これだけでも簡単ではない。国内の活動だけなら実現できているかもしれないが、海外進出先の現場で
ASSIOMA(アショーマ) » ステルスマーケティングの温床となりえるインバウンドマーケティング
いつも旬なサービスを提供してくれる、村上総裁が「食べログ」の「ステマ」を分析するサービス「ステログ」をリリースした。リリース後、僅か30分で3万PVに到達する人気サービスとなっている。 但し、最終的な判断は「皆さん自身」で判断して欲しい。また、Facebookやtwitterのアカウントでログインし、この「ステログ」の評価に対して「賛成」か「反対」か投票出来るような仕組みがあれば、より公平な評価が出来るのでは無いだろうか。今後の改善を期待したい。 ■消費者庁の見解では「法規制は難しい」 今回のステルスマーケティング騒動は、飲食店の口コミレビューサイトである「食べログ」に、口コミのやらせ業者が存在することが明らかになったのが騒動の発端だ。 本来ならユーザの自然な口コミによって、美味しい店は更に人気に、不人気な店はクレームを基に改善を行うというのが、本来のあるべき姿であった。しかし、不人気な店
［第2回］活用シナリオは察知・予測・把握
業務で発生する様々なイベントの記録を取得し、そこから「正常な状態」や「異常な状態」を示すパターンを見つけ出す。これらのパターンを使って、新たなイベントが発生した際に、異常がないかを判断する（図1）。 クレジットカード会社は、カード不正利用を検知する精度の向上にビッグデータを活用している。 米ビザは2009年、不正検知モデルの計算処理にHadoopを使い始めた。ビザをはじめとするカード会社は以前から、不正利用のパターンを使って不正を検出している。最近では、カード会員ごとに利用パターンを作って、より正確な不正の検知を目指している。 問題は、会員ごとにパターンを作成・維持しようとすると、膨大な計算量が必要になることだ。大手カード会社の場合、会員数は数千万～数億人に上る。 ビザはHadoopを導入した結果、数週間かかっていた全会員の利用モデル作成時間を13分に短縮できた。従来は1カ月に1回だった不
データマイニング・アルゴリズムのトレンド
HDDの大容量化と分散処理技術の発達でビッグデータの処理が容易になってきたので、ここ数年はデータマイニングが地味なブームになっている（NYT - For Today’s Graduate, Just One Word: Statistics）。2000年代前半のデータウェアハウスのブームではコンセプトだけが先走っていた（大園(2002)）ので、随分と地に足がついた感じだ。しかし人気のアルゴリズムを見ている限りは、まだ十分にデータ分析がされているように思えない。 1. 10年間でソフトウェア的に進歩 地に足がついていると言うのは、ソフトウェア的に色々な面で進歩が見られたことだ。ビッグデータの利用が可能になった事から、応用事例が増えているように思える。 1. 分散処理技術の進歩によるビッグデータの利用 ハードウェア技術の進歩による高速化も著しいが、分散処理技術の進歩はビッグデータの利用を容易に
ビッグデータの利用で、何ができるようになるのか？：日経ビジネスオンライン
気になる記事をスクラップできます。保存した記事は、マイページでスマホ、タブレットからでもご確認頂けます。※会員限定 無料会員登録 詳細 ｜ ログイン 一般的に、ビッグデータ時代とは、大量のデータが活用される時代のことを指す。 データ量が増大するスピードは、これまでのペースをはるかに凌ぎ、世の中には「ゼタ」バイトと呼ばれる単位の情報量があふれかえることになる。 ゼタとは、10の21乗、テラの10億倍だ。漢数字で表記すると「十垓」となる。 コンピュータ技術者であるゴードン・ベル氏の試算によると、人が話すこと、見るものなど、生活に関わるすべての情報を文字にして一生分を記録したとしても、わずか3テラで済んでしまうという。 これと比較しても、とにかく膨大な量のデータが世の中に存在する時代がやってきたことが分かるだろう。 クレジット決済情報を分析し12億ドルの被害を予防 日本IBMは、「ビッグデータ時
asahi.com（朝日新聞社）：平田容疑者、現金数万円を所持 髪は肩まで伸び出頭 - 社会
印刷 １７年近くにわたって逃亡生活を続け、１日未明、逮捕監禁致死容疑で逮捕されたオウム真理教元幹部の平田信（まこと）容疑者（４６）。これまで、どこに潜伏し、生活資金はどのように得ていたのか。未解明な点は多い。 警視庁によると、平田容疑者は１２月３１日午後１１時５０分ごろ、丸の内署に１人で出頭。宿直署員に「平田信です。出頭してきました」と話した。ダウンジャケットにジーンズ姿で、スニーカーをはいていた。髪の毛は肩まで伸び、茶色がかっていたという。 所持していた現金は数万円で、リュックサックの中には下着や着替え、シャンプー、くしが入っていたという。 続きは朝日新聞デジタルでご覧いただけます
電気メーターの異常について（不正改造） - OKWAVE
電力会社より「電気メーターが使用電力の半分ほどしか回転しないように 不正改造されている」と言われました。 「正常に計量できるようにメーターを交換する。交換後は、電気代が約倍に なるだろう。」と言われたことについては『メーターがおかしかったのなら 仕方ない』と納得しています。 ただ、住み始めて３年半分の「未請求分の料金を支払ってもらえないか」 と言われたことについて納得できずにいます。 納得できない大きな理由は下の３点です。 (1)住み始めた頃から電気代に大きな変化はなく、私達は電気メータが 異常を起こしていることを知らなかったし、もちろん電気メーターを 不正改造していない。 (2)私達の前に住んでいた方の時はどうだったのか質問しても「それは、 調べられなくて・・・。」との返答で、いつ・誰が不正改造をしたのかを 確定できていない。 (3)「未請求分については、メーターを交換後しばらく様子を見
高木浩光＠自宅の日記 - Wi-FiのMACアドレスはもはや住所と考えるしかない
■ Wi-FiのMACアドレスはもはや住所と考えるしかない 目次 まえがき これまでの経緯 2つのMACアドレスで自宅の場所を特定される場合 SSIDに「_nomap」でオプトアウト？ PlaceEngineはどうなった？ まえがき 先週、以下の件が話題になった。 Greater choice for wireless access point owners, Official Google Blog, 2011年11月14日 Removing your Wi-Fi network from Google's map, CNET News, 2011年11月14日 グーグル、Wi-Fiネットワークの位置情報収集で対応策を公開, CNET Japan, 2011年11月16日 Google's WiFi Opt-Out Process Makes Users Navigate Technic
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
