ぐるなびデータライブラリPhase2をリリースしました。～ データライブラリで見る今年のトレンド ～ - ぐるなびをちょっと良くするエンジニアブログ
こんにちは。 データインテグレーション開発グループの長谷川です。 弊グループではぐるなびのビッグデータを使ったサービスの開発業務を行っており、データライブラリもその1つとなります。 データライブラリはPhase1リリースして1年以上が経過し、今回なぜPhase2として改修を行ったのかという理由や、改善箇所などを説明させていただきたいと思います。 また、最後に飲食店メニューにおける今年のトレンドについて、データライブラリのデータから簡単にご紹介させていただきます。 ぐるなびデータライブラリとは 機能概要 Phase2の開発理由 有効語辞書の採用 バッチ処理の開発 メニュー抽出処理 データ抽出処理 サーバサイドプログラム 処理概要 テーブル設計の工夫とGo言語によるAPI開発 プログラムとクエリの最適化 テンポラリテーブルの使用 テキスト連結から[]byteに変更する インデックスの見直し 急
ビッグデータの解析で明らかになった３つの人間・社会の法則 - のほほん感想録
『データの見えざる手』を読みました。 この本は、ウエアラブルセンサという人に装着するセンサを利用して、24時間人間の行動を記録したビッグデータから人間社会の新たな発見について書かれたものです。 今まで理系の本は、興味が湧かなかったので読んでこなかったのですが、この本は興味のない私でも楽しめました。経済や経営といった社会科学が科学的に明らかになっていき、今までの人間や社会の常識が覆されていくのが面白かったです。 今回は、この本を読んで驚いた、ビッグデータで明らかになった人間や社会の法則をいくつか紹介したいと思います。 Photo:big-data_conew1 By luckey_sun 人間の行動は決まっている 人が1日に行動できる回数は決まっていることが、ビッグデータによって明らかになりました。そのデータの要約は以下の通り。 人は、1日の中で約7万回の腕の動きをしており、人の行動の種類が
運はコントロールできる？ビッグデータが明らかにした「できる人」の秘密 日立製作所、矢野氏の「運」モデルに学ぶ組織強化術 | JBpress (ジェイビープレス)
ところが、日立製作所中央研究所、主管研究長の矢野和男氏は、著書『データの見えざる手：ウエアラブルセンサが明かす人間・組織・社会の法則』（草思社、2014年7月発行）の中で、運との出会いを理論化・モデル化し、自身が開発したウエアラブルセンサで実際に運を定量的に測定するとともに、運を向上させる方法も考案している。 そして矢野氏は、運はコントロール可能であると結論し、「運も実力のうち」ではなく、「運こそ実力そのもの」であると言い切っている。 本稿では、この本に沿って、まず、矢野氏が行った運の理論化・モデル化とその定量測定について紹介する。次に、ビジネスにおいて運を良くするにはどうしたらよいか、組織のリーダーの運を向上させるにはどうしたらよいかについて、矢野氏の理論を示す。 その上で、エルピーダやルネサスが失敗した原因が、合弁したことによって運が悪くなったことにあることを、矢野氏の運の理論から導き
Jungle Java - QlikView 関連情報メモ
QlikView 関連情報メモ Posted in データマイニング (RSS), 書籍 (RSS) 無料で利用可能なパーソナル版も提供されているBIツール 「QlikView」 の関連情報をメモ。φ(..) 関連情報 ・新たな設計思想の情報分析プラットフォーム「QlikView」とは？ - CNET Japan ・QlikViewとは？ | QlikView Training ・100ヵ国以上30,000社以上の導入実績、顧客満足度96％BIプラットフォーム「QlikView」クリックテック・ジャパン株式会社さまインタビュー | ビッグデータマガジン ・QlikViewで変わるマーケティング部門の仕事：分析の前に可視化せよ――連想技術で関連付けられたデータの詳細をドリルダウンで探索、予期しなかった問題を“発見” - ITmedia マーケティング ・BIツール４選～ユーザ視点のビッグデー
好調カルビー、ビッグデータでじゃがいも不作回避 - 日本経済新聞
「2週間後に疫病発生が見込まれます。予防作業に着手してください」。業績好調なカルビーのロングセラー商品「ポテトチップス」の大敵は、原料のじゃがいも不足だ。北海道に約1100の契約農家があり、その畑に設置したセンサーから気温や湿度、降水量、日射量のデータを10分ごとに自動収集して分析。疫病リスクを徹底的に抑え込み、原材料調達の安定化に挑んでいる。「うすしお味」「コンソメパンチ」など様々な味が人気
IBM、SoftLayerクラウドで人工知能「Watson」ベースのビッグデータ分析サービスを発表。基盤としてPowerSystemを投入。IBM Pulse 2014
米IBMがラスベガスで開催中のイベント「IBM Pulse 2014」。2日目のジェネラルセッションでは、SoftLayerクラウド上で、人工知能Watsonをベースにしたビッグデータ分析サービスなどを提供することが発表されました。 Watsonはクイズ番組で人間のチャンピオンと渡り合う能力を持つ人工知能として知られています。IBMは大量のデータを基に人間のように認知し判断するWatsonの技術を「コグニティブ・コンピューティング」（Cognitive Computing）と呼び、これを商用化する部門を今年1月に立ち上げたばかりです。 SoftLayerで提供される新サービスは、膨大なビッグデータに対する情報の分析や抽出を支援するための「Watson Discovery Advisor」「Watson Engagement Advisor」。さらにサードパーティがWatsonをベースにした
ビッグデータ分析で、中国政府による検閲の中身が明らかに：日経ビジネスオンライン
広野 彩子 日本経済新聞社NAR編集部次長 朝日新聞記者を経て日経ビジネス記者、2013年から日経ビジネス副編集長。日経ビジネスオンラインでコラムの執筆・編集を担当。入山章栄氏の著作『ビジネススクールでは学べない 世界最先端の経営学』を担当。 この著者の記事を見る
「ビッグデータが民主主義を壊す」のは悪くない話
「ビッグデータ産業」の育成を目指して、政府のIT総合戦略本部が2015年1月の通常国会で個人情報保護法を改正する方針を固めた。実現すれば、データを匿名化し、個人が特定できる状態に戻さないことを約束することなどを条件に、本人の同意がなくてもパーソナルデータ（現行の個人情報保護法で定義された「個人情報」よりも広い「個人に結び付く情報」を言う）を第三者に提供できるようになる。 だが、最近の研究では、「匿名化できるビッグデータ」など、そもそも存在しないことが明らかになっている。たとえば、現在米FTCのチーフテクノロジストを務めるラタンヤ・スウィーニー氏のカーネギーメロン大学時代の研究によれば、年齢、性別、郵便番号の3情報だけで、米国在住の87％の個人を特定できる。また、米MITの研究者イヴス＝アレキサンダー・デモントジョイ氏とセザー・ヒダルゴ氏の研究によれば、匿名化された位置情報であっても、ある日
『トレジャーデータ、新サービス発表！〜進化したクラウドデータサービス〜』に参加してきた | DevelopersIO
MobFoxの事例： 14日間で月間600億件のインプレッションを裁く 約200台のPHPアプリサーバを管理、PHPから排出されるログ管理システムを作っていたが、非常に運用が大変な状態に。 TDagentをデータセンターにインストール、2行書き換えるだけでTreasure Dataにアップするように対応可能。 溜まったデータを1時間毎にサマライズしてMySQLに送るように。それらを用いてダッシュボードに情報表示 データをアノニマイズして利用、重要な情報のみローカルで管理。 Vikiの事例： Korean Drama, Taiwanese Drama, Anime and Telenovelas free online with subtitles. - Viki Viki;最近楽天に買収された、オンラインビデオサービス。 データ解析用にHadppを持っていたが、どうやってデータを集めていい
［1］Suica履歴販売の失策
「正直、なぜJR東日本がSuica履歴の件であそこまで批判を受けたのか、よく分からないんですよ」。今回の取材に応じたある企業の担当者は、困惑げに語った。「我々もパーソナルデータ（個人に関わる情報）を利活用しているが、いつかSuicaのように『炎上』してしまうのか…」。 JR東日本が、交通系ICカード「Suica」の乗降履歴を日立製作所に販売し、利用者やマスコミから大きな反発を受けたことが、ユーザー企業の間に波紋を広げている（図1、関連記事：JR東日本がSuicaデータの外部提供について説明、オプトアウト受付も開始）。JR東日本は、2013年9月初頭に設置した有識者会議の結論が出るまでは、販売を中止する考えだ。
米ヤフー傘下のTumblr、ソーシャルデータ分析でDataSiftと提携
Tumblrが、ソーシャルデータプラットフォームのDataSiftと提携した。消費者が広告主のウェブサイトについて何と言っているか、広告主に消費者のインサイトを提供するのが目的だ。 DataSiftは米国時間9月16日から、Tumblrのリアルタイムデータへのアクセスを開始する。また今回の提携には、Tumblrの過去データへのアクセスも含まれている。Tumblrのデータを収集することで、消費者が企業や組織のサイトについて何と言っているかが分かるとDataSiftは述べている。そのような消費者のインサイトを提供することで、広告主のソーシャルマーケティングキャンペーンを支援するのが目的だ。DataSiftはFacebookやTwitterとも同様の提携関係を結んでいる。 2013年に11億ドルでTumblrを買収した米Yahooにとって、これは重要な動きとなる可能性がある。その買収金額から、投
ビッグデータもバズワードになったんだなあ - やまもといちろうBLOG（ブログ）
取引先とのメールで話題爆発（というか面白がり）していた。移動中なので、軽く触れる。先月の記事なんだね。箇条書きにするお。 靴屋とデータマイニングと季節外れの冬物衣料 http://d.hatena.ne.jp/AntiBayesian/20130423 前提： 内容をすべて否定するものではない。そういう見解も成立するし、ためにする議論ではない。 その１： 「データマイニングに必要なのは意外性だ！」 そもそも意外とか仮説の段階で言っているとしたら、それは使えないデータ担当者だ。クビにするべき。 その２： これを利用して小売店や流通業界はデータマイニングをした。どんな意外性のある結果が出てきたと思う？例えばこんなものだった。「冬は鍋の検索回数が多い」 なんたる自明！ 小売や流通は常に売り場面積や仕入れ対販売という係数に支配されていて、いつまで鍋が検索されて需要があるかというようなロングテール的
「ビッグデータ分析でスマホの接続率を改善」孫社長が明かす、ソフトバンクのビッグデータ活用法。Oracle CloudWorld Tokyo 2013
「ビッグデータ分析でスマホの接続率を改善」孫社長が明かす、ソフトバンクのビッグデータ活用法。Oracle CloudWorld Tokyo 2013 日本オラクルとしては国内で始めてクラウドにフォーカスしたプライベートイベントとなったOracle CLoudWorld Tokyo 2013。オラクルCEO ラリー・エリソン氏の基調講演に続いて登壇したのは、ソフトバンク代表取締役社長 孫正義氏。 スクリーンの中からエリソン氏が孫氏を紹介すると、しばらくインターネット越しに英語で対話をする2人。 エリソン氏「ソフトバンクについていつも思っているのは、アグレッシブに新しい技術を取り入れていくことだ」 孫氏「ボーダフォンジャパンを買収したとき、なぜメインフレームをまだ使っているのかと聞いたら、信頼性や実績があるなどと言われた。しかしオラクルがあるじゃないかと、なぜ使わないかと」 その後、孫氏による
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://agilecatcloud.com/2014/07/28/big-data-%E3%81%AE%E8%AA%BF%E6%9F%BB%EF%BC%9Agoogle-%E3%81%AE-dataflow-%E3%81%AF%E3%80%81mapreduce-%E3%81%AE%E6%AD%A3%E5%BD%93%E3%81%AA%E7%B6%99%E6%89%BF%E8%80%85%E3%81%AB%E3%81%AA%E3%82%8A%E5%BE%97/
データ分析というお仕事のこれまでとこれから(HCMPL2014)
【山田祥平のRe:config.sys】 ビッグデータに死ねと言われた東急
スシロー、ビッグデータ分析し寿司流す 廃棄量75%減 - 日本経済新聞
ドコモ、基地局接続情報を販売へ | スラド モバイル
ソフトバンクが唱える「接続率」の正体 “位置情報×時間帯”ビッグデータを活かしたエリア品質改善
United States
