機械学習を使って東京23区のお買い得賃貸物件を探してみた - データで見る世界
さて、改めて今回の目的を確認しておくと、機械学習を使って東京都23区のお買い得賃貸物件を発見しよう、というものです。前回までの記事で、お買い得賃貸物件を発見するためのデータを収集し、分析にかけられるよう前処理してきました。 www.analyze-world.com www.analyze-world.com 今回の記事では、いよいよ機械学習を使って分析していきましょう。前回まではPythonを使っていましたが、この分析ではRを用いています。なお、コードはGitHub（https://github.com/ShoKosaka/Suumo）に上げておきますので興味ある方は参照ください。 最初に、データの中身をざっくり見ていきます。具体的には、分析のキーになるポイントをグラフにしながら、賃貸物件の現状や変数同士の関係性を把握していきます。 データ探索 まず、23区の中でどこが物件数が多いのかを
Excelデータベースの鉄則。分析はデータの下ごしらえで決まります - 実践で使うExcelとAccessの話
本記事は移転しました。 約3秒後にリダイレクトします。 リダイレクトしない場合はここをクリックしてください。
LINE DEVELOPER DAY_2015 Tokyo「ビッグデータを活用するための分析プラットフォーム」レポート #linedevday | DevelopersIO
LINE DEVELOPER DAY_2015 Tokyo「ビッグデータを活用するための分析プラットフォーム」レポート #linedevday こんにちは、虎塚です。 昨日は、LINE株式会社さんが開催されたイベントLINE DEVELOPER DAY_2015 Tokyoへ参加してきました。 Taichi Hashimotoさんが講演された「B-5: ビッグデータを活用するための分析プラットフォーム 〜データ集計した先に求められる分析技術」を聴きましたので、レポートします。 前半は、さまざまOSSを活用して構築された、社内の利用者のニーズに応じたデータ分析基盤の紹介でした。後半は、KPIを人間が見るのでなく、変化を自動検知して通知するシステムを開発中というお話でした。 以下、レポートです。 データ分析について LINEにとってデータ分析とは何か Collecting: データを集約する
地域経済分析システムRESAS（リーサス）を使ってみた - 後世への最大遺物
１．地域経済分析システムRESAS（リーサス）がリリース 内閣官房(まち・ひと・しごと創生本部事務局)及び経済産業省より、地域経済分析システム「RESAS (Regional Economy and Society Analyzing System)」がリリースされました。 「地域経済分析システム（RESAS（リーサス））」の提供を開始しました（METI/経済産業省） 地方自治体が地方版総合戦略を策定する際に行うデータ分析を支援する目的で設計されたシステムとのこと。 ものはためし、ということで早速使ってみました。 オープニング画面はこんな感じ。結構オシャレですね。 背景のアニメーションには、「このシステムはただの打ち上げ花火では終わらせない！」という国の熱い想いが込められているとか（違 一般ユーザ向けには上記の「人口マップ」「観光マップ」「自治体比較マップ」が公開されています（企業間取引
フリーのVM環境を使って、ビッグデータ分析の学習環境をすばやく構築する
はじめに Hadoopを使って大規模データを蓄積し分析するのは、もはや当たり前になってきた昨今ですが、大規模データ分析の環境を試すのは、なかなか難しいというのが現状です。確かに、Hadoop単体やSQLエンジン単体なら、Amazon EMRやGoogle BigQueryなどを使うことで体験することは可能でしょう。しかし、大規模データの分析基盤では以下のようなことを行っていく必要があります。 RDBMSからデータをHadoopにインポートする SQLを使って、大規模データを高速に分析する アクセスログなどの大量の非構造化データを分析する 大量のデータに対し、リコメンドに利用するための高度な分析処理を行う 大量のデータを全文検索できるようにする これらすべてを試す環境を構築するのは、たとえクラウド環境を使ったとしても困難です。また、（検証環境としては）意外と高額な費用がかかってしまい、永続化
CDP（カスタマーデータプラットフォーム）のトレジャーデータ - 散らばった顧客データをひとつにまとめる。 - Treasure Data
散らばった顧客データをひとつにまとめる あらゆるビジネスの中心に一貫性のある顧客体験を トレジャーデータのCustomer Data Cloudは、マーケティング、カスタマーサポート、営業活動から業務部門にいたる企業内の各部門の連携を実現します。
「きのこたけのこ戦争」ついに決着か NTTデータ、バレンタインデーのデータを解析
NTTデータは、2015年のバレンタインデーに起きた「きのこたけのこ戦争」をデータ解析。自社で開発している高精度テキスト分析API「なずきSA」を用いて調査した。 「なずきSA」はインターネット上の日本語テキストデータを解析するツール。単語などからポジネガ分析（ポジティブ・ネガティブ分析）するだけでなく、分野や感性を示す表現の判定を行い、高い精度で評価情報を抽出することができる。例えば、「ヤバイ」という単語はポジネガどちらの感情でも使われ得る言葉だが、前後の文脈などからポジティブに使われているか、ネガティブに使われているかを判定可能となっている。 「なずきSA」の仕組み 例1 例2 今回調査の対象となったのは、2015年2月1～17日までのツイート。最初に、バレンタインのソートとして「もらった」「あげた」「プレゼント」といったアクションの単語と、「きのこ」「たけのこ」という名詞でツイートを
意識高すぎて休日にword2vecをいじるしかやることなかった - 驚異のアニヲタ社会復帰の予備
word2vecという、ニューラルネットワーク的なことを用いて文書集合からコーパスを構築して、単語のベクトル演算ができるようになる手法があるらしい。 艦これ加賀さんから乳を引いてみるという話を聞いてスゲー!!ってなったので、Twitterでやってみたとか英辞郎でやってみたとかMagic: The Gatheringとかwikipediaいろいろあるなか、何番煎じだよｿﾚｪ…って思われそうだけれどもやってみる。 こちらを参考にword2vecをインストールする。今回はPythonではなくターミナルでカチャカチャやることにする。 demo-word.sh の中にtext8というデータがあるが、これは100MBほどのコーパスで、 anarchism originated as a term of abuse first used against early working class radic
twitterアカウント特定ヒューリスティックの紹介
簡便なtwitterアカウント特定のためのヒューリスティックを思いついたけど自分のブログで紹介したくなかったのでここで紹介する． 先行研究twitterに関する特定には， とあるtwitterアカウントの本名や住所などを特定したい (いわゆる「バーチャル」から「リアル」) (本名や趣味などがわかっている，あるいは同じ場所にいる)とある人のtwitterアカウントを特定したい (「リアル」から「バーチャル」)などがある．ざっと調べた感じだと，前者の例としては 【注意】こんなにあった！あなたの自宅が特定されるツイートまとめ - いまトピネットでヘイトスピーチを垂れ流し続ける 中年ネトウヨ「ヨーゲン」（57歳）の哀しすぎる正体【前編】 | 現代ノンフィクション | 現代ビジネス [講談社]ネットでヘイトスピーチを垂れ流し続ける 中年ネトウヨ「ヨーゲン」（57歳）の哀しすぎる正体【後編】 |
定性調査と定量調査の違いとは？ アンケートやインタビューの成果を最大化 | プロ厳選！ ユーザーを理解する調査手法
マーケティングにおける調査には、大きく分けて定量調査と定性調査の2つがあります。それぞれがどんなことを調べたいときに適しているのか、定量調査と定性調査の違いから説明していきます。 2つの違いを説明するにあたって、前回説明したユーザー理解のための「3つの掟」が重要になりますので、頭と心に浮かべて読み進めてください。 定量調査 What／「なに？」を知る 定量データの分析や集計で調査定量調査とは、人数や割合、傾向値などの何かしら明確な“数値や量”で表される「定量データ」で集計・分析する調査方法です。 代表的な定量調査は、「アンケート」です。 一般的なアンケートは、アンケートを回答してくれる人（被験者）が「はい・いいえ」や「1～5のスケールに○をつける」といった「スコアリング方式」と呼ばれる、質問項目に明快に回答できる設問で構成されていて、これらを集計すると設問ごとに必ず明確な数字でデータがアウ
Rでスポーツデータ解析がしたい: 千秋楽での勝率 - 300億円欲しい
はじめに 前回, 大相撲のデータを正しく作るのが辛い, ということを書きました. Rでスポーツデータ解析がしたい: データを作るのって大変ですね - 300億円欲しい まだ整形できていないのですが, 現段階で可能な解析をしたいと思います. 八百長問題が気になりますので, 千秋楽の勝率を集計してみます. 先行研究 大相撲のアノーマリー. 2010年に書かれた記事です. 八百長がありそうかどうか, という解析です. 実践！ Rで学ぶ統計解析の基礎（8）：大相撲のアノーマリー （2） (2/2) - ＠IT もしも、この計算の追試や、何らかの追加計算をされた方がいらっしゃったら、是非ともその結果を教えてくださることを熱望します。 また、1999年以前10年間程度の十両・幕内の勝敗データを持っていらっしゃる方がおりましたら、そのデータを提供いただければ、より一層踏み込んだことが分析できると思います
アコムの審査をこのページで攻略しよう！やばいと言われる理由は？｜お金の玉手箱
アコムに申し込んでみようと思っているけど、初めてカードローンを利用する人にとっては、審査は甘いのかそれとも厳しいのかといった審査の難易度、審査ではどんな内容を見られるのか、審査にはどのくらい時間がかかるのか、など気になるところだと思います。 そこで、アコムの審査の基準はどうなっているのか、アコムの審査に通るコツや落ちてしまう原因など、アコムの審査を攻略する方法について詳しくご紹介します。 融資を急いでして欲しい人のために、アコムの審査時間や、アコムでできるだけ早く融資を受ける方法、在籍確認などについてもあわせてお話しします。 また、アコムはやばい、怖いという話も耳にするけれど、実際のところはどうなの？と不安に思っている方のために、アコムを利用した人の口コミなどもご紹介しますので、ぜひ参考にしてください。 カードローンがはじめての人でも安心のアコム、その理由がすべて納得できる記事です。 この
中古マンション売買データを分析してみた(4) - 完成系の階層モデルと駅ブランド力の可視化 - About connecting the dots.
半年ぐらいウダウダやってましたが，今回が最終回です．自分としては満足のいく階層モデルに仕上がり，可視化までたどり着きました．ということでこれまでのエントリを別ページにまとめておきます． 問題点の修正 前回のモデルを公開したところ，@beroberoさんから以下のようにご指摘いただきました． .@smrmkt それぐらいなら大丈夫そうです。それよりも原因わかったっぽいです。少なくともr_sのasがいらなさそうです。これがY[i]のaとバッティングして、a+asが一定の値になればいいので収束しなさそうです。よく考えるとさらに減らせる項があるかもしれません。— berobero (@berobero11) November 11, 2014 これがまさしくその通りで，項を削除することで呆気なく収束に至りました．つまり前回のモデルはこちらだったのですが， このは駅ごとに推定する値ではなく，全物件で
ワタミが102店舗閉鎖？富士フイルムがデジカメ事業縮小？セグメント損益から会社の将来を読み解く - 斗比主閲子の姑日記
11日にワタミが中間決算で赤字を計上し、年内で102店国内の店舗を閉鎖するという報道がありました。 同日、富士フイルムは中期経営計画として、自己株買いと配当で2千億円強を投資家に還元し、M&Aを積極活用しヘルスケア等の事業を強化し、デジカメ事業は縮小するという報道がありました。 一般には、ワタミは居酒屋の会社というイメージが強いでしょうし、富士フイルムはカメラの会社というイメージがあるでしょうから、こういう報道を聞くと驚かれる方もいらっしゃると思います。会社はどうなるのか。 ただ、これらの方針も、各社の事業別の業績を追っていると特に違和感なく受け止められる部分があります。 先月、こんな記事を書きましたが、 今回は会社のセグメント情報（事業別の情報）をチェックすることで、その会社の方向性を何となく見て取れますよということを紹介してみます。 内容は、それ以上でもそれ以下でもありません。プロ向け
第18回 ロジスティック回帰：機械学習 はじめよう｜gihyo.jp … 技術評論社
前回までに、分類問題のモデルの一つ「パーセプトロン」を紹介して、その実装を行いました。 パーセプトロンはとてもシンプルでわかりやすいモデルでしたが、「線形分離可能」なデータにしか適用できないという難点がありましたね。 今回は線形分離できないデータにも適用できる分類モデルとして、「ロジスティック回帰」を紹介します。 予測の信頼度 分類器を使って、実際の問題を解くときのことを考えてみます。例えば「メールのスパムフィルタ」などが想像しやすいでしょう。 一般的にスパムフィルタでは、データであるメールを「スパム（迷惑メール）」と「スパムではない（通常のメール）」のどちらかに分類します。そこで、ちょうどパーセプトロンのような2値分類器を使えば無事解決……とは、なかなかいきません。 スパムフィルタを通り抜けてしまった迷惑メールを一つ一つ消す、反対に必要なメールが間違ってスパムと判定されてしま
【CEDEC 2014】データの見方を間違えて失敗した5つの例・・・DeNAの分析担当者が語る / GameBusiness.jp
ディー・エヌ・エーのビジネス・アナリティクス部に所属する野上大介氏は昨年に引き続いてCEDECに登壇し、ソーシャルゲームの世界で散見される誤ったデータの使い方について語りました。本セッションはスポンサードセッションにも関わらず超満員で立ち見が出るほどでした。 野上氏のビジネス・アナリティクス部では社内の各種分析や改善提案を行っているほか、複数の外部デベロッパーに対する分析のコンサルティングを主な業務としています。野上氏はゲーム業界でデータを見るときに「収益ばかりの話が目に付く」と苦言を呈します。「ゲームの規模が大きくなるにつれ、面白さをメンバーの阿吽の呼吸だけで維持するのは難しくなっています。そうした際にデータは便利な道具になります。ゲームが理想像に近づいているかを"データも"活用した分析をしていきたい」と語りました。 ■失敗1: リリース前のKPI予測 問題: リリース前にLTV(
「幸せは加速度センサで測れる」：日経ビジネスオンライン
矢野：そうですか。 店舗の中で、居場所と体の動きを検知できるセンサを従業員が身に着けて、来店したお客様にも買い物の間だけ身に着けてもらい、毎秒20回ずつひたすらデータを取り続けるわけですが、それを解析した人工知能コンピュータがすごく意外な影響要因をはじき出した。 店内のいくつかの「ある特定の場所」に従業員が「いる」だけで顧客単価が向上するというんですね。そこでの滞在時間を1.7倍にしただけで顧客単価が15％も増えたとか。でもそれがどういう理由なのか言葉ではうまく説明できない。これは、具体的にはどういうことをコンピュータでやっているんですか。 矢野：ごく単純に言うと、1人のお客さんがいくらお金を使うかという売り上げというマクロな量に対して、影響を与えるかもしれない要因はものすごくたくさんあります。そのたくさんの要因の中で、影響がありそうな候補を何千個、何万個と自動で作り出し、かつそれらを絞り
今月下旬に『手を動かしながら学ぶ ビジネスに活かすデータマイニング』（技術評論社）という本を出します - 渋谷駅前で働くデータサイエンティストのブログ
本日、出版元の技術評論社(gihyo)様の公式サイトでオープンになりました。 手を動かしながら学ぶ ビジネスに活かすデータマイニング：書籍案内｜技術評論社 そして書影はまだ反映されていないようですが、Amazonでも予約受付が始まった模様です*1。 手を動かしながら学ぶ ビジネスに活かすデータマイニング 作者: 尾崎隆出版社/メーカー: 技術評論社発売日: 2014/08/22メディア: 単行本（ソフトカバー）この商品を含むブログ (3件) を見る ということで、僕が生まれて初めて執筆した書籍が恥ずかしながら8月22日（予定）に発売されることになりました。詳しくはgihyo様の公式サイトをご覧いただきたいのですが、このブログで唯一はてブ1000超えを達成したエントリ（Webデータ分析＆データサイエンスで役立つ統計学・機械学習系の分析手法10選 - 銀座で働くData Scientistのブ
【連載第1回】ほとんどの分析はなぜ不毛に終わるのか、失敗の原因を見つめることから始めよう - 日経BigData
ヤフーのビッグデータ戦略を担当する安宅和人チーフストラテジーオフィサーは20年以上分析に関わってきた。ほとんどの分析が同じような理由のために失敗を繰り返しているという。 私はこれまで20年以上にわたり、様々な分析とともに生きてきた。その経験の中から言えることが1つある。それは、この世の中で日々生み出されている分析の大部分が、意味のある意思決定や変化を何も生み出さないということだ。世の中で生み出される分析のほとんどが、結果の視点から見るとダメ分析なのだ。 私自身が仕事を始めたころに行った分析も今振り返ればそうだったし、これまで接してきた事業分析やビッグデータ分析の多くもそうだった。 そこに費やされている労力、才能、コストを考えれば、あまりにも残念なことだ。この連載は失敗の原因を見つめることから始めたい。 では、ほとんどの分析はなぜダメ分析なのか？ 原因は大きく5つある。 （原因１）「何のため
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【CEDEC 2014】データの見方を間違えて失敗した5つの例・・・DeNAの分析担当者が語る | インサイド
