はてなブックマーク

新年あけましておめでとうございます。本年もよろしくお願いいたします。 昨年はこちらのブログには一度も投稿しませんでしたね。noteのほうではいくつか記事を書いたのですが。そちらもよければご覧ください。リンクはこの記事の下のほうに貼っておきます。 さて、タイトルにあるとおり、新年は明けましたが、僕は抱負を立てませんでした。そのかわり、Twitter APIを使ってbotを作ったので、なぜそうしたのか、またその実装について書いていきます。 目次 1. なぜTwitter APIでbotを作ったのか 1-1. なぜ新年の抱負を立てないか 1-2. なぜTwitterか 1-3. 何をやりたいか 1-3-1. 凝り固まったTLをほぐしたい 1-3-2. フォロワーと積極的にコミュニケーションをとりたい 2. どんなbotを作ったのか 2-1. 全体像 2-2. APIインスタンス作成（get_ap

AIやデータサイエンスが注目されるに伴い、世の中は加速度的にデータドリブン化しています。特にビジネスにおいては、個人の勘や経験だけではなく、データやファクトにもとづいて意思決定がなされるべきという考えはもはや一般常識であると言っても過言ではありません。 そんな中、当然のようにデータ分析の結果を「分かりやすく見せること」の重要性が増しています。どんなに素晴らしい分析結果であっても、伝えたいことが伝わらなければ、意思決定につながりません。 データといっても、その表現方法はさまざまですが、最も使われる頻度が高いものとして、グラフがあります。 ただグラフを作るだけであれば、Excelを使えば誰でもできますが、誰しもが学校できちんと教わったわけでもなく、なんとなくグラフを作っているのが現状でしょう。 正しく分かりやすいグラフを作るためには、以下のような問いに即答できるグラフリテラシーが必要です。 グ

我々の身の回りはデータで溢れています。人口統計、視聴率、売上、株価、内閣支持率、例を挙げれば枚挙に暇がありません。その中でも、最も身近なデータといえば、天気予報でしょう。外出する前に、傘を持っていくべきかどうかの判断に必要なデータが天気予報、さらに言えば降水確率です。 ところで、そんなに身近な降水確率ですが、朝のニュースや天気予報アプリを見て確認する行為は果たしてクールでしょうか？ 結論から言うと、クールではありません。 来る日も来る日も、傘を持っていくかどうかという重要な判断を、どんなアルゴリズムで算出されたかも分からない降水確率に頼りっきりではいけません。 そんなことでは、もし無人島に漂着したときに困ってしまいます。 では、雨が降るかどうかをクールに予想するには、どうすればいいでしょうか？その答えは、簡単です。 自分の目で見て、体で感じて、予測するのです。 よくマンガなどである、 「大

なんでもかんでもAIで解決したいこのご時勢、皆様いかがお過ごしでしょうか。日々のニュースではありとあらゆる企業がAIに注力し、データサイエンティストの採用と育成に悪戦苦闘している様子がうかがえます。 「やっぱこの時代、AIっしょ！」 うんうん。そうですよね。勢いが大事です。 「いやいや、AIよりもまずやらなきゃいけないことたくさんあるんじゃないの？！」 うんうん。冷静な意見です。AIだけが戦略じゃないですからね。 「AIなんてただのバズワードだし、役に立たん！」 ダウト。 ちょっと待ってください。AIはいいものです。AIとハサミは使いよう、なのです。使い方を間違えてはいけませんが、そもそも使い方を間違えてもいい道具など、この世にありはしないのです。 AIがここまで注目されているのは、ビジネス課題の解決に活用できるからでしょう。もしAIが研究としてはおもしろいが役に立たないものだったとしたら

なんかいい映画ないかなぁと思うことは誰にだってありますよね。ちょっと時間ができた時なんかに、映画でも見てみようかと。でもこれはそんなに簡単なことではありません。 世の中にある映画なんて多すぎて一体いくつあるのか分からないくらいですし、一回選んだらだいたい2時間は取られるわけです。おもしろくない映画に2時間奪われるリスク、そして最高の映画を見ずに人生を終えてしまうリスク。こんなハイリスクを背負って僕たちは映画と向き合っていかなければいけません。 恐ろしい。 こんな恐ろしいことがありますか。 でも安心してください。機械学習がそれを解決してくれます。今回の記事では、機械学習を使って、自分自身に映画をおすすめするモデルを作ってみました。 何は無くともまずはデータが必要です。今回はみんなのレビューサイトさんからデータを拝借しています。 みんなのレビューサイトでは、レビュアーが自身のプロフィールを登録

さて、改めて今回の目的を確認しておくと、機械学習を使って東京都23区のお買い得賃貸物件を発見しよう、というものです。前回までの記事で、お買い得賃貸物件を発見するためのデータを収集し、分析にかけられるよう前処理してきました。 www.analyze-world.com www.analyze-world.com 今回の記事では、いよいよ機械学習を使って分析していきましょう。前回まではPythonを使っていましたが、この分析ではRを用いています。なお、コードはGitHub（https://github.com/ShoKosaka/Suumo）に上げておきますので興味ある方は参照ください。 最初に、データの中身をざっくり見ていきます。具体的には、分析のキーになるポイントをグラフにしながら、賃貸物件の現状や変数同士の関係性を把握していきます。 データ探索 まず、23区の中でどこが物件数が多いのかを

さて、前回のブログで足立区の賃貸物件を取得しました。 www.analyze-world.com 同様にして、東京都23区の物件も取得してしまいましょう。今回僕が取得したところ、合計で200,060件になりました。csvファイルで70MBほどですので、Excelだと重すぎて処理スピートがかなり遅いです。いい感じにビッグなデータが手に入ったんじゃないでしょうか。 物件情報を取得したはいいものの、このままだと分析をまわせないので、前処理を施します。今回の最終目標はお買い得物件を探すことなので、応答変数は賃料が主な指標になりそうです。賃料に対して、それぞれのカラムがどのように効いてくるかを考慮しながら処理していきます。 今回使うライブラリはpandasとnumpyだけです。それぞれ区別に保存しておいたファイルを結合して一つのファイルを形成します。 #必要なライブラリをインポート import p

こんにちは、Shoです。 今年の6月にミシガン大学ロスを卒業し、晴れてMBAホルダーとなりました。12月までは大学に残って機械学習の研究をしているのですが、いよいよ帰国の時が近づいてまいりました。 来年の頭から東京に戻るので、どのへんに住もうかなぁと思案しておるところです。 しかし住居選びというのは考えなければいけない要因が多くて大変ですね。なるべくお買い得な物件を選びたいところですが、どの区がいいのか、広さはどのくらいの部屋にしようか、2LDKと3Kだとどっちがいいの？とか、これは人間の頭で考える案件ではありませんね。コンピューターができることは全部自動化してしまいたい。 ということで、やってみました。 機械学習を使って東京23区のお買い得賃貸物件を探してみた 物件情報サイトは色々ありますが、今回はSuumoさんを選択。著作権に関しては、利用規約に以下のように書いてあります。 「ユーザー