はてなブックマーク

10万件以上の物件データを学習したのにクソ失礼にも家賃69万の物件に対して28万だと査定した機械学習モデルは何を考えているのか。Python機械学習lightgbmSHAP こちらの記事をご覧いただきありがとうございます。 ちゃんと内容が伝わるようなタイトルを考えたらラノベみたいになってしまい、かえってわかりにくい気がしてきました。 以前からいくらかSUUMO物件について機械学習を用いたデータ分析を行っています。 今回は、10万件以上の物件データを与えてなかなか高精度な家賃予測が可能となった機械学習モデルが、クソ失礼にも家賃が安いと査定した高額物件がいくらかあったので、何を考えてクソ失礼な査定となったのかを調べます。 もしかしたらボッタくりかもわかりませんからね。楽しみですね。 モデルの学習について 基本的には前回記事と同じです。 使用した機械学習モデル 以前から引き続き LightGBM

こちらの記事をご覧いただきありがとうございます。 この記事は後編です。前編がまだの方はぜひ前編からご覧ください。 （後編だけ読んでいただいてもOKです。話が分からないことはないと思います。） SUUMOの賃貸情報をスクレイピングし、機械学習モデルで家賃を予測することを試みましたが、家賃がバカ高い物件の予測がうまく行きませんでした。 前編ではバカ高物件の詳細ページを見て高額になる理由を探して仮説を立てました。 今回の後編では、詳細ページのスクレイピングをして得た情報を使い、前編での仮説を検証します。 前編の振り返り 前編では、以下の情報が家賃に影響しそうだと仮説を立てました。 設備の中身や充実 構造 駐車場 不動産会社 これらの変数がどれだけ家賃に影響しているのか、機械学習モデルを使って調べます。 ※不動産会社の情報を拾い忘れました。申し訳ない…。 新しく拾ってきた情報 詳細ページをスクレイ

こちらの記事をご覧いただきありがとうございます。 以前にSUUMOの賃貸情報をスクレイピングし、いろいろ前処理した記事を投稿しました。 そのデータを使って機械学習モデルでいろいろ調べていたのですが、どうにも家賃がバカ高い物件の予測がうまく行きませんでした。 そこで、家賃がバカ高い物件の特徴は何だろうかと調べましたので、ご紹介します。 ※過去のSUUMO記事は、この記事の最後にリンクを用意しておきます。 事前に行ったこと 大したことは話してませんので、本題だけ見たい人は飛ばしてOKです。 あでも変数重要度の話だけ見たほうがいいかも。 回帰予測に使用したモデル 回帰予測にはLightGBMを使用しました。予測精度が高いモデルで有名です。 詳しく知りたい方は各自ググってください。 家賃を対数変換 家賃は10万前後が圧倒的に多く、30万を超える物件すらかなり少ないです。 でも超高額物件も含めてある

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? こちらの記事をご覧いただきありがとうございます。 以前SUUMOの物件データをスクレイピングした記事を投稿しました。今回はスクレイピングしたデータから見つかった、入力ミスと思われる変なデータをご紹介します。 スクレイピングした記事 ↓でスクレイピングしたデータから見つかった変なデータを紹介します。 前置き：SUUMOに批判的な意見を主張したいわけではありません。 やっていること自体は人の揚げ足取りと思われて致し方ないことですが、決して批判的な意見を言いたいわけではありません。 機械学習をするうえで、イレギュラーなデータを見つけることは分

こちらの記事をご覧いただきありがとうございます。 以前スクレイピングの基本の記事を投稿しました。こちらの記事では、スクレイピングを使ってSUUMOの物件情報を自動取得したその過程を書きます。 ご覧いただいた皆様に学びがあれば幸いです。 ↓が私が以前投稿したスクレイピングの記事です。こちらの記事ではスクレイピングの技術的な話を書くつもりはあまりないので、スクレイピングの手法はこちらをご確認ください。 SUUMO とは SUUMOとは国内最大手の不動産情報サイトです。↓にURLを載せておきます。 僕も東京に引越しをするときの物件探しでSUUMOを使いました。希望の条件を細かく指定することができて、かつたくさんの物件から探すことができるので、とてもありがたかったです。ロフトとかバルコニーがあるといいなーと思っておりましたもので（結局家賃に負けてついてない物件にしましたが）。 沿線で探せるのはもち