![Amazon.co.jp: 機械学習のための特徴量エンジニアリング ―その原理とPythonによる実践 (オライリー・ジャパン): Alice Zheng (著), Amanda Casari (著), 株式会社ホクソエム (翻訳): 本](https://cdn-ak-scissors.b.st-hatena.com/image/square/e63f120b26b2974f5fc8f1522e05bf119e4eb185/height=288;version=1;width=512/https%3A%2F%2Fm.media-amazon.com%2Fimages%2FI%2F51kp-FCHJ2L._SL500_.jpg)
特徴量(英: feature)はデータを変形して得られ、その特徴を表現し、続く処理に利用される数値である[1]。表現(英: representation)とも。 生データは必ずしも良い形をしていない。2つの属性が同じ意味を持ち冗長であったり、逆に2つの意味が1つの値に含まれ絡み合う場合もある。生データを変形し良い形にできればデータを上手く利用できる。この変形され、良い形を持ち、後続タスクで利用される値が特徴量である。 特徴量は生データから抽出される。抽出方法は専門家の知見を利用して考案される場合と機械学習によってデータから学習される場合がある。 特徴量は利用のために存在する。例えば分類(写真 → 特徴量 → 物体カテゴリ)、生成(文字 → 特徴量 → 画像)、圧縮(音声 → 特徴量 → 音声)に用いられる。その用途ごとに特徴量が持つべき特性は異なる。例えば圧縮用の特徴量はそのサイズが重視さ
わ、去年2023-08-26にこの記事書いたんだね。まる1年だね。2024年版機械学習・データ分析の必須10冊+ガチ90冊+Next5冊=105冊書きましたよ。 【データ分析の必読10冊+差をつける10冊+100冊超】データサイエンス、データ分析、機械学習関連の本がご好評いただいてましたが古くなりごちゃごちゃしているので新たに作り直しました 本記事のめあて IT系の技術者の方がデータ分析関連の仕事をするために役立つ本を紹介する(私が学び始めた時にあれば欣喜雀躍したであろう)記事として書いております。 本記事作者の青木はバイオインフォマティクス(ゲノムデータのDB化中心・Perl・MySQL)からRで時系列分析→Pythonでデータ分析一般と業務をしてまいりました。 ですので研究者目的の本はありません。また、データ分析の基礎は主にRで学んだのですが、昨今の流行に合わせてPython本を中心に
ウェブアプリの開発をする時、ユーザーに「どこが分かりにくかったか」や「どこでエラーが発生したのか」などの情報をフィードバックしてもらいたいものですが、そうしたフィードバックを送る作業はなかなかに面倒なもので、全然直接のフィードバックは来ないのにTwitterにはいろんな意見が書かれている……ということはよくあります。「highlight.io」はそうしたフィードバックを勝手にやってくれるツールということで、実際に使って試してみました。 highlight.io: The open source monitoring platform. https://www.highlight.io/ highlight.ioはオープンソースということでセルフホスト版が用意されていますが、今回はどんな機能があるのかについて確かめるためhighlight.ioの開発元が提供するSaaSを利用します。公式サイ
線形モデル(linear model)は、実用的に広く用いられており、入力特徴量の線形関数(linear function)を用いて予測を行うものです。 まず、説明に入る前に言葉の定義から紹介します。 線形回帰 データがn個あるとした時にデータの傾向をうまく表現することができるy=w_0×x_0+....+w_n×x_n というモデルを探し出すこと 正則化 過学習を防いで汎化性を高めるための技術で、モデルに正則化項というものを加え、モデルの形が複雑になりすぎないように調整している (モデルの係数の絶対値または二乗値が大きくなってしまうと、訓練データのモデルに適合しすぎて、テストデータのモデルの当てはまりが悪くなる過学習という現象が起こるので、過学習を避けるために正則化項をつけている) 重み 説明変数(求めたいものに作用する変数)が目的変数に与える影響度合いを表現したものです。例えば上の線
はじめに 前回の記事で重回帰分析の導入をしてみたので、今回はその続きということで、2つ同時にやってみたいと思います。 ベクトルの微分公式については下記のブログが参考になります。 もしこの記事がお役に立てた時はQiitaのイイねボタンを押していただけると励みになります。 参考記事 「ベクトルで微分・行列で微分」公式まとめ 重回帰分析 リッジ回帰について考える際に、重回帰分析の理解はマストになるのでここでも見ていこうと思います。式変形については、前回の記事で詳しく導入したので少しだけ端折っていきます。 準備 説明変数$x_1, x_2, x_3, \cdots, x_m$を$\boldsymbol{x}$($x$のベクトル)とする 予測値を$\hat{y}$とする($\hat{y}$はスカラー) 回帰係数を$w_1, w_2, w_3, \cdots, w_m$を$\boldsymbol{w}
リッジ回帰(リッジかいき、Ridge regression)は、独立変数が強く相関している場合に、重回帰モデルの係数を推定する方法[1]。計量経済学、化学、工学などの分野で使用されている[2]。 この理論は、1970年に Hoerl と ケナード が Technometrics の論文「RIDGE regressions: biased estimation of nonorthogonal problems」と「RIDGE regressions: applications in nonorthogonal problems」で初めて紹介した[3][4][1]。これは、リッジ分析の分野における 10 年間の研究の結果だった[5]。 リッジ回帰は、線形回帰モデルに多重共線性がある(強く相関する独立変数がある)場合に最小二乗推定量が不正確になることを解決するために開発された。リッジ回帰推定量
先日、データ解析のセミナーを開催しました。 未経験の方でも、2時間で予測モデルを作成することができるハンズオンセミナーでした。 好評だったので、その内容をYouTubeにまとめたのでご興味ある方はご覧ください。 このハンズオンセミナーで予測モデルの作り方を知った友人がchatGPTにアドバイスをもらって、データサイエンスのコンペティションサイトに応募したところ、上位6.5%に入ることができたという報告を受け、驚愕しました。 chatGPTを上手く使えば素人がプロに勝つことも十分できるのだなと実感しました。 友人が参加したデータサイエンスのコンペは、SIGNATEの糖尿病予測問題でした。 以下のような進め方をしたとのことでした。 まず、問題の概要を説明して、どのように進めていけば良いかを確認したそうです。 そうすると、chatGPTからデータサイエンスの問題を解くための手順を一覧化してくれて
更新情報 -目次- はやくもUI改善等 Ver.upが図られています。以下内容の記事を追加しました。 1. データフレーム表示 2. ヒストグラムの描き方 3. ダークモード対応 4. オンライン版 5. 海外のデータイノベーション支援団体でも人気 はじめに Tableauはご存じでしょうか? 私は使ったことはありませんが、名前だけはよく耳にします。 これは、専門家でなくてもデータの収集・分析・加工ができるBI(ビジネス・インテリジェンス)ツールのひとつです。 なんと、Jupyter Notebook上(Google ColabもOK)で実行できる Tableau風 BIツール「PyGWalker」が登場しました。 Tableauそのものではありませんが、ドラッグ&ドロップの簡単な操作でデータ分析や視覚的な探索が実行できます。 こんなのが出てくるとは・・・すごい。 しかも、数行のコードで実
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く