Amazon.co.jp: 機械学習のための特徴量エンジニアリング ―その原理とPythonによる実践 (オライリー・ジャパン): Alice Zheng (著), Amanda Casari (著), 株式会社ホクソエム (翻訳): 本
特徴量 - Wikipedia
特徴量（英: feature）はデータを変形して得られ、その特徴を表現し、続く処理に利用される数値である[1]。表現（英: representation）とも。 生データは必ずしも良い形をしていない。2つの属性が同じ意味を持ち冗長であったり、逆に2つの意味が1つの値に含まれ絡み合う場合もある。生データを変形し良い形にできればデータを上手く利用できる。この変形され、良い形を持ち、後続タスクで利用される値が特徴量である。 特徴量は生データから抽出される。抽出方法は専門家の知見を利用して考案される場合と機械学習によってデータから学習される場合がある。 特徴量は利用のために存在する。例えば分類（写真 → 特徴量 → 物体カテゴリ）、生成（文字 → 特徴量 → 画像）、圧縮（音声 → 特徴量 → 音声）に用いられる。その用途ごとに特徴量が持つべき特性は異なる。例えば圧縮用の特徴量はそのサイズが重視さ
2023年版データ分析の100冊 - Qiita
わ、去年2023-08-26にこの記事書いたんだね。まる1年だね。2024年版機械学習・データ分析の必須10冊+ガチ90冊+Next5冊=105冊書きましたよ。 【データ分析の必読10冊+差をつける10冊＋100冊超】データサイエンス、データ分析、機械学習関連の本がご好評いただいてましたが古くなりごちゃごちゃしているので新たに作り直しました 本記事のめあて IT系の技術者の方がデータ分析関連の仕事をするために役立つ本を紹介する（私が学び始めた時にあれば欣喜雀躍したであろう）記事として書いております。 本記事作者の青木はバイオインフォマティクス（ゲノムデータのDB化中心・Perl・MySQL）からRで時系列分析→Pythonでデータ分析一般と業務をしてまいりました。 ですので研究者目的の本はありません。また、データ分析の基礎は主にRで学んだのですが、昨今の流行に合わせてPython本を中心に
highlight.io: The open source monitoring platform.
Understand the real reason why bugs are happening in your web application.
「どうカーソルを動かしたか」「どこをクリックしたか」「どの部分をスクロールして読み飛ばしたか」などのアクセス情報を全て入手し解析・分析できるオープンソースのアプリ「highlight.io」を使ってみた
ウェブアプリの開発をする時、ユーザーに「どこが分かりにくかったか」や「どこでエラーが発生したのか」などの情報をフィードバックしてもらいたいものですが、そうしたフィードバックを送る作業はなかなかに面倒なもので、全然直接のフィードバックは来ないのにTwitterにはいろんな意見が書かれている……ということはよくあります。「highlight.io」はそうしたフィードバックを勝手にやってくれるツールということで、実際に使って試してみました。 highlight.io: The open source monitoring platform. https://www.highlight.io/ highlight.ioはオープンソースということでセルフホスト版が用意されていますが、今回はどんな機能があるのかについて確かめるためhighlight.ioの開発元が提供するSaaSを利用します。公式サイ
リッジ(Ridge)回帰・ラッソ(Lasso)回帰の違い
線形モデル(linear model)は、実用的に広く用いられており、入力特徴量の線形関数(linear function)を用いて予測を行うものです。 まず、説明に入る前に言葉の定義から紹介します。 線形回帰 データがn個あるとした時にデータの傾向をうまく表現することができるy=w_0×x_0+....+w_n×x_n というモデルを探し出すこと 正則化 過学習を防いで汎化性を高めるための技術で、モデルに正則化項というものを加え、モデルの形が複雑になりすぎないように調整している (モデルの係数の絶対値または二乗値が大きくなってしまうと、訓練データのモデルに適合しすぎて、テストデータのモデルの当てはまりが悪くなる過学習という現象が起こるので、過学習を避けるために正則化項をつけている) 重み 説明変数（求めたいものに作用する変数）が目的変数に与える影響度合いを表現したものです。例えば上の線
リッジ回帰とラッソ回帰の理論と実装を初めから丁寧に - Qiita
はじめに 前回の記事で重回帰分析の導入をしてみたので、今回はその続きということで、2つ同時にやってみたいと思います。 ベクトルの微分公式については下記のブログが参考になります。 もしこの記事がお役に立てた時はQiitaのイイねボタンを押していただけると励みになります。 参考記事 「ベクトルで微分・行列で微分」公式まとめ 重回帰分析 リッジ回帰について考える際に、重回帰分析の理解はマストになるのでここでも見ていこうと思います。式変形については、前回の記事で詳しく導入したので少しだけ端折っていきます。 準備 説明変数$x_1, x_2, x_3, \cdots, x_m$を$\boldsymbol{x}$（$x$のベクトル）とする 予測値を$\hat{y}$とする（$\hat{y}$はスカラー） 回帰係数を$w_1, w_2, w_3, \cdots, w_m$を$\boldsymbol{w}
リッジ回帰 - Wikipedia
リッジ回帰（リッジかいき、Ridge regression）は、独立変数が強く相関している場合に、重回帰モデルの係数を推定する方法[1]。計量経済学、化学、工学などの分野で使用されている[2]。 この理論は、1970年に Hoerl と ケナード が Technometrics の論文「RIDGE regressions: biased estimation of nonorthogonal problems」と「RIDGE regressions: applications in nonorthogonal problems」で初めて紹介した[3][4][1]。これは、リッジ分析の分野における 10 年間の研究の結果だった[5]。 リッジ回帰は、線形回帰モデルに多重共線性がある（強く相関する独立変数がある）場合に最小二乗推定量が不正確になることを解決するために開発された。リッジ回帰推定量
chatGPTにアドバイスをもらったらデータサイエンスを知って1週間の友人がコンペで上位6.5%に入った話
先日、データ解析のセミナーを開催しました。 未経験の方でも、2時間で予測モデルを作成することができるハンズオンセミナーでした。 好評だったので、その内容をYouTubeにまとめたのでご興味ある方はご覧ください。 このハンズオンセミナーで予測モデルの作り方を知った友人がchatGPTにアドバイスをもらって、データサイエンスのコンペティションサイトに応募したところ、上位6.5%に入ることができたという報告を受け、驚愕しました。 chatGPTを上手く使えば素人がプロに勝つことも十分できるのだなと実感しました。 友人が参加したデータサイエンスのコンペは、SIGNATEの糖尿病予測問題でした。 以下のような進め方をしたとのことでした。 まず、問題の概要を説明して、どのように進めていけば良いかを確認したそうです。 そうすると、chatGPTからデータサイエンスの問題を解くための手順を一覧化してくれて
PythonでTableau風 BIツールによる視覚的データ探索をやってみよう 〜PyGWalker〜 - Qiita
更新情報 -目次- はやくもUI改善等 Ver.upが図られています。以下内容の記事を追加しました。 1. データフレーム表示 2. ヒストグラムの描き方 3. ダークモード対応 4. オンライン版 5. 海外のデータイノベーション支援団体でも人気 はじめに Tableauはご存じでしょうか？ 私は使ったことはありませんが、名前だけはよく耳にします。 これは、専門家でなくてもデータの収集・分析・加工ができるBI(ビジネス・インテリジェンス)ツールのひとつです。 なんと、Jupyter Notebook上（Google ColabもOK）で実行できる Tableau風 BIツール「PyGWalker」が登場しました。 Tableauそのものではありませんが、ドラッグ＆ドロップの簡単な操作でデータ分析や視覚的な探索が実行できます。 こんなのが出てくるとは・・・すごい。 しかも、数行のコードで実
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: 欠測データ処理: Rによる単一代入法と多重代入法 (統計学One Point 5): 高橋将宜, 渡辺美智子: 本
Amazon.co.jp: 世界標準のデータ戦略完全ガイド データセンスを磨く事例から、データの種類と仕組み、戦略策定のステップまで: バーナード・マー (著), 山本真麻 (翻訳): 本
Amazon.co.jp: データ分析・AIを実務に活かす データドリブン思考: 河本薫: 本
Amazon.co.jp: データ分析失敗事例集: 失敗から学び、成功を手にする: 尾花山和哉, 株式会社ホクソエム, 伊藤徹郎, 江川智啓, 大城信晃, 川島彩貴, 輿石拓真, 新川裕也, 竹久真也, 丸山哲太郎, 簑田高志: 本
Amazon.co.jp: 仕事ではじめる機械学習 第2版: 有賀康顕, 中山心太, 西林孝: 本
Amazon.co.jp: 分析者のためのデータ解釈学入門 データの本質をとらえる技術: 江崎貴裕: 本
Amazon.co.jp: AI・データ分析プロジェクトのすべて[ビジネス力×技術力=価値創出]: 大城信晃(監修・著者), マスクド・アナライズ, 伊藤徹郎, 小西哲平, 西原成輝, 油井志郎, 株式会社ししまろ: 本![Amazon.co.jp: AI・データ分析プロジェクトのすべて[ビジネス力×技術力=価値創出]: 大城信晃(監修・著者), マスクド・アナライズ, 伊藤徹郎, 小西哲平, 西原成輝, 油井志郎, 株式会社ししまろ: 本](https://cdn-ak-scissors.b.st-hatena.com/image/square/2ba5fbf3d4ca1f9d4c28d1760c4a761de372bbde/height=288;version=1;width=512/https%3A%2F%2Fm.media-amazon.com%2Fimages%2FI%2F51xMXmkz4BL._SL500_.jpg)
tf.keras.callbacks.History | TensorFlow v2.16.1
Amazon.co.jp: MBAのExcel: 即戦力になる！: 鷲巣大輔 (著), グロービス (監修): 本
K-Motion Is Your 3D Toolbox and Plan For Success
