独断と偏見でまとめる2024年10月現在ゼロから学んで今から生成モデルをコーディングできるために必要な知識集 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 所属大学にて9月に1日で機械学習なんもわからん状態から生成モデルを組めるようになろうというワークショップをした。普通に考えて参加者側の視点に立ったら無理なんだが, まあとにかくそういうイベントをやった。やってみたところ, 「何話してるのかわからん」という感想が多く大絶賛だった(反省しています)。 ただワークショップ中にきた質問が結構自分も最初のころは躓いたところだな〜〜というものも多く, ワークショップ中にきた質問点をまとめていけば案外生成AIをフルスクラッチで作れる技術者になるためのTips集が作れるのではないかと思い, この記事を書
【機械学習】AUCとGini係数の関係を理解する【評価指標】 - Qiita
はじめに 二値分類の評価指標について 「AUCとGini係数ってどんな関係だっけ？」 と毎回忘れては調べているので、いい加減覚える意味で体系的にまとめてみる。 この記事では AUCとは何か？ Gini係数とは何か 両者はどんな関係があるか？ を理解することを目的とする。 最初に結論 AUCとGini係数の間には の関係がある。 AUCは0.5から1の範囲を取るため、Gini係数は0から1までの範囲を取る。 どちらも値が大きいほど分類性能が良いことを表す。 最終的にこの式を理解することを目的としよう。 AUCを理解しよう AUC （Area Under the Curve）は二値分類における有名な評価指標の一つであり、文字通り、「ROC曲線下の面積」を表す。 ROC曲線とは？ ROC (Receiver Operating Charastaristic Curve)は受信者操作特性と呼ばれる
ヤバいデータ分析（書籍・記事であまり扱われてないが重要なこと） - Qiita
大学ではないが、東京大学エクステンション・データサイエンススクール・技術実務者コースでは 前提知識 高校までの理系数学と大学1・2年生の数学の一部（偏微分、積分、行列） 数学科目 統計学、最適化 ざっとレベル感をまとめますと 高校までの計算主体の数学 計算力があればなんとかなる 理工系大学教養レベルの定義・定理で入ってくる数学 抽象度は上がるがまだ図が描ける 理工系大学専門レベル抽象度の上がった数学 位相とかはイメージしずらい、高次元・無限次元とかはもう図もイメージもできない 数学科 超絶 薄い記事では、これらのうちどこを言っているのかとイメージしていない人が言っているのでしょうが、アカデミアの方やエンジニアでもR＆Dで新たなアルゴリズムを開発担当とかでなければ、大体下記をイメージすれば良いのではないかとのところが自論 高校までの数学はほぼ必須 理工系大学教養レベルの数学はできるだけマスタ
社内勉強会で生成AIについて発表したので70ページの資料を公開する！ - Qiita
前置き 毎週金曜日夕方に行われる社内勉強会にて、先日生成AIについて発表しました。折角なので少し加筆修正した資料を公開します。進化のスピードが早く、一時期食傷気味に陥ってましたが改めて昨今の生成AI関連の基本となるインプットを目指しました。 ※資料内冒頭に記載してますが、AIの専門家ではないので認識や説明に誤りがある可能性があります。 当方も勉強中なので、「ここ違うよ」や「これの説明もあるといいんじゃない」など様々なコメント大歓迎です！ 資料 資料目次 AIの基本 機械学習について 深層学習について 機械学習の種類 教師あり学習の得意なこと 教師あり学習のイメージ 教師なし学習の得意なこと 教師なし学習のイメージ 強化学習の得意なこと 生成AIについて 生成AIとは 生成AIの位置付け 生成AI利用例 代表的なサービス例 日本における盛り上がり 生成AI市場規模 AGIとは AGIは近い？
そろそろ知っておかないとヤバい？ 話題のLangChainを30分だけ触って理解しよう！ - Qiita
LangChainって何？ ChatGPTを始めとする大規模言語モデル（LLM）の流行が止まりませんが、そんなLLMを活用して日々開発するエンジニアの間で最近ずっと耳にするキーワードの一つがLangChainです。 LangChainとは、LLMを用いたアプリケーション開発を効率的に行うためのライブラリです。機械学習分野で最も人気のあるPython言語用に提供されています。 そもそもライブラリって何？ プログラミングの文脈でよく聞く「ライブラリ」って何者なのか、初学者にはいまいちピンと来づらいですよね。 分かりやすく言うと 「特定の言語でプログラミングをする際によく使いそうな機能をあらかじめ誰かが作ってくれて、呼び出すだけでその機能を使えるようにしてくれている便利セット」 のようなものです。 例えば、よく使われるPython言語のライブラリの例として math があります。これは数学的な計
雑談のためのチャットボットを深層学習自然言語処理モデル（T5）で作る - Qiita
はじめに 普段ニュースサイトや機械学習関連のプロダクトを開発している中村と申します。 もともと大学院まで機械学習を研究しており、最近は自然言語処理が流行っているというニュースを聞きつけて、ずっと興味を持っていました。 （会社のお金で機械学習を勉強したいという願いが最近叶いました。） リモートワーク寂しい問題 最近のコロナ禍により、例にもれず弊社もリモートワークが盛んに行われ、現在ではリモートワークが当たり前になっています。 しかし、もちろん業務は円滑に進むのですが、コミュニケーションの量も少なくなることもまた事実。 ただし、チームメンバーの時間を雑談で奪うのも何か気がひける・・・。 こういうときはエンジニアリングの力で解決するのが、エンジニアという生き物ですよね。 そこで、今回は深層学習による自然言語処理モデルで、雑談のためのチャットボットを構築してみます。 深層学習時代の自然言語処理 今
グラフニューラルネットワークでQiitaのタグづけをレコメンドする - Qiita
本記事はNTTドコモR&Dアドベントカレンダー2021の8日目の記事です． こんにちは、NTTドコモの橋本(@dcm_hashimotom)です． 業務ではレコメンド関連の技術開発・施策検討を行っており，主にPythonやBigQuery, Apache Sparkを触ってます． SNSなどで投稿したコンテンツの検索性を上げるためには，そのコンテンツへのタグ(またはハッシュタグ)の付与が重要です．Qiitaではタグは5つまで付与することができ，タグを指定した絞り込み検索や，マイページでのプロフィールに使われております．しかし，タグの付与はユーザ手動なものが多く(要出典)，検索性が高いものを選択するためには，ドメイン知識が必要です．なので，タグを付ける際に「このタグがついた投稿では他にこんなタグもついてます」的なレコメンドがあれば有用そうです．また，レコメンドということですが，近年レコメンド
2020年超盛り上がり！自己教師あり学習の最前線まとめ！ - Qiita
オミータです。ツイッターで人工知能のことや他媒体の記事など を紹介していますので、人工知能のことをもっと知りたい方などは @omiita_atiimoをご覧ください！ 他にも次のような記事を書いていますので興味があればぜひ！ わずか1%のラベルでImageNet高精度「SimCLR」解説 出きたてホヤホヤ！最新オプティマイザー「AdaBelief」を解説！ 画像認識の大革命。AI界で話題爆発中の「Vision Transformer」を解説！ 新たな活性化関数「FReLU」誕生&解説！ 自然言語処理の王様「BERT」の論文を徹底解説 2021/02/28 SimCLRのバッチサイズに関する記述を修正 2020年に大きく盛り上がりを見せた分野に自己教師あり学習(=Self-Supervised Learning(SSL))があります。SSLとは名前の通り自分で教師を用意するような手法で、デー
Kedroで機械学習パイプラインに入門する - Qiita
はじめに Kedroという機械学習向けパイプラインツールを使ってみたので備忘までに記事を書きます。 とりあえずパイプラインを組んでみて動いたところまで、です。もう少し使い込んで、別途投稿できればと思っています。 公式のチュートリアルの差分は、以下くらいかなと思います。（どっちもちょっとしたことですが） ホストを汚さないようにDockerコンテナ内でKedroプロジェクトを作成・開発していること node.pyは使わず、普段慣れ親しんだディレクトリ構成で普通にスクリプトを書いていること（それらをノードとしてパイプラインでつないでいる） パイプラインツールの必要性 依存関係が複雑になりがちな処理処理フローを管理したい データ取り込み→データ前処理→モデルのトレーニング→チューニング→デプロイメント、etc ジョブを並列実行したい コンポーネントごとにマシンスペックを柔軟に設定したい 前処理は高
AI・Python活用レシピ100選 - Qiita
※ 一部ガイドラインに反する内容がありましたので、該当箇所を修正のうえ再投稿しております。 はじめに Axross は、エンジニアの"教育"と"実務"のギャップに着目し、「学んだが活用できない人を減らしたい」という想いで、ソフトバンク社内起業制度にて立ち上げたサービスです。 現役エンジニアによる実践ノウハウが"レシピ"として教材化されており、実際に動くものを作りながら、具体的な目的・テーマをもってプログラミングを学ぶことができます。 今回は、Axross運営が厳選した『AI・Python活用レシピを100選』をご紹介します。是非、みなさまのAIやPython学習の参考にしてみてください。 Axross：https://axross-recipe.com 公式Twitter：https://twitter.com/Axross_SBiv 基礎 スクレイピング 01 . JUMPの掲載順をスク
統計学・機械学習を自分なりに概観してみた - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ＊この記事は統計学や機械学習を専門としていない学生が書いた主観的なまとめ記事です。間違いが含まれている可能性があります。 統計学・機械学習を学んでいると、たくさんの手法や考えが出てきてよくわからなくなります。 特に自分が何かに取り組んでいるときには、今やっている手法が全体から見てどういうものなのか、より良い手法が無いのかが気になってしまいます。 まるで地図を持たず森の中を彷徨っているような感覚です。 そこで、統計学・機械学習で使われる概念や手法を自分なりにまとめて頭を整理したいと思います。 以下のような図になりました。 以下にそれぞれを
機械学習・アルゴリズム関連まとめ - Qiita
損失関数・不均衡 不均衡データにおけるsampling ランク学習のListNetをChainerで実装してみた 不均衡データへの決定打となるか！？「Affinity loss」の論文を読む、実装する 不均衡データを損失関数で攻略してみる 解説編：オーバーサンプリング手法解説 (SMOTE, ADASYN, Borderline-SMOTE, Safe-level SMOTE) LightGBMでランキング学習 半教師あり学習のこれまでとこれから Struggling with data imbalance? Semi-supervised & Self-supervised learning help! 深層学習 転移学習：機械学習の次のフロンティアへの招待 ディープラーニングの判断根拠を理解する手法 [DNC (Differentiable Neural Computers) の概要
中学生でもこれだけで完全理解する機械学習 Part 1 - Qiita
今から使う文字の定義をしていきます。 m ・・・ケースの数です。上記のデータセットでは8 x ・・・土地の面積です。xi で、i番目の土地の面積を表します。x2 = 1416 y ・・・土地の価格です。yiで、i番目の土地の価格を表します。y4 = 178 h・・・仮説(hypothesis)を意味する略語です。 4-2 仮説の表現方法を決める 仮説hを表現する表現式を作ります。それがこちら。 hθ(x) = θ0 + θ1x ちなみにこれは、一見難しそうですが、中学生でやる一次関数の式、Y = B + AX と酷似しているのがわかるでしょうか。一次関数は、下のようなグラフですから b → θ0 a → θ1 となっているだけだとわかります。 そしてhθ(x)が、直線を示しています。 一番詰まりやすいところですから、ここだけは暗記して欲しいです。 5 コスト関数(目的関数) 5-1 そもそ
最近、Neural Network Console の動画がやたら充実している件 - Qiita
1.はじめに 皆さん、Neural Network Console をご存知でしょうか？ Neural Network Console は、2017年8月にSONYから発表されたディープラーニングの統合開発ソフトウエアです。プログラミング無しのドラッグ＆ドロップだけで簡単にニューラルネットワークの設計開発が出来、しかもワークステーションの様な美しい画面なのに、なんと無料で提供されているんです（なんて太っ腹な！）。 かく言う私も、Pythonを覚えなくてもディープラーニングが出来ると言うことに凄い魅力を感じ、発表当初から１年間くらいは色々遊んでみた記憶があります。 最近、ひょんなことから、Neural Network Console 関係の動画がやたら充実（2020年1月17日時点で47本）していることに気づきチェックしてみると、チュートリアル以外にディープラーニングの一般的な知識について分
「統計」と「機械学習」の違いの整理で多くの事業会社で「機械学習」が使えない理由が視えてきた！ - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 統計と機械学習って結局何が違うの？なんで今日から機械学習で予測して金儲けできないの？ 機械学習を勉強し始めるとおそらく誰もが疑問に思う。そして、なんで事業会社の多くが日々の業務で今日から使えないの？っていう疑問も出てくる。いろいろな文献があるがいまいち理解に困ったので自分なりに整理しなおした資料。情報を組み合わせてかなり自論を入れています。 This article explains why many companies cannot use machine learning approaches to drive business s
機械学習による株価予測 いろはの”い” - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? #はじめに ちょうど3年ほど前に機械学習による株価予測のTipsをブログにて公開したことがある。 機械学習による株価予測には押さえておくべきノウハウが多数あり（要するにドメイン知識が必要であり）、データサイエンティストが単に予測対象を株価に置き換えても簡単に良い結果を得ることは難しい。フィナンシャルデータは過分散で統計的エラーが発生しやすく、バックテストや検証の結果は殆どの場合で信用するに値しない。その上、取引における市場の仕組みや制度を正しく検証に反映できていない場合、実運用において大きくパフォーマンスが劣化してしまう。考慮すべき事象
Deep Learning論文紹介 - Qiita Advent Calendar 2019 - Qiita
目的 Deep Learningに関する論文を気軽に紹介しましょう！書き手は知識をさらに深めるために、読み手は新しい知識を得るために活用してください。 内容は自由。概要だけを簡単に紹介してもよし。内部を詳細に説明しても、実装に関する説明でもよし。この機会にあなたが読みたかった / 読んだ論文を紹介してみませんか？
機械学習を仕事に使うには？ 03_Pythonのコーディング手順 - Qiita
株式会社デジサク がお送りするプログラミング記事、 今回はAI（機械学習）の具体的なコーディング手順を扱います。 ※ 無料セミナーも開催中なので、ぜひご覧になってみて下さい。 はじめに これまで「機械学習を仕事に使うには？」というテーマで記事をお届けしてきましたが、 第３回の今回は「Pythonのコーディング手順」をテーマに、具体的なプログラミングを紹介します。 バックナンバーも読んで頂くと機械学習の基礎からPythonのコーディングまで全体を理解できますので、ぜひご活用ください。 第１回：機械学習の目的を理解する 第２回：AI開発のプロジェクト全体像 SNS でも色々な情報を発信しているので、記事を読んで良いなと感じて頂けたら Twitterアカウント「Saku731」 もフォロー頂けると嬉しいです。 機械学習に必要なプログラミングスキル まず、機械学習を習得するために必要なスキルは下記
機械学習で使用する手法を全公開 - Qiita
株式会社デジサク がお送りするプログラミング記事、 今回はAI(機械学習)について扱っていこうと思います。 ※ 無料セミナーも開催中なので、ぜひご覧になってみて下さい。 はじめに kaggleや学習サイトなど誰でも機械学習を学べる機会が増えてきました。 その反面、情報量が多すぎて全体感を掴めていない人が多いと感じています。 そこで、様々な参考書や記事で紹介されている機械学習で使用する手法を全公開しようと思います。 細かなコーディングはリンクを貼っておくので、そちらを参照されてください。 SNS でも色々な情報を発信しているので、記事を読んで良いなと感じて頂けたら Twitterアカウント「Saku731」 もフォロー頂けると嬉しいです。 機械学習の一連手順 まず、機械学習を習得するために必要なスキルは下記です。 実務の場では数段細かな作業が必要になりますが、最初は下記を勉強するだけで十分で
プログラミング初心者がKaggle Expertになるまでの１０ヵ月間を振り返る - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Kaggle Expertになったので、イキってポエムを書こうと思いました。 AIに興味あるけどプログラミングすらできないんだよねという人向けの参考になれば幸いです。 #1. 初期スペック (2019年2月) 機械工学系修士卒。よくいるメカニカルエンジニア 線形代数も統計も正直そんなに好きじゃない。力学の方が得意。 AI？あれでしょ。将棋超強いやつでしょ？ パイソン？スト２のボクサーみたいなやつ？ #2. 現在のスペック (2019年12月) Kaggle Expert (微妙?) 機械学習コンペでそれなりの成績 (Kaggle Kuz
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
