社内勉強会で生成AIについて発表したので70ページの資料を公開する！ - Qiita
前置き 毎週金曜日夕方に行われる社内勉強会にて、先日生成AIについて発表しました。折角なので少し加筆修正した資料を公開します。進化のスピードが早く、一時期食傷気味に陥ってましたが改めて昨今の生成AI関連の基本となるインプットを目指しました。 ※資料内冒頭に記載してますが、AIの専門家ではないので認識や説明に誤りがある可能性があります。 当方も勉強中なので、「ここ違うよ」や「これの説明もあるといいんじゃない」など様々なコメント大歓迎です！ 資料 資料目次 AIの基本 機械学習について 深層学習について 機械学習の種類 教師あり学習の得意なこと 教師あり学習のイメージ 教師なし学習の得意なこと 教師なし学習のイメージ 強化学習の得意なこと 生成AIについて 生成AIとは 生成AIの位置付け 生成AI利用例 代表的なサービス例 日本における盛り上がり 生成AI市場規模 AGIとは AGIは近い？
【2023年版】機械学習の日本語無料学習教材まとめ - Qiita
言語&開発基礎編 PythonやSQLなどの言語と開発環境に関連することをまとめました。 機械学習に関する教材はこの次のセクションにまとめてあります。 学習環境 インストール及び使い方チュートリアルのサイトと、ある程度使い慣れた後に役立つtips集を各エディタでまとめました。 Google Colaboratory Python初学者にとって最もわかりやすいPython実行環境です。プログラミングは初めて！という方はまずこのGoogle Colaboratory(通称: Colab)から始めてみて、使い方がある程度わかったら、そのまま次のセクションのPython編に移りましょう。 Pythonプログラミング入門 難易度: ★☆☆ 東京大学の公開しているPython講座ですが、冒頭でColabの使い方を解説しています。使ったことのない方はこちらから！ Google Colabの知っておくべき
データ分析の効率が10倍上がるデータサイエンティストのためのChatGPTの活用術 - Qiita
ChatGPTを使ってデータサイエンティストの生産性を爆上げする活用術をまとめました！ また、データサイエンティストがChatGPTを活用するための記事をまとめているので、こちらもぜひ参考にしてみてください。 データ前処理 「ChatGPTを使用すると、「データを分析可能な形に前処理して」といった大雑把なリクエストに対しても、すんなりと対応し、データ前処理を行ってくれます。」 今のところ、大量のデータを前処理する際にChatGPTを利用する場合は、ChatGPTに実際の前処理を行わせるのではなく、前処理用のサンプルコードを教えてもらう方が良いでしょう。 ただし、近い将来にはCSVやExcelを直接アップロード＆ダウンロード可能な「Code Interpreter」というプラグインが追加される予定とのことで、実務利用が大いに現実味を帯びると考えられます。 詳細は以下のページで紹介しています！
RPubs - Rとパンデミックの数理モデル 新型コロナウィルス(COVID-19)研究を例に
Hide Comments (–) Share Hide Toolbars
［AI・機械学習の数学］線形代数の固有値・固有ベクトルをマスター
連載目次 前回の番外編4では、図形的な意味や一次独立、一次従属といった線形代数の基本を踏まえて行列式について見てきました。今回も同様に、固有値と固有ベクトルの考え方について、ポイントを押さえながら説明します。また、行列の対角化を行うことにより、行列のべき乗を簡単に求める方法を紹介し、その応用としてマルコフ過程の事例を紹介します。 ポイント1 固有ベクトルは一次変換を行っても向きが変わらないベクトル ひと言でいうと、固有値や固有ベクトルは一次変換を特徴付ける値やベクトルです。しかし、以下のような式がいきなり登場して面食らってしまった人もいるのではないでしょうか。 「一次変換を表す行列をAとしたとき、 を満たす0でないベクトルxをAの固有ベクトル、λを固有値と呼ぶ」 というものです。確かに、式を見た瞬間に気を失いそうになりますね。しかし、Aが行列で、λが定数であることに注目すれば、ベクトルを一
［AI・機械学習の数学］線形代数の行列式をマスター
連載目次 行列式や固有値、固有ベクトルの壁を越えられないのは、行と列を掛けたり足したりという成分の計算で力を使い果たしてしまい、図形的な意味や線形代数の体系の中での意味を考える余裕がないからではないでしょうか。今回は行列式について、計算で力尽きないようにするための裏技を見た後、図形的な意味などについて考えてきたいと思います。固有値、固有ベクトルについては番外編5で取り扱います。 ポイント1 行列式はスカラーである まず、大前提です。行列式が求められるのは行数と列数が同じ正方行列のみです。ここからのお話に登場する行列は全て正方行列です。 さて、2×2行列の行列式は平行四辺形の面積を表すとか、3×3の行列式は平行六面体の体積を表すといった話を聞いたことがある人も多いかと思います。面積とか体積であるということは、行列式はスカラーであるということです。 行列Aの行列式はdet Aまたは|A|と表し
Anacondaの仮想環境の作成パスを設定する - ＩＴ管理のマメ知識
Windows環境にインストールされたAnacondaで仮想環境が作成されるパスを追加します。 anaconda では、仮想環境のパスを複数登録することができます。 Windowsのシステム環境変数に「CONDA_ENVS_PATH」を追加 ここでは、仮想環境の保存先フォルダを「C:\Anaconda_Datas\envs」にすることにします。 Windows> コントロール> システム> 詳細設定> 環境変数にて「システム環境変数」を追加 変数名：CONDA_ENVS_PATH 変数値：C:\Anaconda_Datas\envs 複数のフォルダを指定したい場合は、「;」で区切ることで可能です。 仮想環境のパスを確認する 「conda config --show envs_dirs」コマンドで、仮想環境のパスが追加されていることを確認します。 [annaconda prompt] (ba
AI・機械学習のための数学超入門 ～中学数学からのおさらい編～
AI／機械学習、ディープラーニングを学び始めると、どこかで数式を読むことになる。それも偏微分や線形代数など大学レベルの数学である。この壁にぶつかって、数式を理解できないままスルーしたり、学ぶこと自体を諦めてしまったりする人も少なくないのではないだろうか？ 本書は、主にAI／機械学習の教材などに書かれている数式でつまずいたことがある初学者に向けた、「AIに最低限必要な数学を基礎の基礎からしっかりと、しかも効率的に学ぶ」ための電子書籍の第1部である。具体的には連載『AI・機械学習の数学入門 ― 中学・高校数学のキホンから学べる』を構成する、 という全4部の中の「第1部 中学数学からのおさらい編」を電子書籍（PDF）化したものである。 数学を学んでから10年以上のブランクがある場合は、本人が考えている以上に数学を忘れているものだ。偏微分や線形代数などのAI（特にディープラーニングのニューラルネッ
Pythonでニューラルネットワークを書いてみよう
連載目次 本連載（基礎編）の目的 スクラッチ（＝他者が書いたソースコードを見たりライブラリーを使ったりせずに、何もないゼロの状態からコードを記述すること）でディープラーニングやニューラルネットワーク（DNN：Deep Neural Network、以下では「ニューラルネット」と表記）を実装して学ぶ系の書籍や動画講座、記事はたくさんあると思います。それらで学んだ際に、「誤差逆伝播」（バックプロパゲーション）のところで挫折して、そこはスルーしている人は少なくないのではないでしょうか。個々の数式や計算自体を理解していても、何となく全体像がつかめずに、 と自信を持って言えない人も多いのではないかと思います。 本連載（基礎編）はそういった人に向けた記事になります。この記事はニューラルネットの仕組みを、数学理論からではなくPythonコードから学ぶことを狙っています。「難しい高校以降の数学は苦手だけど
Microsoft、機械学習ライブラリ「PyTorch」の初心者向け無料教材 | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
2021年、企業が無償公開した新人エンジニア向け研修資料 機械学習やゲーム開発、AWS入門、数学などさまざま
2021年、企業が無償公開した新人エンジニア向け研修資料 機械学習やゲーム開発、AWS入門、数学などさまざま（1/2 ページ） 2021年、さまざまな企業が自社の社内研修資料を無償公開したことが話題になった。ITmedia NEWSでは主に、新人エンジニア向けに公開した資料などを記事として取り上げたところ、多くの反響が集まった。 学べる内容は、機械学習やIT業界の文化、ゲーム開発、セキュリティ、AWS入門、数学など各社さまざま。100ページ以上のスライドや5時間を超える動画などの資料もあり、新人教育への力の入れ具合も垣間見える。改めて、2021年に企業が無償公開した、社内研修資料を取り上げた記事を紹介する。 セガ、3DCG技術の基礎に役立つ数学資料 セガは6月15日に、2020年に社内勉強会で使った線形代数の教材を公式ブログで公開した。ゲーム制作では、キャラクターや背景を3次元で回転させた
2022年の「AI／機械学習」はこうなる！ 8大予測
日本語でのTransformerの活用拡大と、Transformerを超える技術発展が進む 高度なマルチモーダルAIの研究が進展し、何らかのサービス登場する ローコード／ノーコードのAIサービスを採用するケースが増える AutoMLを利用するケースは着実にさらに増えていく MLOpsは引き続き広まり、採用する企業が増えていく エッジデバイスでの機械学習／TinyMLの利用は引き続き拡大する 量子AI／量子機械学習の実用化に向けた研究がさらに進展する 責任あるAIのための原則や規制が各所で制定され続ける なお、AutoML、MLOps、TinyML（エッジデバイス上の小さな機械学習技術）、責任あるAIを支える説明可能性／解釈可能性やデータとプライバシーの規制強化などのトレンドは、数年を掛けて拡大中のため、2019年や2020年で予測した項目と重複しているが、2022年も継続するトレンドとして
いますぐ使える単語埋め込みベクトルのリスト - Qiita
はじめに 単語埋め込みとは、単語を低次元(と言っても200次元程度はある)の実数ベクトルで表現する技術のことです。近い意味の単語を近いベクトルに対応させることができるとともに、ベクトルの足し引きで意味のある結果(例えば king - man + women = queen)が得られるのが特徴です。 単語埋め込みベクトルは品詞タグ付け、情報検索、質問応答などの様々な自然言語処理アプリケーションに使われる重要な技術です。とはいえ、実際に用意するのはなかなか骨の折れる作業です。大規模なデータをダウンロードし、前処理をかけ、長い時間をかけて学習させ、結果を見てパラメータチューニングを行う・・・。 そのため、単に使いたいだけなら学習済みのベクトルを使うのが楽です。というわけで、そんな単語埋め込みベクトルの中から今すぐ使えるものをピックアップしてみました。 埋め込みベクトルの情報は以下のリポジトリにま
データレイクを「沼地」にしないために 2019年ストレージ技術予測 (1/3)
関連キーワード ストレージ | IoT | ビッグデータ | ストレージ管理 | データセンター | インフラストラクチャ 2019年データストレージはどう進む？ 米TechTargetはストレージ技術者やアナリストを対象に「2019年の大企業におけるデータストレージ予測」に関するパネル調査を実施した。これによると、大企業のIT組織の多くは「データレイク」に投入した全ての情報の分析、利用、管理の手法の改善に集中するという。データレイクとは構造化、非構造化データをまとめて集約できるデータ基盤だ。データの統合、設計、組織化のために設計された多くのツールを活用して「ビッグデータ用のストレージアーキテクチャを調整する」ことも手法の改善に含まれる。 本稿は、ビッグデータ用のストレージアーキテクチャ、ストレージシステムとデータ管理、セキュリティやその他の一般的なストレージのトレンドに焦点を当てた201
「データレイク」はデータウェアハウスとどこが違うの？ | IT Leaders
IT Leaders トップ ＞ テクノロジー一覧 ＞ データマネジメント ＞ 知っておいて損はない気になるキーワード解説 ＞ 「データレイク」はデータウェアハウスとどこが違うの？ データマネジメント データマネジメント記事一覧へ [知っておいて損はない気になるキーワード解説] 「データレイク」はデータウェアハウスとどこが違うの？ 2018年11月9日(金)清水 響子 リスト マイクロサービス、RPA、デジタルツイン、AMP……。数え切れないほどの新しい思想やアーキテクチャ、技術等々に関するIT用語が、生まれては消え、またときに息を吹き返しています。メディア露出が増えれば何となくわかっているような気になって、でも実はモヤッとしていて、美味しそうな圏外なようなキーワードたちの数々を「それってウチに影響あるんだっけ？」という視点で分解してみたいと思います。今回はビッグデータやアナリティクス、ス
アパレル業界を変革する人工知能（AI） 需要予測や服の品質保証にどう活用されているか
関連キーワード 流通業 | ビジネスモデル | 機械学習 ファッション業界は巨大ビジネスだ。FashionUnitedによると、その価値は全世界で推定3兆ドルに上るという。これは全世界のGDPの2％に相当する。衣服が手元に届くまで、デザイン、製造、配送、マーケティング、販売など、多くの過程をたどる。ファッションデザインやアパレルショップでの人工知能（AI）技術の利用がファッションブランドの間に広がっているのは不思議なことではない。ファッションブランドは、流通の過程で、さまざまな段階の変革について考えている。 併せて読みたいお勧め記事 人工知能（AI）のビジネス利用最前線 AI技術はどこまで普及？ 先進「7業界」の人気事例を一挙紹介 急増する採用チャットbot、人事部門の仕事を変えるアプリとは？ 女子高生AI「りんな」は人間に投資信託を買わせることができるか？ アパレル業界のテクノロジー活用
機械学習を使って630万件のレビューに基づいたアニメのレコメンド機能を作ってみよう（機械学習 k近傍法 初心者向け）
「この商品を購入したお客様はこちらも一緒にお買い上げいただいてます」「このビデオを見た方はこちらも見てます」。このよう�なオススメをされた経験はありませんか？これらは、「レコメンド機能（レコメンドエンジン）」と呼ばれるもので、近年ではインターネット上の様々なECやサービスで使われています。 レコメンド機能ですが、実にありとあらゆる業種で活用されています。 商品（EC） 映画 音楽 ニュース 動画 …その他多数 今回の機械学習初心者向けチュートリアルでは、k近傍法（K-nearest neighbor）というアルゴリズムを利用して、アニメのレコドメンド機能をPythonを使って一緒に構築してみましょう！ レコメンド機能（エンジン）とは？ まずは、このレコメンド機能とは何かについて一緒に紐解いていきましょう。レコメンド機能とは、データを活用して顧客やユーザーに「お勧め」を提供する情報フィルタリ
Python: k 近傍法を実装してみる - CUBE SUGAR CONTAINER
k 近傍法 (k-Nearest Neighbor algorithm) というのは、機械学習において教師あり学習で分類問題を解くためのアルゴリズム。 教師あり学習における分類問題というのは、あらかじめ教師信号として特徴ベクトルと正解ラベルが与えられるものをいう。 その教師信号を元に、未知の特徴ベクトルが与えられたときに正解ラベルを予想しましょう、というもの。 k 近傍法は機械学習アルゴリズムの中でも特にシンプルな実装になっている。 じゃあ、シンプルな分だけ性能が悪いかというと、そんなことはない。 分類精度であれば、他のアルゴリズムに比べても引けを取らないと言われている。 ただし、計算量が多いという重大な欠点がある。 そのため、それを軽減するための改良アルゴリズムも数多く提案されている。 k 近傍法では、与えられた未知の特徴ベクトルを、近い場所にある教師信号の正解ラベルを使って分類する。
代表的な機械学習手法一覧 - Qiita
概要 本ページは、代表的な機械学習の手法の特性について独自に簡単にまとめたページです。 （ご意見、ご指摘等あったらご連絡ください。） 世の中のスタンダードなものとして下記もあるので、それを踏まえてご参照いただければと思います。 - ScikitLearn Choosing the right estimator - Microsoft Azure Machine Learning Studio の機械学習アルゴリズム チート シート - 朱鷺の杜Wiki 機械学習 教師データあり 回帰 (一般化)線形回帰 ロジスティック回帰 サポートベクターマシーン(SVM) 木 決定木（CART) 回帰木 ランダムフォレスト 勾配ブースティング木 ニューラルネットワーク(NN) パーセプトロン 畳み込みニューラルネットワーク(CNN) 再起型ニューラルネットワーク(RNN) 残差ネットワーク(ResNe
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
富士通、AI倫理ガイドラインに基づきAIシステムの倫理上の影響を評価する方式を開発、手順書や適用例とともに無償公開（Impress Watch） - Yahoo!ニュース