【2023年版】機械学習の日本語無料学習教材まとめ - Qiita
言語&開発基礎編 PythonやSQLなどの言語と開発環境に関連することをまとめました。 機械学習に関する教材はこの次のセクションにまとめてあります。 学習環境 インストール及び使い方チュートリアルのサイトと、ある程度使い慣れた後に役立つtips集を各エディタでまとめました。 Google Colaboratory Python初学者にとって最もわかりやすいPython実行環境です。プログラミングは初めて！という方はまずこのGoogle Colaboratory(通称: Colab)から始めてみて、使い方がある程度わかったら、そのまま次のセクションのPython編に移りましょう。 Pythonプログラミング入門 難易度: ★☆☆ 東京大学の公開しているPython講座ですが、冒頭でColabの使い方を解説しています。使ったことのない方はこちらから！ Google Colabの知っておくべき
教員機関なら無償で利用できる「データサイエンス教育キット」を提供開始 NVIDIA
NVIDIAは2022年9月8日、「DLIデータサイエンス教育キット」の日本語版を提供開始した。DLI（Deep Learning Institute）は、NVIDIAが提供するデジタルスキル育成プログラム。日本語版への翻訳は滋賀大学が協力している。日本のデータサイエンス教育の普及を目的にしており、教育機関に所属する教員は無償でダウンロードし、データサイエンス教育に活用できる。 データサイエンスのさまざまな領域の基礎と応用を学習可能 DLIデータサイエンス教育キット（英語版）は、ジョージア工科大学とプレイリービューA＆M大学の研究チームがNVIDIAと共同開発した。同キットは、講義用スライドや演習課題、DLIオンライントレーニングへのアクセス権、クラウドのGPUインスタンスのクレジットなどを含む。NVIDIAは「教材や演習、学生の理解度を評価するためのテストやクイズなどをパッケージにして提
Anacondaの仮想環境の作成パスを設定する - ＩＴ管理のマメ知識
Windows環境にインストールされたAnacondaで仮想環境が作成されるパスを追加します。 anaconda では、仮想環境のパスを複数登録することができます。 Windowsのシステム環境変数に「CONDA_ENVS_PATH」を追加 ここでは、仮想環境の保存先フォルダを「C:\Anaconda_Datas\envs」にすることにします。 Windows> コントロール> システム> 詳細設定> 環境変数にて「システム環境変数」を追加 変数名：CONDA_ENVS_PATH 変数値：C:\Anaconda_Datas\envs 複数のフォルダを指定したい場合は、「;」で区切ることで可能です。 仮想環境のパスを確認する 「conda config --show envs_dirs」コマンドで、仮想環境のパスが追加されていることを確認します。 [annaconda prompt] (ba
AI・機械学習のための数学超入門 ～中学数学からのおさらい編～
AI／機械学習、ディープラーニングを学び始めると、どこかで数式を読むことになる。それも偏微分や線形代数など大学レベルの数学である。この壁にぶつかって、数式を理解できないままスルーしたり、学ぶこと自体を諦めてしまったりする人も少なくないのではないだろうか？ 本書は、主にAI／機械学習の教材などに書かれている数式でつまずいたことがある初学者に向けた、「AIに最低限必要な数学を基礎の基礎からしっかりと、しかも効率的に学ぶ」ための電子書籍の第1部である。具体的には連載『AI・機械学習の数学入門 ― 中学・高校数学のキホンから学べる』を構成する、 という全4部の中の「第1部 中学数学からのおさらい編」を電子書籍（PDF）化したものである。 数学を学んでから10年以上のブランクがある場合は、本人が考えている以上に数学を忘れているものだ。偏微分や線形代数などのAI（特にディープラーニングのニューラルネッ
Pythonでニューラルネットワークを書いてみよう
連載目次 本連載（基礎編）の目的 スクラッチ（＝他者が書いたソースコードを見たりライブラリーを使ったりせずに、何もないゼロの状態からコードを記述すること）でディープラーニングやニューラルネットワーク（DNN：Deep Neural Network、以下では「ニューラルネット」と表記）を実装して学ぶ系の書籍や動画講座、記事はたくさんあると思います。それらで学んだ際に、「誤差逆伝播」（バックプロパゲーション）のところで挫折して、そこはスルーしている人は少なくないのではないでしょうか。個々の数式や計算自体を理解していても、何となく全体像がつかめずに、 と自信を持って言えない人も多いのではないかと思います。 本連載（基礎編）はそういった人に向けた記事になります。この記事はニューラルネットの仕組みを、数学理論からではなくPythonコードから学ぶことを狙っています。「難しい高校以降の数学は苦手だけど
2021年、企業が無償公開した新人エンジニア向け研修資料 機械学習やゲーム開発、AWS入門、数学などさまざま
2021年、企業が無償公開した新人エンジニア向け研修資料 機械学習やゲーム開発、AWS入門、数学などさまざま（1/2 ページ） 2021年、さまざまな企業が自社の社内研修資料を無償公開したことが話題になった。ITmedia NEWSでは主に、新人エンジニア向けに公開した資料などを記事として取り上げたところ、多くの反響が集まった。 学べる内容は、機械学習やIT業界の文化、ゲーム開発、セキュリティ、AWS入門、数学など各社さまざま。100ページ以上のスライドや5時間を超える動画などの資料もあり、新人教育への力の入れ具合も垣間見える。改めて、2021年に企業が無償公開した、社内研修資料を取り上げた記事を紹介する。 セガ、3DCG技術の基礎に役立つ数学資料 セガは6月15日に、2020年に社内勉強会で使った線形代数の教材を公式ブログで公開した。ゲーム制作では、キャラクターや背景を3次元で回転させた
2022年の「AI／機械学習」はこうなる！ 8大予測
日本語でのTransformerの活用拡大と、Transformerを超える技術発展が進む 高度なマルチモーダルAIの研究が進展し、何らかのサービス登場する ローコード／ノーコードのAIサービスを採用するケースが増える AutoMLを利用するケースは着実にさらに増えていく MLOpsは引き続き広まり、採用する企業が増えていく エッジデバイスでの機械学習／TinyMLの利用は引き続き拡大する 量子AI／量子機械学習の実用化に向けた研究がさらに進展する 責任あるAIのための原則や規制が各所で制定され続ける なお、AutoML、MLOps、TinyML（エッジデバイス上の小さな機械学習技術）、責任あるAIを支える説明可能性／解釈可能性やデータとプライバシーの規制強化などのトレンドは、数年を掛けて拡大中のため、2019年や2020年で予測した項目と重複しているが、2022年も継続するトレンドとして
いますぐ使える単語埋め込みベクトルのリスト - Qiita
はじめに 単語埋め込みとは、単語を低次元(と言っても200次元程度はある)の実数ベクトルで表現する技術のことです。近い意味の単語を近いベクトルに対応させることができるとともに、ベクトルの足し引きで意味のある結果(例えば king - man + women = queen)が得られるのが特徴です。 単語埋め込みベクトルは品詞タグ付け、情報検索、質問応答などの様々な自然言語処理アプリケーションに使われる重要な技術です。とはいえ、実際に用意するのはなかなか骨の折れる作業です。大規模なデータをダウンロードし、前処理をかけ、長い時間をかけて学習させ、結果を見てパラメータチューニングを行う・・・。 そのため、単に使いたいだけなら学習済みのベクトルを使うのが楽です。というわけで、そんな単語埋め込みベクトルの中から今すぐ使えるものをピックアップしてみました。 埋め込みベクトルの情報は以下のリポジトリにま
ディープラーニングで音声分類 - Qiita
勉強がてらディープラーニングで環境音・自然音の分類をやってみました。 データセットはESC-50を使用します。 コード全文。 やったこと 環境音・自然音をConvolutional neural networkで分類します。 対象は動物の鳴き声や雨の音、人間の咳、時計のアラーム、エンジン音のような声（言葉）のない音です。 これらの音を使って、以下の手順で分類器をつくりました。 音声データの前処理 データの入手 Augmentation メルスペクトログラム データの用意 CNNで分類 CNNの定義 最適化関数にAmsgradを採用 学習データにmixupを採用 音声データの前処理 ESC-50は環境音を50クラス、2,000ファイル集めたデータセットです。 クラスには以下があります。 50クラスで各クラスのデータが40ファイルずつ用意されており、合計2,000ファイルです。 1ファイルの長
データレイクを「沼地」にしないために 2019年ストレージ技術予測 (1/3)
関連キーワード ストレージ | IoT | ビッグデータ | ストレージ管理 | データセンター | インフラストラクチャ 2019年データストレージはどう進む？ 米TechTargetはストレージ技術者やアナリストを対象に「2019年の大企業におけるデータストレージ予測」に関するパネル調査を実施した。これによると、大企業のIT組織の多くは「データレイク」に投入した全ての情報の分析、利用、管理の手法の改善に集中するという。データレイクとは構造化、非構造化データをまとめて集約できるデータ基盤だ。データの統合、設計、組織化のために設計された多くのツールを活用して「ビッグデータ用のストレージアーキテクチャを調整する」ことも手法の改善に含まれる。 本稿は、ビッグデータ用のストレージアーキテクチャ、ストレージシステムとデータ管理、セキュリティやその他の一般的なストレージのトレンドに焦点を当てた201
正式提供開始の衛星データプラットフォーム「Tellus」とは、どんなサービスか
このサービスは、経済産業省からの3年間にわたる委託を受けて、さくらインターネットが提供するもの。委託期間終了後は同社が自立して運営することになっている。 Tellusでは、どんなデータが提供されるのか 衛星データに関しては、サービス開始時点で利用できるのは、日本の衛星「ASNARO-1」「ALOS（だいち）」「ALOS-2（だいち2号）」の光学データ（「衛星写真」）と、SAR（合成開口レーダー）画像が中心。SAR画像は、植生や地表の状況を把握するために使われる。例えば洪水被害地域を特定し、保険金支払いの迅速化に役立てるといった用途で使われているという。 光学データでは、ASNARO-1のデータ（地上分解能0.5m）、ALOSが搭載する光学センサー「AVNIR-2」のデータ（地上分解能10m）、Landsat-8のデータ（地上分解能15／30m）がある。地上分解能0.5mの光学画像を無償で提
「データレイク」はデータウェアハウスとどこが違うの？ | IT Leaders
IT Leaders トップ ＞ テクノロジー一覧 ＞ データマネジメント ＞ 知っておいて損はない気になるキーワード解説 ＞ 「データレイク」はデータウェアハウスとどこが違うの？ データマネジメント データマネジメント記事一覧へ [知っておいて損はない気になるキーワード解説] 「データレイク」はデータウェアハウスとどこが違うの？ 2018年11月9日(金)清水 響子 リスト マイクロサービス、RPA、デジタルツイン、AMP……。数え切れないほどの新しい思想やアーキテクチャ、技術等々に関するIT用語が、生まれては消え、またときに息を吹き返しています。メディア露出が増えれば何となくわかっているような気になって、でも実はモヤッとしていて、美味しそうな圏外なようなキーワードたちの数々を「それってウチに影響あるんだっけ？」という視点で分解してみたいと思います。今回はビッグデータやアナリティクス、ス
機械学習を使って630万件のレビューに基づいたアニメのレコメンド機能を作ってみよう（機械学習 k近傍法 初心者向け）
「この商品を購入したお客様はこちらも一緒にお買い上げいただいてます」「このビデオを見た方はこちらも見てます」。このよう�なオススメをされた経験はありませんか？これらは、「レコメンド機能（レコメンドエンジン）」と呼ばれるもので、近年ではインターネット上の様々なECやサービスで使われています。 レコメンド機能ですが、実にありとあらゆる業種で活用されています。 商品（EC） 映画 音楽 ニュース 動画 …その他多数 今回の機械学習初心者向けチュートリアルでは、k近傍法（K-nearest neighbor）というアルゴリズムを利用して、アニメのレコドメンド機能をPythonを使って一緒に構築してみましょう！ レコメンド機能（エンジン）とは？ まずは、このレコメンド機能とは何かについて一緒に紐解いていきましょう。レコメンド機能とは、データを活用して顧客やユーザーに「お勧め」を提供する情報フィルタリ
Python: k 近傍法を実装してみる - CUBE SUGAR CONTAINER
k 近傍法 (k-Nearest Neighbor algorithm) というのは、機械学習において教師あり学習で分類問題を解くためのアルゴリズム。 教師あり学習における分類問題というのは、あらかじめ教師信号として特徴ベクトルと正解ラベルが与えられるものをいう。 その教師信号を元に、未知の特徴ベクトルが与えられたときに正解ラベルを予想しましょう、というもの。 k 近傍法は機械学習アルゴリズムの中でも特にシンプルな実装になっている。 じゃあ、シンプルな分だけ性能が悪いかというと、そんなことはない。 分類精度であれば、他のアルゴリズムに比べても引けを取らないと言われている。 ただし、計算量が多いという重大な欠点がある。 そのため、それを軽減するための改良アルゴリズムも数多く提案されている。 k 近傍法では、与えられた未知の特徴ベクトルを、近い場所にある教師信号の正解ラベルを使って分類する。
代表的な機械学習手法一覧 - Qiita
概要 本ページは、代表的な機械学習の手法の特性について独自に簡単にまとめたページです。 （ご意見、ご指摘等あったらご連絡ください。） 世の中のスタンダードなものとして下記もあるので、それを踏まえてご参照いただければと思います。 - ScikitLearn Choosing the right estimator - Microsoft Azure Machine Learning Studio の機械学習アルゴリズム チート シート - 朱鷺の杜Wiki 機械学習 教師データあり 回帰 (一般化)線形回帰 ロジスティック回帰 サポートベクターマシーン(SVM) 木 決定木（CART) 回帰木 ランダムフォレスト 勾配ブースティング木 ニューラルネットワーク(NN) パーセプトロン 畳み込みニューラルネットワーク(CNN) 再起型ニューラルネットワーク(RNN) 残差ネットワーク(ResNe
人事データの活用で会社経営が劇的に変わる5つの理由
東京大学理学部卒業後、野村総合研究所でエコノミストを務める。コロンビア大学経済学修士。スタンフォード大学経営大学院博士。ワシントン大学オーリン経営大学院助教授、青山学院大学国際マネジメント研究科教授、東京大学社会科学研究所教授などを経て2018年から現職。専門は人事経済学、組織経済学、労働経済学、および産業組織論。 企業の人事制度や職場組織の設計と生産性やイノベーションへの影響等に関する理論および実証研究を行う。経営課題の解決のために、自社の人事データをどのように活用し、人事制度をどのように設計すれば良いか、経営者や実務家に対して指南や提案を行う実践的な研究会「人事情報活用研究会」を主宰する。著書に『日本の人事を科学する 因果推論に基づくデータ活用』(2017年日本経済新聞出版社）、「日本的人事の変容と内部労働市場」、『日本の労働市場―経済学者の視点』(川口大司編、2017年有斐閣)、「中
Python のチュートリアル:二項分類を使用して NYC タクシーの料金を予測する - SQL machine learning
SQL Server でサンプル データベースを使用して、Python ベースの機械学習ソリューションをビルドしてデプロイします。 T-SQL、Azure Data Studio または SQL Server Management Studio、およびデータベース インスタンスを SQL 機械学習と Python 言語サポートと共に使用します。 このチュートリアル シリーズでは、データ モデリング ワークフローで使用される Python 関数について説明します。 各回には、データの探索、二項分類モデルの構築とトレーニング、モデル デプロイが含まれます。 New York City Taxi and Limousine Commission (ニューヨーク市タクシー & リムジン協会) のサンプル データを使用します。 構築するモデルは、旅行が、時間、移動距離、乗車位置に基づいたヒントを生成
機械学習の仕組みと学習データ
学習データを用意する方法 まず、どのようにして大量データを用意するかを考えてみましょう。一般に学習データを用意する方法としては、図2のような手段が考えられます。 (1)自社のデータを活用する 既に自社の中にそれなりのデータがあるので、これらを使って有益なことをやれないか。まずは、そういう発想でAIを活用することを考えるのが基本でしょう。 （例1）小売業の需要予測 3年間の販売データのうち、2年分で学習して直近1年間の需要予測と実績の近似性を確認します。このとき、d.の公開されている気象庁のデータなども組み合わせます。因子要因をきちんと把握して近似性が高くなれば、今後の需要予測に使えます。 （例2）製造業の品質検査 過去4年に発生した品質不良品のデータが一定量あるならば、そのうち80%と正常画像を混ぜて教師あり学習を行います。そして残り20%をテストデータとして判定精度を確認し、認識精度が高
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
富士通、AI倫理ガイドラインに基づきAIシステムの倫理上の影響を評価する方式を開発、手順書や適用例とともに無償公開（Impress Watch） - Yahoo!ニュース
ライオンの「口臭リスク判定アプリ」 ユーザー、ベンダーが語るAI開発の裏側
