無料で読める統計学・機械学習周辺のチュートリアル論文や講義ノート10本 - Qiita
はじめに 千葉大学/Nospareの米倉です．今回は，統計学・機械学習周辺で，僕が良いと思ったチュートリアル/サーベイ論文と講義ノートを簡単なコメント付きで紹介したいと思います．チュートリアル論文やサーベイ論文は，そのトピックの解説や教育面にフォーカスしていて，何か勉強したり，網羅的に把握するときに非常に便利だと個人的に思います．また公開されている講義ノートの中には非常に勉強になるものが多くあります．内容は僕が興味があるトピックに偏っています．またすべて無料で読めます．（教科書等の海賊版みたいなのは載せていません） 10本の紹介 Nickl "STATISTICAL THEORY" Nicklの統計学の講義ノートです．いわゆるM推定量の漸近的性質に加え，バーンスタイン・フォンミーゼズ定理等も証明付きで解説されており，上級レベルの数理統計学を学ぶのに重宝すると思います． Doucet and
本物のウェブアクセスログを使用した、機械学習による異常検知(全データ/ソースコード公開)
おまたせしました この度、ついにこの記事を完成させることができました。これは私が数年前からずっと書きたいと思っていた、ウェブのアクセスログに対する、機械学習を使った異常検知の実例です。私は事あるごとに(※1)「情報セキュリティ分野でもデータサイエンスの技術は非常に重要だ」と繰り返していますが、この記事の内容はまさにその1つの証となると思います。この記事で示される内容を見れば、「うわ、機械学習、マジでヤバイい(語彙力)んだな...」となるでしょう。以下に心当たりのあるセキュリティエンジニアはぜひ読んで、そして実践してみてください。 機械学習に興味はあるものの、どこから手を付ければよいのかイメージがわかない 本当にAIやデータサイエンス、機械学習がセキュリティの分野で役に立つのか、確信がもてない データサイエンスや機械学習は難しそうだと思っている ログ解析において、grepや単純な統計処理より
Vue.js、Nuxt JSを学習するときにやったこと
2021年7月11日 JavaScript, Nuxt JS, Vue.js 以前「WebデザイナーのためのVue.js事始め」という記事でVue.jsについて触れたのですが、それから今まで、どんな手順で勉強してきたのかを紹介してみます。途中ReactやGatsbyを取り入れたりもしていたのですが、結局 .vueファイルでの単一ファイルコンポーネントが楽だなーと思い、今はVue.jsに全振り中です。これから勉強してみたい方の参考になれば幸いです。 ↑私が10年以上利用している会計ソフト！ 1. Vue.js公式Webサイトを確認 まずはVue.jsの公式Webサイトを確認。日本語にも対応しています。ここで基本的な使い方、文法、何ができるのかなどをざっくり学習しました。 サンプルコードがある箇所は実際にCodePenを使ってコードを記述し、動作確認します。公式は今後何度も繰り返しチェックする
Amazon Monitronがすごいので紹介してみる - Qiita
またお得なAmazon Monitronスターターキットもご用意されています。 （取り付けキット、5 個のセンサー、ゲートウェイのセット） 運用費用 Amazon Monitronはセンサー1つあたり年間50USDのランニングコストがかかります。 費用例 ■要件 5つのモーターを監視する必要がある。 上記を実現するためにAmazon Monitronスターターキットを購入し、 モーターごとに1つのセンサーを取り付け3年間使用した。 ■試算結果 スターターキット購入費用（715USD）＋ センサー年間利用費用×5（250USD）×3年分 ＝ 1465USD（3年間利用費用） 注意事項 ■ Amazon Monitron 利用可能な地域について 米国、英国、およびEUのみで利用可能です。（2021/04/16時点） ■必要なモバイル端末について Android8.0以降のスマートフォンが必要で
『ウェブ最適化ではじめる機械学習』はモダンなUI/UX改善の枠組みを学ぶ上で至適の一冊 - 渋谷駅前で働くデータサイエンティストのブログ
ウェブ最適化ではじめる機械学習 ―A/Bテスト、メタヒューリスティクス、バンディットアルゴリズムからベイズ最適化まで 作者:飯塚 修平発売日: 2020/11/19メディア: 単行本（ソフトカバー） こちらの書籍を著者の飯塚修平さんからご恵贈いただきました*1。テーマとしてはウェブ最適化即ちいわゆるUI/UX改善で、そのアプローチについて包括的にまとめた内容です。ちなみに本書は著者ご自身の修士・博士論文の内容に沿ったもので、いわば大学院での研究の集大成とも言えるものなのだそうです。 と書くと、いかにも「ガッチガチの研究」本に見えるかもしれませんが、引用されている事例などには一般のユーザー・消費者でもある我々にも馴染み深いものが多く、意外と取っ付きやすい内容だなと個人的には感じました。また、A/Bテスト・バンディット・ベイズ最適化とそれぞれ個別に専門書が書かれることが多く、別々に学ぶ羽目にな
MLOpsに必要な情報全部BigQueryに置いたら想像以上に捗った話 - Qiita
本記事はMLOps Advent Calendar 2020の13日目の記事です。 こんにちは。昨年本番環境のComposerでやらかしちゃった人です。今年は比較的平穏に機械学習を使用したサービス開発・運用に携われています。 携わっているサービスの1つで「MLOpsに必要な情報BigQueryに全部おいてみた」ところ想像以上に便利だったので、その方法について共有させてい頂ければと思います。 なお本記事でのMLOpsは 予測モデル/ハイパーパラメータのバージョン管理・デプロイ履歴管理 推論結果の精度監視 + 入力データの傾向監視 を指しています。 特に今年はコロナでビジネス環境が日々絶えず変化しているため、これらの施策がサービス品質担保に大きく貢献してくれました。 背景 毎日一回24時間先までバッチで未来予測し、結果をAPIサーバーにキャッシュする単純なMLサービスに携わっています。なお、予
ウェブ最適化ではじめる機械学習
ウェブサービスの開発に携わるかぎり、ユーザにより良い体験を提供することは無視できない命題です。本書は、ウェブサービスを成長させることを目的に、ユーザの行動を定量的に評価し、改善する手法を学ぶ書籍です。 シンプルなA/B テストを第一歩に、線形モデルの導入、メタヒューリスティクス、バンディットアルゴリズム、ベイズ最適化と、機械学習の知識を紹介しながら、ウェブサイトを最適化するという現実的な問題を解くための数理的な手法を解説します。 Pythonによるサンプルコードと、グラフィカルな図版で表現された数学的なモデルを組み合わせ、機械学習と統計学の基礎を丁寧に解説しています。ウェブ最適化の手法を学びたい、機械学習の基礎を知りたい読者に最適の1冊です。 内容見本 まえがき 2章の冒頭部分 関連ファイル 1章のサンプルコード 2章のサンプルコード 3章のサンプルコード 4章のサンプルコード 5章のサン
なるべく数式を使わない！滋賀大学の無料データサイエンス講座が開講 | Ledge.ai
画像は『滋賀大学「大学生のためのデータサイエンス（Ⅱ）」講座PV～ gacco：無料で学べる大学講座』より オンライン講座サイト「gacco（ガッコ）」では11月16日から、滋賀大学データサイエンス学部による「なるべく数式を使わない」という方針で構成した「大学生のためのデータサイエンス（Ⅱ）」が開講される。受講料は無料。 本講座では、機械学習の諸手法とその応用について説明する。まず「機械学習とは何か？」という説明から始め、その後に機械学習の応用事例を紹介。応用事例を先に見ることによって、機械学習の有用性が理解でき、機械学習の手法をより積極的に学べるとしている。 次に、分類問題と回帰問題の具体的な手法を説明し、同時に特徴量の設計・選択など、実践的なテクニックについても紹介する。最後に、近年、発展の著しいニューラルネットワークについても説明してくれる。また、本講座は、機械学習の分野のなかでも教
コードを書かずに”データ前処理”を作成・実行可能！機械学習を使用した新しいビジュアルデータ準備ツール「AWS Glue DataBrew」がリリースされました！ | DevelopersIO
日本時間の2020年11月12日(火) 早朝、機械学習を使用した新しいビジュアルデータ準備ツールとして「AWS Glue DataBrew」という機能が突如発表されました！そしてこちらの機能、既に本日から利用可能となっているようです。 AWS Glue DataBrew, a visual data preparation tool that enables data scientists and data analysts to clean & normalize data up to 80% faster, is now generally available. Read this AWS News Blog to learn more: https://t.co/BVp3PA5n4z pic.twitter.com/XUc8s3NPka — Amazon Web Services (
自撮り画像を他人が撮ったように変換する技術「Unselfie」 Adobeなど開発
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 ベルギーのルーベン・カトリック大学、米Adobe Research、米カリフォルニア大学バークレー校による研究チームが開発した「Unselfie」（アンセルフィー）は、手を伸ばして自撮りした写真を、別の人が撮影したポートレート写真のように変換する、教師データを半自動生成する「自己教師あり学習」（Self-Supervised Learning）によるフレームワークだ。 自撮りすると、カメラを持った腕を伸ばすため姿勢が崩れ、自撮りした写真だと分かってしまう。この不自然さをなくして、自分以外の誰かが撮影したかのように変換するのが目的だ。 具体的には、カメラを持った腕を下に移動させ、肩と胴体のポ
アクセス解析ツール「Googleアナリティクス」が機械学習による予測やGoogle広告との統合などで進化
Googleが提供する無料のアクセス解析サービスであるGoogleアナリティクスは、多くの企業やウェブサイトの運営者によって利用されています。新たにGoogleが、機械学習に基づいた予測やGoogle広告との統合などの機能を搭載したGoogleアナリティクスの最新版「Google Analytics 4」をリリースしました。 The new Google Analytics will give you the essential insights you need to be ready for what’s next. https://blog.google/products/marketingplatform/analytics/new_google_analytics/ Meet Google Analytics 4: Google's vision for the future o
scikit-learn、Keras、TensorFlowによる実践機械学習 第2版
本書はコードを動かしながら学び、機械学習が使えるようになることを目的とした書籍です。現実的な問題を出し、サンプルデータを示しながら、機械学習で問題を解決に導くまでの一連の手法を体系立てて解説します。 深層学習以外の機械学習にはscikit-learnを使い、機械学習プロジェクトの流れ、データからモデルを学習する方法、データの処理・クリーニングなどの基礎から、特徴量の選択や過学習、データの次元削減など応用までを学びます。深層学習にはTensorFlowとKerasを使い、ニューラルネットワークの構築と訓練、ニューラルネットワークアーキテクチャ、深層学習や強化学習、さらにTensorFlowの分散処理のメカニズムや実装までを幅広く解説します。 第2版では教師なし学習と深層ネットワーク訓練手法、コンピュータビジョンテクニック、自然言語処理、Tensor Flowの大規模な訓練や効率的なデータの取
SQLたったの2行で機械学習！BigQuery MLを用いたコロナ分析 - Qiita
はじめに 令和にもなるとSQLを2行書くだけで機械学習できてしまうようです。本記事では、表題の技術BigQuery MLの概要と使い方を調べ、世を騒がせているコロナの分析をしてみました。 「SQLで機械学習」や「コロナ分析」に興味がある方は覗いてみてください。 本記事の対象者 SQLだけで機械学習したい人 コロナ分析に興味ある人 機械学習を簡単に試してみたい人 機械学習はよく分からんけどデータベースはよくいじるという人 本記事の対象でない人 データとか機械学習とか難しいから興味ない人 機械学習モデルのアルゴリズムとか詳しく知りたい人 機械学習つよつよだから自分で独自モデル作って幅広い分析したい人 BigQuery ML概要 BigQueryとは BigQuery MLはBigQuery上のサービスです。BigQueryを知らない方のために簡単にBigQueryについて説明します。BigQu
AIの想像力が人間を超えるとき。深層強化学習のブレイクスルー、D3RLの衝撃
AIの想像力が人間を超えるとき。深層強化学習のブレイクスルー、D3RLの衝撃 2020.10.08 Updated by Ryo Shimizu on October 8, 2020, 11:13 am JST 「最近のAIがすごい」と言われてからもう6年ほどが経過した。 なかでも人目を引いたのは、なんといっても2016年のAlphaGoだろう。最難関ゲームの一つと言われる囲碁において、人間のトップ棋士に対しAIが圧勝したのである。 これは「深層強化学習」というAIだが、実際のところ、「深層強化学習」を実用的に利用した例はまだ少ない。 多くのAIベンチャーやAIベンダーが扱う「AI」技術は、古典的な統計解析か、時折ニューラルネットを使っているくらいで、「深層学習」ではあっても「深層強化学習」とは完全に別物である。ラジオもコンピュータも同じ電気で動くものだが別物であるのと同じだ。 深層強化学
Python試験の模擬試験が無料に、代表理事が推薦 | Ledge.ai
株式会社DIVE INTO CODEは10月5日から、「Python 3 エンジニア認定データ分析試験」の模擬試験を無料公開した。本試験は、一般社団法人Pythonエンジニア育成推進協会が2020年春に開始した、プログラミング言語「Python」を使ったデータ分析の基礎や方法を問う試験だ。 DIVE INTO CODEは、一般社団法人Pythonエンジニア育成推進協会やRails技術者認定試験運営委員会認定のオンラインで受講可能な模擬試験「DIVE INTO EXAM」を無料で公開している。2017年に開始された「Python 3 エンジニア認定基礎試験」については、2020年9月に模擬試験を公開した。 今回、DIVE INTO CODEは「Python 3 エンジニア認定データ分析試験」の模擬試験も公開することで、Python3の知識を習得するエンジニアを増やすことに貢献したいという。な
マイコンで深層学習も、エッジコンピューティングの未来
機械学習（ML）、さらには深層学習（DL）は、ほんの数年前までハイエンドのハードウェアでしか実行できず、エッジでのトレーニングや推論はゲートウェイ、エッジサーバ、またはデータセンターで実行されると考えられていた。当時、クラウドとエッジの間で計算リソースを分配するという動きが初期段階にあったため、このような考え方は正しいとされていた。しかし、産学の集中的な研究開発によって、このシナリオは劇的に変化した。 いまやMLを実行するのに優れたTOPS性能を実現可能なプロセッサは必要ない。最新のマイコンの中にはMLアクセラレーターを組み込んだものもあり、エッジデバイスでMLを実行できるケースが増えている。 これらのデバイスは、単にMLを実行するのではなく、低コストと低消費電力を実現し、どうしても必要な場合にのみクラウドに接続することが可能だ。つまり、MLアクセラレーター搭載のマイコンは、次のステップと
UIデザインとデータ分析の近接点｜樫田光 | Hikaru Kashida
こんにちは、hikaruです。 (誰？と思った方はこちらの自己紹介を見てくだると嬉しいです） 最近、デザインにとっても興味があります。 そんなこんなで先月くらいから、Cocoda!というUIデザインの学習サイトでゆるっと勉強を始めたところ、 Cocoda!の初心者コースを見ながら人生で初のUIデザインを作ってみてるが、丁寧でキットが充実しているおかげで僕のようなド素人でも意外にサクサク作れて楽しい。 しかしデザインツール便利だ。これはデザイナに限らずみんな使えるようになったほうが良さげ pic.twitter.com/1NEjvkNfqY — 樫田光 | Hikaru Kashida (@hik0107) July 17, 2020
機械学習／データサイエンスに活用できる「政府系」オープンデータセット3選
日本の政府系のオープンデータで一番有名なのが「e-Stat」である。統計学やデータサイエンスに携わるもの／学ぶものであれば、名前は聞いたことがあるだろう。かつては各省庁がバラバラに管理＆公開していた公的データを、一カ所に集めて誰でも簡単に利用できるようにしたサイトである（2008年から運用が開始され、2018年にリニューアルされた）。 統計分野は多岐にわたり、「国土・気象」「人口・世帯」「労働・賃金」「農林水産業」「鉱工業」「商業・サービス業」「企業・家計・経済」「住宅・土地・建設」「エネルギー・水」「運輸・観光」「情報通信・科学技術」「教育・文化・スポーツ・生活」「行財政」「司法・安全・環境」「社会保障・衛生」「国際」「その他」という17分野が提供されている。データセットは、条件指定によるフィルタリングやグラフ化が行える。例えば人口ピラミッドのグラフも簡単に作成できる。 また、もちろん無
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「線形回帰」「決定木」「SVM」「k平均法」「アプリオリ法」とは？ 機械学習の5大アルゴリズム
Langsmith Editor