これから異常検知を勉強される初心者、中級者の方のために一問一答集を作ってみました。 実際にあった質問も含まれますが、ほとんどの質問は、私が勉強しながら疑問に思ったことです。 なお、各質問には私の失敗談を添えております。皆さんは私のような失敗をしないよう 祈っております(^^)。異常検知に特化した内容となっておりますので、ご了承ください。 初心者の方向け 勉強の仕方編 Q：異常検知を勉強したいのですが、何から手をつけて良いのか分かりません。 A：書籍を買って読むのがおススメです。 最初、私はネット情報で勉強していました。しかし、それにも限界があります。 ところが、書籍（入門 機械学習による異常検知）を買って読んだところ、かなり知識を 得ることができました。最初から、書籍を買っていれば、一年くらい得することができたのに... と思うこともあります（^^； ただ、こちらの本はディープラーニング系
JP Contents Hub
AWS 日本語ハンズオン Amazon Web Services(AWS) の 日本語ハンズオンやワークショップを、カテゴリごとにまとめています。 右側の目次や、ヘッダー部分の検索ボックスから、各コンテンツにたどり着けます。 また、Ctrl + F や command + F を使ったページ内検索もご活用いただけます。 料金について ハンズオンで作成した AWS リソースは通常の料金が発生します。作成したリソースの削除を忘れずにお願いします。 もし忘れてしまうと、想定外の料金が発生する可能性があります。 画面の差異について ハンズオンで紹介されている手順と、実際の操作方法に差異がある場合があります。 AWS は随時アップデートされており、タイミングによってはハンズオンコンテンツが追いついていない事もあります。 差異がある場合、AWS Document などを活用しながら進めて頂けますと幸い
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 R／RStudioでやさしく学ぶプログラミングとデータ分析 掌田津耶乃 データサイエンティストのための特徴量エンジニアリング Soledad Galli(著), 松田晃一(訳) 実践力をアップする Pythonによるアルゴリズムの教科書 クジラ飛行机 スッキリわかるサーブレット＆JSP入門 第4版 国本 大悟(著), 株式会社フレアリンク(監修) 徹底攻略 基本情報技術者教科書 令和6年度 株式会社わくわくスタディワール
【はじめに】 本記事は 「機械学習をどう学んだか by 日経 xTECH ビジネスAI② Advent Calendar 2019」 の19日目になります。 おじさんSEの私がどうやって機械学習を勉強したかを記します。 きっかけは当時抱えていた分類課題において、「機械学習が使えるんじゃね?」というところから始まりました。 闇雲にやっていたので正直記憶は曖昧です。 経歴 プログラム歴は30年近くあります。 小学生の時に覚えたMS BASICから始まり、Z80アセンブラ、MC68000アセンブラ、FORTRAN、C(UNIX)、C++(Mac)、VB、Java(Android)、VB.NET、C#と触ってきました。 いろいろな言語に触れてきましたが、どれも極めるほどガッツリやっていたわけではありません。 機械学習に関しては20年以上前、いわゆる第二次AIブームの終わり頃に卒論のテーマでニューラ
最終更新日： 2020年3月4日 AIの高まりとともにデータの大切さが再認識される今、オープンにさまざまなデータが公開され、気軽に活用できるようになっています。 オープンデータの存在は、膨大なデータから学習を行う機械学習にとって不可欠で、構築したいAIに合わせてオープンデータを選択し、活用することが必要です。 一方、オープンデータのみでは競合優位性のあるAIは構築できません。マクロなオープンデータと、独自に収集したミクロなデータを組み合わせて、独自のAIを構築していくことが重要です。 オープンデータを活用したサービスを構築する際には、サービスのUX（ユーザー体験）を高め、いかにユニークなデータを取得できるかが勝負なのでオープンデータに頼りすぎないようにしましょう。 今回、オープンデータ・データセットを6カテゴリに分類し、100個選出しました。自身のサービスやAIの構築に活かせそうなデータを
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 デザインディレクション・ブック 橋本 陽夫 現場のプロがやさしく書いたWebサイトの分析・改善の教科書【改訂3版 GA4対応】 小川 卓 解釈可能なAI Ajay Thampi(著), 松田晃一(翻訳) PowerPoint 目指せ達人 基本&活用術 Office 2021 & Microsoft 365対応 PowerPoint基本＆活用術編集部 ランサムウェア対策 実践ガイド 田中啓介, 山重徹 TODによるサステナ
こんにちは、Research Internの荒尾(@karolis_ml)です。 日進月歩の勢いで研究が進んでいる深層学習ですが、教師あり学習でもっとも大事なデータのアノテーション、応用分野ではまだまだ大変ですよね。例えば、犬の写真から犬種を判断する分類器を作ろうとして教師データが必要になったとき、あなたは以下の画像にどんなラベルをつけるでしょうか? 出典: Pixabay 犬好きの方は正しくアラスカンマラミュート、そうではない方は似た有名犬種であるシベリアンハスキーと答えられたことでしょう。マラミュートの茶色い目(かわいい)や小さめの尖った耳(かわいい)を見分けて正しくラベル付けをするのは、決して簡単ではありません。 このようなアノテーションの分野に関して当ブログでは以前、Bounding BoxやSegmentationの効率化についての研究サーベイを行いましたが、この犬種分類のような
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 R／RStudioでやさしく学ぶプログラミングとデータ分析 掌田津耶乃 データサイエンティストのための特徴量エンジニアリング Soledad Galli(著), 松田晃一(訳) 実践力をアップする Pythonによるアルゴリズムの教科書 クジラ飛行机 スッキリわかるサーブレット＆JSP入門 第4版 国本 大悟(著), 株式会社フレアリンク(監修) 徹底攻略 基本情報技術者教科書 令和6年度 株式会社わくわくスタディワール
機械学習ワークフロー管理ツールであるKubeflowのPipelines機能を使って日本語テキスト分類の実験管理を行います。 この記事ではKubeflowのチュートリアルに従ってKubeflowのクラスタを構築してPipelinesを動かし、最後に日本語のデータセットをKubeflow Pipelinesに実際に乗せて機械学習のワークフロー管理を行うところまでまとめていきます。 Kubeflow Kubeflowとは Pipelinesとは GKEでKubeflowクラスタの構築 クラスタ構築 Workload Identityの設定 Pipelinesの基本的な使い方 Pipeline/Experiment/Run PipelineとComponent PipelineとDSL 実験管理としてのKubeflow Pipelines 日本語テキスト分類 with Pipelines Pip
高校の「情報II」でデータサイエンスがしっかり学べる！すごい！
高校の「情報II」でデータサイエンスがしっかり学べる！すごい！ 2020-06-25-1 [Programming][Python][BookReview] データサイエンティストに俺はなる！！ Python 初学者のタツヲです。 いまどきは高校の授業（情報II）でデータサイエンスをやるのですね。 文部科学省から教員用の資料が公開されてるのを知りました。 「情報II」を取った高校生がどんなことを学んでいるのかを知るために、さっそく調査です！ 高等学校情報科「情報Ⅱ」教員研修用教材(本編)：文部科学省 第3章がデータサイエンスの話題ですので、そこを読みました。 で、読んでみた感想ですが、内容が本格的すぎて震える。 大学のデータサイエンス演習のテキストじゃないのかよ、これ。 流し読みでは一部ついていけないところも（真面目に読む必要あり）。 高校生のうちからこの辺をマスターできれば将来安泰でしょ
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 R／RStudioでやさしく学ぶプログラミングとデータ分析 掌田津耶乃 データサイエンティストのための特徴量エンジニアリング Soledad Galli(著), 松田晃一(訳) 実践力をアップする Pythonによるアルゴリズムの教科書 クジラ飛行机 スッキリわかるサーブレット＆JSP入門 第4版 国本 大悟(著), 株式会社フレアリンク(監修) 徹底攻略 基本情報技術者教科書 令和6年度 株式会社わくわくスタディワール
機械学習セキュリティのベストプラクティス – Draft NISTIR 8269: A Taxonomy and Terminology of Adversarial Machine Learning – 論文紹介 概要 「Draft NISTIR 8269: A Taxonomy and Terminology of Adversarial Machine Learning」は、米国のNIST（National Institute of Standards and Technology）が策定を進めている機械学習セキュリティに関するベストプラクティスのドラフトであり、機械学習システムの安全確保を目的として、機械学習にまつわるセキュリティを「攻撃」「防御」「影響」の3つの視点で分類している。 NISTIR8269はブログ執筆時点（2020年7月9日）でドラフト版であるが、「NIST SP8
Python
Python（パイソン）はプログラミング言語の一種です。最近は機械学習でよく用いられます。ここではPython 3.xを使って統計・機械学習の計算・グラフ描画をします。Rを使った統計・データ解析の姉妹編を目指しています。 [2024-04-07] コード部分をクリックするとクリップボードにコピーされるようにしました。 お品書き はじめの前に / PEP 8 インストール 実行 / Google Colaboratory / EIN（アイン） / Docker / ipynbを公開する方法 Pythonの初歩 / Collatzの問題 / 配列 / 基数変換 / ゼロ除算 プロット / 図のラスタライズ / seabornによるプロット / Plotly / プロットをデータに 曲線を描く / 正規分布の密度関数を描く ヒストグラム / 都道府県人口のヒストグラム / ドットプロット / ヒ
はじめに こんにちは、ZOZO NEXT ZOZO ResearchのSai Htaung Khamです。ZOZO NEXTは、ファッション領域におけるユーザーの課題を想像しテクノロジーの力で解決すること、より多くの人がファッションを楽しめる世界の創造を目指す企業です。 ZOZO NEXTでは多くのアルゴリズムを研究開発しており、その中でJAXというライブラリを使用しています。JAXは高性能な機械学習のために設計されたPythonのライブラリです。NumPyに似ていますが、より強力なライブラリであると考えることができます。NumPyとは異なり、JAXはマルチGPU、マルチTPU、そして機械学習の研究に非常に有用な自動微分（Autograd）をサポートしています。 JAXはNumPyのAPIのほとんどをミラーリングしているので、NumPyライブラリに慣れている人なら非常に導入しやすいです。A
量子GAN入門 - Qiita
はじめに 去年から量子コンピュータの勉強会に参加するようになったのですが、そこでとりあげられていた量子GANのお話が難しいながらもとても面白かったので、論文を読んでまとめることにしました。 また、量子GAN実装の方法も書いてあったので、MDR社のblueqatとpytorchでコードを書いてみることにしました。 論文のリンク↓↓ https://arxiv.org/pdf/1807.01235.pdf 論文の要旨 GANはDiscriminatorとGeneratorを交互に競合させながら学習を進めることで、本物に近いデータの生成を可能にするネットワークです。本論文ではDiscriminatorはそのままにして、Generatorを量子ゲートでおきかえています。これにより既存のGANや、量子機械学習と比べていくつかの点で有用だそうです。 古典的なGANでは勾配消失問題により、離散的な値を生
AppleがMac向けに独自開発する「Apple Silicon」の記念すべき最初のチップとなる「M1」は、海外メディアから「コンピューティング革命」や「信じられない偉業」など絶賛レビューの数々を受け取っています。そんなにM1チップは「ディープラーニングに適しているのか？」ということを、データサイエンス関連メディアのBetter Data Scienceが検証しています。 Are The New M1 Macbooks Any Good for Deep Learning? Let's Find Out | Better Data Science https://www.betterdatascience.com/m1-deep-learning/ M1チップは8コアCPUと8コアGPU、16コアニューラルエンジンなどがひとつになったチップセットで、CPU性能やGPU性能だけでみても、前世
In a previous post I introduced the MNIST dataset and the problem of classifying handwritten digits. In this post I’ll be using the code I wrote in that post to port a simple neural network implementation to rust. My goal is to explore performance and ergonomics for data science workflows in rust. The Python Implementation Chapter 1 of the book describes a very simple single-layer Neural Network t
これまで、RとPythonは両方使える人が少なくないながらも開発陣やコミュニティの思想が違うせいもあってか、「Rは統計学向け」「Pythonは機械学習向け」的な住み分けが年々進み、特に機械学習関連の重要なフレームワーク・ライブラリ類はPython向けのみがリリースされることが多く、R向けにはリリースされないということが常態化している印象がありました。 そんな中、この9月にPythonの機械学習OSSを代表する2つのライブラリが相次いでR版パッケージを発表したので、個人的にはなかなか驚きました。中には「この2つがRに来たからにはもうPythonは触らない」と豪語する過激派の方もいらっしゃるようですが（笑）、それはさておき個人的な備忘録としてこの2つのR版パッケージを試してみた記録を記事として残しておこうと思います。 なお、以下のモデリングはほぼ何もチューニングを行っておりません。あくまでも「
Image edited by Author for the icon taken from the official site of PyTorch and KerasThe war between Deep Learning Frameworks is still on fire, which one that will gain more masses, it will be the next game-changer for the deep learning community in future. The loser one will fade in if they can’t survive by giving the best solution for the deep learning community and the world. The first framewor
基盤モデル×Robotics Advent Calendar 2022の7日目の記事です。 基盤モデルとは 最近話題の基盤モデルとはなんのことか。要は大量のデータを学習したデカい凄いモデルのことです（乱暴）。詳細は基盤モデル×Robotics Advent Calendar 2022の1日目の以下記事を参照ください。 そのデカいモデルとロボットを組み合わせてうまいことやろうというのが基盤モデル×Robotics Advent Calendar 2022のテーマですが、当然基盤モデルを使ったロボット制御は、最先端の研究でなかなか簡単にできるものではありません。 そんな無茶を、実用性は置いておいてとりあえず動くところまで実機でやってみたので、事例として紹介したいと思います。 基盤モデルでAIルンバを動かす 今回は基盤モデルとして画像生成AIとして話題のStable Diffusionを使います
![基盤モデルでAIルンバを動かす方法 - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/18ee8e4be60c710fabdff508efc8e46cf9a28343/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20221204%2F20221204100914.jpg)
この記事は GMOアドマーケティングAdvent Calendar 2020 23日目の記事です。 みなさんこんにちは、GMOアドマーケティングのM.H.と申します。 突然ですがみなさんは機械学習する時にどのような環境で実行していますか？Google Colaboratoryでは、制限はありますが無料でTPUを使用し、高いパフォーマンスで学習を進めることができます。 今回はこのTPUを使って、モデル内のハイパーパラメータを自動で探索してくれるKeras Tunerを使っていく方法と注意点についてお話しします。 そもそも、TPUとは TPU(Tensor Processing Unit)とは、Googleが開発した機械学習特化型のプロセッサのことで、基本的にGPUよりも高速で学習を進めることができます。計算量が多く、バッチサイズが大きい場合に特にその効果を発揮します。 私たちがこのパワ
Coauthors: Jeremy Lewi (Google), Josh Bottum (Arrikto), Elvira Dzhuraeva (Cisco), David Aronchick (Microsoft), Amy Unruh (Google), Animesh Singh (IBM), and Ellis Bigelow (Google). On behalf of the entire community, we are proud to announce Kubeflow 1.0, our first major release. Kubeflow was open sourced at Kubecon USA in December 2017, and during the last two years the Kubeflow Project has grown b
TensorFlow2.0とGoogle Colaboratoryの無料TPUを使って、DCGANを実装しました。 訓練経過の様子 pic.twitter.com/2qXowYMk6t — しこあん@『モザイク除去本』好評通販中 (@koshian2) October 21, 2019 何をやったか Google ColabのTPU＋TF2.0でCelebA（約20万枚）をDCGANで生成 TF1.X系のTPUでは、同時に実行可能なグラフは1個の制約があったため、GANの訓練が容易ではなかった（こちらの記事にある通り、不可能であったわけではない。しかし、低レベルAPIが必須で決して容易ではなかった）。TF2.X系のTPUでは、もっと容易にGANを実装できた。 DCGANの論文通りのモデル（パラメーター数：G=12.7M, D=11.0M）で。64x64の画像20万枚を、1エポックを40秒程
はじめに Go 向けの TensorFlow Lite ライブラリの go-tflite mruby 向けの TensorFlow Lite ライブラリの mruby-tflite と作ってきて Zig 向けのライブラリを作らない訳には行きませんね。行けませんね！ という訳で作りました。 ※ インタフェースの大文字小文字は変更するかもしれません。 使い方 使い方は go-tflite とほぼ同じです。 const std = @import("std"); const tflite = @import("zig-tflite"); pub fn main() anyerror!void { var m = try tflite.modelFromFile("testdata/xor_model.tflite"); defer m.deinit(); var o = try tflite.i
0. この記事の嬉しいところ ディープラーニングで生成したデータを 3Dプリンタ で印刷する流れがわかる (10. 実験用コードにおいて、全コード GitHub に上げてます。git clone して環境さえ作れば、同じことが簡単にできるはずです。環境の作り方はこちらに書いています。) 材料力学の勉強になる (僕も勉強しながら書いてますが…) TensorFlow 2.0 のテンソル操作を材料力学に応用する仕組みが分かります ※ スマホで見ると結構崩れるようなので、PC推奨記事です。 1. 概要 DCGAN (Radford et al., 2016)1 を利用し、そのロス関数に強度情報を加えることで、強度の高い数字を生成できるようにした データのコンセプトを維持したまま強度を操作できる ロスの設計やパラメータ変更により、強度を増減させられる 生成画像の FID (Heusel et al
こんにちは。のっくん（@yamagablog）です。 最近はAIブームですので、ディープラーニングをやってみたい！って人が増えています。 ディープラーニングは普通にパソコンでも動きますが、めちゃくちゃ時間がかかります。 そこでNVIDIA社などが出しているGPUという部品を使うことで処理を高速化します。 GPUを使うことで処理時間が10倍ほど速くなりますので、例えばCPUで240分かかっていたディープラーニングを24分で終わらせることができます。 ディープラーニングを動かすにはPythonのKerasやTensorFlowなどのライブラリを使います。ライブラリは、ディープラーニングを動かすために必要な機能が全部入ったソフトウェアのことです。 ライブラリを使うことでディープラーニングの細かな仕組みを全く知らなくても誰でもディープラーニングを動かすことができます。 この記事では、GPUを使って
Fashion-MNIST: 簡単になり過ぎたMNISTに代わる初心者向け画像認識ベンチマーク - 渋谷駅前で働くデータサイエンティストのブログ
(MNIST database - Wikipedia) 僕は画像認識分野は門外漢なのですが、ここ最近初心者向けにCNNのトレーニングを行うことを企画していて、その目的に適した画像認識のオープンデータセットを探していたのでした。 というと誰しも思いつくのがMNISTではないかと思うのですが、Kaggleのベンチマークにも出ているように、実はMNISTはチューニングなしのデフォルトのランダムフォレストで回しても97%以上のACCが出てしまいます。そしてちょっとチューニングしたCNNなら99.7%を叩き出せてしまう上に、そういったノウハウがネットのあちこちにHello World並みのイージーハウツーコンテンツとして溢れ返っていて、初心者向け教材という意味では全く参考になりません。そこで、ちょっとサーベイして探してみることにしました。 MNIST以外のMNIST的なデータセットを探す 実は、以
Welcome to tkasasagi’s website My name is Tarin Clanuwat. I am a research scientist at Sakana AI in Tokyo. I got my PhD in Classical Japanese Literature (文学) from Waseda University, Graduate School of Arts Letters and Science. I specialized in the Tale of Genji’s commentary books from Kamakura and Nambokucho period. Previously I was a senior research scientist at Google Research, Brain team, Googl
Pytorch+Tensorflowのちゃんぽんコードのすゝめ（tfdsでpytorchをブーストさせる話） - Qiita
この記事は、 『Pytorchユーザーが実験速度で悩んでるときに、Tensorflowを部分的に使ってみるの割とアリでは説』 をちょっと検証してみたという内容になります とどのつまり(編集 2020/07/20) ちゃんぽんの方が純粋pytorchより速かったりもしますが、いやでもやっぱ普通はフレームワーク統一した方がいいですたぶん。(可読性、コードの再利用性的に) 背景(ちょっとポエムを…本題は『やったこと』からです) Pytorch v.s. Tensorflow 先日こんなツイートを見かけました(引用失礼します) TensorFlowが書きにくいというのはどういうことだろう．インターフェイスとして書きにくいというのであれば，それはないと思う，というかどのツールも正直大して変わらない．エラーの出処が深すぎて（あとデコレータでスタック改造していたりするので）デバッグできないというのは分か
機械学習セキュリティのベストプラクティス – Draft NISTIR 8269: A Taxonomy and Terminology of Adversarial Machine Learning – 論文紹介 概要 「Draft NISTIR 8269: A Taxonomy and Terminology of Adversarial Machine Learning」は、米国のNIST（National Institute of Standards and Technology）が策定を進めている機械学習セキュリティに関するベストプラクティスのドラフトであり、機械学習システムの安全確保を目的として、機械学習にまつわるセキュリティを「攻撃」「防御」「影響」の3つの視点で分類している。 NISTIR8269はブログ執筆時点（2020年7月9日）でドラフト版であるが、「NIST SP8
GitHub - activeloopai/deeplake: Database for AI. Store Vectors, Images, Texts, Videos, etc. Use with LLMs/LangChain. Store, query, version, & visualize any AI data. Stream data in real-time to PyTorch/TensorFlow. https://activeloop.ai
Deep Lake is a Database for AI powered by a storage format optimized for deep-learning applications. Deep Lake can be used for: Storing data and vectors while building LLM applications Managing datasets while training deep learning models Deep Lake simplifies the deployment of enterprise-grade LLM-based products by offering storage for all data types (embeddings, audio, text, videos, images, pdfs,
初心者のための TensorFlow 2.0 入門 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 このガイドでは簡単な導入として、Keras を使って次のことを行います。 画像を分類するニューラルネットワークを構築する。 そのニューラルネットワークをトレーニングする。 最後に、モデルの精度を評価する。 モデルの精度を評価します。 このファイルは Google Colaboratory の notebook ファイルです。 Python プログラムはブラウザ上で直接実行されます。TensorFlow を学んだり使ったりするには最良の方法です。Google Colab のnotebook の実行方法は以下のとおりです。 Pythonランタイムへの接続：メニューバーの右上で「接続」を選択します。 ノートブックのコードセルをすべて実行：「ランタイム」メニューから
M1 Mac上でPythonの開発環境構築やっていきます これはYouTube動画の資料です M1 MacにPythonインストールして開発環境構築してみた https://youtu.be/dqw4aAgEwoQ はじめに なるべく、プログラミング初学者向けにもわかりやすく解説していきます いっしょに やっていきましょう 2021年1月時点の情報です M2のMacが出る頃(いつ?)には 古い情報になってるはずなのでお気をつけください 自己紹介：オサミー ソフトウェアエンジニア。株式会社プレジニア代表取締役。 iPhoneアプリ開発歴10年。企画開発したiPhoneアプリ160万ダウンロード以上。 新規事業立上げ支援など。 動画(Python環境構築)の目次 理論編: M1 Macの罠とは 実践編 ①Webアプリ(django) ②データ分析(jupyter, pandas, numpy,
0.はじめに KaggleのSIIM-ISIC Melanoma Classificationという医療画像コンペで銅メダル(191 place, top 6%)を獲得し、Kaggle Expertになったのでその参加記を投稿します。 メラノーマコンペの概要、新しく学んだ理論、試した手法、上位solutionが含まれます。 特に手法に関しては参考になる部分はないかと思われますので、読み飛ばしていただいて構いません。 この記事ではある程度機械学習, Kaggleについての知識を前提としていますが、ニュアンスだけでも読めますので軽く読み流して頂けると幸いです。 0-1.ざっくり結論 ・非常にシンプルなタスクで、時間がない中でも取り組みやすかった ・データのかさ増しと、upsamplingが重要なコンペであった(が、upsamplingに関してはできなかった) ・Data Augmentatio
![[Kaggle]メラノーマコンペ参加記 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/5469c62b2726aac512507ed6a9664b461d1dc950/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCS2FnZ2xlJTVEJUUzJTgzJUExJUUzJTgzJUE5JUUzJTgzJThFJUUzJTgzJUJDJUUzJTgzJTlFJUUzJTgyJUIzJUUzJTgzJUIzJUUzJTgzJTlBJUU1JThGJTgyJUU1JThBJUEwJUU4JUE4JTk4JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz0zYTkwZDliNDQzYjgxY2JiNDBjZGIzNjQ1YTA1MTdlNw%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB0YWNoeW9uNzc3JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1lM2NmZTlmMmU1YzFmNGMyYWQyNmY5MzZiNTZkM2RkMQ%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D717c50e7ecfe14071f4156c6a0e3cfdf)
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 実践力をアップする Pythonによるアルゴリズムの教科書 クジラ飛行机 スッキリわかるサーブレット＆JSP入門 第4版 国本 大悟(著), 株式会社フレアリンク(監修) 徹底攻略 基本情報技術者教科書 令和6年度 株式会社わくわくスタディワールド 瀬戸美月 徹底攻略 情報セキュリティマネジメント予想問題集 令和6年度 五十嵐 聡 詳説 ユーザビリティのための産業共通様式 福住 伸一, 平沢 尚毅 DX時代の観光と社会
【PyTorch】MNISTのサンプルを動かしてみた
今まではTensorFlowバックエンドのKerasでディープラーニングをやっていましたが，そろそろKerasを卒業したいなと思いまして，PyTorchを少し触ってみました。 PyTorchにした理由は， 実行速度が速い ユーザが多い Define by Run 論文の実装がPyTorchの場合が多い（重要） といったようなところです。 まずはMNISTでやってみる Kerasでは2種類ほど過去にディープラーニングの実装はやってみました。 【Keras+TensorFlow】Deep Learningで顔検出をしてみた 【Keras+TensorFlow】Deep Learningでテロップ位置を検出してみた このときに自前（といってもオープンデータですが）を用意して実装したので，この2つをPyTorchに書き換えてもいいかなーとも思ったのですが，とりあえずはサンプル通りにということでMI
はじめに VAE、変分オートエンコーダのVAEです。機械学習のネットワークの一つです。 これを読まれている方は、VAEについて多少以上は御存じであるという前提でお話します。 VAEとは、端的に言えば特徴を潜在変数を介した表現に起き換える手法です。 潜在変数というのは、正体不明だがその入力を決定づける何らかの変数、といった感じに理解していればOKだと思います。 表に顕在していない、その入力を決定づける何かを、まず0まわりの値を取る自然な乱数的なサムシングとして仮定し、オートエンコーダで絞ったときの最低限の特徴がその0まわりの乱数的なサムシングのみで成り立つように設計するということです。 これ以上の詳しい説明は他に譲ります。参考としてはこちらが有名かと。 Variational Autoencoder徹底解説 VAEがこんなことできるって知ってた？ ところでこの画像、何かわかりますか。 実はこ
The Annotated Diffusion Model
In this blog post, we'll take a deeper look into Denoising Diffusion Probabilistic Models (also known as DDPMs, diffusion models, score-based generative models or simply autoencoders) as researchers have been able to achieve remarkable results with them for (un)conditional image/audio/video generation. Popular examples (at the time of writing) include GLIDE and DALL-E 2 by OpenAI, Latent Diffusion
TensorFlowのいろいろな書き方「Keras API」「Custom train loop」「Custom layer」についてMNISTの例を解説します。また、TF2.0＋KerasでColab TPUを使った訓練方法も解説していきます1。 TensorFlow2.0での書き方 TensorFlow2.0の書き方は何種類かあります。Kerasの作者によるColab Notebookによると、 縦軸に注目してください。上に行くほど高レベルAPI、下に行くほど低レベルAPIとなります。各項目が何を表すかと言うと、 Built in training/eval loops ： Kerasのfit()やevaluate()といった関数を使うものです。TF1.X時代のKerasとほぼ同じです。 Customized step-by-step loops : Kerasのfit()などを使わず
はじめに Pythonのパッケージ・モジュール・クラス・インスタンス・メソッド・関数の関係性をまとめました。 TensorFlowという機械学習ライブラリを例として使用しています。 この記事の対象者 この記事の対象者は以下のような方々です。 ・Pythonのパッケージ・モジュール・クラス・インスタンス・メソッド・関数の関係性を確認したい。 本記事のおおまかな内容 パッケージ・モジュール・クラス・インスタンス・メソッド・関数の関係性 パッケージ、モジュール、関数の例 クラス、メソッド、インスタンスとは クラス、メソッド、インスタンスの例 1. 一般的なソフトウェアライブラリ ソフトウェアライブラリは以下のような要素で構成されています。 ・パッケージ：異なる"モジュール"が複数集まったコード群を"パッケージ"と言います。 ・モジュール：.pyファイル（pythonのプログラムコードのこと）で、
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【一問一答】マヅコの知らない「異常検知」の世界 - Qiita
脳みそが固くなったおじさんSEが機械学習を勉強してみた - Qiita
【保存版】オープンデータ・データセット100選 -膨大なデータを活用しよう！ | AI専門ニュースメディア AINOW
ノイズのある教師データを用いた機械学習に関する研究サーベイ - ABEJA Tech Blog
Kubeflow Pipelinesで日本語テキスト分類の実験管理 - やむやむもやむなし
機械学習セキュリティのベストプラクティス – Draft NISTIR 8269: A Taxonomy and Terminology of Adversarial Machine Learning –
JAXによるスケーラブルな機械学習 - ZOZO TECH BLOG
M1搭載Macはディープラーニングに適しているのか検証した結果
Python vs Rust for Neural Networks | Nathan Goldbaum
RにTorchとLightGBMがやってきた - 渋谷駅前で働くデータサイエンティストのブログ
Why I Switch From Keras to PyTorch
基盤モデルでAIルンバを動かす方法 - karaage. [からあげ]
Google ColaboratoryのTPUランタイムを使ってKeras Tunerでパラメタ探索
Kubeflow 1.0: Cloud Native ML for Everyone
TensorFlow2.0 + 無料のColab TPUでDCGANを実装した - Qiita
Zig の TensorFlow Lite ライブラリを書いた。
GAN で物理的に頑丈な形状を生成し、3Dプリンタで印刷 - Qiita
【Ubuntu】TensorflowやKerasをGPUで動かす方法
Welcome to tkasasagi’s website
機械学習セキュリティのベストプラクティス – Draft NISTIR 8269: A Taxonomy and Terminology of Adversarial Machine Learning –
初心者のための TensorFlow 2.0 入門 | TensorFlow Core
M1 MacにPythonインストールして開発環境構築してみた
[Kaggle]メラノーマコンペ参加記 - Qiita
今更ながらVAEってこんなに凄かったの？ってなった話
TensorFlow2.0 with KerasでいろいろなMNIST（TPU対応） - Qiita
Pythonのパッケージ・モジュール・クラスなど関係性 - Qiita