PyTorch向けライブラリ「TorchVision」に物体検出や動画分類などの機能が加わる
Python向け深層学習フレームワーク「PyTorch」を開発しているPyTorch Foundationは、PyTorch向けの画像処理ライブラリ「TorchVision」に新たな機能を加えていることを11月3日（現地時間）に明かした。新機能は現在プロトタイプとして提供しており、2023年第1四半期に正式版として提供することを予定している。 プロトタイプでは、物体検出や画像分類、動画分類に新たに対応した。さらに、画像内の任意の領域を指定するバウンディング・ボックスや、分類に使用するセグメンテーションマスクの機能も提供するようになった。さらに、画像のサイズ変更、トリミング、アフィン変換、パディングにも対応した。 そして、「MixUp」「CutMix」「Large Scale Jitter」「SimpleCopyPaste」「AutoAugmentation」といったデータ拡張手法を利用でき
最新Raspberry Pi OS（Bullseye）のAI画像認識環境構築方法
ラズパイでAI画像認識環境構築 ひさしぶりにラズパイでディープラーニングしようと思ったら、色々変わっていたのでメモ。 追記：ラズパイ5に関しては以下記事参照ください。 前提 ハードウェアやソフトウェアの前提は以下です。 Raspberry Pi 4 Raspberry Pi OS(64-bit) with Desktop 2023-02-21(Bullseye) USBカメラ OSは64bitを使用します。32bitだとライブラリのバージョンが変わってくるのでこの記事のままだとインストールできませんので注意してください。 SDカードの書き込みやハードウェアのセッティングに関しては、以下記事参照ください。 また、上記記事では、カメラとしてRaspberry Pi カメラモジュールを使っていますが、Raspberry Pi OSがBullseyeになってから、使用するライブラリが変わった(Pi
Pythonで実装するニューラルネットワークを完成させよう
連載目次 本稿は、ニューラルネットワーク（以下、ニューラルネット）の仕組みや挙動を、数学理論からではなくPythonコードから学ぶことを目標とした連載（基礎編）の最後となる第3回です。 前々回の第1回では、「ニューラルネットの訓練（学習）処理を実現するために必要なこと」として、 ステップ（1）順伝播： forward_prop()関数として実装（前々回） ステップ（2）逆伝播： back_prop()関数として実装（前回） ステップ（3）パラメーター（重みとバイアス）の更新： update_params()関数として実装（今回）。これによりモデルが最適化される という3大ステップを示しました。前回の第2回で、このうちの「ステップ（2）逆伝播」までの実装が完了しています。 今回はその続きとして、「ステップ（3）パラメーターの更新と、モデルの最適化」までを実装して、ニューラルネットの実装を完了
機械学習の推論WebAPIの実装をテンプレート化して使い回せるようした
概要 機械学習を利用したウェブサービスを開発していると、WebAPIとして外部から利用できる形で機械学習の推論を実行可能にしたいということがよくあると思います。私も幾度となくそうした実装をする中で使いまわし定番のコードを用意しているので、知識の棚卸しや改めて新しい技術を学ぶという意味でも、久しぶりに構造や技術スタックを刷新したものを今回作成しました。 そこで本記事は、テンプレート化した機械学習のWebAPI実装の構成と、そこから実際に機械学習の推論を行うWebAPIを作る過程を書いてみようと思います。 テンプレートプロジェクト 今回作ったテンプレートプロジェクトはyagays/fastapi-ml-templateです。 利用しているパッケージ/ツール 利用している技術スタックとしては以下のようになっています。 Web API Pythonのパッケージ依存関係管理： Poetry Webフ
Pythonでニューラルネットワークを書いてみよう
連載目次 本連載（基礎編）の目的 スクラッチ（＝他者が書いたソースコードを見たりライブラリーを使ったりせずに、何もないゼロの状態からコードを記述すること）でディープラーニングやニューラルネットワーク（DNN：Deep Neural Network、以下では「ニューラルネット」と表記）を実装して学ぶ系の書籍や動画講座、記事はたくさんあると思います。それらで学んだ際に、「誤差逆伝播」（バックプロパゲーション）のところで挫折して、そこはスルーしている人は少なくないのではないでしょうか。個々の数式や計算自体を理解していても、何となく全体像がつかめずに、 と自信を持って言えない人も多いのではないかと思います。 本連載（基礎編）はそういった人に向けた記事になります。この記事はニューラルネットの仕組みを、数学理論からではなくPythonコードから学ぶことを狙っています。「難しい高校以降の数学は苦手だけど
BERTの推論速度を最大10倍にしてデプロイした話とそのTips - JX通信社エンジニアブログ
背景 はじめまして、JX通信社でインターンをしている原田です。 近年深層学習ではモデルが肥大化する傾向にあります。2020年にopen aiが示したScaling Laws（[2001.08361] Scaling Laws for Neural Language Models） の衝撃は記憶に新しく、MLP-Mixerが示したように、モデルを大きくすればAttention構造やCNNでさえも不必要という説もあります。（[2105.01601] MLP-Mixer: An all-MLP Architecture for Vision） しかし大きな深層学習モデルを利用しようとすると、しばしば以下のような問題に悩まされます。 推論速度が問題でプロダクトに実装不可能 GPU/TPUはコスト上厳しい プロダクトの性質上バッチ処理が不可能（効率的にGPU/TPUが利用できない） 例えばJX通信社
人工知能が見ている世界
今の世の中、そこら中に人工知能(AI)と呼ばれるシステムがあふれている。特にディープラーニングによるニューラルネットワークモデルを使ったシステムは高度な処理が可能であると広く考えられているようだ。では、それを使ったAIはどのようにこの世界を見ているのだろうか。 ディープラーニングで得られる特徴を含んだ値(特徴マップ)がAIの視覚と呼べるだろう。AIについて扱った教材では、ディープラーニングにより学習されたニューラルネットワークモデルの特徴マップを例示していることがあるが、特定の画像に対する特定の特徴の一部を載せているだけなので、AIがどのように世界を見ているのか、それだけで判断するのは難しい。 そこで、任意の動画に対してニューラルネットワークモデルを使って特徴マップを映像化することにした。今回、対象とするネットワークアーキテクチャは、AlexNetとVGG19だ。それぞれ2012年と201
DeepLearningによる自動撮影カメラ Raspberry Pi+Coral_TPU - Qiita
ケース制作は3Dソフト（Fusion360)にて3Dモデル作成後、自宅の３Dプリンタにて制作。（フタも有り） クラス図 プログラム自体のコード量は少なくクラス数も少ないため、アーキテクチャー的な設計はしませんでした。 コアであるObject Detection機能とサムネイルや動画の送信は、将来手段が変わる可能性を考慮し、デザインパターンのStrategyにて設計しています。 またサムネイル、動画送信は、マルチプロセスで処理しています。 主なクラスの役割 Detector： Object Detectionによる画像判定 RaspPiCamera： カメラから画像をひたすら取得 FlameImage： カメラ画像等のデータクラス(DTO) FlameImageProcessor: 画像処理関係（録画したり、メール、サムネイル送信の指示したり） MonitorController: 上記クラ
機械学習を仕事に使うには？ 03_Pythonのコーディング手順 - Qiita
株式会社デジサク がお送りするプログラミング記事、 今回はAI（機械学習）の具体的なコーディング手順を扱います。 ※ 無料セミナーも開催中なので、ぜひご覧になってみて下さい。 はじめに これまで「機械学習を仕事に使うには？」というテーマで記事をお届けしてきましたが、 第３回の今回は「Pythonのコーディング手順」をテーマに、具体的なプログラミングを紹介します。 バックナンバーも読んで頂くと機械学習の基礎からPythonのコーディングまで全体を理解できますので、ぜひご活用ください。 第１回：機械学習の目的を理解する 第２回：AI開発のプロジェクト全体像 SNS でも色々な情報を発信しているので、記事を読んで良いなと感じて頂けたら Twitterアカウント「Saku731」 もフォロー頂けると嬉しいです。 機械学習に必要なプログラミングスキル まず、機械学習を習得するために必要なスキルは下記
第3回 ディープラーニング最速入門 ― 仕組み理解×初実装（後編）
第3回 ディープラーニング最速入門 ― 仕組み理解×初実装（後編）：TensorFlow 2＋Keras（tf.keras）入門（1/3 ページ） いよいよ、ディープラーニングの学習部分を解説。ニューラルネットワーク（NN）はどうやって学習するのか、Pythonとライブラリではどのように実装すればよいのか、をできるだけ簡潔に説明する。
PyCon JP 2019で見たセッションの聴講記録20個分 / 資料・動画・関連リンクなど - フリーランチ食べたい
2019年9月16日/17日に開催されたPyCon JP 2019で自分が直接/YouTubeで聴講したセッションについてのまとめです。主に下記の内容を書いています。 スピーカーURL 配信動画 スライド 発表内で出てきたライブラリなどのURL 自分の感想 「あのセッションで話していたライブラリなんだっけ」と思い出したい方やざっくり内容が知りたい方に読んでいただければ幸いです。PyCon JPに自分も発表者としても参加し、スタッフとして参加し、Webサイトの開発もしたので、それについては改めて書きたいと思います。 pycon.jp PythonとAutoML / 芝田 将 スピーカー: https://twitter.com/c_bata_ 動画: https://www.youtube.com/watch?v=Whkwu46DgBs スライド: https://www.slideshar
Pythonで基礎から機械学習の勉強するシリーズをはじめました - karaage. [からあげ]
Pythonで基礎から機械学習始めました 最近、とあることがきっかけで「自分が機械学習の基礎を全然分かってなかった」と改めて痛感したので、1から学び直してみることにしました。 といっても、本を読むだけだとすぐ忘れてしまいそうなので、自己学習を兼ねてアウトプットしてみることにしました。以下に固定ページ作りました。今後、少しずつアップデートしていく予定です（まだ単回帰を勉強したところまでです）。 アウトプットの重要性 最近Twitterで見たのですが、ラーニングピラミッドといって、インプットするより、アウトプットするのが遥かに学習の定着に効果的らしいです。 ちなみに上図を引用させていただいたラーニングピラミッドの誤謬という論文では、ラーニングピラミッドは怪しい！と書いてありました（笑） 確かに、数字は怪しげな感じですが（綺麗過ぎるので）自分自身の経験上も、人に教えたり、ブログ等でアウトプットす
![Pythonで基礎から機械学習の勉強するシリーズをはじめました - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/81a4d992d30e254cdf6b074161bca0af232521fb/height=288;version=1;width=512/https%3A%2F%2Fcdn.image.st-hatena.com%2Fimage%2Fscale%2Fd6211b2888f969b6ecc88d7827ad9ded652263e3%2Fbackend%3Dimagemagick%3Bversion%3D1%3Bwidth%3D1300%2Fhttps%253A%252F%252Fcdn-ak.f.st-hatena.com%252Fimages%252Ffotolife%252Fk%252Fkaraage%252F20190905%252F20190905002807.png)
Pythonで基礎から機械学習 「単回帰分析」 - Qiita
はじめに この「Pythonで基礎から機械学習」シリーズの目的や、環境構築方法、シリーズの他の記事などは以下まとめページを最初にご覧下さい。 本記事は、初学者が自分の勉強のために個人的なまとめを公開している記事になります。そのため、記事中に誤記・間違いがある可能性が大いにあります。あらかじめご了承下さい。 より良いものにしていきたいので、もし間違いに気づいた方は、編集リクエストやコメントをいただけましたら幸いです。 本記事のコードは、Google Colaboratory上での実行を想定しています。本記事で使用したGoogle ColabのNotebookは以下となります。 01_linear_regression.ipynb 単回帰分析 初回は、データ分析の基礎中の基礎の単回帰分析をPythonを使って手を動かしながら実行していきます。 単回帰はExcelを使えば簡単にできてしまうのです
[Python]機械学習などでテキストデータを特徴量にする際のソースコード集 – かものはしの分析ブログ
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト テキストデータの特徴量化について 仕事ではテキストデータを多用するので、機械学習などで扱うためにテキストデータを特徴量にするためのアプローチを色々と整理してソースコードを残しておきたいと思います。今回はあくまでも私の知っているものだけなので、網羅性はないかもしれませんが悪しからず。 （2019/08/18 追記）Stackingをカジュアルに行えるvecstackというモジュールを用いた予測も試してみました。下の方の追記をご覧ください。 アプローチ テキストデータを特
![[Python]機械学習などでテキストデータを特徴量にする際のソースコード集 – かものはしの分析ブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/a787dca9147676db06027eb58bb689b8fa4eb62b/height=288;version=1;width=512/http%3A%2F%2Fkamonohashiperry.com%2Fwordpress%2Fwp-content%2Fuploads%2F2018%2F08%2Fanimal_kamonohashi.png)
【Python】 機械学習の可視化が捗るライブラリ「Yellowbrick」 - フリーランチ食べたい
機械学習Podcast「TWiML＆AI」で先週取り上げられた可視化ライブラリ「Yellowbrick」が非常に便利だったので紹介します！ちなみにPodcastには作者の1人であるRebecca Bilbroさんが出演しているので興味持った方は是非聞いてみてください。 twimlai.com www.scikit-yb.org Yellowbrickとは 一言で言うと、機械学習に特化した可視化ライブラリです。実装的な面で言うと(こちらの方がわかりやすいかもしれません)、scikit-learnとmatplotlibをラップして、scikit-learnライクなAPIで使うことができるものです。 例えば相関行列のヒートマップをプロットしたい場合は次のように書くだけでグラフを作ることができます。 visualizer = Rank2D(features=features, algorithm=
Pythonと機械学習ができること 画像認識を工場の事例で試してみた
工場を想定した事例をPythonで画像認識 今回は「工場の制御機器で使われているPLC(シーケンサ)」+「画像認識+測定」含めた事例を想定してPythonで制御してみます。 想定しているイメージとしては下記です。「PLC(シーケンサ)で工場内の機器を操作する」+「製品を画像認識で測定する」工程をまとめて管理したいと思います 但し、工場の制御機器におけるPLC(シーケンサ)に関しては「ラダー」という特殊なプログラミング言語で書かれていることが大半でPythonでは直接プログラムできません。 そのためPLC(シーケンサ)自身にはそのままのラダープログラムで動いてもらいます。ラダーの箇所(製造工程)が終わったらGPIO経由でPythonに通知して画像認識(測定工程)を行います Pythonへの通知方法はGPIOでなくても何でも構いません(筆者が使いやすかっただけです)。 Python側はPLCか
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はじめに — 機械学習帳
【言語処理100本ノック 2020】Pythonによる解答例まとめ - Qiita
Pytorchで始めるはじめてのTPU
Pythonで理解するディープラーニング入門
