[B! python][MachineLearning] kyle45rainのブックマーク

PyTorch向けライブラリ「TorchVision」に物体検出や動画分類などの機能が加わる

Python向け深層学習フレームワーク「PyTorch」を開発しているPyTorch Foundationは、PyTorch向けの画像処理ライブラリ「TorchVision」に新たな機能を加えていることを11月3日（現地時間）に明かした。新機能は現在プロトタイプとして提供しており、2023年第1四半期に正式版として提供することを予定している。プロトタイプでは、物体検出や画像分類、動画分類に新たに対応した。さらに、画像内の任意の領域を指定するバウンディング・ボックスや、分類に使用するセグメンテーションマスクの機能も提供するようになった。さらに、画像のサイズ変更、トリミング、アフィン変換、パディングにも対応した。そして、「MixUp」「CutMix」「Large Scale Jitter」「SimpleCopyPaste」「AutoAugmentation」といったデータ拡張手法を利用でき

kyle45rain 2022/11/08

リンク

Pythonで実装するニューラルネットワークを完成させよう

連載目次本稿は、ニューラルネットワーク（以下、ニューラルネット）の仕組みや挙動を、数学理論からではなくPythonコードから学ぶことを目標とした連載（基礎編）の最後となる第3回です。前々回の第1回では、「ニューラルネットの訓練（学習）処理を実現するために必要なこと」として、ステップ（1）順伝播： forward_prop()関数として実装（前々回）ステップ（2）逆伝播： back_prop()関数として実装（前回）ステップ（3）パラメーター（重みとバイアス）の更新： update_params()関数として実装（今回）。これによりモデルが最適化されるという3大ステップを示しました。前回の第2回で、このうちの「ステップ（2）逆伝播」までの実装が完了しています。今回はその続きとして、「ステップ（3）パラメーターの更新と、モデルの最適化」までを実装して、ニューラルネットの実装を完了

kyle45rain 2022/03/01

リンク

機械学習の推論WebAPIの実装をテンプレート化して使い回せるようした

概要機械学習を利用したウェブサービスを開発していると、WebAPIとして外部から利用できる形で機械学習の推論を実行可能にしたいということがよくあると思います。私も幾度となくそうした実装をする中で使いまわし定番のコードを用意しているので、知識の棚卸しや改めて新しい技術を学ぶという意味でも、久しぶりに構造や技術スタックを刷新したものを今回作成しました。そこで本記事は、テンプレート化した機械学習のWebAPI実装の構成と、そこから実際に機械学習の推論を行うWebAPIを作る過程を書いてみようと思います。テンプレートプロジェクト今回作ったテンプレートプロジェクトはyagays/fastapi-ml-templateです。利用しているパッケージ/ツール利用している技術スタックとしては以下のようになっています。 Web API Pythonのパッケージ依存関係管理： Poetry Webフ

kyle45rain 2022/02/18

リンク

Pythonでニューラルネットワークを書いてみよう

連載目次本連載（基礎編）の目的スクラッチ（＝他者が書いたソースコードを見たりライブラリーを使ったりせずに、何もないゼロの状態からコードを記述すること）でディープラーニングやニューラルネットワーク（DNN：Deep Neural Network、以下では「ニューラルネット」と表記）を実装して学ぶ系の書籍や動画講座、記事はたくさんあると思います。それらで学んだ際に、「誤差逆伝播」（バックプロパゲーション）のところで挫折して、そこはスルーしている人は少なくないのではないでしょうか。個々の数式や計算自体を理解していても、何となく全体像がつかめずに、と自信を持って言えない人も多いのではないかと思います。本連載（基礎編）はそういった人に向けた記事になります。この記事はニューラルネットの仕組みを、数学理論からではなくPythonコードから学ぶことを狙っています。「難しい高校以降の数学は苦手だけど

kyle45rain 2022/02/09

リンク

はじめに — 機械学習帳

import torch x = torch.tensor([1., -1.]) w = torch.tensor([1.0, 0.5], requires_grad=True) loss = -torch.dot(x, w).sigmoid().log() loss.backward() print(loss.it em()) print(w.grad)

kyle45rain 2021/11/29

リンク

BERTの推論速度を最大10倍にしてデプロイした話とそのTips - JX通信社エンジニアブログ

背景はじめまして、JX通信社でインターンをしている原田です。近年深層学習ではモデルが肥大化する傾向にあります。2020年にopen aiが示したScaling Laws（[2001.08361] Scaling Laws for Neural Language Models）の衝撃は記憶に新しく、MLP-Mixerが示したように、モデルを大きくすればAttention構造やCNNでさえも不必要という説もあります。（[2105.01601] MLP-Mixer: An all-MLP Architecture for Vision）しかし大きな深層学習モデルを利用しようとすると、しばしば以下のような問題に悩まされます。推論速度が問題でプロダクトに実装不可能 GPU/TPUはコスト上厳しいプロダクトの性質上バッチ処理が不可能（効率的にGPU/TPUが利用できない）例えばJX通信社

kyle45rain 2021/08/27

リンク

人工知能が見ている世界

今の世の中、そこら中に人工知能(AI)と呼ばれるシステムがあふれている。特にディープラーニングによるニューラルネットワークモデルを使ったシステムは高度な処理が可能であると広く考えられているようだ。では、それを使ったAIはどのようにこの世界を見ているのだろうか。ディープラーニングで得られる特徴を含んだ値(特徴マップ)がAIの視覚と呼べるだろう。AIについて扱った教材では、ディープラーニングにより学習されたニューラルネットワークモデルの特徴マップを例示していることがあるが、特定の画像に対する特定の特徴の一部を載せているだけなので、AIがどのように世界を見ているのか、それだけで判断するのは難しい。そこで、任意の動画に対してニューラルネットワークモデルを使って特徴マップを映像化することにした。今回、対象とするネットワークアーキテクチャは、AlexNetとVGG19だ。それぞれ2012年と201

kyle45rain 2020/07/26

リンク

【言語処理100本ノック 2020】Pythonによる解答例まとめ - Qiita

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

kyle45rain 2020/06/08

リンク

Pytorchで始めるはじめてのTPU

社内の輪講での発表資料です。 TPUについての簡単な説明とPytorchでTPUを用いてImageNetを学習させたときの肌感をまとめました。 TPUについて初心者なので、間違ったことがあればご指摘いただきたいですm(_ _)m

kyle45rain 2020/01/28

リンク

DeepLearningによる自動撮影カメラ Raspberry Pi+Coral_TPU - Qiita

ケース制作は3Dソフト（Fusion360)にて3Dモデル作成後、自宅の３Dプリンタにて制作。（フタも有り）クラス図プログラム自体のコード量は少なくクラス数も少ないため、アーキテクチャー的な設計はしませんでした。コアであるObject Detection機能とサムネイルや動画の送信は、将来手段が変わる可能性を考慮し、デザインパターンのStrategyにて設計しています。またサムネイル、動画送信は、マルチプロセスで処理しています。主なクラスの役割 Detector： Object Detectionによる画像判定 RaspPiCamera：カメラから画像をひたすら取得 FlameImage：カメラ画像等のデータクラス(DTO) FlameImageProcessor: 画像処理関係（録画したり、メール、サムネイル送信の指示したり） MonitorController: 上記クラ

kyle45rain 2020/01/25

リンク

機械学習を仕事に使うには？ 03_Pythonのコーディング手順 - Qiita

株式会社デジサクがお送りするプログラミング記事、今回はAI（機械学習）の具体的なコーディング手順を扱います。 ※ 無料セミナーも開催中なので、ぜひご覧になってみて下さい。はじめにこれまで「機械学習を仕事に使うには？」というテーマで記事をお届けしてきましたが、第３回の今回は「Pythonのコーディング手順」をテーマに、具体的なプログラミングを紹介します。バックナンバーも読んで頂くと機械学習の基礎からPythonのコーディングまで全体を理解できますので、ぜひご活用ください。第１回：機械学習の目的を理解する第２回：AI開発のプロジェクト全体像 SNS でも色々な情報を発信しているので、記事を読んで良いなと感じて頂けたら Twitterアカウント「Saku731」もフォロー頂けると嬉しいです。機械学習に必要なプログラミングスキルまず、機械学習を習得するために必要なスキルは下記

kyle45rain 2020/01/04

リンク

第3回　ディープラーニング最速入門 ― 仕組み理解×初実装（後編）

第3回　ディープラーニング最速入門 ― 仕組み理解×初実装（後編）：TensorFlow 2＋Keras（tf.keras）入門（1/3 ページ）いよいよ、ディープラーニングの学習部分を解説。ニューラルネットワーク（NN）はどうやって学習するのか、Pythonとライブラリではどのように実装すればよいのか、をできるだけ簡潔に説明する。

kyle45rain 2019/12/17

リンク

Pythonで理解するディープラーニング入門

ディープラーニングの仕組みを理解するための一番のポイントは「損失関数」と「勾配降下法」の考え方です。本講演では、線形回帰モデルを題材に、この2つの考え方についてPythonのコーディングも含めた形で説明します。講演者の著作「最短コースでわかるディープラーニングの数学」からエッセンスをお届けします。

kyle45rain 2019/10/11

リンク

PyCon JP 2019で見たセッションの聴講記録20個分 / 資料・動画・関連リンクなど - フリーランチ食べたい

2019年9月16日/17日に開催されたPyCon JP 2019で自分が直接/YouTubeで聴講したセッションについてのまとめです。主に下記の内容を書いています。スピーカーURL 配信動画スライド発表内で出てきたライブラリなどのURL 自分の感想「あのセッションで話していたライブラリなんだっけ」と思い出したい方やざっくり内容が知りたい方に読んでいただければ幸いです。PyCon JPに自分も発表者としても参加し、スタッフとして参加し、Webサイトの開発もしたので、それについては改めて書きたいと思います。 pycon.jp PythonとAutoML / 芝田将スピーカー: https://twitter.com/c_bata_ 動画: https://www.youtube.com/watch?v=Whkwu46DgBs スライド: https://www.slideshar

kyle45rain 2019/09/18

リンク

Pythonで基礎から機械学習の勉強するシリーズをはじめました - karaage. [からあげ]

Pythonで基礎から機械学習始めました最近、とあることがきっかけで「自分が機械学習の基礎を全然分かってなかった」と改めて痛感したので、1から学び直してみることにしました。といっても、本を読むだけだとすぐ忘れてしまいそうなので、自己学習を兼ねてアウトプットしてみることにしました。以下に固定ページ作りました。今後、少しずつアップデートしていく予定です（まだ単回帰を勉強したところまでです）。アウトプットの重要性最近Twitterで見たのですが、ラーニングピラミッドといって、インプットするより、アウトプットするのが遥かに学習の定着に効果的らしいです。ちなみに上図を引用させていただいたラーニングピラミッドの誤謬という論文では、ラーニングピラミッドは怪しい！と書いてありました（笑）確かに、数字は怪しげな感じですが（綺麗過ぎるので）自分自身の経験上も、人に教えたり、ブログ等でアウトプットす

kyle45rain 2019/09/06

リンク

Pythonで基礎から機械学習「単回帰分析」 - Qiita

はじめにこの「Pythonで基礎から機械学習」シリーズの目的や、環境構築方法、シリーズの他の記事などは以下まとめページを最初にご覧下さい。本記事は、初学者が自分の勉強のために個人的なまとめを公開している記事になります。そのため、記事中に誤記・間違いがある可能性が大いにあります。あらかじめご了承下さい。より良いものにしていきたいので、もし間違いに気づいた方は、編集リクエストやコメントをいただけましたら幸いです。本記事のコードは、Google Colaboratory上での実行を想定しています。本記事で使用したGoogle ColabのNotebookは以下となります。 01_linear_regression.ipynb 単回帰分析初回は、データ分析の基礎中の基礎の単回帰分析をPythonを使って手を動かしながら実行していきます。単回帰はExcelを使えば簡単にできてしまうのです

kyle45rain 2019/09/06

リンク

[Python]機械学習などでテキストデータを特徴量にする際のソースコード集 – かものはしの分析ブログ

都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーターほしいものリストテキストデータの特徴量化について仕事ではテキストデータを多用するので、機械学習などで扱うためにテキストデータを特徴量にするためのアプローチを色々と整理してソースコードを残しておきたいと思います。今回はあくまでも私の知っているものだけなので、網羅性はないかもしれませんが悪しからず。（2019/08/18 追記）Stackingをカジュアルに行えるvecstackというモジュールを用いた予測も試してみました。下の方の追記をご覧ください。アプローチテキストデータを特

kyle45rain 2019/06/24

リンク

【Python】機械学習の可視化が捗るライブラリ「Yellowbrick」 - フリーランチ食べたい

機械学習 Podcast「TWiML＆AI」で先週取り上げられた可視化ライブラリ「Yellowbrick」が非常に便利だったので紹介します！ちなみにPodcastには作者の1人であるRebecca Bilbroさんが出演しているので興味持った方は是非聞いてみてください。 twimlai.com www.scikit-yb.org Yellowbrickとは一言で言うと、機械学習に特化した可視化ライブラリです。実装的な面で言うと(こちらの方がわかりやすいかもしれません)、scikit-learnとmatplotlibをラップして、scikit-learnライクなAPIで使うことができるものです。例えば相関行列のヒートマップをプロットしたい場合は次のように書くだけでグラフを作ることができます。 visualizer = Rank2D(features=features, algorithm=

kyle45rain 2019/05/17

リンク

Pythonと機械学習ができること画像認識を工場の事例で試してみた

工場を想定した事例をPythonで画像認識今回は「工場の制御機器で使われているPLC(シーケンサ)」+「画像認識+測定」含めた事例を想定してPythonで制御してみます。想定しているイメージとしては下記です。「PLC(シーケンサ)で工場内の機器を操作する」+「製品を画像認識で測定する」工程をまとめて管理したいと思います但し、工場の制御機器におけるPLC(シーケンサ)に関しては「ラダー」という特殊なプログラミング言語で書かれていることが大半でPythonでは直接プログラムできません。そのためPLC(シーケンサ)自身にはそのままのラダープログラムで動いてもらいます。ラダーの箇所(製造工程)が終わったらGPIO経由でPythonに通知して画像認識(測定工程)を行います Pythonへの通知方法はGPIOでなくても何でも構いません(筆者が使いやすかっただけです)。 Python側はPLCか

kyle45rain 2019/04/16

リンク

はてなブックマーク

タグ

関連タグで絞り込む (3)

pythonとMachineLearningに関するkyle45rainのブックマーク (45)

お知らせ

今週のはてなブックマーク数ランキング（2025年11月第4週）

はてなブックマーク一部機能のメンテナンスに関するお知らせ

今週のはてなブックマーク数ランキング（2025年11月第3週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス