TensorFlowとPyTorchの相互変換はどうやるか 機械学習の困りごとに使える重み変換のテクニック
「分析コンペLT会」は、KaggleやSIGNATEなど、データ分析のコンペに関連するLT（ライトニングトーク）を行う会です。rishigami氏は、TensorFlow／PyTorchのモデル移植について発表しました。全2回。前半は、TensorFlow、PyTorchそれぞれのモデル実装の基礎と、それぞれの違い、重み変換のテクニックについて。 フレームワークにまつわる、ありがちな困りごと 石上氏：今回は「TensorFlow／PyTorchモデル移植のススメ」というタイトルで発表します。 あらためて自己紹介ですが、私は石上と申します。ハンドルネームは「rishigami」でやっていて、Kaggleでは現在Competitions Masterとなっています。ただ最近はちょっと忙しくて、Kaggleに参加できておらず、つい最近NFLコンペが開催された（※取材当時）ということで、ちょっとそ
Web Neural Network API
Web Neural Network API W3C Candidate Recommendation Draft, 5 May 2024 More details about this document This version: https://www.w3.org/TR/2024/CRD-webnn-20240505/ Latest published version: https://www.w3.org/TR/webnn/ Editor's Draft: https://webmachinelearning.github.io/webnn/ Previous Versions: https://www.w3.org/TR/2024/CRD-webnn-20240503/ History: https://www.w3.org/standards/history/webnn/ Im
#この記事は実在しません GPT-2 Text Generation Demo：朝日新聞社メディア研究開発センター 人工知能研究の取り組み
この記事は弊社の機械学習モデル（GPT-2言語モデル）が自動で生成したものをそのまま掲示したフィクションであり、実在の人物・団体・商品等とは何ら関係ありません。 GPT-2言語モデルは、朝日新聞記事で事前訓練した後に、日本語Wikipedia記事を用いてfine-tuningしています。詳細はこちらまで。 この記事はあらかじめ弊社の言語モデルに生成させた結果を蓄積し、スクリプトにより表示したもので、リアルタイムに生成させているものではありません。リロード、もしくはこちらをクリックすると、新しい記事が出てきます。 HOME PRODUCTS ABOUT PUBLICATIONS API利用停止 サイトポリシー プライバシーポリシー CONTACT 当サイトに掲載された内容は、日本の著作権法並びに国際条約により保護されています。掲載記事・写真・データ等の無断転載を禁じます。 Copyright
GKEでStreamlitをホスティングして社内用アプリを作った話 - エムスリーテックブログ
はじめに ブンブンハローテックブログ。エムスリー AI・機械学習チームでエンジニア兼YouTuberをやっています河合と笹川です*1。本記事は、AIチームが社内向けに提供を初めたビジュアライズアプリケーションに関する解説の記事です。 GKE上のStreamlitサーバのホスティング設定と、機械学習エンジニアが社内向けの可視化を行う際の一例として、参考となれば幸いです。 はじめに Background Streamlitとは Streamlitの特徴 アプリケーション、インフラ構成 おわりに We're hiring Background 一般的に「機械学習エンジニアが社内向けの可視化アプリケーションを作る」といったケースでは、以下のようなシステム利用が考えられるかと思います。 HTML、xlsx、Googleスプレッドシートなどを作成、配布する S3、GCSのようなストレージの静的サイトホ
ヤフー、“ヤフコメ”の表示順位付け技術を無償公開 ネット上のコメント健全化目指す
APIの連携によって事業者は、AIの開発に必要な学習データや計算コストなどの初期投資をかけずに、自社サービスへのコメントの健全化に役立てることができるという。 今後もヤフーは誹謗中傷など悪質コメントに対する取り組みを進め、インターネット空間の健全化を目指すとしている。 関連記事 ヤフー、“ヤフコメ”のパトロールAIを外部提供へ 1日に2万件の誹謗中傷を削除可能 ヤフーが、「Yahoo!ニュース」コメント欄の健全化のため使用しているAIを、外部の事業者にも提供すると発表した。1日に平均約2万件の悪質な投稿を削除できる自然言語処理モデルを横展開し、投稿型サービスの健全化を図る。6月中をめどに、悪質なコメントへの対策強化に向けた検討会も開催する。 “繋がりすぎる”ネット時代の誹謗中傷問題、解決策はあるのか リアリティーショー番組でのSNS中傷を発端として、インターネット上の悪質な投稿に関する議論
時系列モデル(ARIMA/Prophet/NNなど)を統一的なAPIで扱えるPythonライブラリ「Darts」がかなり便利 - フリーランチ食べたい
時系列モデルを扱う上でデファクトスタンダードになりそうなPythonライブラリが出てきました。 時系列モデルを扱うPythonライブラリは、 scikit-learn のようなデファクトスタンダードなものがありません。そのため時系列モデルを用いて実装を行うためには、様々なライブラリのAPIなどの仕様を理解しつつ、それに合わせてデータ整形を行い、評価する必要があり、これはなかなか辛い作業でした。 スイスの企業 Unit8 が今年(2020年)6月末に公開した Darts はまさにこういった課題を解決するライブラリです。時系列に関する様々なモデルを scikit-learn ベースのAPIで統一的に扱うことができます。 github.com Darts は現在、下記のモデルに対応しています。内側では statsmodels 、 Prophet(stan) 、 Pytorch などを使っていて、
Google翻訳とPythonを使ってPDF論文を一発で翻訳する - Qiita
概要 Google翻訳APIをPythonで実行するでは、四苦八苦しながらも、Google翻訳APIにより、テキストファイルに書かれた英文を日本語に翻訳するPythonスクリプトを書いた。 元々の動機は論文の翻訳する際に、ちまちまGoogle翻訳にコピペするのが面倒くさいということであった。 そこで今回は、Pythonスクリプトを拡張し、PDFの論文を一気に翻訳するようにしたので共有したい。 そもそもなんで日本語に翻訳して論文を読むの？ もちろん、細かい内容は原文を精読する必要がある。そりゃそうだ。 日本語で読む理由はなんといっても、論文の内容を俯瞰的に把握できるということに尽きる。 俯瞰的に把握できることで、以下のメリットがある。 俯瞰的に把握した上で原文を読むことになるため、より早く理解することができる。 俯瞰的に把握できるため、原文を読む前に、自分にとって読む必要がある論文かどうかか
GPT-3の衝撃 - ディープラーニングブログ
この1週間はGPT-3のユースケースの広さに驚かされる毎日でした． シリコンバレーでは話題騒然ですが日本ではほとんど話題になっていないので，勢いで書くことにしました． GPT-3はOpenAIが開発した言語生成モデルです．名前の由来であるGenerative Pretrained Transformerの通り，自然言語処理で広く使われるTransformerモデルを言語生成タスクで事前学習しています． 先月申請すれば誰でもGPT-3を利用できるOpenAI APIが発表され，様々な業種の開発者によって驚くべきデモンストレーションがいくつも公開されています． 特に話し言葉からJSXやReactのコードを生成するデモは著名なベンチャーキャピタルから注目を集め，誇大広告気味だと警鐘を鳴らす事態に発展しています． This is mind blowing. With GPT-3, I built
TensorFlow 2 meets the Object Detection API
https://blog.tensorflow.org/2020/07/tensorflow-2-meets-object-detection-api.html https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhKis9ECId8eIwn_p0SVMBt3a1vfvKOcOZXy6zK0fWoyzXnzQTguKc2CV__6oI1Pwg22NjWsErpDKqjwQdzjilvmqwWkXPj2ncglphh6mAhpoZ_QXQiDwxnwo-GjKEP0fEOb3uBlNlh9sc/s1600/tensorflow2objectdetection.png July 10, 2020 — Posted by Vivek Rathod and Jonathan Huang, Google Research At the
機械学習モデルの推論web APIサーバーの構成 [FastAPIの実装例あり] - Qiita
本記事の目的 機械学習の推論web APIの典型的な構成を紹介します。必ずしもWEBの知識や機械学習の知識はなくても読める内容だと思います。（実装例は除く） 紹介する構成は、業務でいくつかの機械学習モデルの推論web APIをたてた経験からきていますが、あくまでも個人的見解なので、こっちのほうがいいよーってのがあればコメントで教えていただけると幸いです。 実装例ではweb frameworkは非同期処理の扱いやすさ、実装のシンプルさの観点からFastAPIを使います。 目次 機械学習の推論web APIの構成 実装例 1. 機械学習の推論web APIの構成 本記事では、2つのパターンを紹介します。 注) まず、共通部分の説明をします。機械学習の知見が必要なのは基本的に共通部分だけです。もし、機械学習に詳しくない or webに詳しくない場合は、共通部分と後述の部分で役割を分担できるので、
![機械学習モデルの推論web APIサーバーの構成 [FastAPIの実装例あり] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/82973470365428fd74bc508a50933ed484388cc0/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JUU2JUE5JTlGJUU2JUEyJUIwJUU1JUFEJUE2JUU3JUJGJTkyJUUzJTgzJUEyJUUzJTgzJTg3JUUzJTgzJUFCJUUzJTgxJUFFJUU2JThFJUE4JUU4JUFCJTk2d2ViJTIwQVBJJUUzJTgyJUI1JUUzJTgzJUJDJUUzJTgzJTkwJUUzJTgzJUJDJUUzJTgxJUFFJUU2JUE3JThCJUU2JTg4JTkwJTIwJTVCRmFzdEFQSSVFMyU4MSVBRSVFNSVBRSU5RiVFOCVBMyU4NSVFNCVCRSU4QiVFMyU4MSU4MiVFMyU4MiU4QSU1RCZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9YWZjNjNkZTJhN2NiYzQ1MWRjZDBlNTMzZjhiZTNjYWI%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBiZWUyJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1lMjMzMGZlMmI0YWE0NGQyZDQ5YjRlZGQzNTFkMmU1Mw%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D994622aea7b15f40cb643427ab13c8b6)
Tweepyを使って、PythonでTwitterのAPIを超簡単に操作する - StatsBeginner: 初学者の統計学習ノート
PythonでTwitterのAPIを触りたい PythonでTwitterのAPIを操作し、検索の自動化による情報収集・解析とか、自動でつぶやくbotの作成を可能にしたい。 そこでTweepyというライブラリを使うと、とても簡単に態勢が整いました。10行以内のコードで準備が終わります。 Tweepy ちなみにTwitterのAPIは「REST API」と「Streaming API」の2種類があって、今回使うのはREST APIのほうです。REST APIは（RESTというものの説明はREST - Wikipediaでもみてください）、HTTPリクエストを投げるとそれに対応した情報がjsonで送られてくるってやつで、特定のツイートやユーザの情報を取得したり、検索をしたり、つぶやいたりするのに使うものです。Streaming APIはTwitter上に流れる情報がリアルタイムに流れ込んでく
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
