やっぱGPTを仕組みから勉強したい、という本をいくつか見つけたのでまとめておきます。 まず理論的な概要。 機械学習からニューラルネットワーク、CNNでの画像処理、トランスフォーマーでの自然言語処理、音声認識・合成、そしてそれらを組み合わせたマルチモーダルと章が進むので、理論的な概観を得るのにいいと思います。 最初は数式が多いのだけど、Σをfor文だと思いつつ、定義が説明文中に埋まってるPerlよりたちが悪い記号主体言語だと思えば読めるけどめんどくさいので飛ばしても問題ないと思います。 深層学習からマルチモーダル情報処理へ (AI/データサイエンスライブラリ“基礎から応用へ” 3) 作者:中山 英樹,二反田 篤史,田村 晃裕,井上 中順,牛久 祥孝サイエンス社Amazon で、もういきなり作る。 トークナイザーから全部つくっていきます。TensorFlowでBERTをつくってGPT2をつくる
Rosetta 2とは Rosetta 2は従来のインテル用のアプリをApple Silicon Mac上で自動的に変換して実行できるようにする技術です。Rosetta 2は最初からMacにインストールされている訳ではなくて、 インテルアプリを実行しようとしてRosetta 2が必要になった時点でインストールを求められます。今回はこのインストールを徹底的に拒否して検証を進めます。 Macの設定あれこれ いきなり話が脱線しますがMackbookを買って最初にやった設定をメモ書きします。 クリックとドラッグの設定 タップでクリックやドラッグがしたい人向けです。特にタップでドラッグは長めのドラッグに便利なので重宝します。以下の記事が参考になりました。 Caps LockをControlキーに変更 Aキーの横はControlじゃないと落ち着かな人向けです。JIS配列の方はそのままAの横がContr
言語&開発基礎編 PythonやSQLなどの言語と開発環境に関連することをまとめました。 機械学習に関する教材はこの次のセクションにまとめてあります。 学習環境 インストール及び使い方チュートリアルのサイトと、ある程度使い慣れた後に役立つtips集を各エディタでまとめました。 Google Colaboratory Python初学者にとって最もわかりやすいPython実行環境です。プログラミングは初めて！という方はまずこのGoogle Colaboratory(通称: Colab)から始めてみて、使い方がある程度わかったら、そのまま次のセクションのPython編に移りましょう。 Pythonプログラミング入門 難易度: ★☆☆ 東京大学の公開しているPython講座ですが、冒頭でColabの使い方を解説しています。使ったことのない方はこちらから！ Google Colabの知っておくべき
最近の自然言語処理では、大規模なテキストから単語の分散表現や言語モデルを学習させて使っています。学習する際のテキストとしては、分量や利用しやすさの都合からWikipediaが選ばれることが多いですが、その前処理は意外と面倒で時間のかかる作業です。そこで、本記事では比較的最近リリースされた前処理済みのデータセット「Wiki-40B」とその使い方を紹介します。 Wiki-40Bとは？ Wiki-40Bは、40言語以上のWikipediaを前処理して作られたデータセットです。このデータセットは言語ごとに学習/検証/テスト用に分かれているので、単語分散表現や言語モデルの学習・評価に使えます。言語ごとの対応状況については、以下のページを参照するとよいでしょう。 wiki40b | TensorFlow Datasets 前処理としては、大きくは以下の2つに分けられます。 ページのフィルタリング ペー
世界最大規模のディープラーニングを「富岳」で実施して世界一になりました - fltech - 富士通研究所の技術ブログ
はじめに こんにちは。富士通株式会社ICTシステム研究所のMLPerf HPC五人衆です。先週、国際学会SC’21 において、理化学研究所/富士通が共同で開発した新しいスーパーコンピュータ（スパコン）「富岳」がスパコンランキングで4期連続の4冠(TOP500, HPCG, HPL-AI, Graph500)を獲得しましたが、同会議で発表された、実際のディープラーニング(DL)学習処理に特化したMLPerfTM HPC ベンチマークにおいても世界一を獲得しました。 本ブログでは、このMLPerf HPCの一つのアプリケーションであるCosmoFlowの学習を「富岳」で大規模に行い世界一となった、その挑戦についてお話させてもらいます。 はじめに 背景 MLPerf HPCって何？（白幡） CosmoFlowって何？（田渕） 「富岳」って何？（田渕） プロセッサ 通信ネットワーク ストレージ 準
ライゾマティクスの Squarepusher 新 MV 制作を支えた Google Cloud | Google Cloud 公式ブログ
Squarepusher "Terminal Slam" MV 9/9 からオンラインでのフェスティバル開催となった世界有数のメディアアートの祭典、アルス・エレクトロニカ。毎年、メディアアートに革新をもたらした人物や作品・プロジェクトを表彰する「アルス・エレクトロニカ賞（Prix Ars Electronica）」が発表され、真鍋大度氏率いるライゾマティクスが制作した Squarepusher の新作 MV「Terminal Slam」がコンピューターアニメーション部門の「栄誉賞（Honorary Mention）」を受賞した。機械学習（ML）による Diminished Reality（減損現実）や Image Inpaint（画像修復）で構成された Mixed Reality（複合現実）の 4K 画像がスクリーンを覆い尽くすという新しい演出が注目を集めている。 このライゾマティクスのク
WebAssemblyでの機械学習モデルデプロイの動向
本記事はMLOps Advent Calendar 2020の 2 日目の記事です。 WebAssembly（Wasm）は機械学習モデルをデプロイする新たな手段になりうるでしょうか。 この記事では、機械学習モデル（特に Deep Learning）を Wasm でデプロイする周辺技術の動向や内部の仕組みをざっくりと説明します。 Table of Contents tkat0 です。WebAssembly(Wasm)面白いですね。 私も最近はyewでフロントエンドを書いて遊んでいます。Rust で React っぽいことできるのは新鮮で面白いです。 Wasm は、なんとなく速い JavaScript？とか機械学習で何に役立つの？とか思ってる方も多いと思います。 しかし、Wasm はブラウザでの推論時に使えるだけでなく、機械学習モデルのサービングやエッジデバイスでの推論にも使えると知ったら驚き
Raspberry Pi4 単体で TensorFlow Lite はどれくらいの速度で動く？【2020年12月版】 - Qiita
Raspberry Pi4 単体で TensorFlow Lite はどれくらいの速度で動く？【2020年12月版】RaspberryPiTensorflowLitexnnpack 1. はじめに 今から半年前の2020年6月、ラズパイ４上でTensorFlow Liteを使った様々なAI認識アプリを動かしてみて、その動作速度をまとめました。 当時のTensorFlowはバージョン2.2でしたが、現在は 2.4(rc4) へと進んでいます。進化が極めて速いDeepLearningの世界において、この半年間でTensorFlow Liteはどう変化したでしょうか。もし「手持ちのアプリは何も変えてないのに、TensorFlow Liteを新しくするだけでめっちゃ速く動くようになったぜ」というのだと嬉しいですよね。 本記事では、前回計測に用いたアプリを再び最新版のTensorFlow Lite環
ivy が面白い
ivyとはなにか 機械学習の統一を目指すフレームワークです。現在、JAX, TensorFlow, PyTorch, Numpy をサポートしています。JAXはNumpy互換なので、実質的に Tensorflow&Pytorch の共通APIのフレームワーク(かなり乱暴なまとめ方)です。 研究のペーパーでよく見るのはPytorchですが、産業ではTensorflowがよく使われるようです。 下の表にもありますが、開発者の設計思想を読むと「書き換えの手間」が想像以上に労力を必要とする文面が多く見受けられます。 余談で手元にTensorflowとPytorchの本が2冊あるのですが、実装に互換性があればそういう悩みが減って深層学習の学習が身近になるかもしれないですね。 特に初学者は「最初にどの山に登るのがいいのか」で迷うと思うので。 ivy登場以前から、学習済みモデルを異なるプラットフォームで
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
Python in Visual Studio Code – February 2021 Release - Python
We are pleased to announce that the February 2021 release of the Python Extension for Visual Studio Code is now available. You can download the Python extension from the Marketplace, or install it directly from the extension gallery in Visual Studio Code. If you already have the Python extension installed, you can also get the latest update by restarting Visual Studio Code. You can learn more abou
米Appleは11月18日（現地時間）、Macに最適化した「TensorFlow 2.4」のmacOS向けフォークのプレリリース版をGitHubで公開したと発表した。 TensorFlowは米Googleが2015年にオープンソース（Apache License 2.0）で公開した機械学習プラットフォーム。ツール、ライブラリ、コミュニティリソースを備え、Linux、Windows、macOS、Android、iOSをサポートする。 これまでのMac版TensorFlowは、MacでのトレーニングでCPUのみを使っていたが、新バージョンは「ML Compute」を活用することで、CPUだけでなく、GPUも最大限に活用する。これはIntel Macだけでなく、M1搭載の最新モデルでも可能だ。 例えば、M1搭載の13インチMacBook Proでのトレーニングは、ベンチマークで従来の最大7倍高速
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 本内容は、技術書典7 合同本『機械学習の炊いたん2』収録の、「エッジで機械学習」記事を公開したものです。内容は2019年9月時点の調査等に基づきます。 最近Raspberry Pi 4の検証結果などをみていると、エッジ、かつCPUでもそれなりの速度で動くケースもみられます。またこの後にM5StickV(K210)などを触りましたが、専用チップも使い所があります。今後、それらの動きもできれば補足したいと思います。 9/12-22に開催された技術書典9では、新刊『機械学習の炊いたん3』を頒布しました。私は、「AIエンジニア、データサイエンテ
今こそ知っておきたい「TensorFlow」--機械学習ソフトウェアライブラリーの進化 - ZDNet Japan
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 「TensorFlow」は当初、Google Brain Teamのディープラーニング研究プロジェクトだったが、Googleの50のチームの共同作業によって新たなオープンソースライブラリーとなり、「Google Assistant」「Google Photos」「Gmail」「Google Search」など、Googleのエコシステム全体に展開された。GoogleはTensorFlowを導入したことで、知覚や言語理解のタスクを使用して、ディープラーニングをさまざまな分野に応用することができる。 この入門記事では、TensorFlowに関する最新情報を紹介する。 概要 どんなものなのか：Googleは世界最大の機械学習インフラストラクチ
ローカルで機械学習モデル（データ作成から学習・推論まで）が5分で出来てしまう、Lobeが凄すぎる | DevelopersIO
1 はじめに CX事業本部の平内（SIN）です。 Lobeは、Microsoftによって無料で公開されている機械学習ツール（アプリ）です。Windows及び、Macで利用でき、学習から推論まで全てローカルで実行するようになっています。 https://lobe.ai/ ローカルで簡単に機械学習のモデルが作成できるという事で、早速やってみました。 アヒルとトマト羊を分類するモデルが、データ作成から学習、推論まで、5分程度で出来てしまいました。動画は、作成したモデルで推論している様子です。 2 テンプレート 現在、ベータ版ということで、「イメージ分類」だけとなってますが、Object DetectionとData ClassficationがCOMING SOONとなっていました。 3 作業環境 Macにも対応しているとの事ですが、私の手元では、Windowsの方が安定して利用できたので、今回
PyTorch vs. TensorFlow、ディープラーニングフレームワークはどっちを使うべきか問題【2021年】
連載目次 昨年10月、同タイトルの記事を公開して好評だった。今回は、2021年に向けた、そのアップデート記事となる。 ディープラーニング（深層学習）を実装する場合、専用のライブラリ／フレームワークを用いるのが一般的だ。ディープラーニングが流行してから直近5年ほどの間に、次々と新しいフレームワークが登場した。現在、主要なものを挙げると、 TensorFlow： 2015年登場、Google製。一番有名で、特に産業界で人気 Keras： 2015年登場、作者がGoogle社員。使いやすくて簡単。TensorFlow 2に同梱され標準API化 PyTorch： 2016年登場、Facebook製。この中では新興だが、特に研究分野で人気急上昇中 Chainer： 2015年登場、日本のPreferred Networks製。2019年12月に開発を終了し、PyTorchへの移行が推奨されている な
MakefileでDocker+Jupyter Notebookなどの機械学習環境をスマートに扱う - CC56
先日機械学習界隈の方とDockerの話をした際、Makefileを使って機械学習環境の整備をしている人は実は少数派なんじゃないかと感じました。 機械学習で使うコマンドは引数が長く、とても覚えられるものじゃありません。暗記できていてもミスタイプしたり、tmux内とかだと折り返されて何書いてるかよくわからなくなりがち 。Ctrl＋Rとかで検索かけようとしても大体はdocker...から始まるのでタイプ数多くなりがち。 Makefile は、Docker のコマンドをいい感じにまとめやすく、jupyter notebook に使う長ったらしいコマンド jupyter notebook --port 8888 --ip="0.0.0.0" --allow-root なども簡略化できます。そういうわけで、全体的な生産性の向上に繋がると信じています。 今回紹介する Makefile は Docker
#AIメーカー でGoogleが誇る自然言語処理モデル「BERT」のAIをweb上で誰でも気軽に作れるようにしました🎉 ①AIに学習させるテキストのラベルを設定 ②学習データはツイッターから自動で収集 ③AIがデータから学習 の３ステップで簡単！ みんなもAIを作って遊んでみてね！🙌https://t.co/Vnf0QITH1v pic.twitter.com/mUbImOff6j — 2z / AI MAKER (@2zn01) December 27, 2020 こんにちは。 趣味でWebサービスの個人開発をしている、2z（Twitter： @2zn01 ）と申します。 ノーコードで誰でも簡単にAIを作れる「AIメーカー」というサービスを運営しています。 AIメーカー https://aimaker.io/ 今回作ったもの 今回は「AIメーカー」でGoogleが誇る自然言語処理モデ
「Teachable Machine」はGoogleが提供する、簡単に機械学習のモデルを作成できるサービスです。Teachable Machineでは「画像プロジェクト」「音声プロジェクト」「ポーズプロジェクト」の3種類のモデルが作成可能ですが、今回は「画像プロジェクト」を作成します。 まずはTeachable Machineにアクセスします。 「使ってみる」をクリックします。 「画像プロジェクト」を選択します。 「標準の画像モデル」を選択します。 「Class1」と「Class2」にそれぞれ犬と猫の画像を10枚ずつアップロードします。 アップロードができたら、「モデルをトレーニングする」をクリックします。 学習が完了したら、「Webcam」の部分を「ファイル」に変更し、学習時に使わなかった画像をアップロードします。 無事、予測ができました。 最後に今回はTeachable Machine
この記事は、Mercari Advent Calendar 2021 の22日目の記事です。 こんにちは、メルカリ EdgeAIチームの@tkatoです。私たちのチームでは、クライアントサイドでの機械学習応用について、アルゴリズム開発からプロダクション開発までを担当しています。 12月16日に、メルカリレンズβという新しいプロダクトが公開されました。この記事では、メルカリレンズβを開発するにあたり、Webブラウザ向けに機械学習を用いたUIを開発した経験から得た知見を紹介したいと思います。 メルカリレンズβは、スマホのカメラで商品をかざすだけでメルカリでの取引相場や類似商品などの情報を表示するWebアプリです。いくらで買えるか知りたいときや、出品する値段で迷ったときに、メルカリを使ったことのないお客様でも気軽に使えるアプリを目指しています。 技術的には、機械学習を利用した直感的なUIをクライ
Should you use PyTorch vs TensorFlow in 2023? This guide walks through the major pros and cons of PyTorch vs TensorFlow, and how you can pick the right framework. PyTorch and TensorFlow are far and away the two most popular Deep Learning frameworks today. The debate over which framework is superior is a longstanding point of contentious debate, with each camp having its share of fervent supporters
PyTorch vs. TensorFlow、ディープラーニングフレームワークはどっちを使うべきか問題【2022年】
TensorFlow： 2015年11月登場、Google製。特に産業界で人気 Keras： 2015年3月登場、作者がGoogle社員。使いやすくて簡単。TensorFlow 2に同梱され標準API化 PyTorch： 2016年8月登場、Facebook（改めMeta）製。特に研究分野で人気 Apache MXNet： 2015年6月登場、2017年7月からApache Software Foundation製。AWSがコントリビュートし、Azureもサポート JAX： 2018年11月登場、Google製。NumPy互換＋自動微分＋GPU／TPUサポート。研究分野で注目度上昇中 などがある（※機械学習の分野にまで広げるとscikit-learnなどもあるが、今回は深層学習に絞る）。いずれもオープンソースである。 2022年1月現在も、主にTensorFlow／KerasとPyTorc
Google Cloudは2020年9月1日（米国時間）、機械学習モデルを利用したアプリケーション開発の苦痛を減らし、プロトタイプ開発を迅速に進める方法を公式ブログで紹介した。 概要は以下の通り。 トレーニング済みモデルを使用する 機械学習プロジェクトで最も時間がかかり、苦痛な部分の一つは、機械学習アルゴリズムに学習させるラベル付きデータを収集することだ。だが、多くの一般的なユースケースでは、機械学習モデルを一から構築する必要はなくなっている。誰かが構築、調整、メンテナンスした学習済みの機械学習モデルを利用できるためだ。Google Cloudが提供する「Cloud AI API」はその一例だ。Cloud AI APIを使えば、次のような作業に機械学習を適用できる。 音声および動画ファイルのテキスト変換 ドキュメント内のテキストの理解 構造化ドキュメント（フォームや請求書のような）の解析
Pure Rustな近似最近傍探索ライブラリhoraを用いた画像検索を実装する - Stimulator
- はじめに - 本記事は、近似最近傍探索（ANN: Approximate Nearest Neighbor）による画像検索をRustを用いて実装した際のメモである。 画像からの特徴量抽出にTensorFlow Rust bindings、ANNのインデックス管理にRustライブラリであるhoraを利用した。 RustとANNの現状および、実装について触れる。 - はじめに - - RustとANN - - pretrainモデルによる特徴量化 - - 画像特徴のインデックスと検索 - - 検索結果 - - おわりに - - RustとANN - Rustの機械学習関連クレート、事例をまとめたリポジトリがある。 github.com この中でも、ANN関連のクレートは充実している。利用する場合は以下のようなクレートが候補になる。 * Enet4/faiss-rs * lerouxrgd/
DATAFLUCT Tech Blog
2022-08-27 データ抽出に特化したAirbyteによるEL(T) 環境構築の実践 データ基盤 Airbyte ELT こんにちは。今回は、データ基盤の構築の一部を実際に体験してみたいと思います。 データ基盤を作成するにあたり、まずは、社内に眠る様々なデータを集めてくる必要があります。前回の記事では、その機能を「収集」と紹介していました。 データ基盤とは何か… データ基盤 データ分析基盤 実践 2022-08-18 Metaflowでモデルの学習をpipeline化するまで MLOps Metaflow Pipeline 皆さんは「MLOps」について取り組んでいらっしゃるでしょうか。私は2018年頃からデータクレンジングや機械学習モデルの構築や運用をしてきましたが、当時の日本で私の耳にはMLOpsという言葉が入ってくることはありませんでした。 ただMLOpsの元となった「Dev…
［速報］Google、1エクサフロップを超える性能を持つ「TPU v4」発表、Google史上最高性能のシステム。Google I/O 2021
Googleは、5月19日未明に開催したオンラインイベント「Google I/O 2021」で、同社が開発した新たなAI専用のシステム「TPU v4」を発表しました。 参考：Google、機械学習専用の第三世代プロセッサ「TPU 3.0」を発表。Google初の液冷システム採用。Google I/O 2018 「Pod」と呼ばれる1つのシステム単位あたり4096個のチップが搭載され、チップは超高速なネットワークで接続されています。 これによりPodは1エクサフロップを超える高い演算性能を実現。Google CEOのサンダー・ピチャイ氏は「私たちにとって歴史的マイルストーンだ」と次のように基調講演で話しました。 「This is the fastest system, we ever deployed at Google. Historic milestone for us.」（これまでGo
TensorFlow Developer Certificateに合格しました。受験体験記を共有したいと思います。 合格するためにやったこと DeepLearning.AI テンソルフロー開発者 プロフェッショナル認定 - Coursera ローレンスさんとアンドリューさんの講座をやりました。 無料で動画の視聴ができ、登録しても7日以内に解約すれば無料でテストが受けれます。 https://www.coursera.org/professional-certificates/tensorflow-in-practice 4コースx4Weekありますが、集中してやれば1日で終わります。日本語字幕で動画の自動再生をオンにするのがオススメです。 内容を完全に理解する必要はありません。とにかく、最後まで視聴することが大事です。 試験中はコードを書くことは一切ありません。ローレンスのコードをコピペす
1. Tensorflow/Pytorchのモデル実装の基礎 2. Tensorflow/Pytorchの比較 3. Tensorflow/Pytorchの重み変換のテクニック 4. 実践Tensorflow/Pytorchのモデル移植 について紹介します 第３回分析コンペLT会 htt…
米Googleは7月12日（現地時間）、Gmailの受信箱に表示する送信者のアイコンとして、企業ロゴを表示できるようにしたと発表した。BIMI（Brand Indicators for Message Identification）を採用した企業の認証済みのロゴのみが表示されるので、なりすまし対策になる。 BIMI採用のロゴは、Gmail内で表示されるアカウントの頭文字やGoogleアカウントのプロフィール画像に代わって表示される。 BIMIは、メールの送信ドメイン認証技術、「DMARC」に基づく業界標準。Googleの他、Verizon MediaやTwilio、Fastmailなどが取り組みに参加している。 DMARCなどのセキュリティプロトコルはデジタル証明書と暗号化によるため、検証済みのロゴは実際の企業のメールドメインにしか表示されず、なりすましメールで真似することはできないことに
GitHub - mrdbourke/tensorflow-deep-learning: All course materials for the Zero to Mastery Deep Learning with TensorFlow course.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
TOPICS 発行年月日 2020年11月 PRINT LENGTH 832 ISBN 978-4-87311-928-1 原書 Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow, 2nd Edition FORMAT PDF EPUB 本書はコードを動かしながら学び、機械学習が使えるようになることを目的とした書籍です。現実的な問題を出し、サンプルデータを示しながら、機械学習で問題を解決に導くまでの一連の手法を体系立てて解説します。 深層学習以外の機械学習にはscikit-learnを使い、機械学習プロジェクトの流れ、データからモデルを学習する方法、データの処理・クリーニングなどの基礎から、特徴量の選択や過学習、データの次元削減など応用までを学びます。深層学習にはTensorFlowとKerasを使い、ニュ
GitHub - yeemachine/kalidokit: Blendshape and kinematics calculator for Mediapipe/Tensorflow.js Face, Eyes, Pose, and Finger tracking models.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
はじめに Turing株式会社の自動運転MLチームでエンジニアをしている越智 (@chizu_potato)と塩塚 (@shiboutyoshoku) です。 Turingが目指す自動運転は、大量のデータで学習された非常に賢い機械学習モデルを活用することです。そのために、走行パートナーの方たちと協力して創業時からこれまで大量の走行データを取得してきました。走行データは車両に取り付けられた複数カメラによる360度をカバーした動画と、そのときの速度やGPSなどの走行ログを含んでいます。データサイズは80TBを超え、時間換算で3500時間程度です。 これだけのデータサイズでモデルを学習するためには、1枚のGPUだけで頑張るには限界があり複数のGPU (multi-GPU) による分散並列学習が必要となってきます。しかし、ただ分散並列学習を行うだけではmulti-GPUに対し、データの入出力 (I
「分析コンペLT会」は、KaggleやSIGNATEなど、データ分析のコンペに関連するLT（ライトニングトーク）を行う会です。rishigami氏は、TensorFlow／PyTorchのモデル移植について発表しました。全2回。前半は、TensorFlow、PyTorchそれぞれのモデル実装の基礎と、それぞれの違い、重み変換のテクニックについて。 フレームワークにまつわる、ありがちな困りごと 石上氏：今回は「TensorFlow／PyTorchモデル移植のススメ」というタイトルで発表します。 あらためて自己紹介ですが、私は石上と申します。ハンドルネームは「rishigami」でやっていて、Kaggleでは現在Competitions Masterとなっています。ただ最近はちょっと忙しくて、Kaggleに参加できておらず、つい最近NFLコンペが開催された（※取材当時）ということで、ちょっとそ
Googleは2020年11月18日（米国時間）、機械学習向けのライブラリ群「TensorFlow」の公式ブログで、Appleが2020年11月に発表したばかりのMac専用SoC（System on Chip）「M1」およびIntel版Macに最適化したMac版の「TensorFlow」を発表した。TensorFlowはGoogleが開発し、オープンソースソフトウェアとして公開する機械学習向けのソフトウェアライブラリ群だ。 今回発表されたMac版TensorFlowは「macOS 11.0」以降の環境で動作する。本稿執筆時点では次のプレリリース版とアドオンが公開されている。 TensorFlow r2.4rc0 TensorFlow Addons 0.11.2 AppleのMachine Learning Researchが公表したベンチマーク資料。Macに最適化されたTensorFlow
Googleが開発した機械学習のためのソフトウェアライブラリ「TensorFlow」を使用し、NINTENDO64でマリオカートの全自動走行を成し遂げた人物が登場しました。 Can an AI learn to drive Mario Kart 64? - YouTube Let’s-a Go, TensorFlow! - Hackster.io https://www.hackster.io/news/let-s-a-go-tensorflow-713147d81e18 マリオカートの全自動走行を成し遂げたのは、セキュリティ研究者であるstacksmashing氏。stacksmashing氏は2017年に登場した「TensorFlowを用いて人工知能(AI)がマリオカート64をプレイできるように学習させる」というプロジェクトに感銘を受けたとのことですが、このプロジェクトは実機ではなくエ
Apple Silicon M1 でtensorflow-macosを実行したらめちゃくちゃ速かった。 - Qiita
Apple Silicon M1 でtensorflow-macosを実行したらめちゃくちゃ速かった。MacDeepLearningAppleTensorFlowAppleSilicon はじめに Macbook Air (AppleSilicon, M1)を購入しました。 Appleが設計したM1は下馬評以上の性能を叩き出し、とても盛り上がっていますね。 M1のハードウェアとしての魅力はもちろんすごいですが、M1に合わせた各種ソフトウェアの最適化も魅力的です。 AppleがTensorflowをフォークしてM1で最高のパフォーマンスを発揮するように最適化したコード(tensorflow-macos)を公開しています。 https://github.com/apple/tensorflow_macos#requirements tensorflowのブログ記事でパフォーマンスが比較されてい
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GPTの仕組みをちゃんと勉強したい本 - きしだのHatena
絶対にRosetta 2を入れてはいけないM1 Mac開発環境構築 2021-2-1版
【2023年版】機械学習の日本語無料学習教材まとめ - Qiita
Wikipediaの前処理はもうやめて「Wiki-40B」を使う - Ahogrammer
TensorFlow で機械学習ゼロからヒーローへ
TensorFlow 事例 : Coral を⽤いて回転寿司の会計を⾃動化するくら寿司
M1 Mac、「TensorFlow」の新Mac版でのトレーニングが従来の7倍速
誰でもノーコードで画像判別の機械学習モデルを作成できる「Lobe」【イニシャルB】
Spectre の影響を受けないウェブを作るための概念実証について
エッジで機械学習ってなんだろう -ブラウザ、スマホ、IoT機器での推論を概観する- - Qiita
Googleが誇る自然言語処理モデル「BERT」のAIを簡単に作れるWebアプリを作ってみた - Qiita
Googleの無料サービスTeachable Machineで画像認識モデルを作成してみた | Ledge.ai
メルカリレンズβ WebAssembly × AIのプロダクト開発 | メルカリエンジニアリング
PyTorch vs TensorFlow in 2023
Google Cloud、機械学習アプリ開発の苦痛を減らすノウハウを紹介
TensorFlow Certificateに1日で合格する方法 - Qiita
Tensorflow/Pytorch モデル移植のススメ
Gmail、なりすまし対策で送信元アイコンに企業ロゴ表示を可能に
scikit-learn、Keras、TensorFlowによる実践機械学習 第2版
TFRecordとWebDatasetを使った分散並列学習とパフォーマンス調査
TensorFlowとPyTorchの相互変換はどうやるか 機械学習の困りごとに使える重み変換のテクニック
機械学習が「爆速」に GoogleがApple M1チップ専用TensorFlowライブラリを発表
AIを用いたマリオカート64の全自動走行がNINTENDO64の実機で成功
dengekionline.com
cooper7447.hatenablog.com
s-max.jp
djaoi.blog.jp
news.yahoo.co.jp
silver-dragon.hatenablog.com