TFRecordとWebDatasetを使った分散並列学習とパフォーマンス調査
はじめに Turing株式会社の自動運転MLチームでエンジニアをしている越智 (@chizu_potato)と塩塚 (@shiboutyoshoku) です。 Turingが目指す自動運転は、大量のデータで学習された非常に賢い機械学習モデルを活用することです。そのために、走行パートナーの方たちと協力して創業時からこれまで大量の走行データを取得してきました。走行データは車両に取り付けられた複数カメラによる360度をカバーした動画と、そのときの速度やGPSなどの走行ログを含んでいます。データサイズは80TBを超え、時間換算で3500時間程度です。 これだけのデータサイズでモデルを学習するためには、1枚のGPUだけで頑張るには限界があり複数のGPU (multi-GPU) による分散並列学習が必要となってきます。しかし、ただ分散並列学習を行うだけではmulti-GPUに対し、データの入出力 (I
Introducing TensorFlow Graph Neural Networks
Posted by Sibon Li, Jan Pfeifer and Bryan Perozzi and Douglas Yarrington Today, we are excited to release TensorFlow Graph Neural Networks (GNNs), a library designed to make it easy to work with graph structured data using TensorFlow. We have used an earlier version of this library in production at Google in a variety of contexts (for example, spam and anomaly detection, traffic estimation, YouTub
TPUでBERTを使用してGLUEタスクを解決する | Text | TensorFlow
TPUでBERTを使用してGLUEタスクを解決する コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 BERTは、自然言語処理における多くの問題を解決するために使用できます。あなたはどのようにより多くのタスクのための微調整BERTに学びますGLUEベンチマーク： COLA （言語受容性のコーパス）：文は文法的に正しいですか？ SST-2 （スタンフォード感情ツリーバンク）：タスクは、所与の文の感情を予測することです。 MRPC （マイクロソフトリサーチ言い換えコーパス）：文のペアは意味的に等価であるかどうかを確認します。 QQP （Quoraの質問Pairs2）：質問のペアは意味的に等価であるかどうかを確認します。 MNLI （多ジャンル自然言語推論）：前提文と仮説文を考えると、タスクは、前提が仮説（含意）を必要とするかどうかを予測することであるという仮説（
Universal Sentence Encoder | TensorFlow Hub
This notebook illustrates how to access the Universal Sentence Encoder and use it for sentence similarity and sentence classification tasks. The Universal Sentence Encoder makes getting sentence level embeddings as easy as it has historically been to lookup the embeddings for individual words. The sentence embeddings can then be trivially used to compute sentence level meaning similarity as well a
ユニバーサルセンテンスエンコーダー | TensorFlow Hub
ユニバーサルセンテンスエンコーダー コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 このノートブックでは、ユニバーサルセンテンスエンコーダーにアクセスし、文章の類似性と文章の分類タスクに使用する方法を説明します。 ユニバーサルセンテンスエンコーダーでは、これまで各単語の埋め込みをルックアップしてきたのと同じくらい簡単に文章レベルの埋め込みを取得することができます。取得された文章埋め込みは、文章レベルでの意味の類似性を計算するためだけではなく、少ない教師ありトレーニングデータを使うことで、ダウンストリームの分類タスクのパフォーマンスを改善するために使用することができます。 セットアップ このセクションは、TF Hub でユニバーサルセンテンスエンコーダーにアクセスする環境をセットアップし、エンコーダーを単語、文章、および段落に適用する例を提供します。 %%c
MLメタデータによる優れたMLエンジニアリング | TFX | TensorFlow
MLメタデータによる優れたMLエンジニアリング コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 ペンギンを分類するために本番MLパイプラインを設定するシナリオを想定します。パイプラインはトレーニングデータを取り込み、モデルをトレーニングして評価し、それを本番環境にプッシュします。 ただし、後でさまざまな種類のペンギンを含むより大きなデータセットでこのモデルを使用しようとすると、モデルが期待どおりに動作せず、種の分類が正しく開始されないことがわかります。 この時点で、あなたは知ることに興味があります： 利用可能なアーティファクトが本番環境のモデルのみである場合、モデルをデバッグするための最も効率的な方法は何ですか？モデルのトレーニングに使用されたトレーニングデータセットはどれですか？この誤ったモデルにつながったトレーニングの実行はどれですか？モデルの評価結果
Towards ML Engineering: A Brief History Of TensorFlow Extended (TFX)
Software Engineering, as a discipline, has matured over the past 5+ decades. The modern world heavily depends on it, so the increased maturity of Software Engineering was an eventuality. Practices like testing and reliable technologies help make Software Engineering reliable enough to build industries upon. Meanwhile, Machine Learning (ML) has also grown over the past 2+ decades. ML is used more a
Image captioning with visual attention | Text | TensorFlow
The transformer decoder is mainly built from attention layers. It uses self-attention to process the sequence being generated, and it uses cross-attention to attend to the image. By inspecting the attention weights of the cross attention layers you will see what parts of the image the model is looking at as it generates words. This notebook is an end-to-end example. When you run the notebook, it d
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - tensorflow/model-card-toolkit: A toolkit that streamlines and automates the generation of model cards
Dive into TensorFlow Data Validation
GitHub - cs230-stanford/cs230-code-examples: Code examples in pyTorch and Tensorflow for CS230
Solve GLUE tasks using BERT on TPU | Text | TensorFlow
Semantic Search with Approximate Nearest Neighbors and Text Embeddings | TensorFlow Hub
Two approaches for data validation in ML production
GitHub - google-deepmind/jraph: A Graph Neural Network Library in Jax
GitHub - deepmind/graph_nets: Build Graph Nets in Tensorflow
community/rfcs/20191017-tfx-standardized-inputs.md at master · tensorflow/community
GitHub - google/ml-metadata: For recording and retrieving metadata associated with ML developer and data scientist workflows.
The surprising impact of mask-head architecture on novel class segmentation
The surprising impact of mask-head architecture on novel class segmentation