(Part 1) tensorflow2でhuggingfaceのtransformersを使ってBERTを文書分類モデルに転移学習する - メモ帳
現在、NLPの分野でも転移学習やfine-tuningで高い精度がでる時代になっています。 おそらく最も名高いであろうBERTをはじめとして、競ってモデルが開発されています。 BERTは公式のtensorflow実装は公開されてありますが、画像分野の転移学習モデルに比べると不便さが際立ちます。 BERTに限らず、公式のtensorflow実装は難解で、tf.kerasの学習済みモデルに関してもほとんど画像のモデルしかないです。 ただし、pytorch用のライブラリにpytorch-transformersという有用なものがありまして、 BERT, GPT-2, RoBERTa, DistilBert, XLNetなどの多言語学習済みモデルが利用可能で、カスタマイズもしやすいということで有名でした。 このライブラリが名前をかえてtensorflow2に対応してくれました。 Transform
Pytorch+Tensorflowのちゃんぽんコードのすゝめ（tfdsでpytorchをブーストさせる話） - Qiita
この記事は、 『Pytorchユーザーが実験速度で悩んでるときに、Tensorflowを部分的に使ってみるの割とアリでは説』 をちょっと検証してみたという内容になります とどのつまり(編集 2020/07/20) ちゃんぽんの方が純粋pytorchより速かったりもしますが、いやでもやっぱ普通はフレームワーク統一した方がいいですたぶん。(可読性、コードの再利用性的に) 背景(ちょっとポエムを…本題は『やったこと』からです) Pytorch v.s. Tensorflow 先日こんなツイートを見かけました(引用失礼します) TensorFlowが書きにくいというのはどういうことだろう．インターフェイスとして書きにくいというのであれば，それはないと思う，というかどのツールも正直大して変わらない．エラーの出処が深すぎて（あとデコレータでスタック改造していたりするので）デバッグできないというのは分か
KubernetesからGPUを使ってTensorflowを動かす - Qiita
Kubernetes 1.8ではα版（実験的）機能としてPodからGPUを使うことが可能になっています。 KubernetesからGPUを使うメリットは、ディープラーニングとコンテナ・オーケストレーションを組み合わせられることです。 ディープラーニングのトレーニングフェーズではGPUを使うことでスピードアップするのが一般的です。 NvidiaもDockerからGPUとCUDAを使うためのNvidia Dockerを提供しており、コンテナ上でGPUを使うのは有効な手段として広まっていっていると感じます。 KubernetesでもGPU使用が要望されており、現在はα版として使用可能になっています。 KubernetesからGPUを使う方法 詳しくは以下で書かれていますが、ホストサーバにインストールしたNvidia CUDAやCudnnのライブラリをPodにマウントして呼び出す仕組みになっていま
数学系向けDeepLearning/Tensorflow入門 - Qiita
DeepLearningは最近ブームであり,その有名なライブラリとしてTensorflowがあります． この記事ではDeepLearningの基本的な部分を数式を使って書き下すこととTensorflowの使い方を紹介します. 今更っていう気もしますが…，そこは気にしないでおくことにします 主な対象はベクトル空間やテンソル積等をある程度知っているけれど，DeepLearningは知らない人です. なので表記も大学の数学でよく出てくるものしています. なおニューラルネットワークの積分表現には触れません. 三層パーセプトロン ニューラルネットワークの基本的な形の一つである三層パーセプトロンを定義します. 定義 (三層パーセプトロン) 行列$W_1 \in M_{n_0 n_1}(\mathbb{R}),W_2 \in M_{n_1 n_2}(\mathbb{R})$とベクトル$b_1 \in \
機械学習を使ってUI自動テストをサイト間で再利用する - DeNA Testing Blog
SWETの薦田（@toshiya-komoda）です。 今回は第3回目の記事で言及させていただいた機械学習とUIテストに関して実験的に進めている技術開発について紹介させていただこうと思います。 この記事で紹介している内容の実装はGitHubにアップロードしていますので、もし興味がある方はこちらも覗いてみていただければと思います。 こちらはTensorFlow Advent Calender 2017第７日目の記事にもなっています。機械学習の実装の中でKerasを用いてます。 とりあえずデモ 最初に以下のデモ動画をご覧いただきたいです。会員登録フォームに対する自動テストのデモです。各入力欄に適切な情報を入力しつつ、パスワード欄にだけ'weak'という不正なパスワード文字列を入力して、バリデーションで弾かれることを確認するテストです。デモでは入力欄に値を埋める部分を、Chrome Extens
CycleGAN
Transferring characteristics from one image to another is an exciting proposition. How cool would it be if you could take a photo and convert it into the style of Van Gogh or Picasso! These are examples of cross domain image transfer - we want to take an image from an input domain $D_i$ and then transform it into an image of target domain $D_t$ without necessarily having a one-to-one mapping betwe
Google I/O で注目の TensorFlow ロボット、その「賢さ」を支える機械学習 | Google Cloud 公式ブログ
Google Cloud デベロッパーアドボケイト 佐藤一憲 ブレインパッド テクノロジー＆ソフトウェア開発本部 基盤開発部 部長 下田 倫大 米国マウンテンビューで先月開催された開発者イベント Google I/O 2017 において、Google は機械学習を用いたロボットアームのデモ「Find Your Candy」を展示しました。来場者が自分の好きなお菓子の好みを音声でロボットに教えると、テーブルに並ぶお菓子の中から好みに一番近いものをつかんで渡してくれます。このデモは、6/14 から東京で開催される Google Cloud Next '17 Tokyo の体験エリアでも展示されます。 このロボットに「私はソフトキャンディが好きです」「甘いチョコが食べたい」「ハードミントはある？」といった具合にお菓子の好みを声で伝えると、ロボットは音声認識と自然言語処理を用いてそれを理解し、好み
[TensorFlow] Python ⇔ Protocol Buffers ⇔ GPU/分散コンピューティング - Qiita
はじめに ディープラーニングのフレームワークTensorFlowは各種処理をProtocol Buffers経由で外だしすることで、PythonとGPU／分散コンピュータとのスイッチングを減らし、計算を効率化しています。 Protocol Buffersは、Googleの分散コンピューティングを支える技術で、言語非依存、プラットフォーム非依存にデータ構造をシリアライズする仕組みです。現在、C++, C#, GO, Java, Pythonがサポートされています。 TensorFlowは、処理をノードとしてグラフを構築し、一気に計算する仕組みになっています。 グラフの例 以下TensorFlowのグラフがProtocol Buffers形式にシリアライズされる様子を見てみたいと思います。 サンプルプログラム TensorFlowで足し算をしてみます。 初期値０で加算１を３回実行します。 im
![[TensorFlow] Python ⇔ Protocol Buffers ⇔ GPU/分散コンピューティング - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/3f48ed5d137205d5a0069f17ef0f9b9362408fde/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCVGVuc29yRmxvdyU1RCUyMFB5dGhvbiUyMCVFMiU4NyU5NCUyMFByb3RvY29sJTIwQnVmZmVycyUyMCVFMiU4NyU5NCUyMEdQVSUyRiVFNSU4OCU4NiVFNiU5NSVBMyVFMyU4MiVCMyVFMyU4MyVCMyVFMyU4MyU5NCVFMyU4MyVBNSVFMyU4MyVCQyVFMyU4MyU4NiVFMyU4MiVBMyVFMyU4MyVCMyVFMyU4MiVCMCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1jbGlwPWVsbGlwc2lzJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MzlkZGEzZTIyYzdlY2QwZDM5YTNlNDM1ZTQ1YTUzMjM%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwaGl0b21hdGFnaSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MGUwMmMwYzgwMjExM2UxNDQwYzM1MjY5NjA3NDMwOGE%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Def43bb86784b9ead3611923c937842d5)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Installing CUDA TK 8 and Tensorflow on a Clean Ubuntu 16.04 Install