MLメタデータによる優れたMLエンジニアリング | TFX | TensorFlow
MLメタデータによる優れたMLエンジニアリング コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 ペンギンを分類するために本番MLパイプラインを設定するシナリオを想定します。パイプラインはトレーニングデータを取り込み、モデルをトレーニングして評価し、それを本番環境にプッシュします。 ただし、後でさまざまな種類のペンギンを含むより大きなデータセットでこのモデルを使用しようとすると、モデルが期待どおりに動作せず、種の分類が正しく開始されないことがわかります。 この時点で、あなたは知ることに興味があります： 利用可能なアーティファクトが本番環境のモデルのみである場合、モデルをデバッグするための最も効率的な方法は何ですか？モデルのトレーニングに使用されたトレーニングデータセットはどれですか？この誤ったモデルにつながったトレーニングの実行はどれですか？モデルの評価結果
TensorFlow Liteを使った組み込みディープラーニング開発
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
[TensorFlowで株価予想] 9 - 年利6.79% - Qiita
TensorFlowで株価予想シリーズ 0 - Google のサンプルコードを動かしてみる 1 - 終値が始値よりも高くなるかで判定してみる 2 - 日経平均225銘柄の株価予想正解率ランキング〜 3 - 日本3506銘柄の株価予想ランキング 4 - 実際に売買したら儲かるのかシミュレーションしてみる 5 - 大きく上がると予想されたときだけ買ってみるシミュレーション 6 - 学習データの項目を増やす！隠れ層のサイズも増やす！ 7 - 株価が何%上昇すると予測したら買えばいいのか？ 8 - どの銘柄を買うか 9 - 年利6.79% はじめに これまで学習データやパラメーターなどを調整してきてなんとか黒字になる状態にもってきました。そして前回、日経平均２２５の銘柄の中から優れた成績を残せる３０銘柄を抽出しました。株価予想シリーズの最後として、この銘柄を使用した売買シミュレーションを行います
![[TensorFlowで株価予想] 9 - 年利6.79% - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/50ff6a0ee045a5dc428ac02a68b5d2ced040b2da/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnMzLWFwLW5vcnRoZWFzdC0xLmFtYXpvbmF3cy5jb20lMkZxaWl0YS1pbWFnZS1zdG9yZSUyRjAlMkYzMzcwNCUyRmVjN2NhM2ZlMDkxYWQ0NjAxZWJlYzZhNWJiMWYzOTMwZDNkNWIwNzMlMkZsYXJnZS5wbmclM0YxNjM3MDg3NzY0P2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZmbT1wbmczMiZzPWQyYWI1MmRlMjNjNTZmYzM3MGUzMTA2Nzg1ODgyNTdi%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D405056e52d61f8ead8149adbc09a89a1%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCVGVuc29yRmxvdyVFMyU4MSVBNyVFNiVBMCVBQSVFNCVCRSVBMSVFNCVCQSU4OCVFNiU4MyVCMyU1RCUyMDklMjAtJTIwJUU1JUI5JUI0JUU1JTg4JUE5Ni43OSUyNSZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1wYWQ9MCZzPTc4MzFlNGY2OGVhNjI0ZDFmOTg1ZjcxM2Y3NGZiMzIz%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBha2lyYWFrJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LXBhZD0wJnM9MjZjYzg1ZmM1Y2JiNjUzOTU5MjkyNDJjZDAxMmZjNjc%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D723cda396a5f8da73a19b37b4d289435)
Raspberry Pi4 で TensorFlow Lite GPU Delegate (OpenGLES) を試す - Qiita
0. 更新履歴 (2020/06/27) Tensorflow r2.3用に記述内容を全面修正しました。 1. はじめに ラズパイ４の OpenGLES はリリース当初 ver 3.0 でしたが、2020/1月に ver 3.1 にアップデートされました。 OpenGLES 3.1 では、ComputeShader が使えるようになり、GPGPUプログラミングしやすくなります。超うれしいアップデートです。 一方 TensorFlow Lite には、推論にかかる演算処理を CPUからGPU にオフロードする GPU Delegate 機能があります。 この GPU Delegate は、さらに V1(OpenGLES) と V2(OpenCL) とがあり、V1 は OpenGLES 3.1 が使える環境であれば動かすことができます。V2は OpenCL が使える環境での動作を想定しています
Real-time Object Detection with Phoenix and Python
This article is not just about Machine Learning and Object Detection, it’s about Elixir interoperability and how we can take advantage of the Python’s fantastic set of ML libraries, bringing their features into the Elixir world. We see how to bring YOLO, a state-of-the-art real-time object detection system, in a Phoenix web app. We start with Python, by building a small app which does the actual o
日本語BERTモデルをPyTorch用に変換してfine-tuningする with torchtext & pytorch-lightning - radiology-nlp’s blog
TL;DR ①TensorFlow版訓練済みモデルをPyTorch用に変換した (→方法だけ読みたい方はこちら) ②①をスムーズに使うための torchtext.data.Dataset を設計した ③PyTorch-Lightningを使ってコードを短くした はじめに 日本語Wikipediaで事前学習されたBERTモデルとしては, 以下の2つが有名であり, 広く普及しています: SentencePieceベースのモデル (Yohei Kikuta さん提供) TensorFlow版 Juman++ベースのモデル (京大黒橋研提供) TensorFlow版 PyTorch版(Hugging Face transformers準拠) このうち, SentencePieceベースのものは現在TensorFlow版のみの提供となっており, PyTorch版は存在しません。 そのため, 私のよう
Comparing Performance of Big Data File Formats: A Practical Guide | Towards Data Science
Photo by Viktor Talashuk on Unsplash The big data world is full of various storage systems, heavily influenced by different file formats. These are key in nearly all data pipelines, allowing for efficient data storage and easier querying and information extraction. They are designed to handle the challenges of big data like size, speed, and structure. Data engineers often face a plethora of choice
自然言語処理モデルBERTでニュースから経済指標へのインパクトを予想してみる - GMOインターネットグループ グループ研究開発本部
こんにちは。次世代システム研究室のT.I.です。 今回は近年、発展の著しい機械学習の分野として、自然言語処理について簡単に紹介し、鍵とな技術や最近の潮流についても手短にはありますが触れたいと思います。 自然言語処理とは？ 文章を他の言語に翻訳したり、文章を生成したり、文章を読んで質問に答えるなど、自然言語処理のタスクは多岐に渡ります。 機械は言葉の意味をどう学習するか？ 文章を機械学習モデルに入力するためには、文章を単語に分割し、それぞれに何らかのラベル割り振って入力します。しかし、これだけでは無味乾燥なラベルに過ぎず、文脈のなかで単語の持つ意味という情報を適切に処理することが必用となります．単語の意味というものは、どのようにして抽出すればよいのでしょうか？ひとの手で、同義語や反語などの辞書を作ることにはコストや曖昧さが残ります。 近年ではインターネットの発展により利用可能となった膨大なテ
【TF2.0応用編】TFの例の強いデータセット機能で汎用的なDataAugmentationを並列化しハイスピードで実現した件 - Qiita
import tensorflow as tf import tensorflow.keras as keras import matplotlib.pyplot as plt import sklearn import numpy as np from tqdm import tqdm (tr_x,tr_y),(te_x,te_y)=keras.datasets.cifar10.load_data() tr_x, te_x = tr_x/255.0, te_x/255.0 tr_y, te_y = tr_y.reshape(-1,1), te_y.reshape(-1,1) model = keras.models.Sequential() model.add(keras.layers.Convolution2D(32,3,padding="same",activation="relu"
TFXとは何だったのか、現状どうなっているのか - Qiita
この記事では機械学習パイプラインを本番環境にデプロイするためのエンドツーエンドなプラットフォームの提供を目指す、TFXについて述べます。 TL;DR The TFX User Guide が一番詳しいのでこれを読みましょう。 TFX とは TensorFlow Extended (TFX) は次の3つのうちのいずれかを指します。 機械学習パイプラインの設計思想 設計思想に基づいて機械学習パイプラインを実装するためのフレームワーク フレームワークの各コンポーネントで用いられるライブラリ 以降ではまず、設計思想としての TFX に触れ概略を紹介します。次に、設計思想に基づき、コンポーネントを機械学習パイプラインとしてまとめ上げ、構築を行うライブラリについて紹介します。最後に、各コンポーネントで用いられるライブラリを見ることで、それぞれのライブラリが提供する機能について紹介します。 設計思想とし
GCP を用いた高性能かつスケーラブルなオンライン予測システムの構築方法
Yaboo Oyabu, Machine Learning Specialist, Google Cloud Kazuhiro Yamasaki, Deep Learning Solution Architect, NVIDIA 概要このチュートリアルでは GCP 上で NVIDIA Tesla T4 と TensorRT Inference Server (以降 TRTIS) を用いて高性能なオンライン予測システムを構築する手順と、そのパフォーマンス計測・チューニング方法を説明します。このチュートリアルを完了すると、TensorRT に最適化された機械学習モデルが Cloud Storage に格納されます。また、 オンライン予測と負荷テストを実施するための GKE クラスタが作成されます。 本記事は Google Cloud Next 2019 Tokyo におけるセッション『GCP
脳みそが固くなったおじさんSEが機械学習を勉強してみた - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 【はじめに】 本記事は 「機械学習をどう学んだか by 日経 xTECH ビジネスAI② Advent Calendar 2019」 の19日目になります。 おじさんSEの私がどうやって機械学習を勉強したかを記します。 きっかけは当時抱えていた分類課題において、「機械学習が使えるんじゃね?」というところから始まりました。 闇雲にやっていたので正直記憶は曖昧です。 経歴 プログラム歴は30年近くあります。 小学生の時に覚えたMS BASICから始まり、Z80アセンブラ、MC68000アセンブラ、FORTRAN、C(UNIX)、C++(Ma
第3回 ディープラーニング最速入門 ― 仕組み理解×初実装（後編）
第3回 ディープラーニング最速入門 ― 仕組み理解×初実装（後編）：TensorFlow 2＋Keras（tf.keras）入門（1/3 ページ） いよいよ、ディープラーニングの学習部分を解説。ニューラルネットワーク（NN）はどうやって学習するのか、Pythonとライブラリではどのように実装すればよいのか、をできるだけ簡潔に説明する。
TensorFlowの使い方 DevFest 2019
TensorFlow の使い方 TensorFlow 2.x とエコシステム bit.ly/2PEEh0s
Waymo自動運転データセットを可視化するんだよ！ - Qiita
Waymo自動運転データセットを可視化するんだよ！ 前回まではこちら Waymo自動運転車のデータセットを覗いてみた 自動運転データセットを君も可視化してみたくないか？ 点群世界、虹の彼方に出かけようぜ！ （アドバイス、ご指摘などあればウェルカム！） この記事ですること Waymo Open Dataset(以下WOD)の可視化ウォークスルー １フレーム/全フレームの読み込み 各種センサパラメータの取得 カメラ画像 LIDARの距離画像 カメラ画像へLIDAR点群を投影 ※基本的にgoogle colab上のコードを少し改変しながら解説していきます。 WOD可視化ウォークスルー 環境 Ubuntu 18.04 LTS, i7-9700K, RTX2080 Python 3.6.8 Tensorflow-gpu 1.13.1 (tensorflow cpuはなし） Nvidia-driver
TensorFlow World 2019（米・サンタクララ）参加レポート - Platinum Data Blog by BrainPad ブレインパッド
10月28日から31日にかけて、アメリカ・サンタクララで開催された「TensorFlow World 2019」の様子を、現地から速報します。 こんにちは。 CDTO の太田です。10月28日から31日にかけて開催されたTensorFlow World 2019に参加してきたので、その様子を報告します。 開催概要 TensorFlow World は、 Oreilly社主催の TensorFlow に関するイベントです。これまで TensorFlow のイベントと言えばTensorFlow Dev Summitがありましたが、こちらは完全に開発者のためのものでしたが、今回開催された TensorFlow World は、より多くの方をターゲットとしたイベントです。 開催場所はサンタクララ、開催期間は 10月28日 - 10月31日 の4日間で、前半2日間はチュートリアルとハンズオントレーニ
タベリーを支えるアーキテクチャ - Koichi Ishida blog
目次 アーキテクチャ フロントエンド・バックエンドアーキテクチャ 分析アーキテクチャ レコメンデーションアーキテクチャ 最後に 「タベリー」は株式会社10Xが提供するパーソナルな献立を推薦するアプリです。iOSとAndroidとWebで提供しています。先日、プレスリリースで「オンライン注文機能リリース」と「2.5億円の第三者割当増資を実施したこと」をお知らせしました。献立作成、献立からの買い物リスト作成、買い物リストをネットスーパーで注文、料理を作るということがタベリー１つでできます。特にこの「オンライン注文機能」はいままでネットスーパーの商品を１つ１つ選択して注文していたものを、自動でカートに追加し注文できるのでとても便利です。 10Xではよりよいチームを目指しメンバーを募っています。エンジニアも募集しています。チームがどのように開発しているかは社長の矢本さんが書いた「10Xなプロダクト
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Tensorflow/Pytorch モデル移植のススメ
Introduction to ML Pipelines
GitHub - intel/analytics-zoo: Distributed Tensorflow, Keras and PyTorch on Apache Spark/Flink & Ray
