Рекомендации с нуля: как мы в Lamoda превратили главную страницу в ключевую точку входа для персонализированного шоппинга. Данил Комаров, Data Scientist, Lamoda Tech
dist-tf.pdf
Рекомендации с нуля: как мы в Lamoda превратили главную страницу в ключевую точку входа для персонализированного шоппинга. Данил Комаров, Data Scientist, Lamoda Tech
Better performance with the tf.data API | TensorFlow Core
WARNING: All log messages before absl::InitializeLog() is called are written to STDERR I0000 00:00:1723689002.526086 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:17
MLIR: A new intermediate representation and compiler framework
Posted by The TensorFlow MLIR Team The TensorFlow ecosystem contains a number of compilers and optimizers that operate at multiple levels of the software and hardware stack. As a day-to-day user of TensorFlow, this multi-level stack might manifest itself as hard-to-understand compiler and runtime errors when using different kinds of hardware (GPUs, TPUs, mobile). These components, starting from th
Deep learning experiments in OCaml
Last year we held a machine learning seminar in our London office, which was an opportunity to reproduce some classical deep learning results with a nice twist: we used OCaml as a programming language rather than Python. This allowed us to train models defined in a functional way in OCaml on a GPU using TensorFlow. Specifically we looked at a computer vision application, Neural Style Transfer, and
Apache Hadoop上でTensorFlowを動かす「TonY」 | OSDN Magazine
米Microsoft傘下のLinkedIn開発者は9月12日、Apache Hadoop上でTensorFlowをネイティブに動かすオープンソースプロジェクト「TensorFlow on YARN（TonY）」を発表した。 TensorFlow on YARN（TonY）は、大規模なApache Hadoop実装上で分散型で機械学習を運用するためにLinkedIn社内で開発されたフレームワーク。単一ノードまたは分散型のTensorFlowトレーニングをHadoopアプリケーションとして動かすことができる。 開発チームによると、それまで「TensorFlow on Spark」やIntelの「TensorFlowOnYARN」を試したが、信頼性や柔軟性に欠けたため新たに開発することにしたという。TonYでは、リソースネゴシエーションやコンテナ環境設定などのタスク処理を通じてTensorFlo
GitHub - nfmcclure/tensorflow_cookbook: Code for Tensorflow Machine Learning Cookbook
This chapter intends to introduce the main objects and concepts in TensorFlow. We also introduce how to access the data for the rest of the book and provide additional resources for learning about TensorFlow. General Outline of TF Algorithms Here we introduce TensorFlow and the general outline of how most TensorFlow algorithms work. Creating and Using Tensors How to create and initialize tensors i
Distributed TensorFlow でデータ並列を試してみる - Qiita
データ並列とは 前回はDistributed TensorFlowのビルドからモデル並列までを行いましたが、今回はデータ並列による学習を試してみます。並列化にはモデル並列とデータ並列の２種類がありますが、大雑把に言うと下記のようになります。 モデル並列: データ1000個に対する巨大な演算1回を100人で分担する データ並列: 1人あたりデータ10個ずつ小分けにして100人で分担する モデル並列は当然ながらモデルに依存するので、データ並列で一度に扱うデータを減らすほうが汎用性は高いといえるでしょう。 パラメータの共有 学習におけるデータ並列化では、同じパラメータを持ったモデルのコピーを複数作り、バッチを小分けにしてそれぞれのモデルのコピーに渡し、各々に微分を計算させます。つまり同じパラメータをもったモデルをデバイスごとに持たせなければならないのですが、そのあたりの扱いが少しわかりにくいです
コピペから脱却して自由に Deep Learning するための TensorFlow 再入門 - Qiita
はじめに TensorFlow はなかなかとっつきにくい部分があるかと思います。書き方が独特なので、慣れるまでに時間がかかるかと思います。公式の MNIST は一通りやったけど、自分で考えたディープニューラルネットワーク (DNN) をどう書いたらいいかわからない……なんてこともあるのではないでしょうか。 この記事では、シンプルな問題を題材にして、 TensorFlow をコピペに頼らず、自分の書きたい DNN を 低レベル API を使ってどのように書くかを最小構成で説明していきます（今さら感はありますが。。）。ベースは公式ドキュメントの Low Level APIs のあたり です。 内容としては： TensorFlow の最小構成要素 TensorFlow で線形関数のフィッティング TensorFlow で DNN を実装 のようになっています。また、以下のような方を対象としており
p2 インスタンスへの TensorFlow 導入 - Qiita
はじめに この記事は AWS の GPU マシンのなかで最も性能の高い p2 系のマシンでの、 TensorFlow の環境構築のメモです。 最終的に AWS Step Function と AWS Lambda を組み合わせて、ここで作ったマシンをスポットインスタンスとして立ち上げ自動で学習を回すことを目指しています。 ※ p2 インスタンスは現在東京リージョンには導入されていません。オレゴン・バージニアなどのリージョンを使ってください。 イメージの選定 TensorFlow 公式ドキュメント を読むと Linux の場合 Ubuntu をベースに書かれているようですので、 Ubuntu のインスタンスを選びました。 Ubuntu Server 16.04 LTS (HVM), SSD Volume Type 予め CUDA 環境などが入っている Amazon Linux の AMI 等
TensorFlowチュートリアルMNIST(初心者向け)をTensorBoardで見える化 - Qiita
TensorFlowの初心者向けチュートリアルをTensorBoardで出力 TensorFlowの初心者向けチュートリアルMNIST For ML BeginnersをTensorBoardに出力して見える化しました。ですが、TensorBoardの見方(特にGraph以外)をほとんど理解していないのでコードと簡単な解説のみです。Deep Learningを実践していくと、非常に有用そうですが、そこまでのレベルに達していないので・・・ 環境:python3.5 tensorflow1.1 参考リンク TensorFlowをWindowsにインストール Python初心者でも簡単だった件 【入門者向け解説】TensorFlow基本構文とコンセプト 【入門者向け解説】TensorFlowチュートリアルMNIST(初心者向け) TensorFlow APIメモ 【TensorBoard入門】T
初めてのTensorFlow - イントロダクションとしての線形回帰 - Qiita
（追記: 改訂版の記事を投稿しました - http://qiita.com/TomokIshii/items/0a7041ad337f68f71286 ） 先週(2015/11/9)，Deep LearninのFramework の"TensorFlow"が公開されたが，ドキュメントの説明「MNIST（手書き数字の分類）は機械学習の"Hello World" である．」という箇所に納得がいかない．CourseraのMachine Learning (Stanford)でもそうだったが，機械学習を初歩から学ぶ場合，やはり最初は Linear Regression（線形回帰）と，個人的に考える． 本記事では，最初にLinear Regression（線形回帰）のコードを調べ，次に Logistic Regression（ロジスティック回帰）のコードを作成して，TensorFlowの雰囲気をつか
Dots deep learning部_20161221
dot DeepLearning部での発表に使う資料です。 これまでの焼き直しですが、いろいろ分かりやすくなっています。 TensorFlow の概要が分かる資料などが追加されてたりします。Read less
Google Cloud DataflowでTensorFlowのGrid Searchをしてみた - Qiita
小規模なデータセットで学習をさせる時、大まかな傾向を見るためにモデルのパラメータを振りたい時があります。scikit-learnにはGrid SearchとCross Validationを同時に行うGridSearchCVという名前そのまんまな便利機能がありますが、 これをTensorFlowでも、 リモートで並列に、 そして面倒な分散処理コードを書かずに Jupyter Notebookから簡単に やりたいですよね。 はい、Google Cloud Dataflowならそれができるんです！ 準備 ここは前回の記事とほぼ同じですが、モデルによってはマシンタイプを変えた方が良いでしょう。worker_options.machine_typeの部分で指定できます。 またnum_workersを指定するとautoscaleが無効にされるようです。今回は6を設定したので、workerが6つ一気に
ClassCat® AI Research – 生成 AI – FLUX.1, SD3.5, SDXL, OpenAI API, Gemini API
新たにリリースされた Recraft V3 は、Hugging Face ベンチマーク・リーダーボードの txt2imge 分野で FLUX1.1[pro] よりも上位になり話題を呼んでいます。 Recraft V3 :…
GitHub - yahoo/TensorFlowOnSpark: TensorFlowOnSpark brings TensorFlow programs to Apache Spark clusters.
TensorFlowOnSpark brings scalable deep learning to Apache Hadoop and Apache Spark clusters. By combining salient features from the TensorFlow deep learning framework with Apache Spark and Apache Hadoop, TensorFlowOnSpark enables distributed deep learning on a cluster of GPU and CPU servers. It enables both distributed TensorFlow training and inferencing on Spark clusters, with a goal to minimize t
WindowsでGPU使ってTensorFlowを動かすメモ(TensorBoardも動かす) - Qiita
ここ何年か数ヶ月おきに「なんか流行ってるし機械学習やらねば」と思って手をつけるけどすぐに頓挫するというのを繰り返すうち，続かない原因のひとつが実行時間だと気づきました．自分以外にも実際に動くものを触りながらじゃないと勉強のモチベーションを保てない人は実行時間で苦戦しているかと思います． GPU使うと10倍くらい高速化するらしいので使いたいなと思っていたところで，TensorFlowがWindowsに対応していたので，ひとまず普段使っているWindowsノートで実行してみました． TensorFlow 0.12 が Windows をサポート CPU/GPU/AWSでのTensorflow実行速度比較 準備 環境． Windows 10(64bit) Python 3.5 (今回は本家のやつを使いました．Anaconda等のお好きな物を) NVIDIAのGPU CUDA + cuDNN 使え
分散学習用TensorFlowコードの書き方 - めもめも
何の話かというと Google Cloud MLを利用して、TensorFlowの分散学習を行う方法です。取り急ぎ、自分用のメモとして公開しておきます。 分散学習にはいくつかのパターンがありますが、最もシンプルな「データ分散」の場合を説明します。各ノードは同じモデルに対して、個別に学習データを適用して、Variableを修正する勾配ベクトルを計算します。それぞれで計算した勾配ベクトルを用いて、共通のVariableを修正していきます。 前提知識 TensorFlowの分散学習処理を行う際は、3種類のノードを使用します。 ・Parameter Server：Workerが計算した勾配ベクトルを用いて、Variableのアップデートを行います。 ・Worker：教師データから勾配ベクトルを計算します。 ・Master：Workerと同様の処理に加えて、学習済みモデルの保存やテストセットに対する
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Yahoo supercharges TensorFlow with Apache Spark | TechCrunch
TFUG#3 RettyにおけるDeep Learningの自然言語処理への応用事例 - Speaker Deck
GitHub - kevinhughes27/TensorKart: self-driving MarioKart with TensorFlow
