Using Cloud Dataflow to run parallel predictions with your TensorFlow model - めもめも
Suppose that you've finished training your prediction model with TensorFlow, yeay! Now you have to make predictions with the trained model for tens of thousands of data. How will you do it? I will show you one of possible choices. You can use Cloud Dataflow for general parallel batch processing and it's not hard to apply machine learning models in this framework. What is Cloud Dataflow? Cloud Data
Girl Friend Factory - 機械学習で彼女を創る - - Qiita
指定した属性を持つ彼女を生成する機械学習を行い、それを使用したデモを開発しました。 初めまして、ドワンゴ2016年新卒の@Hiroshiba です。私は普段、今流行りのディープラーニング技術を使った研究をしています。この技術の表現力は過去の色んな機械学習に比べてとても優秀で、去年の今頃なんかにはDCGANという画像生成系の研究に革命を起こした手法を使って、様々な顔イラストを自動生成する記事が人気を集めました。 DCGANとは 今回作成したデモで用いた技術であるDCGANについて軽く触れておきます（図Ａ）。そもそもDCGANはDeep Convolutional GAN（≒深層GAN）の略です。更にGANはGenerative Adversarial Networkの略で、その名の通り、本物に近い画像を生成する生成器と、画像が本物か判別する判別器が敵対（Adversarial）して学習が進行
高速ファイル/メッセージ転送 K2HFTFUSE の紹介
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、Technical Yahoo の中谷です。 今回は、Yahoo! JAPANからオープンソースとして公開した高速ファイル/メッセージ転送システムの K2HFTFUSE の紹介をします。 K2HFTFUSEは、確実で高速なファイル/メッセージ転送を低コストで実現するために開発されたシステムです。 K2HFTFUSE（K2Hash File Transaction by FUSE-based file system）とは、FUSE（Filesystem in Userspace）によるユーザースペースでのマウント機能を利用したファイル/メッセージ転送システムです。 K2HFTFUSEは、仮想ファイルシステムを提供し、マウ
Dominant Resource Fairness on YARN - Qiita
この記事はDistributed computing Advent Calendar8日目の記事です。 Hadoopをはじめとする大規模な計算リソースを効率よく使うにはリソーススケジューラが必要です。分散システムでのリソーススケジューラといえばYARNやMesosといったシステムが有名ですが、今回は分散システムでの効率のよいスケジューリングを定義したDominant Resource Fairnessという考え方とそのYARN上での実装についてまとめてみました。 "Fairness"の難しさ 分散システムに限らずリソーススケジューリングにおいて目標とされるもののひとつとして"Fairness"があります。曖昧な言葉ではありますが、効率のよいシステムでは限られたリソースを複数のユーザ、タスク間で共有してそれぞれの要求を満たしつつ、全体のスループットもあげていくことが求められます。このときにど
ドワンゴの呪い - @nalgami
ドワンゴの呪いって？ ドワンゴの自由度の高い社風や環境に慣れきった体で転職すると、業務以外の思わぬところで辛い思いをするということ。 この記事は転職（その２） Advent Calendar 2016の12月09日の記事です。 http://qiita.com/advent-calendar/2016/job2qiita.com 早いもので2016年も残すところあと3週間となりました。今年を振り返ってみると、自分を取り巻く環境が目まぐるしく変わり、多くの新しい経験をした年であったと思います。 1月に3年勤めた株式会社ドワンゴのエンジニアを退職するところから始まり、フリーランスになってからは同人作家向けの確定申告サービスを作り、超会議の経験を活かしてニジエ大運動会の企画運営を行い、株式会社DMM.comで亀チョクとして業務委託を受けたりしました。現在はWEBと全く関係のない事業会社で新規事業
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Distributed Stream Quality of Life Improvements
