'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
TensorFlowでseq2seqを試してみたりしているのですが、やはりローカルPCのCPUでディープラーニングはつらすぎるということがよくわかったのですが、とりあえずさくっとAWSのGPUインスタンスで対応できないかと思ったので、やってみます。 けっこう色んな人が取り組んでいて情報はそこそこあるのですが、結果的に普通のUbuntuでやってうまくいきました。 EC2インスタンスを立ち上げる セットアップ Cuda ToolkitとcuDNNのセットアップ TensorFlowのチュートリアル「Deep MNIST for Experts」を実行する 実は失敗していた 追記 EC2インスタンスを立ち上げる スポットインスタンスの方が相当安いのですが、セットアップの手間がそこそこあるので、普通のインスタンスにして、学習させてないときは寝かせておく運用にしようと思います。 AWSのEC2の「L
tensorflow/README.md at master · tensorflow/tensorflow · GitHub
Dismiss Join GitHub today GitHub is home to over 36 million developers working together to host and review code, manage projects, and build software together. Sign up TensorFlow CMake build CMAKE build is deprecated for TensorFlow. Please use bazel to build TF for all platforms. For details, see the TensorFlow install guide. This directory contains CMake files for building TensorFlow on Microsoft
※Makefileに一部間違いがあったため、修正しました bazelはビルドシステムの一つで、Googleが開発し社内でも使用している。makeなどの従来のビルドシステムと比べると、簡潔な設定で幅広い言語・ビルド対象に対応していて、ビルドが必要なものはほとんどbazelで解決できる。 Bazel - a fast, scalable, multi-language and extensible build system" - Bazel 例えば、Goのビルドと同時にdockerイメージもビルドしたい、protoもビルドしたいといった場合、通常であれば個別にビルドコマンドを打つ必要があるのだが、この作業をbazelに一本化でき、とても便利。 必要な物 以下のものを使用する: 1. bazel 2. rules_go 3. gazelle 4. rules_docker rules_goはGo
ヴァイオレット･エヴァーガーデン | Netflix
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
Introduction Gradle has emerged as the build tool of choice for projects within the JVM ecosystem, including Kotlin. It is the most popular build tool for open source JVM projects on GitHub. It is downloaded on average more than 15 million times per month and has been counted in the Top 20 Most Popular Open Source Projects for IT by Techcrunch. Many popular projects have migrated from Maven to Gra
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
Bazel 1.0 - Bazel
Bazel 1.0 has just been released. As we announced before we start following semantic versioning for Bazel releases. We'll maintain at least three-month stability windows between Bazel major (backward-incompatible) releases. Incompatible changes Before updating to Bazel 1.0, first check if your codebase is compatible either by running bazelisk --migrate or by building your code with Bazel 0.29.1 an
ブラックリスト | Netflix
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
Massively parallel builds with just a few lines of configuration and no maintenance burden. BuildBuddy provides remote build execution and caching as a fully-managed cloud service. Supports custom Docker images, and automatically scales to thousands of worker nodes.
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
Improving Build Performance of LINE for iOS with Bazel
As of October 1, 2023, LINE has been rebranded as LY Corporation. Visit the new blog of LY Corporation here: LY Corporation Tech Blog Background Over the years, the LINE for iOS source tree has grown to a size of hundreds of modules. As of late 2019, the project consists of more than 1.4 million lines of code without showing any signs of stopping its increase. This in turn, tripped up the build ti
TensorFlowのGPU版をMacに対応させる
MacでもTensorFlowでGPUに対応することができるようになりました。ディープラーニングの学習には膨大な計算量がかかります。計算速度を速めることで、ハイパーパラメータやアイデアの検証サイクルが速まり、能率よく開発することができます。 こちらがNVIDIAが計測したAlexNetの測定結果です。 なぜGPUはディープラーニングに向いているか GPUで処理した結果はCPUの7倍以上は性能を発揮できているのです。これは、GPUが行列演算・並列計算を得意としていてニューラルネットと相性がいいからです。 Googleが開発したTPUはさらにGPUの10倍の性能を出すらしい。恐ろしい。 インストール まずは自身のMacがNVIDIAのGPUを搭載しているか確かめて、CUDAをインストールしましょう。 $ brew upgrade $ brew install coreutils $ brew
Google Developers Summit Tokyo 2016 Android まとめ - Qiita
※走り書きしたメモなので間違っている箇所等あると思います 細かいまとめは他の記事とあまり変わらない いくつかリンク追加したくらい 個人的まとめ Android N細かいところで頭抱えそうなことが多そうな印象 とりあえずAPI Diffとかとにらめっこしつつ、どれを対応したらいいか判断 ただユーザ視点で見れば良いアップデートが多いので、積極的に開発者としても歩み寄りたい Gradle DSLはちゃんと最近ドキュメントまとまってるよ Android Plugin DSL Reference Java 8のAPIはminSdkVersionがN(24)じゃないと使えない lambdaは後方互換性がある それ以外のStreamやOptionalはNで追加されるAPIなので、minSdkVersion 24にするか、バージョンチェックして分岐して使うか バックポートライブラリ積極的に使っていこう L
GitHub + CircleCIでAWS Device Farmでのテストを自動化 - ZOZO TECH BLOG
VASILYの自動化大好きAndroidエンジニア堀江(@Horie1024)です。今回、GitHubとCircleCIを利用したAWS Device Farmでのテストの自動化ついてご紹介しようと思います。 概要 Calabashで書いたAndroidアプリのE2EテストをAWS Device Farmで実行する GitHub + CircleCIでAWS Device Farmでのテストの実行を自動化した Hubotを利用して実行中テストの監視とSlackへの通知をやってみた Cloud Test Labを早く試したい BazelのロードマップにCloud Test Labのサポートが記載されている サンプルプロジェクト サンプルプロジェクトはこちらです。サンプルアプリはLogin画面とHello world!と表示されるだけの画面を持つアプリで、このアプリをテストするCalabash
Introduction to Go 1.11 The latest Go release, version 1.11, arrives six months after Go 1.10. Most of its changes are in the implementation of the toolchain, runtime, and libraries. As always, the release maintains the Go 1 promise of compatibility. We expect almost all Go programs to continue to compile and run as before. Changes to the language There are no changes to the language specification
Modules on CPAN alphabetically
CPAN's 34723 modules distributions in alphabetical order by modules contained in the distributions Tue May 7 05:41:08 2024 UTC The list contains modules distribution files on CPAN for modules that are not included in the perl standard distribution but are included in the current release of Perl Module List. To keep the size of this list acceptable, it does not list which modules are in each packag
きっかけ 元々、distroless-rubyは手作業で必要なファイルを抜き出して作成したものでした。 Rubyが動くdistroless image は作ることができるのか - Qiita Rubyのdistroless imageをmagicpakで構築できるのか？ ただ、この方針ではsinatraなどRuby単体で完結するプログラムは手軽に動かすことはできても、外部に依存するものがあるプログラムを動かすことはできません。具体的な例を挙げるならPostgreSQLをRubyで使用するために必要なpq gemはlibpq-devをapt経由でインストールする必要がありますが、distroless image内にはaptが存在しないのでインストールすることができません。multi stage buildを使用し、aptによって追加されたファイルを持ってくることも出来無くはないですが、依存す
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
Bazel Golang Hello World
Warning: only use if you have a severe need for speed and want to be more productive. Bazel is seriously amazing. The primary Kubernetes/Kubernetes repository has had Bazel enabled for months, but I had run into problems as far as building with Bazel on my MacBook Pro. The learning curve to use bazel is a bit steep, but once @justinsb and I got it running in kops: Holy Cow Batman! Kops tests and b
Devpod: Improving Developer Productivity at Uber with Remote Development
You’re seeing information for Mexico . To see local features and services for another location, select a different city. Show more Introduction In this blog, we share how we improved the daily edit-build-run developer experience using DevPods, our remote development environment. We will start with some of the initial challenges, the pain points we addressed with Devpod, our architecture, and some
sbt でのコンパイルキャッシュ · eed3si9n
2020-05-06 / sbt Google のビルドインフラ Blaze (現在は Bazel としてオープンソース化されている) のことを知ってから Scala のツールチェインにも似たような仕組みが欲しいとずっと思い続けてきた。これは特に独創的な発想という訳では無く、Peter Vlugter さんと Ben Dougherty さんの nailgun Zinc での機能 (Pants で使われていた?) や、Krzysztof Romanowski さんの Hoarder など先行研究もある。それらは、作業ディレクトリに合わせて Zinc Analsis ファイル内に格納されている絶対パスを変換するというアイディアから成り立っている。 僕の作業の詳細に入る前に、問題スペースをざっとデモしよう。 ビルドのマシン依存性 Akka の akka-actor/compile を sbt
proposal: cmd/go: support embedding static assets (files) in binaries · Issue #35950 · golang/go
There are many tools to embed static asset files into binaries: https://godoc.org/perkeep.org/pkg/fileembed / perkeep.org/pkg/fileembed/genfileembed https://godoc.org/github.com/gobuffalo/packr https://godoc.org/github.com/knadh/stuffbin https://github.com/rakyll/statik Bazel go_embed_data Actually, https://tech.townsourced.com/post/embedding-static-files-in-go/ lists more: vfsgen - https://github
ハイパーハードボイルドグルメリポート | Netflix
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
ハーフ・オブ・イット: 面白いのはこれから | Netflix (ネットフリックス) 公式サイト
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
背景 Bazelは優れたビルドツールである一方で、導入したチームには１人はBazel職人が必要と言われるほどキャッチアップコストが高くハマったときに開発が止まると言われます。 そのためKubernetesからも削除されるほどです。 しかしながら導入の善し悪しを判断する上で最低限の知識は必要なので、一通りのことはできるようにとキャッチアップしてみます。 ちなみに発音は公式サイトでは「ベイゼル」とのこと。 How do you pronounce “Bazel”? The same way as “basil” (the herb) in US English: “BAY-zel”. It rhymes with “hazel”. IPA: /ˈbeɪzˌəl/ ref: FAQ | Bazel Bazelの特徴 Bazelの特徴として以下があります。 ビルドの再現性が保たれる サンドボッ
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
邪悪な天才: ピザ配達人爆死事件の真相 | Netflix (ネットフリックス) 公式サイト
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
models/research/im2txt at master · tensorflow/models · GitHub
Show and Tell: A Neural Image Caption Generator A TensorFlow implementation of the image-to-text model described in the paper: "Show and Tell: Lessons learned from the 2015 MSCOCO Image Captioning Challenge." Oriol Vinyals, Alexander Toshev, Samy Bengio, Dumitru Erhan. IEEE transactions on pattern analysis and machine intelligence (2016). Full text available at: http://arxiv.org/abs/1609.06647 Con
この記事は ディープラーニングの画像認識の学習時にCPUがボトルネックになってGPUが本領を発揮できない事象があったのでそれを解消した時のメモです 事象 Tensorflowのmodelリポジトリには画像認識CNNのInception-v3の実装が入っています。 パラメータ1つで複数GPUでの学習を実行できるようになっています しかしなぜか複数GPUで動作させても学習速度が上がりません、てかむしろちょっと遅くなってる？ 1batchあたり0.7秒 2016-12-16 03:35:23.690928: step 120, loss = 13.14 (45.2 examples/sec; 0.707 sec/batch) 2016-12-16 03:35:31.121967: step 130, loss = 13.06 (44.6 examples/sec; 0.717 sec/batch
はじめに はじめまして。有限会社シーリスの有山圭二と申します。Androidアプリ開発者で、趣味で機械学習をやっています。 この度「さくらのナレッジ」さんに、9月22日に開催される技術書オンリーイベント「技術書典」でぼくが頒布する本の宣伝させて欲しいと言ったところ快諾をいただき、こうして筆をとることになりました。 9月22日（日曜日）池袋サンシャインシティ 展示ホールC/D（文化会館ビル2/3F）で開催される技術書オンリーイベント「技術書典7」に、個人サークル「めがねをかけるんだ」として参加します。く24D「めがねをかけるんだ」では、同人誌「わたしは機械学習プロジェクトで技術的負債を抱えました（仮題）」を頒布する予定です。 （はじめに より） 筆者は、2015年にTensorFlowが公開されてから今まで、趣味の機械学習システムの開発に取り組んできました。さくらインターネット社は取り組み初
【MediaPipe】Jetson Xavier NXで環境構築し、Multi Hand TrackingをGPUで動かしてみた（v0.7.6） | DevelopersIO
【MediaPipe】Jetson Xavier NXで環境構築し、Multi Hand TrackingをGPUで動かしてみた（v0.7.6） カフェチームの山本です。 今まで、MediaPipeをデスクトップPC・クラウド環境で動かしていました。 【MediaPipe】Windowsで環境構築し、Multi Hand Trackingを動かしてみた 【MediaPipe】Amazon EC2のGPUインスタンスでMediaPipeを動かしてみた 前々回・前回は、エッジ側で安価なデバイスで処理するために、MediaPipeをシングルボードで動かすことを目的として、Raspberry Pi 4とJetson Nanoにインストールする方法を調べました。しかし、Jetson NanoのGPUで処理した場合が一番速かったのですが、処理速度は4[fps]程度であり、少しパワー不足感がありました。
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
Gradle is too slow, Ant is too basic. Buck is fast and super-configurable and I’d like to tell you how I use it for Android development. I own a pretty old thinkpad laptop so I don’t expect the builds to be too fast. Ant used to spend 10..40 seconds for each build on my laptop depending on how large the project is. Gradle takes about a minute in average and that’s too long for me - I just lose foc
【MediaPipe】Jetson Nanoで環境構築し、CPU/GPUで動かしてみた（v0.7.5） | DevelopersIO
【MediaPipe】Jetson Nanoで環境構築し、CPU/GPUで動かしてみた（v0.7.5） カフェチームの山本です。 今までMediaPipeを動かしてきましたが、使用していた環境はデスクトップPC・クラウドでした。 【MediaPipe】Windowsで環境構築し、Multi Hand Trackingを動かしてみた 【MediaPipe】Amazon EC2のGPUインスタンスでMediaPipeを動かしてみた 前回は、エッジ側で安価なデバイスで処理するために、MediaPipeをシングルボードで動かすことを目的として、MediaPipeをRaspberry Pi 4にインストールする方法を調べました。しかし、結果として処理速度が1[fps]であり、少しパワー不足感がありました。 【MediaPipe】Raspberry Pi 4で環境構築し、CPU/GPUで動かしてみた（
コンポツさん
ソースコードをリポジトリからチェックアウトしてビルドする際に 「このビルドを実行する時、どのファイルが参照され成果物に影響するだろうか？」 と考えたことはありますか？ 「このディレクトリの変更だけ監視してCIを走らせればオッケーです」 「このコミットは本番の成果物に影響を与えないのでテスト不要です」 本当でしょうか？ 私たちはビルド結果に影響を与えうるファイル群を真に把握できているでしょうか？ ソフトウェア開発は人間の認知の限界を軽々と突破します。知らない間に想像していなかった依存がどんどん入り込んできます。 なので、私はツールなどの補助なしに人力では把握しきれないと考えています。 きっと GitHub Actions の paths-filter を漏れなく書くのは大変な仕事に違いありません。 Summary という事でこの記事の三行まとめです。 ビルド時に使われるファイルは少なくともビ
First impressions of Rust
I've been wanting to write a big project in Rust for a while as a learning exercise, and actually started one in late 2018 (a FUSE server implementation). But then life happened and I got busy and never went anywhere with it. Due to certain world circumstances I'm currently spending a lot of time indoors so rust-fuse (docs) now exists and is good enough to write basic hello-world filesystems. I pl
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ボクらを見る目 | Netflix (ネットフリックス) 公式サイト
TensorFlowのチュートリアルをAWSのGPUインスタンスで動かす - もふもふ技術部
golangとbazelで作るいい感じなビルド環境 - MJHD
Gradle vs Bazel for JVM Projects
ダーク | Netflix (ネットフリックス) 公式サイト
パワー・オブ・ザ・ドッグ | Netflix (ネットフリックス) 公式サイト
Bazel at Enterprise Scale | BuildBuddy
Watch High Score | Netflix Official Site
Go 1.11 Release Notes - The Go Programming Language
Bazelを使ってRubyのdistroless imageを作る
ROMA/ローマ | Netflix (ネットフリックス) 公式サイト
Watch BLAME! | Netflix Official Site
ハウス・オブ・カード 野望の階段 | Netflix (ネットフリックス) 公式サイト
Bazelを使ってみる その１（Goのビルド） - Carpe Diem
Watch Narcos | Netflix Official Site
TensorflowのInception-v3実装のCPUボトルネックをGPUに移す - Qiita
CoroutinesによるTensorFlow Liteの推論パイプライン構築 | さくらのナレッジ
ザ・クラウン | Netflix (ネットフリックス) 公式サイト
Buck - life is too short to spend a minute for each build