February 4, 2020Docker Images : Part I - Reducing Image Size Series IndexReducing Image Size Details Specific To Different Languages Going Farther To Reduce Image Size IntroductionWhen getting started with containers, it’s pretty easy to be shocked by the size of the images that we build. We’re going to review a number of techniques to reduce image size, without sacrificing developers’ and ops’ co
models/inception at master · tensorflow/models · GitHub
README.md Inception in TensorFlow ImageNet is a common academic data set in machine learning for training an image recognition system. Code in this directory demonstrates how to use TensorFlow to train and evaluate a type of convolutional neural network (CNN) on this academic data set. In particular, we demonstrate how to train the Inception v3 architecture as specified in: Rethinking the Inceptio
Send feedback Developing a new backend for XLA Stay organized with collections Save and categorize content based on your preferences. This guide is for system engineers who want XLA to output programs that target their hardware efficiently. The guide is not step-by-step and assumes knowledge of LLVM, Bazel, and XLA. XLA provides an abstract interface that a new architecture or accelerator can impl
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
※本稿はテックブログからの転載です。 こんにちは、JDSCの松井です。 BigQueryのフォーマットをどう統一するか、というのは結構悩みの種だったりしませんか？ 自分のプロジェクトでも、ローカルで簡単に使えて、BigQueryの方言も含めて安心してフォーマットできるツールを探していたのですが、案外見つからないものでした。 そこで今回は、Googleが公開しているSQL解析器のZetaSQLに含まれていたフォーマッタを、プロジェクトに導入するまでのお話をしたいと思います。 具体的には 1. ZetaSQL内のフォーマッタの問題 2. パッチの詳細 3. Dockerイメージの最適化 4. 細かい修正点 といった内容になります。 今回の内容は、使いやすいようにバイナリやDockerイメージ、pre-commit-hookを用意してGithub上に公開しているので、忙しい方はそちらをご覧くださ
bazel draft
// date.ts export function formatDate(d: Date) { return `${d.getFullYear()}-${d.getMonth()}-${d.getDate()}!!`; } // user.ts import { formatDate } from './date'; /** Data object representing a User. */ export class User { constructor(readonly name: string, readonly birthday: Date) {} toString() { return `${this.name}, born on ${formatDate(this.birthday)}`; } } // birthday_card.ts import { User } fr
Improving software with the help of a community takes patience and organization. Open-sourcing is more than throwing code over the wall and hoping somebody uses it. I knew this in theory, but being part of the TensorFlow team at Google has opened my eyes to how many different elements you need to build a community around a piece of software. Community service When a new project releases into the w
TensorFlow : RNN – リカレント・ニューラルネットワーク & LSTM （コード解説） – ClassCat® AI Research
データのダウンロードと準備 このチュートリアルに必要なデータは Tomas Mikolov の web ページからの PTB データセットの data/ ディレクトリにあります : http://www.fit.vutbr.cz/~imikolov/rnnlm/simple-examples.tgz データセットは既に前処理されていて、文の最後のマーカーと珍しい単語のための特殊なシンボル (<unk>) を含む、全体で 10000 の異なる単語を含みます。 ニューラルネットワークが処理しやすいようにこれら全部を reader.py で一意の整数識別子に変換します。 ptb_word_lm.py#main は、最初に reader.py#ptb_raw_data を呼び出してデータセットを取得します。 def main(unused_args): if not FLAGS.data_path
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
ハリウッドを斬る! ～映画あるある大集合～ | Netflix (ネットフリックス) 公式サイト
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
Improving the craft of software engineeringWe are on a mission to improve developer experience (DX) and data-centric workflows (MLOps). Tweag is a collaborative space where engineers and researchers join forces to apply new ideas — all as open source. Featured ProjectsTweagers are leading contributors to several open source projects — from functional programming languages to cross-platform framewo
TensorFlow製音楽生成プロジェクト「Magenta」でMIDIファイルを学習させ、曲を生成する。 - Qiita
TensorFlow製音楽生成プロジェクト「Magenta」でMIDIファイルを学習させ、曲を生成する。Python機械学習DeepLearningTensorFlowmagenta はじめに この記事では、Magentaの開発環境を準備した上で、手元のMIDIファイルを学習し、曲を作成するということを行います。 magentaのBasic RNNのREADMEの通りですので、そちらを読んでいただいてもよろしいかと思います。 用語等、不明な点もあるため、ご了承いただければと思います。 開発環境の準備はこちらの記事もご参考ください。 TensorFlow製音楽生成プロジェクト「Magenta」を開発環境の設定から曲生成までやってみる。 データセットを作る 手持ちにMIDIファイルを学習する前に、まずはTensorFlowで扱えるように、NoteSequencesという形式に変換する必要があり
shibuya.apk #4で発表してきました 久しぶりにどっかの勉強会でLTしたいな〜〜って思って軽い気持ちで応募したら、他の発表者の方たちが割とガチな技術ネタばかりだったのでとても怖かったです クソアプリのすゝめ Androidネタで何を喋ろうか悩みに悩んだ結果、結局Androidという単語を一度も発さないLTになってこれは一体…という感じの発表をしました ちなみに、スライドだけ見ても情報量少なすぎて意味がわからないと思います このLTで結局何を言いたいかと言うと、かっこいい名前の研究所作ると楽しいよということです 情報処理学会や他の学会の論文誌などに論文を投稿する際にも使えるので、いいですよね 余談 ちなみに本番では時間がなくて言わなかったんですが、最後のスライドにBazelの事が書いてあります 本当はBazelの話をしようと思っていたんですが、とにかく辛かったのでやめました 詳しく
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
一晩で界隈の話題をかっさらっていった TensorFlow ですが、Theano などとの違いってなんだろう？というのがよく分からなかったので、（どこかで誰かが書いていそうだなと思いつつ）自分用にまとめてみました。 おそらくTheanoを恒常的に使われている方々にとっては不要なメモかと思いますが、Theano自体ほとんど触ってないので勉強を兼ねて… （まずは基本的な演算からまとめていますが、順次追記していきます） あくまで個人的メモですので、誤り・不正確な記述等々が含まれることご容赦ください。 なおこのメモの観点としては大きく以下の3点です。 依存ライブラリなど 書き方まわり その他気になった点 依存ライブラリなど 2015/11/11時点の情報です。 最低限必要なものを記載しているつもりですが、抜け漏れ等あるかもしれません。 Theano(http://deeplearning.net/
Docker optimization guide: the 12 best tips to optimize Docker image security
You should always build and push images in a clean environment, e.g. a CI/CD pipeline, where the build agent clones your repository into a new directory. The problem with using your local development machine for building is that your local “working tree” of the Git repository might be dirty. For instance, it might contain files with secrets that you need during development, e.g. access keys to sta
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
Error importing tensorflow on windows 10 ( Tensorflow 0.12.0 RC0, python3.5 ) · Issue #5949 · tensorflow/tensorflow
Was excited to try out 0.12.0 RC0 for windows Followed Tensorflow 0.12.0 RC0 Installation guide for Windows, on Windows 10. Ran into following error. Python 3.5.2 (v3.5.2:4def2a2901a5, Jun 25 2016, 22:18:55) [MSC v.1900 64 bit (AMD64)] on win32 Type "copyright", "credits" or "license()" for more information. import tensorflow Traceback (most recent call last): File "C:\Users\hp\AppData\Local\Progr
Example Hay could be used to configure a hypothetical Linux package manager: # cpython.hay -- A package definition hay define Package/TASK # define a tree of Hay node types Package cpython { # a node with attributes, and children version = '3.9' url = 'https://python.org' TASK build { # a child node, with Oil code ./configure make } } This program evaluates to a JSON tree, which you can consume fr
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
Marginalia
すべて Tech Idea Diary 2024-06-26 WebブラウザにおけるOpenTelemetryの自動計装PoC: Trace via Service Worker TechWebOpenTelemetryService Worker 2024-06-23 Cloudflare Image Transformationで画像最適化した TechCloudflareBlog DevAstro 2024-06-20 Angular: Rendering EffectsとBusiness Effects TechAngularSignals 2024-06-14 計画の優先順位ではなく目標の優先順位を決める Idea雑記言語化 2024-06-13 Angular: Model Inputsを使ったカスタムフォームコントロール実装例 TechAngularSignalsForms
Kerasで化合物の溶解度予測（ニューラルネットワーク，回帰分析） - 香川大学農学部 ケミカルバイオロジー研究室
環境: macOS Sierra 10.12.5, CPU: 3.3 GHz Intel Core i5, メモリ： 8 GB. Python 3.6.1, Keras 2.0.6, TensorFlow 1.3.0rc0, RDKit 2017.03.3, mordred 0.4.0.post1.dev1. 参考サイト: Wash that gold- Modelling solubility with Molecular fingerprints by Esben Jannik Bjerrum Chainer: クラス分類による溶解度の予測 – Cheminformist3 人工知能が話題なので，見様見真似でニューラルネットワークを使った化合物の物性予測モデルの構築をやってみました．機械学習のライブラリはGoogleが開発・使用しているTensorFlowです．KerasはTensor
Advantages of monorepos
Here's a conversation I keep having: Someone: Did you hear that Facebook/Google uses a giant monorepo? WTF! Me: Yeah! It's really convenient, don't you think? Someone: That's THE MOST RIDICULOUS THING I've ever heard. Don't FB and Google know what a terrible idea it is to put all your code in a single repo? Me: I think engineers at FB and Google are probably familiar with using smaller repos (does
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Googleが、同社の人気オープンソースプロジェクト向けの「Code Search」を立ち上げている。Google社内でも特に人気の高い開発者向けツールを広くソフトウェアコミュニティに提供している。 Googleのオープンソースプロジェクト向けCode Search（CS）は現在、Angular、Bazel、Dart、ExoPlayer、Firebase SDK、Flutter、Go、gVisor、Kythe、Nomulus、Outline、Tensorflowをサポートしている。これは同社のオープンソースプロジェクトのごく一部にすぎないが、リポジトリーの検索機能はオープンソースコミュニティにとってメリットがありそうだ。 Googleオ
概要 CircleCIのDynamic Configでconfig.ymlを分割管理する - Carpe Diem ↑ではファイルを分割管理する方法を説明しました。 今回はpath filteringを使って差分ビルド（変更のあるディレクトリのみビルド）する方法を説明します。 環境 CircleCI 2.1 circleci/path-filtering 0.1.2 以下のようなモノリポ環境だったとします。 $ tree . ├── LICENSE ├── README.md ├── go │ ├── pkg │ │ └── uuid │ │ └── uuid.go │ └── services │ ├── service1 │ │ └── cmd │ │ └── main.go │ └── service2 │ └── cmd │
ImportError (in import tensorflw-gpu as tf) : Tensorflow windows10, CUDA8.0/cuDNN5.1 and python 3.5.2 · Issue #9484 · tensorflow/tensorflow
Hi, i am facing an issue if importError on a setup ! Windows10, Microsoft visual studio (2017) CUDA 8.0/cuDNN5.1 Python 3.5.2 PATH for CUDA, cuDNN5.1 Libraries/bin/include set properly !! Setup is created with Docker & tensorflow-gpu environment While i am trying to verify my installation with "import tensorflow-gpu as tf", encountering with ImportError: python library specific errors. pl do sugge
cloudflare/workerdのTCP接続機能を試す
最近workerd(Cloudflare Workersのランタイム)で実装され始めたTCP socket接続の機能がある。 今まではHTTP越しにPostgreSQLサーバーなどに接続する必要があったが、これがあると接続先に直接繋ぐことができるというのがコンセプトのようだ(実装を読むと直接持続的な接続をするわけではなく間にアダプタを噛ませるアーキテクチャのようだけどまだ詳細は分からない)。 これをデバッグしようと思ったらそもそもbazel buildまでが結構難しかったので開発環境構築のメモもする。 システム環境 Name Version
アーチャー | Netflix
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
Distributed TensorFlow Has Arrived Google has open sourced its distributed version of TensorFlow. Get the info on it here, and catch up on some other TensorFlow news at the same time. KDnuggets has taken seriously its role to keep up with the newest releases of major deep learning projects, and in the recent past we have seen landmark such releases from major technology giants and as well as unive
きっかけ なんとなく知っているけど、なんとなくで終わっていることに違和感を感じたから。 参考に、下記の本をベースに学習した。 Javaビルドツール入門 Maven/Gradle/SBT/Bazel対応 作者: 掌田津耶乃出版社/メーカー: 秀和システム発売日: 2017/02/08メディア: 単行本この商品を含むブログを見る Maven特徴 XMLでビルドファイルを記述 ゴールによる目的設定 命令の記述を全て書く必要はなく、作業に必要な情報を渡せば勝手にやってくれる ライブラリ管理とセントラルリポジトリ テスト、ドキュメントの生成 JUnitの実行やJavadocの生成など、開発に付随する機能を行える。 Mavenの構成 説明 binフォルダ 実行するコマンドのプログラム置き場 bootフォルダ クラスローダプログラムが配置されている conf 設定情報ファイルの置き場 lib ライブラリ
あなたは、本番環境で使用するためのC ++で同じ Inception-v3のモデルを実行することができます。あなたはこのようなモデルを定義GraphDefを含むアーカイブをダウンロードすることができます。（TensorFlowリポジトリのルートディレクトリから実行されています）： wget https://storage.googleapis.com/download.tensorflow.org/models/inception_dec_2015.zip -O tensorflow/examples/label_image/data/inception_dec_2015.zip unzip tensorflow/examples/label_image/data/inception_dec_2015.zip -d tensorflow/examples/label_image/data/
前回の続編ということで、t5 (T5 の実装コード) の構成や Mesh Tensorflow について説明し、OSCAR データセットでの実験結果や複数 GPU 環境の Tensorflow Serving へのエクスポートと並列実行などを試していきます。 1. はじめに 本記事は前回の続編です。 未読の方は右上のリンクから第7回の記事に目を通して戻ってきて頂けると、より理解がしやすいと思います。今回は、Google の T5(Text-to-Text Transfer Transformer) 1によるテキスト生成について、その実装コード2 の構成について説明し、Wikipedia 日本語版よりも規模の大きい OSCAR データセット3を用いた事前学習の結果や、学習済みモデルを複数 GPU 環境の Tensorflow Serving 4 にエクスポートし並列動作させる方法について解説
刺身の上にたんぽぽ乗せる日記
Google Cloud Buildでbazel testで動かしてたpyppeteerが動くようになるまでのメモ。 TL;DR Docker環境ではダウンロード済みのchromiumをexecutablePathで指定 pyppeteer==0.0.25 websockets==6.0.0 pyee==6.0.0 ブラウザからの反応がなくなるタイプの問題はpyppeteerのlogLevelをDEBUGにすると見つけやすい。 import logging browser = await launch(logLevel=logging.DEBUG, args=["--no-sandbox"]) File "/builder/home/.cache/bazel/_bazel_root/eab0d61a99b6696edb3d2aff87b585e8/execroot/__main__/baz
“We Are the World” Assembled Some of the Most Iconic Moments in Music History
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
Home About Recent Bazel Build with Visual Studio Code Martial Responsibility For Safety The Buffalo Trap Longsword Solo Drills - Meÿer Square Starting Historical European Martial Arts Group Game development Bazel Build with Visual Studio Code Generic A* for Games Procedural Island Generation Data-Oriented Design Matters Misconceptions of Component-Based Entity Systems Level of Detail Experiments P
dd52936 Fix undefined behavior (unaligned write) in protocol.cc by Drew Fisher · 3 years ago master51f6971 go/protocol: fix out of order tag detection by Ben Linsay · 5 years ago0174f2b Test the number of replies matches the number of nonces. by David Benjamin · 4 years, 8 months ago74350dc Even out levels with existing tree nodes. by David Benjamin · 4 years, 8 months agoe85e216 Fix build with ne
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
Marginalia
すべて Tech Idea Diary 2024-07-03 読んだ本 2024-Q2 Diary読書 2024-07-03 Angular: v18.1で @let 構文が追加される TechAngularTypeScript 2024-06-26 WebブラウザにおけるOpenTelemetryの自動計装PoC: Trace via Service Worker TechWebOpenTelemetryService Worker 2024-06-23 Cloudflare Image Transformationで画像最適化した TechCloudflareBlog DevAstro 2024-06-20 Angular: Rendering EffectsとBusiness Effects TechAngularSignals 2024-06-14 計画の優先順位ではなく目標の優先
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Docker Images : Part I - Reducing Image Size
Developing a new backend for XLA | OpenXLA Project
地球外少年少女 | Netflix (ネットフリックス) 公式サイト
ザ・グローリー ～輝かしき復讐～ | Netflix (ネットフリックス) 公式サイト
【BigQuery】ZetaSQLのフォーマッタで失われたコメントを取り戻す｜株式会社JDSC
How the TensorFlow team handles open source support
サイバーパンク: エッジランナーズ | Netflix (ネットフリックス) 公式サイト
Software Innovation Lab
shibuya.apk #4で発表してきた #shibuya_apk - へんてこのブログ
Watch Monty Python and the Holy Grail | Netflix
話題のTensorFlowをTheanoと比べてみる（個人的メモ） - Qiita
Watch Devilman Crybaby | Netflix Official Site
Hay - Custom Languages for Unix Systems
Watch The Playlist | Netflix Official Site
グーグルのオープンソースプロジェクト向け「Code Search」が利用可能に
CircleCIのDynamic Configで差分ビルド - Carpe Diem
転校生ナノ | Netflix (ネットフリックス) 公式サイト
Distributed TensorFlow Has Arrived - KDNuggets
Mavenまとめ - エンターテイメント！！
3.C++ APIを使用した使用法 - TensorFlowの日本語まとめ
はじめての自然言語処理 続・T5 によるテキスト生成の検証 | オブジェクトの広場
Procedural Island Generation
roughtime - Git at Google
AIに潜む偏見: 人工知能における公平とは | Netflix