Improving Build Performance of LINE for iOS with Bazel
As of October 1, 2023, LINE has been rebranded as LY Corporation. Visit the new blog of LY Corporation here: LY Corporation Tech Blog Background Over the years, the LINE for iOS source tree has grown to a size of hundreds of modules. As of late 2019, the project consists of more than 1.4 million lines of code without showing any signs of stopping its increase. This in turn, tripped up the build ti
きっかけ 元々、distroless-rubyは手作業で必要なファイルを抜き出して作成したものでした。 Rubyが動くdistroless image は作ることができるのか - Qiita Rubyのdistroless imageをmagicpakで構築できるのか？ ただ、この方針ではsinatraなどRuby単体で完結するプログラムは手軽に動かすことはできても、外部に依存するものがあるプログラムを動かすことはできません。具体的な例を挙げるならPostgreSQLをRubyで使用するために必要なpq gemはlibpq-devをapt経由でインストールする必要がありますが、distroless image内にはaptが存在しないのでインストールすることができません。multi stage buildを使用し、aptによって追加されたファイルを持ってくることも出来無くはないですが、依存す
Devpod: Improving Developer Productivity at Uber with Remote Development
You’re seeing information for Mexico . To see local features and services for another location, select a different city. Show more Introduction In this blog, we share how we improved the daily edit-build-run developer experience using DevPods, our remote development environment. We will start with some of the initial challenges, the pain points we addressed with Devpod, our architecture, and some
sbt でのコンパイルキャッシュ · eed3si9n
2020-05-06 / sbt Google のビルドインフラ Blaze (現在は Bazel としてオープンソース化されている) のことを知ってから Scala のツールチェインにも似たような仕組みが欲しいとずっと思い続けてきた。これは特に独創的な発想という訳では無く、Peter Vlugter さんと Ben Dougherty さんの nailgun Zinc での機能 (Pants で使われていた?) や、Krzysztof Romanowski さんの Hoarder など先行研究もある。それらは、作業ディレクトリに合わせて Zinc Analsis ファイル内に格納されている絶対パスを変換するというアイディアから成り立っている。 僕の作業の詳細に入る前に、問題スペースをざっとデモしよう。 ビルドのマシン依存性 Akka の akka-actor/compile を sbt
proposal: cmd/go: support embedding static assets (files) in binaries · Issue #35950 · golang/go
There are many tools to embed static asset files into binaries: https://godoc.org/perkeep.org/pkg/fileembed / perkeep.org/pkg/fileembed/genfileembed https://godoc.org/github.com/gobuffalo/packr https://godoc.org/github.com/knadh/stuffbin https://github.com/rakyll/statik Bazel go_embed_data Actually, https://tech.townsourced.com/post/embedding-static-files-in-go/ lists more: vfsgen - https://github
ハーフ・オブ・イット: 面白いのはこれから | Netflix (ネットフリックス) 公式サイト
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
背景 Bazelは優れたビルドツールである一方で、導入したチームには１人はBazel職人が必要と言われるほどキャッチアップコストが高くハマったときに開発が止まると言われます。 そのためKubernetesからも削除されるほどです。 しかしながら導入の善し悪しを判断する上で最低限の知識は必要なので、一通りのことはできるようにとキャッチアップしてみます。 ちなみに発音は公式サイトでは「ベイゼル」とのこと。 How do you pronounce “Bazel”? The same way as “basil” (the herb) in US English: “BAY-zel”. It rhymes with “hazel”. IPA: /ˈbeɪzˌəl/ ref: FAQ | Bazel Bazelの特徴 Bazelの特徴として以下があります。 ビルドの再現性が保たれる サンドボッ
はじめに はじめまして。有限会社シーリスの有山圭二と申します。Androidアプリ開発者で、趣味で機械学習をやっています。 この度「さくらのナレッジ」さんに、9月22日に開催される技術書オンリーイベント「技術書典」でぼくが頒布する本の宣伝させて欲しいと言ったところ快諾をいただき、こうして筆をとることになりました。 9月22日（日曜日）池袋サンシャインシティ 展示ホールC/D（文化会館ビル2/3F）で開催される技術書オンリーイベント「技術書典7」に、個人サークル「めがねをかけるんだ」として参加します。く24D「めがねをかけるんだ」では、同人誌「わたしは機械学習プロジェクトで技術的負債を抱えました（仮題）」を頒布する予定です。 （はじめに より） 筆者は、2015年にTensorFlowが公開されてから今まで、趣味の機械学習システムの開発に取り組んできました。さくらインターネット社は取り組み初
【MediaPipe】Jetson Xavier NXで環境構築し、Multi Hand TrackingをGPUで動かしてみた（v0.7.6） | DevelopersIO
【MediaPipe】Jetson Xavier NXで環境構築し、Multi Hand TrackingをGPUで動かしてみた（v0.7.6） カフェチームの山本です。 今まで、MediaPipeをデスクトップPC・クラウド環境で動かしていました。 【MediaPipe】Windowsで環境構築し、Multi Hand Trackingを動かしてみた 【MediaPipe】Amazon EC2のGPUインスタンスでMediaPipeを動かしてみた 前々回・前回は、エッジ側で安価なデバイスで処理するために、MediaPipeをシングルボードで動かすことを目的として、Raspberry Pi 4とJetson Nanoにインストールする方法を調べました。しかし、Jetson NanoのGPUで処理した場合が一番速かったのですが、処理速度は4[fps]程度であり、少しパワー不足感がありました。
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
【MediaPipe】Jetson Nanoで環境構築し、CPU/GPUで動かしてみた（v0.7.5） | DevelopersIO
【MediaPipe】Jetson Nanoで環境構築し、CPU/GPUで動かしてみた（v0.7.5） カフェチームの山本です。 今までMediaPipeを動かしてきましたが、使用していた環境はデスクトップPC・クラウドでした。 【MediaPipe】Windowsで環境構築し、Multi Hand Trackingを動かしてみた 【MediaPipe】Amazon EC2のGPUインスタンスでMediaPipeを動かしてみた 前回は、エッジ側で安価なデバイスで処理するために、MediaPipeをシングルボードで動かすことを目的として、MediaPipeをRaspberry Pi 4にインストールする方法を調べました。しかし、結果として処理速度が1[fps]であり、少しパワー不足感がありました。 【MediaPipe】Raspberry Pi 4で環境構築し、CPU/GPUで動かしてみた（
First impressions of Rust
I've been wanting to write a big project in Rust for a while as a learning exercise, and actually started one in late 2018 (a FUSE server implementation). But then life happened and I got busy and never went anywhere with it. Due to certain world circumstances I'm currently spending a lot of time indoors so rust-fuse (docs) now exists and is good enough to write basic hello-world filesystems. I pl
virtual-environments/Ubuntu1804-README.md at main · actions/virtual-environments · GitHub
Ubuntu 18.04.5 LTS Image Version: 20201004.1 Installed Software Language and Runtime GNU C++ 7.5.0, 8.4.0, 9.3.0, 10.1.0 GNU Fortran 7.5.0, 8.4.0, 9.3.0 Clang 6.0.0, 8.0.0, 9.0.0 Erlang 11.1 Mono 6.12.0.90 Node 12.18.4 Python 2.7.17 Python3 3.6.9 PowerShell 7.0.3 Ruby 2.5.1p57 Swift 5.3 Julia 1.5.2 Package Management Homebrew 2.5.2 Gem 3.1.4 Miniconda 4.8.3 Helm Npm 6.14.8 Yarn Pip 9.0.1 Pip3 9.0.
仕事では Bazel を使ってビルドすることが多くなり，自分でも Bazel ルールを自作するようになったので，実験も兼ねて趣味の Haskell Stack プロジェクトを Bazel を使ってビルドしてみることにしました． 本記事はそのメモ書きです． あとこれは Haskell Advent Calendar 2020 の2日目の記事です． Bazel Bazel は Google のエンジニアが中心になって開発している OSS のビルドツールだ． 以下のような特徴がある： 必要なコマンドのインストール・バイナリのビルド・コマンドの実行などを記述できる それらは全て専用のサンドボックス内で実行されるため再現性が高い Starlark という Python 風な独自言語で記述する キャッシュなどが工夫されており二度目以降のビルドが高速になりやすい 依存関係を明確に記述する必要がある また
Kubernetes活用への道のり 第2回 Skaffoldを活用して開発効率を向上しよう | オブジェクトの広場
本連載ではKubernetesやマイクロサービスを活用するにあたりどんな準備を進めておけばいいか整理します。第2回は開発効率を向上させることができるSkaffoldを紹介します。 1. はじめに アプリケーションの開発においてKubernetesを活用する事により様々な恩恵を受けられる一方で、コンテナのビルドやレジストリへのイメージの登録など開発の手順は増えてしまいます。開発作業の中ですべての手順に手動で対応してしまうと、開発効率が悪く非常に面倒に感じることでしょう。連載2回目は、Kubernetessを活用したアプリケーション開発における問題を解決し、開発効率を向上させるSkaffoldを紹介します。 本記事では各技術要素（Kubernetes/Docker/Minikube等）の基本的な概要などについては記載しておりません。適宜各公式ドキュメントを参照してください 2. Skaffol
February 28, 2020 #xcode #workflow #optimization Almost every developer once in a while suffers from quite long Xcode build time. It results in lower productivity and slows down the development process of the whole team. As you can see, enhancing build time is crucial because it has direct impact on time to market for shipping new features faster. In this post, we’ll learn how to profile the Xcode
Go command support for embedded static assets (files) — Draft Design
Go command support for embedded static assets (files) — Draft Design Russ Cox Brad Fitzpatrick July 2020 This is a Draft Design, not a formal Go proposal, because it describes a potential large change that addresses the same need as many third-party packages and could affect their implementations (hopefully by simplifying them!). The goal of circulating this draft design is to collect feedback to
It’s not enough to make software; you also have to make it easy to install. Apple’s had this figured out for almost a decade. Anyone can go to the App Store and — with a single tap — start using any one of a million apps in just a few moments. Compare that to the all-too-common scenario when you go to install any other random piece of software: Download this gzip’d tarball of source code — oh, and
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
Xcode が遅い。とにかく遅い!! あああ!!! 皆さんはそんな経験ありませんか...? iOS アプリの開発にはなくてなはならないツール、それは Xcode です。 しかし、Xcode がとにかく遅いのです。 アプリが成長し、ワークペースが巨大になり、多くのターゲットができるにつれてどんどん遅くなり、最後にはハングして終了すらできなくなってしまいます。 このセッションではそんな遅い Xcode を使えるように頑張った経験をもとに、Xcode のビルドの仕組み、そして Bazel などほかのビルドツールについても検証したいと思います。 対象とする方: - Xcode が遅くて辛い方 - 大きなアプリを作っている方 - killall XCBBuildService が癖になってしまった方 - Xcode のビルドの仕組みをちょっと知りたい方 前提とする知識: - Xcode
Maven and Gradle support for Java in Visual Studio Code
Version 1.88 is now available! Read about the new features and fixes from March. Java build tools in VS Code This document is an overview of how to work with your Java build tools in Visual Studio Code. It covers the Maven for Java and Gradle for Java extensions as well as other tools. If you run into any issues when using the features below, you can contact us by entering an issue. Maven Maven is
【MediaPipe】HelloWorldからMediaPipeの動作/構成を学ぶ | DevelopersIO
カフェチームの山本です。 今まで、いくつかMediaPipeに関する記事を挙げてきました。 今回は、これから内部を変更していくにあたり、MediaPipeそのものを学んでおこうと思います。処理パイプラインのグラフを見るまでにとどめ、データの入力・出力のプログラムは、今回は対象外としています。 学習しただけであるため、特に結論はありません。ご参考になれば幸いです。 MediaPipeに関連する記事はこちらにまとめてあります。 【MediaPipe】投稿記事まとめ MediaPipeの概要 概要 公式ドキュメントを見てみると、次のように書かれています MediaPipe is a graph-based framework for building multimodal (video, audio, and sensor) applied machine learning pipelines.
前回に続いて、Kubernetesのエコシステムをまとめていく。 今回は前回までのカテゴリに入らない雑多なものについて書く。 Kubernetesの上で動くものであったり、Kubernetesクラスタに対して働くものだったり。 2021/1/24更新。 セキュリティ KubernetesクラスタやKubernetesアプリケーションのセキュリティ向上のためのツールたち。 kube-bench kube-benchはKubernetesクラスタの設定やリソース定義にセキュリティ的な問題が無いかをCIS Kubernetes Benchmarkに沿ってチェックしてくれるコマンドラインツール。 最近話題になったAqua Security社製。 Popeye PopeyeはKubernetesクラスタに登録されたリソース定義に潜在的な問題が無いかをスキャンしてくれるコマンドラインツール。 使われて
Release Engineering Written by Dinah McNutt Edited by Betsy Beyer and Tim Harvey Release engineering is a relatively new and fast-growing discipline of software engineering that can be concisely described as building and delivering software [McN14a]. Release engineers have a solid (if not expert) understanding of source code management, compilers, build configuration languages, automated build too
RecipesInstallation Install Nx in a Non-Javascript RepoUpdate Your Global Nx InstallationTasks & Caching Configure Inputs for Task CachingConfigure Outputs for Task CachingDefine a Task PipelineChange Cache LocationRun Custom CommandsPass Args to CommandsRun Tasks in ParallelRun Root-Level NPM Scripts with NxWorkspace WatchingReduce Repetitive ConfigurationAdopting Nx NPM/Yarn/PNPM workspacesMigra
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
MediaPipeの使い方｜npaka
1. MediaPipe「MediaPipe」は、マルチモーダル(ビデオ、オーディオ、時系列データなど)を利用したMLパイプラインを構築するためのフレームワークです。これを利用することで、MLパイプラインを、「前処理」「推論」「後処理」「描画」などのノードを組み合わせたグラフとして構築できます。 2. MediaPipeのMLソリューションMediaPipeのMLソリューションには、次のようなものがあります。 ・ハンドトラッキング ・顔検出 ・髪のセグメンテーション ・物体検出 3. macOSへのインストール(1) HomebrewとXcodeをインストール 「Xcode」は一度起動して、コマンドラインツールもインストールします。 (2) MediaPipeリポジトリをクローン 「MediaPipe」リポジトリをクローンします。 $ git clone https://github.co
Commit Formatting.md Commit Message Format This specification is inspired by and supersedes the [AngularJS commit message format][commit-message-format]. We have very precise rules over how our Git commit messages must be formatted. This format leads to easier to read commit history. Each commit message consists of a header, a body, and a footer. <header> <BLANK LINE> <body> <BLANK LINE> <footer>
Envoy の EDS を REST API で体験する「API Based Dynamic Routing Configuration」を試した - kakakakakku blog
今回は「Try Envoy」の「API Based Dynamic Routing Configuration」を紹介する．前回紹介した「File Based Dynamic Routing Configuration」と関連した内容だけど，今回は API を使った「ディスカバリサービス (xDS)」を学べる．特に Envoy は REST と gRPC をサポートしているけど，今回のコンテンツだと REST を学べる．なお，前回の記事も載せておく． kakakakakku.hatenablog.com API Based Dynamic Routing Configuration 手順は以下の「計7種類」ある．今までの Katacoda と同じく文章だと理解しにくい点も多く，自分なりに理解を整理しながら進めた． Step.1 「Introduction」 Step.2 「EDS Conf
Cloud Spanner (以下、Spannerと呼ぶ) とは、Google Cloud Platformで利用可能なフルマネージドデータベースです。高い可用性がありながらトランザクションを自動的に処理できるため、弊社（メルカリ）でも幅広く活用されています。またその中で、サーバーのテストにSpannerの処理を組み込みたい場面が多々存在します。 以前までは、テスト用のSpannerインスタンスを用意しておいて、テストに利用するのが一般的でした。しかし、運用コストや手軽さを加味すると、ローカル上で動かせるエミュレータのほうが扱いやすいかもしれません。 Cloud Spanner Emulator（以下、Spanner Emulatorと呼ぶ）は、2020年4月にbeta版がリリースされました。バイナリからだけでなく、Google Cloud SDKやDockerを用いてエミュレータを立ち上
[Arch Linux] Fcitx5の設定方法
本記事は Fcitx5 をすでにインストールできていることを前提にした記事です。 Fcitx5 の公式 Wiki から抄訳しているだけなので、英語が読める方はこんなサイトよりも本家↓をご覧ください。 Fcitx 5 Setup (https://fcitx-im.org/wiki/Setup_Fcitx_5) 前書き・戯言 Ubuntu や Fedora など、ほとんどの日本語入力に対応しているメジャーな Linux ディストリビューションは Redhat が開発を主導している IBus をデフォルトの IMF （Input Method Framework）として採用しています。そして IME（Input Method Editor）は Google が開発している Mozc が主流で唯一改造なしで実用に耐えうる変換性能を持っています。 しかし Arch Linux においては公式リポジ
![[Arch Linux] Fcitx5の設定方法](https://cdn-ak-scissors.b.st-hatena.com/image/square/c8688099aa450829014c589643b9133f71f3232d/height=288;version=1;width=512/https%3A%2F%2Fslacknotebook.com%2Fwp-content%2Fuploads%2F2023%2F02%2Fjis-keyboard-eyecatch-min.jpg)
GitHub - cruise-automation/isopod: An expressive DSL and framework for Kubernetes configuration without YAML
Isopod is an expressive DSL framework for Kubernetes configuration. Without intermediate YAML artifacts, Isopod renders Kubernetes objects as Protocol Buffers, so they are strongly typed and consumed directly by the Kubernetes API. With Isopod, configurations are scripted in Starlark, a Python dialect by Google also used by Bazel and Buck build systems. Isopod offers runtime built-ins to access se
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
Bazel 入門 (1) - 事始め｜npaka
1. Bazel「Bazel」は、「Make」「Maven」「Gradle」に似たオープンソースのビルドツールです。人間が読める高レベルのビルド言語を使用します。 特徴は次の通りです。 ・Java, C++, Android, iOS, Goなどさまざまな言語に対応 ・Windows、macOS、Linuxのマルチプラットフォーム対応 ・ローカルキャッシュや分散キャッシュ、依存性の最適化分析や並列実行などによる高速なビルド ・大きな組織が運用する大規模な単一リポジトリや分散リポジトリにも対応するスケーラビリティ ・柔軟な拡張性 2. Bazelの使い方「Bazel」を使用してソースコードをビルドする手順は次の通りです。 (1)「Bazel」をダウンロードしてインストール。 (2)「WORKSPACE」ファイルを作成。 この設定ファイルは、「ワークスペース」のルートに配置し、外部の「ワークス
モンスト事業本部SREグループの伊藤です。 普段はモンストに関するシステムの改善・運用を様々な面から行っています。 これまでに IP制限を減らす取り組み と Bazelとモノレポ のサービスの周辺開発についてのお話を紹介しました。 今回はモンストでどのようにキャッシュを使ってパフォーマンスを改善しているのかご紹介します。 皆さんは “負荷対策” と聞いて何を連想するでしょうか？ 適切なデータ構造？インデックス？Covering Index？ もちろんそれらも大事ですが、システム全体を考えるとどこでバランスを取るかというのも大事になってきます。 ある処理をする場合、必要なリソース量の和というのはアーキテクチャによらず一定でどのようにバランスを取るかというのが重要になってくると思っています。 ここで言うリソースというのはCPU・メモリ・ネットワーク・ディスクIOなどです。 今回はメモリとネット
ソースからのビルド | TensorFlow
TensorFlow pipパッケージをソースからビルドし、Ubuntu Linux および macOS にインストールします。この手順は他のシステムでも機能する可能性がありますが、Ubuntu と macOS でのみテストおよびサポートされています。 Linux および macOS のセットアップ次のビルド ツールをインストールして、開発環境を構成します。 Python と TensorFlow パッケージの依存関係をインストールする Ubuntusudo apt install python3-dev python3-pip マックOS Xcode 9.2以降が必要です。 Homebrewパッケージ マネージャーを使用してインストールします。 brew install python TensorFlow pipパッケージの依存関係をインストールします (仮想環境を使用する場合は、 --
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
An Overview of the Starlark language | Laurent Le Brun's blog
Starlark is a small programming language, designed as a simple dialect of Python and intended primarily for embedded use in applications. Some people might say it’s a bit like Lua with Python syntax, but I think there are many interesting bits to discuss. The language is now open-source and used in many other applications and companies. As I led the design and implementation of Starlark, I’d like
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
Gregory Szorc's Digital Home | Modern CI is Too Complex and Misdirected
The state of CI platforms is much stronger than it was just a few years ago. Overall, this is a good thing: access to powerful CI platforms enables software developers and companies to ship more reliable software more frequently, which benefits its users/customers. Centralized CI platforms like GitHub Actions, GitLab Pipelines, and Bitbucket provide benefits of scale, as the Internet serves as a c
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Bazelを使ってRubyのdistroless imageを作る
Bazelを使ってみる その１（Goのビルド） - Carpe Diem
CoroutinesによるTensorFlow Liteの推論パイプライン構築 | さくらのナレッジ
ザ・クラウン | Netflix (ネットフリックス) 公式サイト
Haskell Stack プロジェクトを Bazel でビルドしてみる
Xcode Build Time Optimization - Part 1
Swift Program Distribution with Homebrew
攻殻機動隊 SAC_2045 | Netflix (ネットフリックス) 公式サイト
Xcode が遅い! とにかく遅い!! 遅い Xcode をなんとかする方法
Kubernetesのエコシステム ー その他雑多 | To Be Decided
Google - Site Reliability Engineering
Nx and Turborepo
THE DAYS | Netflix (ネットフリックス) 公式サイト
Angular Commit Format Reference Sheet
Spanner Emulatorを用いたGoのテスト実装 | gihyo.jp
ザ・プレイリスト | Netflix (ネットフリックス) 公式サイト
モンスターストライクにおけるキャッシュ戦略と運用
ONE PIECE | Netflix (ネットフリックス) 公式サイト
T・Pぼん | Netflix (ネットフリックス) 公式サイト