ビルドツール「Bazel」について | フライウィール
ソフトウェアエンジニアのshinyaです。 2019年10月に、ソフトウェアのビルド・テストツールである「Bazel」のバージョン1.0がリリースされました(Bazel公式ブログ)。 Bazelは使いやすいのですが、現時点では情報がまとまっているサイトが少ないです。そのため、この記事では私が調べたことをまとめることにしました。 目次 BazelとはBazel(Bazelisk)のインストールBazelのチュートリアル空のBazelワークスペース簡単なJavaパッケージより実践的な例Apache Spark Scalaパイプライン参考サイトなど適宜 NOTE:という項目で、補足的な情報を追加しています。 以下は2019年11月24日時点(Bazel 1.1.0)での情報です。コードはUbuntu 18.04とmacOSでテストしました。 BazelとはBazel (/ˈbeɪzˌəl/1)
Urvashi Reddy | Software Engineer, Engineering Productivity Team Adam Berry | Tech Lead, Engineering Productivity Team Rui Li | Software Engineer, Engineering Productivity Team The Engineering Productivity team at Pinterest came across a small change that had a large impact in reducing build times across pipelines. We found that setting the refspec option during git fetch reduced our cloning step
ビルド時アプローチの利点は明らかです。コンパイル中により多くの計算を行うことにより、フレームワークはその時点で最適な方法で実行できるように準備されます。また、リフレクション、動的なクラスローディング、プロキシの実行時生成を排除することで、実行フェーズにおけるさらなる最適化の機会が得られます。この最適化は、JITと、非常に重要な点として、GraalVMのNative Imageツールの両方に対して得られます。このアプローチのおかげで、Native Imageでは、Micronautフレームワークアプリケーションのクローズドワールド静的分析を実行するために追加で設定することはありません。 MicronautフレームワークとGraalVMの間のこの相乗効果を生み出すため、Micronautフレームワークの共同創設者であるGraeme Rocher氏がOracle Labsに加わりました。Orac
背景 LINE iOS版のソースコードは、ローンチ以来、数百モジュールもの規模にまで成長しています。2019年末時点で、コード行数も140万行を超えており、現在もその増加ペースはとどまるところを知りません。一方、コードが大規模になると、開発者にとってはビルド時間が悩みの種ともなります。また、プロジェクトの成長に伴い、再現不可能な問題も増えていきました。 たとえば、ローカル環境で動くビルドがCIで動かなかったり、もしくはその逆が起こったり、といったものです。 そこで、一歩退いた目線に立ち、ビルドパフォーマンスと再現性を改善できる方法を考え始めました。 ライブラリ依存管理 まず、ライブラリ依存管理についてお話します。LINEでは、2012年の終わりに依存性管理ツールとして CocoaPods を導入しました。 CocoaPodsは非常に便利なOSSで、 Xcodeとの相性も良いです。 自分で書
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
Bazel
安定版リリースのドキュメントについては、[バージョニングされたドキュメント] プルダウンを使用してください。デフォルトのビューには HEAD の最新バージョンが表示されます。
はじめに こんにちは、 Gunosy Tech Lab 所属の hyamamoto です。 昨日に引き続き Gunosy Advent Calendar 2022 の 16 日目の記事を書かせていただきます。 昨日は社内で初めてビルドツール Bazel を導入した話 というタイトルで Bazel の導入について紹介しました！ モノレポに Bazel 導入を検討している方はぜひ読んでみてください！ さて、完全に私ごとで恐縮なのですが、今年はライフステージが変わるイベントが多くありました（大阪への移住、入籍、家の契約）。 諸々を考慮した結果、注文住宅を建てることにしたのですが、その過程でソフトウェアエンジニアとしての知見が活かせると思うポイントがあったので、その話を書かせていただきます。 今回はややソフトめな話になりますが、ぜひ読んでみてください！ 家造りとソフトウェアエンジニアリング 家造り
LINEで働くエンジニアが、各職種別に日々の業務内容や開発体制、働く環境、今後の展望などについて学生向けに話した「新卒採用 職域別エンジニア会」。今回はiOS／Androidエンジニア会において、モバイルエクスペリエンス開発室副室長の岡本雄三氏が、LINEにおけるiOS／Androidクライアントエンジニアの業務内容や開発環境について紹介しました。 ミッションはLINEアプリのモバイルエクスペリエンス向上 岡本雄三氏：LINE新卒採用エンジニア座談会ということで、私から、iOS／Androidクライアントエンジニアの業務内容や仕事の環境について説明していきたいと思います。 はじめに、自己紹介いたします。私はLINE Platform Development Center2 モバイルエクスペリエンス開発室副室長の岡本といいます。よろしくお願いします。 当時はまだネイバージャパン株式会社でした
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
モノレポ管理ツール単体を管理するGitHubリポジトリとしてみると Lerna Bazel Nx あたりのStar数の多さが目を引きます。 ※npm Workspaces, pnpm Workspaces, Rush, Turborepo, Yarn WorkspacesのGitHub Star数はモノレポ管理以外の機能も含まれるリポジトリのためご参考 Trends比較 今回各ツールのトレンドを比較するため GitHub Star History npm trends State of JavaScript の調査を行いました。 GitHub Star History GitHub Star Historyで各GitHubリポジトリのStar数推移をチェックしてみました。 引用：GitHub Star History | bazel vs bolt vs lerna vs moon vs
Qiita Nightの資料になります。 ↑ 右下の拡大ボタンを押すと読みやすくなります。 https://increments.connpass.com/event/251564/ どうAndroidプロジェクトをセットアップするか？ takahiromという名前で活動しています。 Androidが好きです。 GDE for AndroidやDroidKaigi Co-organizerやCyberAgent Developers Expertなどの活動をしています。 初めてQiitaスライドを使いました。 初めてAndroidアプリを作りたいという方 Googleから公式のチュートリアルが提供されているので、最新のAndroidの開発について確認してみてください！一緒に開発していきましょう🙌 https://developer.android.com/courses/android
JSer.info #580 - Deno 1.19がリリースされました。 Deno 1.19 Release Notes deno vendorという外部モジュールをリポジトリ管理するためのコマンドが追加されています。 deno vendorは外部モジュールをローカルにインポートし、Import mapsでマッピングして利用できます。 Proposal: deno vendor · Issue #13346 · denoland/deno Deno.FileをDeno.FsFileにリネームし、Deno.Fileがdeprecatedとなっています。 Deno.Fileは次のメジャーアップデートで削除される予定です。 Deno.FsFileやDeno.ConnなどがWeb Streamsに対応、CompressionStream/DecompressionStreamのサポート、cons
Speeding up a Git monorepo at Dropbox with <200 lines of code
Speeding up a Git monorepo at Dropbox with <200 lines of code We migrated from Mercurial to Git in 2014 to improve local performance and began consolidating our repositories that hosted our backend code. But as this monorepo grew, we experienced Git performance issues that grew linearly with the number of files we added. Inconveniently, this problem was the most severe on macOS—the platform most o
知識ゼロからAnt と Maven と Gradle について勉強する。-ビルドの定義からツールの特徴まで | Wild Data Chase -データを巡る冒険-
知識ゼロからAnt と Maven と Gradle について勉強する。-ビルドの定義からツールの特徴まで 2019.04.06 Knowledge 前提 筆者の知識レベル 限りなくゼロ。前の職場が Ant だったけれども、用意された環境構築手順以上のことに触れなかったので知識は無い。 勉強動機 今の仕事で Gradle と Maven を使うので。 何でこの３つ？ どうせビルドツールを勉強するなら、有名な3つを比較しながら学んだ方が得るものが多いと思われたため。 ビルドツールについて ビルドって？ 対象の環境でプログラムを実行できるように、アプリケーションやライブラリを組み立てること。 ソースコードの解析、プログラミング言語から機械語へのコンパイル、ライブラリのリンクなどを経て実行ファイルを作成する。テストコードの実行なども行う。 ビルドとコンパイルの違いは？ コンパイルは「プログラミン
Nickel is the cheap configuration language. Its purpose is to automate the generation of static configuration files - think JSON, YAML, XML, or your favorite data representation language - that are then fed to another system. It is designed to have a simple, well-understood core: it is in essence JSON with functions. Nickel's salient traits are: Lightweight: Nickel is easy to embed. An interpreter
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
背景 LINE iOS版のソースコードは、ローンチ以来、数百モジュールもの規模にまで成長しています。2019年末時点で、コード行数も140万行を超えており、現在もその増加ペースはとどまるところを知りません。一方、コードが大規模になると、開発者にとってはビルド時間が悩みの種ともなります。また、プロジェクトの成長に伴い、再現不可能な問題も増えていきました。 たとえば、ローカル環境で動くビルドがCIで動かなかったり、もしくはその逆が起こったり、といったものです。 そこで、一歩退いた目線に立ち、ビルドパフォーマンスと再現性を改善できる方法を考え始めました。 ライブラリ依存管理 まず、ライブラリ依存管理についてお話します。LINEでは、2012年の終わりに依存性管理ツールとして CocoaPods を導入しました。 CocoaPodsは非常に便利なOSSで、 Xcodeとの相性も良いです。 自分で書
Linux Daily Topics 2022年3月11日"ディストロレス"なエコシステムの拡大を―apkベースの軽量OCIイメージ作成ツール「apko」 軽量でセキュアなLinuxディストリビューションとして人気の高い「Alpine Linux」は、とくにコンテナイメージ（OCIイメージ）の作成において使われることが多い。Alpine Linuxはパッケージマネージャに独自のシステムである「apk」を採用しており、Alpine Linuxが軽量でありながら扱いやすいOSとしてコンテナ周りで普及しているのはapkによるところが大きい。 このapkをベースに"ディストロレス（distroless）"なイメージ ―アプリケーションを動作させるために必要な最小限のコンポーネントだけを含むイメージを作成するツールが「apko」だ。作成するのはオープンソースをベースにしたサプライチェーンセキュリティ
evaluating bazel for building firefox, part 1 | Nathan's Blog
After the Whistler All-Hands this past summer, I started seriously looking at whether Firefox should switch to using Bazel for its build system. The motivation behind switching build systems was twofold. The first motivation was that build times are one of the most visible developer-facing aspects of the build system and everybody appreciates faster builds. What’s less obvious, but equally impor
Detekt comes with a set of plugins that helps you configure it easily in your Gradle, Maven, Bazel, ... build. Enjoy… DetektはKotlinのコード静的解析ツールになっていて、フォーマットエラーやCode smellを検出してくれるものになります。 ktlintに比べて更に細かいことをしてくれますし、コードで問題がありそうな箇所も検出してくれるの、うまく運用すると非常に強力なものになると思います。 セットアップDetektの導入はドキュメントを見ても分かりにくい部分があるので、まずは最低限の設定でやっていきます。 今回はKotlin DSLを使った例になります。 まずはDetektのGardle Pluginをプロジェクト直下の build.gradle に追加します。
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
Disclaimer: I work at Uber and am partially responsible for bringing zig cc to serious internal use. Opinions are mine, this blog post is not affiliated with Uber. I talked at the Zig Milan meetup about “Onboarding Zig at Uber”. This post is a little about “how Uber uses Zig”, and more about “my experience of bringing Zig to Uber”, from both technical and social aspects. The video is here. The res
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
GitHub - google-deepmind/xmanager: A platform for managing machine learning experiments
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
【2020年版】NVIDIA Jetson Nano、Jetson Xavier NXの便利スクリプト (Jetsonの面倒な初期設定やミドルウェアのインストールを bashスクリプトの実行だけで簡単にできます)
・2020/06/27 【2020年】Jetson Xavier NX 開発者キットが安かったので衝動買いした件、標準販売価格５万円が４万４千円！ 【ザビエル元年】Jetson Xavier NX 開発者キットを最安値で購入で、しかも国内在庫で注文から翌日で到着、ザビエル開封レビュー ・2019/03/20 NVIDIA Jetson Nano 開発者キットを買ってみた。メモリ容量 4GB LPDDR4 RAM Jetson Nanoで TensorFlow PyTorch Caffe/Caffe2 Keras MXNet等を GPUパワーで超高速で動かす！ ● Jetson Nano、Jetson Xavier NXの便利スクリプト 対応環境 Jetson Nano Jetson Xavier NX 2021/02 JetPack 4.5.1 PR Production Release
Bazelの使い方詰め合わせ
モンスト事業本部SREグループの伊藤です。 普段はモンストに関するシステムの改善・運用を様々な面から行っています。 前回は弊社のあるリポジトリでのBazelの活用について簡単に紹介しました。 今回は更に1歩、Bazelの使い方に踏み込んでみたいと思います。 我々のリポジトリに含まれている色々なツール等をビルドしてshipするにあたって分かりづらかったりした点を中心に説明したいと思います。 すべてを網羅できているわけではありませんし、あくまで自分たちのリポジトリの頻出パターンなので皆さんのリポジトリでは違った点で悩むかもしれません。 Bazelを使い始めようという時に思い出して見ていただけるとよいかもしれません。 今回もサンプルコードは前回と同じリポジトリに置いてあります。 コンテナを作るサンプルリポジトリの helloworld1 はコンテナの作成もできるようになっています。 load("
Moving from Rust to C++
Note to readers: this is an April Fools post, intended to satirize bad arguments made against Rust. I have mixed feelings about it now, as I think people who understood the context appreciated the humor, but some people were confused. That’s partly because it’s written in a very persuasive style, and I mixed in some good points. For a good discussion of C++ safety in particular, see JF Bastien’s t
モンスターストライク（以下、モンスト）のバックエンドの開発・運用チームでは、大小様々なツールをモノレポで管理しています。 また、モノレポにビルドツールの Bazel を導入して、プログラムのビルドやテストの実行などを統一したインターフェースで行えるようにしています（詳しくは過去の記事「Bazelとモノレポ」を参照してください）。 モノレポにある多くのツールは Go で書かれています： ちなみに、Perl も多いのは SNS mixi 時代のツールを引き継いでるからっぽいですGo と Bazel の相性はよく、公式からも Bazel + Go の開発を支援するツールが提供されています（e.g. Gazelle）。 モンストのバックエンド本体は Ruby で書かれており、いくつかのツールも Ruby で書かれています。 現状、モノレポにある Ruby 製ツールには Bazel が導入されていま
モノレポとマイクロサービス - Qiita
コロナの影響で在宅勤務(テレワーク)も一ヶ月以上も続き環境の変化に慣れてきましたが、BBCパパのように急な家族の割り込みによる対応で頭を悩まされている streampack の Tana です。 (在宅疲れした際に見るとリラックスできますw) モノレポ(Monorepo)とマイクロサービスへの取り組みについて streampack は動画配信プラットフォームをお客様の要望にカスタマイズしながら、AWSなどのクラウド上に提供しているサービスです。既存のシステムとマイクロサービスを最大限に活かすために、案件ごとに管理していた複数のレポジトリ管理からモノレポへ移管したかについての経験談のお話になります。 以前は案件やレイヤー毎にリポジトリを切って開発してました。いわゆる Polyrepo(Multi-Repo) と呼ばれる方法です。 例えば、 - project1_frontend - proj
LINEのAndroid開発はどのように行われているのか——。LINEの7事業でそれぞれ募集するAndroid開発について、横断的に紹介する採用イベントで、岡本雄三氏が「LINEアプリ」のAndroid開発について詳細を紹介しました。 LINEのAndroidアプリ開発体制 岡本雄三氏：モバイルエクスペリエンス開発室の岡本です。LINEアプリのAndroid開発について紹介いたします。まずは自己紹介します。モバイルエクスペリエンス開発室副室長兼マルチデバイスエクスペリエンス開発チームマネージャーの岡本と言います。よろしくお願いします。 2011年、私は当時のネイバージャパンに入社し、リリース直後のLINEアプリのAndroid開発エンジニアとして開発に参加しました。その後ユーザー数の増大に伴ってエンジニアも増えていき、開発チーム分割時にマネージャーに就任しました。 そして2021年に入って
12 Ways to Prepare your Monolith Before Transitioning to Microservices
I picked up most of my soft/hardware troubleshooting skills in the US Army. A decade of Java development drove me to operations, scaling infrastructure to cope with the thundering herd. Engineering coach and CTO of Teleclinic. Your team decided it’s time to get rid of that old, clunky monolith (finally!). You had a good run with it, but the monolith has grown so big that you’re spending more effor
You’re seeing information for Japan . To see local features and services for another location, select a different city. Show more In traditional industries such as automobile or aerospace, engineers first design the products and the manufacturing facilities produce the cars or aircrafts according to the design. In software development, a build system is similar to the manufacturing facilities that
手を動かして学ぶコンテナ標準 - Container Image と Container Registry 編 - Nao Minami's Blog
先日は、コンテナ標準化の現状と Kubernetes の立ち位置について において、各種ドキュメントをベースにコンテナ標準についてまとめてみました。 このブログでは、実際に tool などに触れて手を動かすことで、コンテナ標準についてさらに理解を深めてみたいと思います。 なお、基本的にこのブログ内のコマンドは、Linux で実行するものとします（自分は MacOS で Vagrant で Ubuntu VM を立てて実験してます）。 OCI Image の中身を見てみる skopeo と呼ばれる「container image に対して様々な操作を行えるツール」があります。このツールを利用することで、「docker image から OCI Image への変換」を行うことができます。このツールを利用して、実際に OCI Image の中身を見てみましょう。 まず、以下のコマンドを実行して
Haskell vs OCaml
haskell Published on December 6, 2019, last updated December 11, 2019 This is a comparison between the two languages by someone who has written code professionally in both. That said, I’m much more familiar with Haskell than with OCaml, so if you think there is a mistake in the text, let me know. Background and users Haskell is a niche, rarely used language. The situation is changing, but make no
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
Kubernetes 1.21 - What's new?
Kubernetes 1.21 is about to be released, and it comes packed with novelties! Where do we begin? This release brings 50 enhancements, up from 43 in Kubernetes 1.20 and 34 in Kubernetes 1.19. Of those 50 enhancements, 15 are graduating to Stable, 14 are existing features that keep improving, and a whopping 19 are completely new. It’s great to see old features, that have been around as long as 1.4, f
Apple Siliconが搭載されたMacBook Proが発売されました。深層学習的にどれくらいのパフォーマンスがあるのか調べてみました。 実行環境 Applie Siliconに最適化されたTensorFlow 2.6.0CPU / GPUとして M1 MAX 32コアGPU，64GBユニファイドメモリが搭載された， 16インチMacBook Pro （2021モデル）OSは，macOS Monterey（12.0.1） 開発環境整備 環境整備は，既にたくさん情報が出ているので簡単に実行環境が整備できますが，一応，手順を書いておきます。ただ，tensorflow addonsのインストールは，現在（11/21）では conda install (pip install) できないので（そのうちできるようになると信じたい），ソースコードからのビルドが必要です。その手順もメモしておきます
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How a one line change decreased our build times by 99%
Micronautフレームワークを使ったクラウドネイティブJava
LINE iOS版のビルドパフォーマンスをBazelで改善
Watch The Social Dilemma | Netflix Official Site
家造りとソフトウェアエンジニアリング - Gunosy Tech Blog
リリースから10年目を迎えても、やりたいことはまだまだある iOS／AndroidのLINEアプリを開発するエンジニアの働き方
アメリカン・ファクトリー | Netflix (ネットフリックス) 公式サイト
今モノレポやるならどのツール使うのがいいのん?? - Qiita
2022年のAndroidプロジェクトセットアップ - Qiita
2022-02-22のJS: Deno 1.19、Next.js 12.1、Monorepo Toolsまとめ
GitHub - tweag/nickel: Better configuration for less
全裸監督 | Netflix (ネットフリックス) 公式サイト
LINE iOS版のビルドパフォーマンスをBazelで改善
2022年3月11日 "ディストロレス"なエコシステムの拡大を―apkベースの軽量OCIイメージ作成ツール「apko」 | gihyo.jp
Kotlinの静的解析ツールDetektを導入する (Part 1/2)
ペーパー・ハウス | Netflix (ネットフリックス) 公式サイト
How Uber Uses Zig - Motiejus Jakštys Public Record
2人のローマ教皇 | Netflix (ネットフリックス) 公式サイト
コブラ会 | Netflix (ネットフリックス) 公式サイト
ハイスコア: ゲーム黄金時代 | Netflix (ネットフリックス) 公式サイト
Ruby のコードを静的型検査する with Bazel
アプリの体験改善・DX改善がミッション Android版「LINEアプリ」開発の現場
Building Uber’s Go Monorepo with Bazel
アイリッシュマン | Netflix (ネットフリックス) 公式サイト
イカゲーム | Netflix (ネットフリックス) 公式サイト
M1MAX MacBook Proで深層学習 – Nishizaki Laboratory