Cloud Run jobs を解説する
TL; DRCloud Run にバッチ処理などを実行するのに便利な機能「Cloud Run jobs」が追加されました。従来の Cloud Run と違い、HTTP リクエストに依らず、任意のタイミングでコンテナ(Task)を実行可能で、より長時間の実行、 明示的な並列処理を行うことが可能です。 Cloud Run jobs とはCloud Run jobs とは Cloud Run で、バッチ処理などを行うための機能です。Cloud Run の第二世代の実行環境で動作し、「CPU を常に割り当てる」が適用されます。 従来の Cloud Run との違いは以下の通りです。 HTTP リクエストに依らない実行より長時間の実行 ( 複数の Task を組み合わせることにより 60 分以上の実行を実現 )明示的な並列処理注意: 2022 年 5 月 13 日現在、Cloud Run jobs
呪い: 見積もりの3倍だけ常にかかってしまう
みなさん、進捗どうでしょう？最高ですか？そんなことないよね！なぜならあなた達は呪われている。事前の計画よりも、常に、3倍の期間が必要になる。常にだ！！この呪いは強力であり、解放されるのは難しい。我々はどうすればよいだろうか？ パーキンソンの呪いある資源に対する需要は、その資源が入手可能な量まで膨張する パーキンソンの法則 — Wikipedia ある仕事の作業量を見積もったとしよう。機能Aの追加に2週間程度必要そうだ、とする。順調にいけば、再来週には動き出し、価値が出せそうだ。ペースを作り、粛々と仕事を進めていこう。 ところが、現実的にはそんなに上手くはいかない。新しく導入するライブラリがうまく動かないとか、くだらないtypoに悩まされて半日失ったとか、既存コードの改修箇所が想像してたより多かったとか、何らかの別の仕事をやらなければいけなかったり、もしくは休暇が必要だったりとか。当初計画よ
Google のグローバルなロードバランサーとサーバーレスサービスの色々な組み合わせ
ベルギーにある Google のデータセンターラックの写真先の記事では Serverless NEG の紹介をし、その中で Cloud Run のサービスに HTTP(S) Load Balancing 経由でアクセスする例をお見せしましたが、本記事ではもう少し色々な構成を試してみたいと思います。 EDIT(2020–10–14): 以下すべて beta でのご提供のタイミングでの内容となっているため、コマンドラインでの説明(かつ “beta” の修飾付き)ですが、2020年10月14日に GA になっており、Cloud Console (ウェブUI)による設定も可能になっています。 目次サンプルアプリの用意ロードバランサーの準備マルチリージョン構成URL ベースルーティングURL マスクを使ってみるマネージド証明書を使ってみるCloud Armor と一緒に使ってみるコンソールと gcl
Flutter FAQ 🇯🇵
さらに自分なりに表現すると、次のように思っています。 Hot Reload/Restartによって、実装と確認のフィードバックサイクルが極めて速い(ビルドで数十秒以上程度待たされることの多いネイティブ開発環境と比べて)ネイティブアプリと見分けの付かないような高クオリティ・高パフォーマンスなアプリの開発も可能リッチなフルカスタムUIも組みやすいさらに、Google I/O 2019でもアピールされていたデスクトップ・Webへのクロスプラットフォームアプリの開発も可能になりつつある(まだプレビュー版で現時点でのプロダクション利用は厳しい)のも、今後への期待ポイントです。 Flutterの学習コストは？個人的には、以下程度に思っています。 簡単なプロトタイプ・ごくシンプルなアプリ: まあまあ簡単ある程度複雑・中規模以上のアプリ: 簡単ではない(iOSネイティブよりも少し習熟しやすいかも？程度)簡
GKE Ingress + gRPC アプリケーションのヘルスチェックをどうにかする
この記事は Google Cloud Japan Customer Engineer Advent Calendar 2019 の 9 日目の記事です。 TL;DRGKE Ingress + gRPC アプリケーションはヘルスチェックに一工夫必要あえて Nginx を使って解決してみるすぐに使えるコマンド例と設定ファイルつきHTTP(S) ロードバランサーのヘルスチェックは gRPC に対応していない近頃使われることが多くなってきた gRPC ですが、GCP の HTTP(S) ロードバランサーは gRPC でヘルスチェックを行うことができません。 これは HTTP(S) ロードバランサーを Ingress として使う GKE で「GKE Ingress + gRPC アプリケーション」をデプロイしようとしても、そのままではヘルスチェックが通らないため、クライアントからのリクエストがアプリ
Running WebAssembly on ARM
We started Wasmer with the mission of making programs universally available by leveraging on WebAssembly (Wasm). By enabling the use cases of Wasm outside of the browser we aim to unleash its full power: becoming the lingua franca for running software safely and at native speeds. Linux and macOS were the first platforms we started supporting for executing Wasm server-side (since Unix support was t
Graph Neural Networkの処理と効果を理解する: How Powerful are Graph Neural Networks?
Graph Neural Networkはどんな処理を行っていて、それによりどんな識別が可能になるのか？という点を検証した論文”How Powerful are Graph Neural Networks?”があったため、読んでみました。本論文はICLR 2019にOralでAcceptされています。 本論文の主張をまとめると、以下のようになります。 Graph Neural Networkの処理は3段階に分けられる。隣接ノードの集約(AGGREGATE)、集約結果による更新(COMBINE)、そしてグラフ全体の性質を得るためのノード特徴の集約(READOUT)の3つである。グラフの類似性を比較するために、ノードの接続種別ごとにラベルを振り、その個数を数え上げ比較する手法がある(Weisfeiler-Lehman Graph Isomorphism Test)。この文脈においては、同じ接続
Docker v18.09 新機能 (イメージビルド&セキュリティ) – nttlabs – Medium
NTTの須田です．Moby (≒Docker)，BuildKit，containerdなど，コンテナ関連のオープンソースソフトウェアのメンテナ (開発委員．コミッタとも．)を務めています． 本記事では，2018年11月8日にリリースされたDocker 18.09の新機能を紹介します． BuildKitの正式統合Dockerfileからコンテナイメージをビルドする機能である，docker build の新しいバックエンドとして，BuildKitがDocker 18.06より実験的に採用されていましたが，Docker 18.09にて，正式な機能に格上げされました． BuildKitは，須田が2017年4月に提案した docker build並列化のpull requestを契機として，Docker社 Tõnis Tiigi氏の主導により，Moby傘下のオープンソースプロジェクトとして同年夏に発
GAE スタンダード環境で scikit-learn を使う – google-cloud-jp – Medium
Google Cloud Next ’18 in San Francisco にて、Google App Engine スタンダード環境の Python 3.7 対応がアナウンスされました。Pythonista の方々には朗報ですが、実はそれ以外にも大きな変更がありました。 C で書かれたライブラリの使用が可能に今までの GAE スタンダード環境 Python ランタイムでは、ライブラリはホワイトリスト化された特定のビルトインのものか、Pure Python のものという制限がありました。これは従来のランタイムで使用されていたアイソレーション環境では、システムの安全性を保証できなかったからです。一方、今回Python 3.7 が動作する第２世代ランタイムでは、gVisor をベースとしたアイソレーション環境により安全性が担保できるため、内部的にCで書かれた Pythonライブラリもロードし
TensorFlow Hub を Cloud Dataflowで使ってみた
先日のTF Dev Summit 2018で発表されたTensorFlowの新機能に、TensorFlow Hubというのがあります。これはDockerでいえばDockerHubに該当するもので、モデルを簡単に共有できるエコシステムの一部です。本記事執筆時点(2018年4月)ではまだ一般ユーザーが独自のモデルをHubへアップロードすることはできませんが、現在多くの有用な学習済みモデルがGoogleから提供されています。 何の記事？ 上記のTensorFlow HubをDataflowから使い、バッチでたくさんの画像の特徴量を抽出してみよう、というお話です。 Dataflowって何？ Cloud DataflowとはGoogle Cloud Platformのプロダクトの1つで、いわゆるETLに該当します。サーバーレス環境なので、ほんの数十行のコードでオートスケールする大規模なデータ処理が可
メルカリのTeam AI Meetup #1 に参加してきた #mercari_ai – Moonshot 🚀 – Medium
メルカリが主催する機械学習のミートアップに参加してきたので備忘録がてらメモ書きです。書きなぐったメモなので意訳として捉えて下さい Twitter : #mercari_ai 山口さんImage Net とmercariの持ってるデータセットは似てるのでいけるのでは!ルカリはクラス数 over 1100始期の推定値 Top5 29.3%エラー例 :画像からサイズを推定しないと男女のシューズを区別不可(人間でも不可能なエラー例が多い)意外と認識がうまくいく事例がかなりある(クラス設計の影響で推定が上手く出来ていないらしい)データセットはユーザーが作成してるので最高、画像が正方形なのもGood学習はGPU,推論はCPU環境下で行っている画像検索自体はプロトタイプは出来ているが、実運用は計算量やリアルタイム性を担保するのが難しいので一旦保留中大筋は以下の記事と資料で把握できます。k8sで運用してい
mercari/datastore実戦投入
DatastoreについてみなさまGCPをお使いになっているでしょうか。 GCPにはバックエンドのDBとしてCloudSQLというRDBと、NoSQLであるDatastoreというのがあります。 周囲の事例を聞く限りは、マスターデータなど変化が少なかったり、seedデータ的なものを用意しなければならないものをのぞいて、基本的にDatastoreを利用している印象です。 また、GAEで開発する場合はinternalなAPIからDatastoreを利用できる一方、GKEなどからは、GCPの外部向けAPIを呼び出すことでデータを送受信します。 さて、自分はいつもGoでAPIを書くのがいいよ！と触れ回ってるわけですが、GCP上で開発を進める際には前述の通りDBにはDatastoreを使っています。 このDatastoreですが、そのまま使うと自前でキーを発行する必要があったり、値をキャッシュしたり
GCP products described in 4 words or less
Google Sheet | PDF | High-res image | GCP Products Page | Tweet Machine Learning Cloud Machine Learning Engine -- Managed ML (TensorFlow) Cloud Job Discovery -- ML Job Search/Discovery Cloud Natural Language -- Text Parsing and Analysis Cloud Speech -- Convert Speech to Text Cloud Translation -- Language Detection and Translation Cloud Vision -- Image Recognition and Classification Cloud Video Int
Numerai’s Master Plan
When Numerai launched in December 2015, it was a one page website that looked like a Kaggle data science competition except everything was black and more cinematic. We didn’t want it to look like any other hedge fund in the world — because we weren’t. We spent all this time on design and shooting videos (like this and this), and it seemed like a big distraction. The core idea of Numerai was to giv
なんで駐在員は大変なのか (英語編)
(この記事のその後の経緯をこちらに書きました) 今は日本で働いているけど、いつか一度は海外で働いてみたいという人もきっと多いだろう。 海外で働く一般的な手段は駐在員かと思うが、日本企業の駐在員というのは様々なパターンがある。任期付きの研修風な扱いか、採用目的のただの福利厚生的な位置づけか、社内の「期待の星」を育成するポストみたいになっているか、いっちょ若いやつに任せてみるか的なノープランポストか、そんな感じのイメージかもしれない。 メーカーさんや商社さんなどは、既に現地の市場か生産拠点があり、現地マネジメント、現地オペレーションという意味合いが強いかもしれない。バリューチェーンの中で欠かせないピースとして、海外子会社が存在する。 一方、インターネットの場合はちょっと様相が違うようだ。大半が、買収した海外の会社に行くか、もしくは全くの別事業を展開しているところに行く感じになる。こういった事業
ビットコインの非中央集権性が失われる日 - 西欧の車窓から - Medium
こんばんは、ヨーロピアンです。 夏の悩みの99.9％はロッテのスイカバーで解決されると信じてやまない毎日ですが、皆さんはいかがお過ごしでしょうか。 前回の記事を書いてからまだ日が浅いにも関わらず昨日（7/18）はまた大きな動きがありました。なんとBitcoinCashなるページがいきなり誕生しています。 またしても面白い展開になってきたので是非記事を書いてやらねば！という気持ちがムクムクと湧いてきたところです。 前回の記事はできるだけ広い範囲の方に届けたいという考えもあり、ビットコインの技術要素の詳しくない方が躓かないように理解の難しいキーワード（SegwitやBIP等）をできるだけ避けて記事を構成しました。 今回もその趣旨は変わっていませんが、混み入ったビットコイン政治事情を解説するためにどうしても専門的な用語の数が増えてしまっているのと、正確さを重視するために記事そのものも長くなってい
【退職ブログ】Facebook（Oculus)社を退職しました
この記事は Oculus Rift Advent Calendar 2016 22日目の投稿です。 もともとアドベントカレンダーには「VRにおけるキャラクタープレゼンス 〜Mikulusの未来〜」という内容で書く予定でしたが、西田宗千佳さんという昔から尊敬するライターさんが取材してくださり記事にして電ファミニコゲーマーというこれまた神のようなメディアに超長文で書いてくれるそうなので、今回は割愛することにしました。キャラクタープレゼンスについては、以前書いた VRにおけるプレゼンスの維持と破壊 を御覧ください。 以上、おわり。 ・ ・ ・ ・ では無くて、本日でOculus VR社(Facebook Japan株式会社)の最終出社日となるのでいわゆる退職ブログを書こうと思います。 Facebookといえば世界でも時価総額が4位くらいの会社でして、福利厚生は神レベルに凄いです。 ・別にタイムカ
デザインのバージョン管理をする世界
僕の同僚のデザイナーはデザインツールにSketchを使っている。デザインは区切りのいいところまで出来ると保存してDropboxで共有してくれる。最近ではGitHubでSketchファイルを管理することも試しているようだ。GitHubで管理することで過去に遡ったり、ほかの人の作業をマージできたりする。ただ、Sketchファイルはプログラムのソースコードのようなテキストファイルではなくバイナリファイルだ。この違いでGitまたはGitHubの便利なものの多くが使えていないんじゃないか。 先日Sketchファイルをテキストファイル(JSON)として管理できるツールを公開したので、どういうモチベーションで作っているのか書いてみようと思う。ツールはまだ完璧ではないが、ぜひ使って意見をもらえたらと…思う 🙇🏻 テキストファイルになるとできることあぁ、デザイン全体のボーダーの色が淡くなったのいつだっけ
Introducing Incremental DOM
Over the last few years virtual DOM implementations like React, virtual-dom, Glimmer and others have gained major adoption and changed how developers think about their interaction with the DOM. In our own work with virtual DOM implementations we have found 2 major issues that we set out to fix: We really like templates. Our designers like templates. Lets make sure we can continue to use our existi
Choosing GraphQL to build Drift’s messaging platform
Drift is building the customer messaging platform for businesses to communicate with prospects and customers from their own website or application. Like most internet companies today, we built our platform starting from a RESTful JSON API. But even with a clean slate, we still ran into familiar challenges that all API developers face: schema definition and introspection, versioning, paging, data a
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
