Protocol buffers are a mechanism for sending data through the series of tubes known as the Internet. One common use of them is to define gRPC specifications — essentially a form of remote procedure calls. With gRPC service definitions, you create a “service” that has RPC methods. These RPC methods take a request “message” and return a response “message”. service FooService { rpc GetFoo (GetFooRequ
In 2018, Google published bidirectional, transformer-based pre-training of large scale language model BERT, breaking 11 state-of-the-art records in Natural Language Processing. It has brought great excitement for the NLP field. Very quickly, BERT has spread like wild fire within the research community, derivative research work have started to emerge. While the shockwaves BERT created have yet to c
AmazonでMartin Kleppmann, 斉藤 太郎, 玉川 竜司のデータ指向アプリケーションデザイン ―信頼性、拡張性、保守性の高い分散システム設計の原理。アマゾンならポイント還元本が多数。Martin Kleppmann… 手軽に扱えるデータの量や種類が増える一方、CPUの性能はムーアの法則通りには成長しなくなり、大規模データ処理では、多数のマシンを活用する分散処理が欠かせなくなってきました。クラウドの普及とともに多数のマシンを自ら調達せずとも分散システムを構築できるようにもなっています。 しかし驚くべきことに、今までこの分野に入門するための定番の書籍がありませんでした。分散処理にデータ処理が加わる融合分野である上、オープンソースプロジェクトの進化も速く、専門家同士でも共通の理解を構築するのが非常に難しかった分野です。この本を上手に使うと、既存のOSSプロジェクトの位置付けや、
NTTの須田です。2019年7月23日に公開された、Docker 19.03の新機能をお伝えします。2018年11月8日にリリースされたDocker 18.09以来、8ヶ月ぶりのリリースです。 root権限不要化従来のDockerは、ホストのroot権限でデーモン(dockerd)を動作させる必要があったため、脆弱性や設定ミスを突かれると、ホストのroot権限を奪われる恐れがありました。 Docker 19.03では、非rootユーザでデーモンを実行できるようになりました(Rootlessモード)。 Rootlessモードを有効化することで、万一Dockerに脆弱性や設定ミスがあっても、攻撃者にホストのroot権限を奪取されることを防ぐことが出来ます。ただし、現時点ではcgroupを利用できないなどの制約があります。 RootlessモードのDockerは, curl -fsSL http
Yaboo Oyabu, Machine Learning Specialist, Google Cloud Kazuhiro Yamasaki, Deep Learning Solution Architect, NVIDIA 概要このチュートリアルでは GCP 上で NVIDIA Tesla T4 と TensorRT Inference Server (以降 TRTIS) を用いて高性能なオンライン予測システムを構築する手順と、そのパフォーマンス計測・チューニング方法を説明します。このチュートリアルを完了すると、TensorRT に最適化された機械学習モデルが Cloud Storage に格納されます。また、 オンライン予測と負荷テストを実施するための GKE クラスタが作成されます。 本記事は Google Cloud Next 2019 Tokyo におけるセッション『GCP
NTTの須田です.Moby (≒Docker),BuildKit,containerdなど,コンテナ関連のオープンソースソフトウェアのメンテナ (開発委員.コミッタとも.)を務めています.また,Docker Meetup Tokyoの企画・運営も行っています. 2019年4月29日~5月2日にかけて, Docker公式のカンファレンスである DockerCon が サンフランシスコにて開催されました. Dockerをより安全に使うための技術「Rootlessモード」に関して発表してきましたので,紹介します. RootlessモードとはRootlessモードは,Dockerデーモン及びコンテナを,非rootユーザで実行する技術です.Rootlessモードを用いることにより,万一Dockerに脆弱性や設定ミスがあっても,攻撃者にホストのroot権限を奪取されることを防ぐことが出来ます. 須田は
Hello everyone, I’m Jocelin, under this title a little scathing I admit it, I announce you the release of DarkSearch.io the first real search engine of the Dark Web (according to me :p). It is a little pretentious to claim to be the first “real” engine, but I really think so. Why develop a search engine on the Dark Web ?I’m very close to cybersecurity, and I realized that the darkweb is still quit
Luke becomes an Apache Lucene module (as of Lucene 8.1)! (While I have served as a co-maintainer of Luke with the repository owner Dmitry Kan, for 4 years or so — this is my first post about this project.) IMPORTANT NOTICE to Luke Lucene Toolbox users A long-waited integration (for me and some of Luke users anyway) was finally made! Swing edition Luke got into Apache Lucene and the related Jira is
By Jan Overgoor Airbnb is an online two-sided marketplace that matches people who rent out their homes (‘hosts’) with people who are looking for a place to stay (‘guests’). We use controlled experiments to learn and make decisions at every step of product development, from design to algorithms. They are equally important in shaping the user experience. While the basic principles behind controlled
Envoy, Nginx, Apache HTTP Structured Logs with Google Cloud Logging Google Cloud Logging provides several plugins that allows you to easily emit structured logs for common applications. For example, if you install the Stackdriver Logging agent, you can get logs using the following fluentd plugins This sample demonstrates two of these plugins (apache and nginx) and how to configure them to emit not
I have been using MySQL for many years. The performance is very very high in many scenarios, but not in full-test search or some sophisticated query. I considered introducing Sphinx to solve the problem before, but gave up quickly because I found it was not easy for me to learn and use Sphinx (or maybe I was too lazy at that time :simle: ). Luckily, I met Elaticsearch(ES). ES uses Lucene to supply
Reinforcement learning is an increasingly popular machine learning technique that is particularly well suited for addressing problems within dynamic and adaptive environments. When paired with simulations, reinforcement learning is a powerful tool for training AI models that can help increase automation or optimize operational efficiency of sophisticated systems such as robotics, manufacturing, an
この記事は Busting 12 myths about BigQuery の著者の許可を得た上で @yutah_3 が日本語訳、補足したものです。個人的に気になった話等を含めて “訳者注” を入れながら翻訳します。 割と最近、 Forrester Research のレポート The Forrester Wave™: Insight Platforms-As-A-Service, Q3 2017 では Google Cloud は Leader のポジションとして位置付けられました。 BigQuery がこの中で果たした功績は間違いなく大きいでしょう。 私達は日々、スタートアップから大企業のお客様に至るまで、多様な Google BigQuery をお使いのお客様と、お客様の分析やデータウェアハウスに関する課題を解決するために一緒に取り組んでいます。多くの場合、私達のお客様は BigQu
Jupyter NotebookでPandasのDataFrameを表示する時、カラム数が多すぎると省略されてしまうことがある。 そんな時は、 pd.set_option('display.max_columns', 100)とやると良い。100の部分は表示したいカラム数。 また、表示する行を増やしたい場合は、 pd.set_option('display.max_rows', 500)上は、500行表示するように設定している。 KaggleのKernelを見ていたところ、知ることができた。
こんにちは、個人の日記です。 あまりブログを書かない派だし、この Medium アカウントも川についてとかしか書いてないのですが、同僚各位から入社エントリ書け圧¹を感じたので書きますと、2017年11月16日から Treasure Data で働いています。 Senior APIs Engineer というジョブタイトルで入社して、API Team というところに属しています。ここは、Treasure Data の各種サービスの入口となる API を提供するウェブアプリケーションを取り扱っているチームです。² そのアプリケーションは Ruby on Rails で実装されているので、主に Ruby を書いています。 入社してしばらく細かいタスクをこなしつつ、なんとなく慣れてきたので最近はちょっと大き目のお金が稼げそうな新機能の実装をやっているのが今です。 入社の経緯とか特に転職活動をしてい
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く