EKS(or Kubernetes on AWS)本番運用で導入を検討すべきな追加コンポーネントについて - inductor's blog
はじめに Amazon EKSを初期導入すると、最小限の構成でクラスターがセットアップされそのままの構成で本番運用をするのはとてもじゃないが厳しいみたいな状態になっています。 これには運用者が柔軟にミドルウェアを選定できるというメリットもありますが、そもそもどんな選択肢があるんだっけみたいなところまではちゃんと整理できていないと思うので、ここでは僕が考える入れておくべきアドオンについて今後のために整理しておきます。 github.com/aws/eks-charts を眺める とりあえず脳死でこのサイトに行き、自分に必要そうなものを眺めることにします。Helmを使ってインストールするかどうかはさておき、それぞれのツールの必要性について検討しようという話です。 github.com App Mesh関連 App Meshを使ったサービスメッシュをやっていきたいのであればこの辺のコンポーネント
ElasticsearchとBERTを組み合わせて類似文書検索 - Ahogrammer
本記事ではElasticsearchとBERTを組み合わせて類似文書検索を行う方法について紹介します。Elasticsearchでは最近、ベクトルに対する類似文書検索の機能が実装されました。一方、BERTを使うことでテキストを固定長のベクトルに変換することができます。つまり、BERTを使ってテキストをベクトルに変換すれば、Elasticsearchを使って類似文書検索ができるということになります。 本記事では以下のアーキテクチャでElasticsearchとBERTを組み合わせた検索システムを実現します。Dockerを使ってアプリケーション、BERT、Elasticsearchのコンテナを分けることでそれぞれをスケールしやすくする狙いがあります。記事中では重要な部分のみ提示しますが、システム全体はdocker-composeのファイルとして記述しこちらのリポジトリに置いてるので、参照してく
PDF Translator 使い方 - BCブログ
DeepL Translator for PDF 使い方 7月頃にPDF向けのDeepLベースの翻訳Chrome拡張を作りました． chrome.google.com 実装はGitHubにあげています． github.com 今回は，このChrome拡張で出来ることと使い方の説明をしていきます． PDF Translator ができること このChrome拡張ではPDFファイルから直接選択したテキストを自動で修正し,翻訳結果を直接画面に表示することができます． 以下は実際に使っている動画です． youtu.be このChrome拡張は以下の言語に対応しています． 英語 日本語 ドイツ フランス語 スペイン語 ポルトガル語 イタリア語 オランダ語 ポーランド語 ロシア語 中国語 また，このChrome拡張は以下の文章の整形を行います． 文章の途中の改行を削除します. 単語から「-」を削除しま
BERTによる自然言語処理入門 Transformersを使った実践プログラミング | Ohmsha
BERTはGoogleが2018年末に発表した自然言語処理モデルです。「文脈」を考慮した処理が特徴的であり、言語理解を評価する11個のタスクについて最高精度を達成し、今や標準的なモデルとしての地位を確立しています。 本書は、自然言語処理の近年における発展に大きな役割を果たし、かつ応用上も有用であるBERTの入門書です。前半で自然言語処理や機械学習について概説したのち、BERTによって実際にさまざまなタスクを解いていきます。具体的には、文章分類・固有表現抽出・文章校正・類似文章検索・データの可視化を扱います。データセットの処理から、ファインチューニング（BERTを特定の言語タスクに特化させるための学習）、性能の評価までの一連の流れを体験することで、BERTを自分で使えるようになることを目標とします。 なお、BERTで処理を行うためのライブラリとして、深層学習の言語モデルを扱ううえでよく使用さ
Scaling Kubernetes Tenant Management with Hierarchical Namespaces Controller | メルカリエンジニアリング
Scaling Kubernetes Tenant Management with Hierarchical Namespaces Controller Author: @deeeeeeeet from Platform Developer Experience Team Three years ago, we took the decision to break our monolithic API into microservices, and move from the physical machine deployment on-premise to container deployment on GCP by using Google Kubernetes Engine (GKE). We architected our Kubernetes cluster with multi
go.modとgo.sumの読み方
go.mod 主にモジュールのインポートパスとバージョン情報を書いておくためのファイルで、いくつかのディレクティブを使ってアプリケーションがどのような依存関係を持っているか記述しておきます。 go mod tidy等を実行するとこのファイルを元に依存先を取得し次項で解説するgo.sumを生成します。 サンプル module github.com/ryo-yamaoka/sample-lib go 1.17 require github.com/ryo-yamaoka/direct-dependent-lib v0.0.2 require github.com/ryo-yamaoka/indirect-dependent-lib v0.0.4 // indirect exclude github.com/ryo-yamaoka/direct-dependent-lib v0.0.1 repl
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
EventSourcing Live 2021