JavaでFargateのOutOfMemoryを引き起こした話 - Mirai Translate TECH BLOG
この記事は、みらい翻訳のカレンダー | Advent Calendar 2022 - Qiita の13日目です。 こんにちは。プラットフォーム開発部でリードエンジニアをしているchanceです。 今回は コンテナ（AWS ECS on Fargate）上での Java(JVM) のメモリのお話をします。 概要 先日、商用環境の ECS で試運転させていた Java アプリのコンテナが度々再起動してしまう事象がありました。 幸い、まだリリース前だったためサービス影響はありませんでしたが、原因特定のためさっそく調査を開始しました。 コンテナの停止理由は OutOfMemory だったのですが、Java のログにはそのような出力はされていませんでした。Java ヒープの枯渇ではなく OS のメモリを使い切っていたようです。AWS のコンテナの場合、メモリを使い切るとコンテナが強制終了されるとの
Dragan Milic Monday 23 Nov 2020 Intro RAM is most likely the scarcest resource that is first exhausted on your servers. If you’re serious about running software under Linux/Unix, you’re certainly aware of what an OOMKill is. Short refresher: when a program requests a new memory page from the kernel two things can happen. There is a free memory page: The kernel page assigns the page to the process
This blog is in reference to our previous ones for ‘Innodb Performance Optimizations Basics’ 2007 and 2013. Although there have been many blogs about adjusting MySQL variables for better performance since then, I think this topic deserves a blog update since the last update was a decade ago, and MySQL 5.7 and 8.0 have been released since then with some major changes. These guidelines work well for
Over the last year, I’ve been working on a new Ruby application server called Pitchfork. In most regards it’s extremely similar to the venerable Unicorn, from which it originates, but with one major extra feature: Reforking, which reduce memory usage of Ruby applications. For most of last year, we couldn’t enable reforking on our application because of an incompatibility with one of our dependenci
LinuxにおけるOOM発生時の挙動
はじめに これはLinux Advent Calendar 2015 3日目の記事を2016/2/2に編集したものです。 Linuxにおいてシステムの物理メモリが枯渇したOut-Of-Memory(OOM)という状態になった際の挙動について説明しています。OOMに関連が深いsysctlパラメタを紹介するとともに、カーネルの内部論理についても触れました。 本記事に記載されているファイル名は、とくに断りが無ければカーネルソースのトップディレクトリからの相対パス名です。調査に使用したカーネルバージョンは4.3です。 本書は話を単純化するために、細かい動作論理については説明を省いていることをご承知おきください。また、本書の中に誤りを見つけたかた、および、私が追いきれなかったソースについての詳細をご存知のかたは、指摘していただけると助かります。 Out-Of-Memory(OOM)とOOM-kill
こんにちは。BUYMAの検索やデータ基盤周りを担当している竹田です。 この記事は Enigmo Advent Calendar 2020 の19日目の記事です。 エニグモに入社してGCPやAWSといったクラウドサービスを利用することが多くなり、日々刺激を受けながら業務に従事しております。 その中でもKubernetesのようにシステムを「宣言的」に定義するモデルに技術進化の恩恵を感じており、自分の体験も踏まえて、クラウドサービスでKubernetesを一般利用するに至るまでどういう歴史的経緯があるのかを辿ってみたくなりました。 （実際Kubernetesで編集するファイルも「マニフェスト(≒宣言)ファイル」といいますね） なお、記事内容には主観を含む部分や、内容を簡素化するため端折っている部分もありますので、あらかじめご了承ください。 chroot まずはKubernetesで管理されるコ
はじめに 本記事ではGitOps CDツールの一つであるArgoCDの概要と利用方法について紹介いたします。 ArgoCDとは ArgoCDはKubernetesクラスター向けのContinuous Deliveryを実現するツールです。ArgoCDでは、Kubernetesマニフェストファイルが格納されたGitHub / Helmリポジトリを監視し、リポジトリ上で変更が発生したらその差分を検出して、Kubernetesクラスターに反映します。 GitOpsとは ArgoCDは、いわゆるGitOpsを実現するツールとして注目されています。GitOpsとは、以下のような特徴を備えたContinuous Deliveryの手法です。 GitをSingle Source of Truth（信頼できる唯一の情報源）として扱い、バージョン管理や変更履歴、ピアレビュー、ロールバックなどを、kubect
Crash/Deprecation/Intervention Reporting について - ASnoKaze blog
目次 Crash/Deprecation/Intervention Reporting Crash Reporting Deprecation Reporting Intervention Reporting ブラウザがWebページを表示する際に発生したエラーを、任意のエンドポイントにレポートさせる「Reporting API」という仕様があります。今回紹介する機能もchromeでいくつか実際に使用できます。 例えば、以前紹介した Deprecation Reporting もこの仕様によって定義されていました。 asnokaze.hatenablog.com 他にもTLS証明書エラーや名前解決エラーといった、ネットワークエラーを通知するNetwork Error Loggingといった仕様もReporting APIを利用しています。 asnokaze.hatenablog.com Cr
By Jun He, Natallia Dzenisenka, Praneeth Yenugutala, Yingyi Zhang, and Anjali Norwood TL;DRWe are thrilled to announce that the Maestro source code is now open to the public! Please visit the Maestro GitHub repository to get started. If you find it useful, please give us a star. What is MaestroMaestro is a horizontally scalable workflow orchestrator designed to manage large-scale Data/ML workflows
Linux Daily Topics 2020年1月8日Fedora 32がEarlyOOMをデフォルト実装へ、メモリ不足によるフリーズを回避 Fedoraプロジェクトは1月5日（米国時間）、2020年春にリリース予定の「Fedora 32」において「EarlyOOM」パッケージをデフォルトでインストール/有効化することを明らかにした。 Changes/EnableEarlyoom rfjakob /earlyoom -GitHub EarlyOOMは物理メモリおよびスワップ領域が不足した場合、特定のしきい値に応じてもっともメモリを占有するプロセスを終了させる、ユーザスペースで動くデーモン。利用可能なメモリおよびスワップ領域をつねに監視し、それぞれ10％を下回るとSIGTERMを、5％を下回るとSIGKILLを、もっとも占有するプロセスに対して送信し、プロセスを強制終了させる。 Fed
本文の内容は、2023年1月25日にJAVIER MARTÍNEZ が投稿したブログ（https://sysdig.com/blog/troubleshoot-kubernetes-oom)を元に日本語に翻訳・再構成した内容となっております。 はじめに Kubernetesを使用する場合、Out of Memory (OOM) エラーとCPUスロットリングは、クラウドアプリケーションのリソース処理で主に頭を悩ませる問題です。なぜでしょうか？ クラウドアプリケーションにおけるCPUとメモリの要件は、クラウドのコストに直接結びついているため、これまで以上に重要です。 リミットとリクエストを使用すると、リソースの枯渇を防ぎ、クラウドのコストを調整するために、Pod がメモリと CPU のリソースをどのように割り当てるべきかを設定できます。 ノードに十分なリソースがない場合、Podはプリエンプショ
はじめに Kubernetes は v1.25 で cgroup v2 サポートを GA しており、その後に cgroup v2 に関連する機能が追加されています。しかしまだ多くのディストリビューションで Kubernetes がデフォルトで cgroup v2 を使用しない設定のため、実際に利用している方は多くないと思います。PFN では2022年12月に Kubernetes バージョンを v1.25 にアップグレードするのと同じタイミングで cgroup v2 に切り替えています。 このエントリでは Kubernetes の cgroup v2 に関する機能である MemoryQoS フィーチャゲートと memory.oom.group の2つについて、機能概要と課題を共有します。なお、Kubernetes v1.28 時点での情報です。 そもそもの cgroup v2 について そ
【J-REIT】2019年11月 おすすめの初心者向け安いJリート ※2019年11月24日更新 - greenの日記
こんにちは、greenです。11月と5月に権利確定する初心者向けの安いREIT（リート）を紹介します。 2019年11月241日時点で、REIT平均分配金利回りが3.463.39%となっています。 私が保有している11月に権利確定するJリートの大江戸温泉リート投資法人（3472）は、分配金利回りが4.77％と平均利回りより1.3%ほど高い状態です。 今回の記事では、11月分のREITを確認し、Jリートを売るか、買うか、様子見とするか検討します。 ※2019年11月1日の価格で利回りを計算しています。 2019年11月22日の株価で利回りを再計算しています。👈こちらは、濃い青文字で追記しました。 11月と5月が決算月のJリートは7つあり、購入価格15万以下で利回り3％を超えるものは2つありました。ざっと見る限り、安いJリートの方が利回りが高くなっているようです。 では11月分のリートを調べ
「Horton Hears A Who!」は、ドクター・スースらしいユニークなキャラクターと、心温まるメッセージが詰まった絵本です。今回は少し長い物語ですが、この絵本を通して、お子さんと一緒に楽しく英語を聞き流してみませんか？ ここでは「Horton Hears A Who!」の簡単なあらすじの他、文中に出てくる日常の英語表現、おすすめの読み聞かせ動画のご紹介や日本語訳などを掲載しています。 お話の内容優しいゾウのホートンは、ジャングルで小さなホコリを見つけます。そのホコリから「助けて！」という声が聞こえたホートンは、ホコリを大切に持ち運び、その上に住む小さな人々「フー」を守ることを決意します。 しかし、ホートンは周りから「ホコリに人が住んでいるなんておかしい」と笑われてしまいます。それでも、ホートンはフーたちの存在を信じ、危険から守ろうとします。 英語学習のポイントこの絵本には、日常会話
Amazon Web Services ブログ Kubernetes で Spark パフォーマンスを最適化する Apache Spark はオープンソースプロジェクトで、分析分野で幅広い人気を博しています。有名なビッグデータや、ストリーミングといったの機械学習ワークロード、幅広いデータセットの処理、ETL などで使用されています。 Kubernetes は、人気のあるオープンソースのコンテナ管理システムで、アプリケーションのデプロイ、メンテナンス、スケーリングのための基本的なメカニズムを提供します。Amazon EKS は、高可用性コントロールプレーンを提供するマネージド Kubernetes サービスで、AWS で本番環境レベルのワークロードを実行します。お客様は、EKS でマイクロサービス、バッチ、機械学習などのさまざまなワークロードを実行できます。 このブログは、Kubernete
Raspberry Pi を Read-Only Root-FS にする & メモリがいっぱいになったらどうなるのか - その手の平は尻もつかめるさ
Raspberry Pi を Read-Only Root-FS にしておくと急にマシンがダウンした時でもファイルシステムが破損しにくくなります． もちろん書き込み内容は永続化されなくなりますが (書き込み内容は tmpfs にストアされるので rebootで揮発する)，得てして電プチなどの乱暴なオペレーションに晒されがちな Raspberry Pi にはそういった保護機構を入れておくと何かと良いことがあるかと思います． というわけでコレを使います: github.com この repository にあるツールを利用することで，Raspberry Pi をお手軽に Read-Only Root-FS にすることが可能です． 内部的には OverlayFS を利用しており，Write アクセスについては tmpfs に対して操作し， Read アクセスについては SD カードの Read-
第1回では、ハイブリッド／マルチクラウドの管理が注目される中で、IT管理者が抱える課題と、Kubernetes利用における解決の方向性を考察しました。要点は次の3つです。 標準化の前に、ガードレールを 管理者も、使い手とともに学ぶ 意思のある使い手の、自発性を尊重する 今回は、「Azure Arc」でこうした取り組みをいかに支えられるか、そのコンセプトや特徴を、エピソードを交えて解説します。 人はスケールしない 以下のエピソードは、事実をもとにしたフィクションです。 ある企業が、新システムの基盤としてKubernetesを採用し、パブリッククラウド上に導入しました。背景には、変化の激しいビジネス環境への対応と、オープンソースエコシステムへの期待があります。その企業ではKubernetesの採用実績がなかったのですが、プロジェクトチームは試行錯誤しながらもこの技術を手の内に入れ、安定運用に至
はじめに ご無沙汰しております。ABEJAの大田黒（おおたぐろ）です。前回は弊社TechBlogにて、数千人規模のイベント向けに顔認証技術を利活用したお遊びプロダクトの設計・開発・デリバリーについての裏側を執筆させて頂きました。 tech-blog.abeja.asia 今回のテーマは少しニッチな内容にはなりますが、自社で提供しているIoTソリューションにおけるセキュリティまわりの取り組みについて、ご紹介させていただければと思っております。 はじめに IoTデバイスを取り巻く環境 ABEJAにおけるIoTの利活用 例：製造業での適用例 (機械部品の自動検品) システムの構成例 ABEJAの立ち位置 IoTにおけるセキュリティの考え方 IoTデバイスに関わるインシデントの例 大事なこと IoTにおけるセキュリティ対策のご紹介 (一例) アクション3本柱 + α 1.「仕組み」で徹底的に守る
5.13カーネルを使っており、デフォルトでcgroup v2のみがマウントされているUbuntu 21.10の環境では、root cgroup配下のcgroup.controllersは次のようになっています。 $ uname -r 5.13.0-21-generic $ grep cgroup /proc/self/mountinfo 35 25 0:30 / /sys/fs/cgroup rw,nosuid,nodev,noexec,relatime shared:9 - cgroup2 cgroup2 rw,nsdelegate,memory_recursiveprot $ cat /sys/fs/cgroup/cgroup.controllers cpuset cpu io memory hugetlb pids rdma misc Ubuntu 21.10のような新しい環境では、
Llama 3-V: Matching GPT4-V with a 100x smaller model and 500 dollars
Edit (June 3 )— From TwitterFirst of all, we want to sincerely apologize to the original authors of MiniCPM. We wanted Mustafa to make the original statement but have been unable to contact him since yesterday. @siddrrsh and I posted Llama3-v with @mustafaaljadery. Mustafa wrote the entirety of the code for the project. Sid and I were both really excited about multimodal models and liked the archi
会社のテックブログに記事を書きました: ペパボ トラブルシュート伝 - TCP: out of memory -- consider tuning tcp_mem の dmesg から辿る 詳解 Linux net.ipv4.tcp_mem - hibomaの日記
以下の記事です。 tech.pepabo.com TCP our of memory memory pressure モード net.ipv4.tcp_mem 以上の三つの詳細を扱ったエントリです。TCP で大規模なトラフィックを扱っているサーバを扱われている場合、問題がないかどうかを確かめてみるとよいかと思います。 本文長いです。何に気をつけたらいいんでしょう? プラクティカルな話だけをまとめると、以下の4行です。 memory pressure モードに入ってしまうと warning です TCP out of memory が出てしまうと critical です 監視は /proc/ 以下のファイルを見ましょう チューニングは net.ipv4.tcp_mem で行いましょう LVS はどうなの? LVS でロードバランシングしている場合は、TCP スタックを通らないため TCP o
ChatworkのKubernetesを支えるツールたち(2020年版) - Chatwork Creator's Note
こんにちは。SRE部坂本です。毎年最低1回はフルマラソンに出ていますが、2020年はあえなく参加できずに終わりました。 2月にギリギリ行われたハーフマラソンではなんとか90分切り(89分台)を達成し、今年は3時間10分以内を目指してただけに残念ですが、仕方ありません。 特に部活等で走っていたわけでもなく、トラックの大会に参加するのはやや抵抗があり、年間の走行距離ぐらいしか目標がなく、これを書いている12月中旬で2591kmとなっています。昨年が2724kmだったので、なんとか更新したいなーというのが今の気持ちです。 さて、Chatworkでは2016年からKubernetesを導入しております。EKSもない時代ですので、kube-awsというツールを利用してEC2にホスティングして運用していましたが、今年EKSに移行しました。 aws.amazon.com そんなChatworkのKube
Hard Mode Rust
Hard Mode Rust Oct 6, 2022 This post is a case study of writing a Rust application using only minimal, artificially constrained API (eg, no dynamic memory allocation). It assumes a fair bit of familiarity with the language. The back story here is a particular criticism of Rust and C++ from hard-core C programmers. This criticism is aimed at RAII — the language-defining feature of C++, which was wh
サイバーエージェントグループ横断でGoに関する知見を共有し合う社内勉強会「CA.go」。今回はその社外版として、「FIFA ワールドカップ カタール 2022」を全64試合無料生中継をした新しい未来のテレビ「ABEMA（アベマ）」のチームがGo活用事例を紹介しました。ここで登壇したのは、江頭宏亮氏。「ABEMA」のレコメンドに対する大規模アクセスを支えるGo製サーバー開発について発表しました。全2回。前半は、レコメンドシステムの概要と、プロキシサーバーをGoで開発するに至った経緯について。 登壇者の自己紹介と本日のアジェンダ紹介 江頭宏亮氏：それでは、株式会社サイバーエージェント・江頭から「ABEMAのレコメンドへの大規模アクセスを支えるGo製サーバーの裏側」というタイトルで発表いたします。よろしくお願いします。 「レコメンド」と聞くと、パーソナライズされているという印象を持つ方もけっこう
【J-REIT（2023年5月） 】 おすすめ初心者向け安いJリートとインフラファンド※2023年4月9日更新 - greenの日記
こんにちは、分配金が大好きなチキン投資家のgreen🦆です。 マスク着用が個人の判断に委ねられるようになり、会社への出社もオフラインの飲み会も増えてきています。 そんな中、2023年4月7日の日経平均株価は27,518円と3週間前（3月17日）の日経平均株価27,334円と比較すると185円上げています😐。 3月権利落ち後に下げると見せてからの上げ、安心させてからの下げ😲。 2022年3月の権利付き最終日（2022年3月29日）の株価28,252円と比較すると734円下げています。 2023年3月の権利付き最終日の日経平均株価は27,883円でしたので、1年前の権利付き最終日で見ると一応下げ🤔 春のREIT難平祭り終了ばぶー👶 2023年4月7日時点でREIT平均分配金利回りは4.18%、東証REIT指数は1,807.34です。 3月17日と比較すると、平均分配金利回りは4.26
wp-config.php の編集
海外のホスティング会社 英語版をご確認ください。 トップ ↑ データベースの文字コード設定 DB_CHARSET で MySQL データベーステーブルの定義に使われる文字コード設定（例：タイの TIS620 用 tis620）の指定ができるようになりました。 デフォルト値の utf8 (Unicode UTF-8) は、ほとんどの場合に適した設定です。UTF-8 はどの言語にも対応するため、通常 DB_CHARSET は utf8 のままにしておき、自分の言語に合う DB_COLLATE を使用してください。 次の例は、WordPress のデフォルト値 utf8 の場合です。 define( 'DB_CHARSET', 'utf8' ); 通常 DB_CHARSET のデフォルト値を変更する必要はありません。ブログで別の文字コード設定が必要な場合は、MySQLでサポートされる有効な文字セ
はじめに メルペイバックエンドエンジニアの @r_yamaoka です。この記事は、Merpay Tech Openness Month 2022 の16日目の記事です。 私がつい最近まで所属していた加盟店管理業務を担うマイクロサービス群（以下、加盟店管理システム）では様々なバッチが稼働しています。本記事ではそれらの実装において過去に発生したトラブルやヒヤリハットから得た知見を共有したいと思います。 背景 本題に入る前に加盟店管理システムでどのような箇所にバッチ処理が採用されているかについて少し解説します。バッチ処理を採用するか否かの観点としては大きく下記2点があります。 機能要件上バッチ処理を採用しなければならない 非機能要件の都合で同期処理を採用できない 前者の例としては「配送業者との伝票情報連携」や「行政システムとの連携処理」というものがあり、これは連携先である配送業者や行政の業務の
Linux メモリ管理 徹底入門(カーネル編)
メモリ管理は、Linux カーネルのコアな機能です。この機能を理解することで、サーバの統計情報の意味がわかるようになったり、トラブル解析ができるようになります。 この記事では、Linux カーネルのメモリ管理について勉強したことを基礎からまとめます。 時間がない人は ここ と ここ だけ読んでらえればと思います。 プロセス編はこちら。 Linux メモリ管理 徹底入門(プロセス編) - SIerだけど技術やりたいブログwww.kimullaa.com メモリ管理はハードウェアに強く依存するため、x86_64 かつ OS起動後に 64bitプロテクトモード に移行したあとに話を絞る。また、OS は CentOS8.1、カーネルは次のバージョンを利用する。 ]# cat /etc/redhat-release CentOS Linux release 8.1.1911 (Core) ]# un
When I started working with kubernetes at scale I began encountering something that didn’t happen when I was just running experiments on it: occasionally a pod would get stuck in pending status because no node had sufficient cpu or ram available to run it. You can’t add cpu or ram to a node, so how do you un-stick the pod? The simplest fix is to add another node, and I admit resorting to this answ
【東京の感染者数は減少？】山中伸弥教授も驚愕「検査件数を見て愕然。感染者数が減少しているように見えるのは、単に検査をしていないだけ」
東京の感染者数は減少しているのか？ 日本の中で最も感染者の爆発的増加が心配されるのは首都東京です。図１は東京都が発表している日ごとの感染者数です。これを見ると4月7日の緊急事態宣言発令以降、ピークは過ぎたのではないか、やや減少傾向にあるのでは、と考えてしまいます。 しかし、図２の検査件数を見ると愕然とします。検査件数も同じように減っているのです。つまり感染者数が横ばいや減少しているように見えるのは、単に検査をしていないからだけなのです。 注目すべきは検査件数に対する陽性者の割合（陽性率）。東京は検査数が日ごとに大きくぶれているので、一週間ごとの陽性率を計算してみました。2月は3％、3月になって4％、7％と増加し、3月末には18％に急増、4月は19％を維持しています。 検査件数には、同じ人に複数検査した件数も含まれているという事ですので、実際の陽性率はさらに高いと考えられます。これは危険領域
こんにちは、寄付き成行き買いしか出来ないチキン投資家のgreenです。 2019年NISA利用可能枠の期限（2019年12月26日）を過ぎると、NISA利用可能枠が初期化されます。なので、最後の追い込み中です。 まだ残ってるの？早くつかいなよ！ ノロマ🐢なチキン🐓豚野郎🐷さま なんかあたりがキツイな😅 ということで、12月にNISA利用可能枠で、買った株を振り返り、最後に何を買うか検討します。 読んで欲しい人は、NISAの利用可能枠が残っている人、インフラファンドとJリートが気になる人になります。 記事の内容は、買ったインフラファンド、買ったJリート、NISA利用可能枠、最後にまとめを書きます。 買ったインフラファンド 日本再生可能エネルギーインフラ投資法人(9283) 買ったJリート インヴィンシブル投資法人(8963) 大江戸温泉リート投資法人(3472) NISA利用可能枠
High Assurance Rust
This book is an introduction to building performant software we can justifiably trust. That means having sufficient data to support confidence in our code's functionality and security. Trustworthiness is a hallmark of high assurance software. With assurance as our driving concept, we'll take a hands-on, project-based approach to two fundamental but often inaccessible topics in software development
メモリとはなんぞや ～ Node.js のメモリ管理を知る ～｜ラキール公式｜株式会社ラキールのエンジニアたちによるTECH BLOG
こんにちは。株式会社ラキールで DX 基盤開発を行う LaKeel DX Engine Group に所属する星と申します。 普段は LaKeel Synergy Logic という自社 API Gateway を開発しています。 社内ウェビナー（ウェブセミナー）で発表した Node.js のメモリ管理について、その内容の一部を公開します。 メモリメモリとはメモリとはメモリ(RAM, Random Access Memory)とはコンピュータのデータを一時的に記録するためのパーツで、日本語では主記憶装置と言われたりします。 メモリは主に作業机の広さなどに例えられたりします。 （机が広いと様々な道具を一度に使える≒ブラウザのタブをいっぱい開きながら画像編集がサクサク実行できる） プログラミングの文脈でいえば、メモリは実行するプログラムそのものやデータ（変数など）を保持する場所になります。 メ
OpenSSH: Release Notes
OpenSSH Release Notes OpenSSH 9.8/9.8p1 (2024-07-01) OpenSSH 9.8 was released on 2024-07-01. It is available from the mirrors listed at https://www.openssh.com/. OpenSSH is a 100% complete SSH protocol 2.0 implementation and includes sftp client and server support. Once again, we would like to thank the OpenSSH community for their continued support of the project, especially those who contributed
はじめての自然言語処理 Hugging Face Transformers で T5 を使ってみる | オブジェクトの広場
前回が分量的にやたらと重かったので、今回はその反省(反動?)を踏まえて軽い感じでいってみます。第7回で紹介した T5 ですが Hugging Face の Transformers でもサポートされてますので、その使用方法をご紹介したいと思います。 1. はじめに 今回は久しぶりに T5 の話です。T5 に関しては第7回、第8回で一度紹介しているので、未読の方は記事に目を通してから戻ってきて頂けると、より理解がしやすいと思います。 さて、 T5 ですが Google のオリジナルコード(以下 “t5"と記述)1は敷居が高いと感じる方もいらっしゃるのではないでしょうか。 Estimator API ベースのコードや gin による設定など慣れていないと、とっつきにくいのではないかと思います。 そこで今回は Hugging Face の Transformers 2を使って T5 を動かす方法
TL;DR Cloud Runでサイドカー機能が23/05/16にプレビューが発表されました サイドカーコンテナとしてdatpadog agentを並走させ、APMのトレースを取得を試しました About Cloud Runにサイドカーがプレビューとしてリリースされました。 モニタリングやプロキシなど、Cloud Runで対応が難しかったケースへの大きな選択肢になります。 今回はCloud Runのサイドカーとして、datadog agentを立てAPMのトレースを取得を行います。 いままでのトレースの取得方法 Cloud Run(やコンテナ実行環境)でdatadogのAPMは パブリックベータ として使用可能です。 どの様にdatadog agentのプロセスを扱うかと言うと、コンテナ実行時のコマンドを（ランタイムやバイナリではなく）datadogが提供するプロセスに対してキックする形で
この本の概要 CI/CD（継続的インテグレーション，継続的デプロイ）を導入すると，ビルド／テスト／デプロイなどアプリケーションのリリースに至るまでの多くの作業を自動化できます。開発が効率化するだけでなく，テストを確実に行うことなどにより品質の向上にもつながります。本書は，多くのアプリケーション開発で活用されているCI/CDサービス「CircleCI」を使って，CI/CDを実現できるようになるための書籍です。基本から始め，実際の開発に応用できるよう設定例やTipsをふんだんに掲載しています。 こんな方におすすめ Webアプリケーション開発を効率化したいと考えているWeb開発者 この書籍に関連する記事があります！ はじめに 本書の目的は，CircleCIを通してCI/CDに入門することです。 CI/CDを活用して開発速度と品質を両立！ CI/CDはそれぞれContinuous Integrat
Ubuntu 22.04 LTS Integrating systemd-oomd For Improving Low Memory Handling - Phoronix
Ubuntu 22.04 LTS Integrating systemd-oomd For Improving Low Memory Handling Written by Michael Larabel in Ubuntu on 31 January 2022 at 09:05 AM EST. 27 Comments Ubuntu 22.04 LTS is going to be making use of systemd-oomd for aiming to improve the experience when out of memory or under heavy memory pressure on the Linux distribution. Ubuntu is now the latest Linux distribution shipping with systemd-
キーフレーズを抽出して遊ぶ - エムスリーテックブログ
AI・機械学習チームで2021年新卒の氏家です。 この記事はエムスリーAdvent Calendar 2021の23日目の記事です。 最近チームでスタンディング&ステッパーが流行っているのでその流れに乗ろうと試みましたが、スタンディングの時点で挫折してしまいました。 さて、今回のテーマは自然言語処理です! AI・機械学習チームでは普段から自然言語処理をはじめとした機械学習を用いてプロダクトの開発・運用を行っています。 しかし、業務にあまり関係ない技術で遊びたい気持ちがあるのもまた事実。 そこで今回は、キーフレーズ抽出と呼ばれる技術に着目して、弊社に関連するデータに適用して遊んでみたいと思います。 キーフレーズ抽出とは 使用した手法 いざキーフレーズを抽出 テックブログ AskDoctors キーフレーズを使った応用 まとめ We are hiring! キーフレーズ抽出とは キーフレーズ抽
Elasticsearch初学者の中村です。 間が空いてしまったのですが、今回は Elasticsearch のフィールドタイプ nested フィールドについて書いていきます。 nested フィールドとは nested フィールドは Elasticsearch でマッピングに指定できる型の1つで、オブジェクト配列をお互いに独立して検索できる様インデックス化するためのフィールドです。 説明文だけを見ても分かりにくいですが、入れ子になったJSONオブジェクトに対し検索を可能にするフィールドになります。 そんなの必要なの？と思うかもしれませんが、Elasticsearch の仕様や使い方をまとめてみます。 nested フィールドが何故必要なのか Elasticsearch では入れ子になったオブジェクトは通常取り扱えません。これは Lucene でも同様です。 その為、入れ子になったオブジ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Guide to OOMKill Alerting in Kubernetes Clusters
InnoDB Performance Optimization Basics
Effects of Pitchfork reforking on Shopify’s Monolith
マニフェストファイルに思いを馳せる - エニグモ開発者ブログ
ArgoCDに入門する - TECHSTEP
Maestro: Netflix’s Workflow Orchestrator
2020年1月8日 Fedora 32がEarlyOOMをデフォルト実装へ、メモリ不足によるフリーズを回避 | gihyo.jp
KubernetesのOOMとCPUスロットリング
Kubernetes と cgroup v2 - Qiita
『Horton Hears A Who!』で楽しく英語学習！ドクター・スースの名作絵本を親子で楽しむ
Kubernetes で Spark パフォーマンスを最適化する | Amazon Web Services
「人はスケールしない、仕組みが必要だ」 Kubernetes運用の現実
セキュアなIoTデバイス導入・運用の為の取り組み紹介 - ABEJA Tech Blog
第48回 cgroup v2から使うコントローラとmiscコントローラ | gihyo.jp
「ABEMA」レコメンドシステムへのリクエストを削減するために 大規模な負荷・アクセスに対応したGo製プロキシサーバー開発
バッチ処理実装時に考慮すべき事項 | メルカリエンジニアリング
Understanding resource limits in kubernetes: memory
【REIT】2019年のNISA利用可能枠を使うため最後の追い込み❗ - greenの日記
Cloud RunサイドカーでDataDog APMを利用する - y-ohgi's blog
CircleCI実践入門 ──CI/CDがもたらす開発速度と品質の両立
Elasticsearch 入門。nested フィールドについて | DevelopersIO