Kubernetesクラスタの可観測性の隙間を埋めるeBPF - LIFULL Creators Blog
KEELチームの相原です。 今回はeBPFを利用してKubernetesクラスタの可観測性の隙間を埋めている話です。 前回のエントリではLLMにうつつを抜かしていたので本業(?)の話をしようと思います。 www.lifull.blog LIFULLの可観測性の現在地 eBPFとは 可観測性の隙間 NAT Loopback eBPFを実行するには BPF CO-RE libbpf-rsを利用したNAT Loopbackの検知 1. (ユーザ空間) コマンドライン引数として受け取ったDNSをTTLごとに名前解決してIPアドレスを取得する 2. (ユーザ空間) IPアドレスに変化がある度にカーネル空間で動くBPFプログラムにそのIPアドレスのリストを渡す 3. (カーネル空間) Kprobesで tcp_v4_connect/tcp_v6_connect にフックを仕込む 4. (カーネル空間)
カルマンフィルターが自動運転の自己位置推定で使われるまで - TIER IV Tech Blog
はじめまして、ティアフォー技術本部 Planning / Controlチームで開発を行っている堀部と申します。 今回は状態推定の王道技術「カルマンフィルター」が実際に自動運転で用いられるまでの道のりやノウハウなどを書いていこうと思います。 みなさんはカルマンフィルターという言葉を聞いたことがありますでしょうか。 カルマンフィルターとは「状態推定」と呼ばれる技術の一種であり、自動運転においては現在の走行状態、例えば車速や自分の位置を知るために用いられます。 非常に有名な手法で、簡単に使えて性能も高く、状態推定と言えばまずカルマンフィルターと言われるほど不動の地位を確立しており、幅広いアプリケーションで利用されています。 使い勝手に定評のあるカルマンフィルターですが、実際に自動運転のシステムとして実用レベルで動かすためには多くの地道な作業が必要になります。 この記事では、カルマンフィルターが
LinuxのBPF : (2) seccompでの利用 - 睡分不足
seccompについて seccompのプログラム 特定のシステムコールのみ許可する libseccomp ここまでのまとめ 参考文献 seccompについて seccomp (Secure Computingの略らしい)は，Linuxにおいてサンドボックスを実現するために プロセスのシステムコールの発行を制限する機能です． seccompを使っている代表的なアプリケーションにはchromeやOpen SSHなどがあります．最近利用が増えてきているようです． seccompはLinux 2.6.12 (2005)から導入されました． このときseccompは/proc/pid/seccompを1にするとread()，write()，exit()，sigreturn()のみを許可し， それ以外のシステムコールを呼ぶとSIGKILLするというものでした． その後，もう少し柔軟にシステムコールを
Kuwahara filterとかいう明らかに日本人の名前な画像フィルターに出会い、試してみたらすごかったので紹介する。 - Qiita
Kuwahara filterとかいう明らかに日本人の名前な画像フィルターに出会い、試してみたらすごかったので紹介する。Python画像処理画像加工フィルター 6/15追記 あとがきの提案について書きました 写真表現としての桑原フィルターの提案 #はじめに Kuwahara filter（桑原フィルター）とは 桑原フィルターは桑原道義さんという大学教授（Wikipedia曰く）が考案した平滑化フィルターの一種で、内容のシンプルさに反して上手いことかけるとまるで油絵のようになる、なんだかすごいフィルターであーる（先に結果が見たい方は記事の一番下を覗いてみよう） Kuwahara filter -Wikipedia SPECT用データ処理 (元論文？) #桑原フィルターの内容 https://upload.wikimedia.org/wikipedia/commons/4/49/Kuwahar
Pythonによるパーティクルフィルタの実装と状態空間モデルへの適用 - Qiita
パーティクルフィルタ/粒子フィルタ(Particle filter)、逐次モンテカルロ法(Sequential Monte Carlo: SMC)など様々な呼び方がありますが、この記事ではパーティクルフィルタという呼び方を使います。このパーティクルフィルタをPythonで実装して状態空間モデルの潜在変数を推定することを試したいと思います。 状態空間モデルにはさらに細かくいくつものモデルが分かれていますが、今回はシンプルなモデルであるローカルモデル(１階差分トレンドモデル)を対象として扱います。この状態空間モデルのトレンドの種類に他に何があるかを知りたい場合はココをご参考としてください。 \begin{aligned} x_t &= x_{t-1} + v_t, \quad v_t \sim N(0, \alpha^2\sigma^2)\quad &\cdots\ {\rm System\
確率的データ構造の比較：カッコウフィルタ対ブルームフィルタ | POSTD
確率的データ構造は少ないメモリでデータをコンパクトに保存し、保存されたデータに関するクエリに対し、おおよその答えを提供してくれます。クエリに対し空間効率の良い方法で答えるように設計されており、それはつまり、正確さを犠牲にするということにもなります。しかし、これらは一般的に、問われているデータ構造の仕様にもよりますが、誤差率の保証と境界を提供してくれます。メモリ使用量が少ないため、確率的データ構造はストリーミングや低出力の設定に特に有用なのです。ですから、動画の視聴回数を数えたり、過去に投稿された一意となるツイートのリストを維持したりするなど、ビッグデータの環境下では非常に有用です。例えば、 HyperLogLog++ 構造 は、2.56KBのメモリで最大790億の一意のアイテムを数えることができるのですが、誤差率はわずか1.65パーセントです。 Fast Forward Labsのチームは
カルマンフィルタってなに？ - Qiita
はじめに この記事について そもそもカルマンフィルタってなに？なんのためにあるの？ 何を受け取って，何を出力しているの？ どういう原理で動いているの？ 最適カルマンゲインってなに？ というところを解説していきます． わかりやすさの向上のため，わかりにくいところや気づいたことがあれば気軽にコメントしてください． 書かれていないこと この記事ではカルマンフィルタの考え方を知っていただきたいので，最適カルマンゲインの導出方法やその先のことは書かれていません． \newcommand{\Xtrue}{\mathbf{x}^{true}} \newcommand{\Xest}{\mathbf{x}^{est}} \newcommand{\Xodo}{\mathbf{x}^{odo}} \newcommand{\Xobs}{\mathbf{x}^{obs}} \newcommand{\xtrue}{x
seccompをmrubyで試す - ローファイ日記
seccomp とは、Linuxでプロセスのシステムコールの発行を制限する機能のこと。今回試すものはseccomp mode 2と呼ばれる、Linux3.5から搭載されたもので、システムコール単位での制限、特定の条件を満たす引数のみの許可/制限を実現できる。 バックエンドではlibpcapなどでも利用しているBPF（Berkeley Packet Filter）を利用していて、JITなどで高速に動作するらしい。 以下のサイトなども参照のこと。 mmi.hatenablog.com yuzuhara.hatenablog.jp 今回、seccompを利用するためのCライブラリlibseccompを用いて、mruby-seccompを作成した。これを利用してシステムコールの発行制限を試す。 github.com 基本的な使い方 基本的には、Seccompのコンテクストを作って、ルールを記述し、
Pmilter: Programmable Mail Filter Serverを作った - 人間とウェブの未来
Pmilterというサーバソフトウェアを作りました。 github.com PmilterはProgrammable Mail Filterの略で、SMTPサーバ（送信や受信）とmilterプロトコルで通信し、SMTPサーバの送受信の振る舞いをRubyでコントロールできるサーバソフトウェアです。 これまでにも、milter managerやRubyのgemを使ってmilterサーバを作るといった素晴らしいソフトウェアがありました。ですが、今回僕がフルスクラッチで作りたかった理由としては、 とにかくインストールや設定がシンプルで運用しやすいサーバソフトウェアにしたい ミドルウェアとして振る舞いを設定する感覚でRubyで制御する事に専念したい 依存ライブラリを減らしワンバイナリでサーバに配置できるようにしたい 設定変更に再起動することなくRubyを変更するだけで振る舞いを変えられるようにしたい
Spring Securityのお話 - シスアーキ in はてな
ハーイ！僕です。 最近、Spring Securityと戦っています。今のプロジェクトでセキュリティまわりを僕が担当しているのでね。 Spring Frameworkを勉強しはじめて、最初につまづいたのがSpring Securityです。いやね、これね、ちょっと僕には難しすぎるんじゃない？ 「人類には早すぎたのだ！！*1」 と、突然机の前で発狂しながら仕事してます。周りの人はびっくりさせてごめんなさい。 これ以上暴れてまわりの人から変人扱いされても困るので、自分なりにSpring Securityについて纏めてみようと思います。 SpringSecurityを理解する上では、 Filterのお話 Configのお話 Configurationのお話 がそれぞれあると思っているので、その順番で〜 Filterのお話 Spring Securityは主にサーブレットフィルターをもちいてWeb
Fluentdのfilter_grepの設定で少しはまった。 - ふり返る暇なんて無いね
fluentd 0.12.15 の話です。 結論から言うとFluentdのfilter_grepが、keyの後にスペース1個しか許容してくれません。 なので、下記のようにそろえるために、スペースを余分に入れると、意図しない正規表現になってしまいます。 <filter fluent.info> type grep exclude1 message (?:^out_forest plants new output|adding rewrite_tag_filter rule) </filter> 正しくはこう。 <filter fluent.info> type grep exclude1 message (?:^out_forest plants new output|adding rewrite_tag_filter rule) </filter> ソース的にはこのあたりで、スペース一個で
Advanced Filter Caching in Solr - Solr 'n Stuff
The filter caching features in Solr allow for precise control over how filter queries are handled in order to maximize performance. Solr has the ability to specify if a filter is cached, specify the order filters are evaluated, and specify post filtering. Solr Filter Queries Adding a filter expressed as a query to a Solr request is a easy… simply add an additional fq parameter for each filter quer
fluentdで不要なログを取り除くfilterプラグインを作った - Qiita
概要 Fluentd v0.12から利用できるFilterの機能を利用して、ログから正規表現でマッチしたものを取り除くfluent-plugin-ignore-filterを作りました。 grep-filterと何が違うのか Fluentd v0.12以降には grep Filter Plugin という @sonots さんの fluent-plugin-grep を取り込んだフィルタが組み込まれています。 こちらはログから正規表現で「マッチしたものを抽出する」プラグインです。 grepフィルタにはexcludeオプションがあるため、こちらを利用することで不要なログを取り除くことは一応可能です。 しかし、こちらのプラグインは「マッチしたログを通す」ためのフィルタのため、 マッチしたものを除外する目的で利用しようとすると、パース済みのログに対しand条件で除外できないという問題がありました
jqを活用してAPIレスポンスから欲しい情報を抽出する【上級編】 | DevelopersIO
よく訓練されたアップル信者、都元です。引き続きjqのお話。本日は上級編です。 まずおさらいの意味も込めて下記は、ざっと読んでおいて頂けると。 jqを活用してAPIレスポンス等から欲しい情報だけを抽出する【初級編】 jqを活用してAPIレスポンス等から欲しい情報だけを抽出する【中級編】 前回の練習問題の答え さて、まず前回の練習問題の答えをさらっと。1つ目の解答例は下記の通りです。「どっと・ふー・むきむき」と読んでください。 $ cat example.json | jq '.foo[][]' 2つ目の解答例はこんな感じでしょうか。 $ cat example.json | jq '[.foo[][] | {(.key): .value}] | add' jqにおける関数 さて。 ある値をから別の値を作る操作のことを関数(function)と呼びます。例えば今まで見てきたjqのクエリはそれぞ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - nsfw-filter/nsfw-filter: A free, open source, and privacy-focused browser extension to block “not safe for work” content built using TypeScript and TensorFlow.js.
[Java] Filters in RESTful Java
おでかけスポット検索のむずかしさ - Holidayを支える検索技術
GitHub - kazuho/golombset: An implementation of Golomb compressed set in C
Y・Q・L！！ - Qiita
Yahoo Developer Network
