Scala記事を書き続けている話 - Lambdaカクテル
Table of Contents はじめに 最近Scalaまわりのアウトプットを積極的にやっている Scalaの裾野を広げたい 高度な記事はあるけれど 入門的な記事を増やす お高く留まらない言語にしていく お高く留まった言語から滅んでいく 裾野がプログラミング言語を支えている はじめに この記事は、はてなアドベントカレンダー2022の20日目の記事です。 昨日の記事はid:id:tokizuohによる『毎日行う動作を習慣にするためにメニューバー常駐macOSアプリを作った』でした。 この記事では、最近行っているScalaまわりのアウトプットについて紹介します。 最近Scalaまわりのアウトプットを積極的にやっている 最近個人的に継続している試みとして、 Scalaのライブラリや言語機能にかんする記事をどんどん書くというものがあります。 例えば一番最近だと入門⚡Shapelessという記事
クラウド関連のインシデントケースを収集して見えてきたもの
個人的に収集したクラウド関連インシデントへの洞察の共有です。 紹介する事例は全て公開情報を元にしています。 クラウドを取り巻く脅威の実態を知ることでクラウド環境のセキュア化に繋がれば幸いです。
階層ロジットモデルを用いた選択型コンジョイントデータの分析
はじめに マーケティングにおけるベイズ統計の活用事例について学びたいと思い、Bayesian statistics and marketingという書籍を読みました。本記事では10章のCase Study 1: Analysis of Choice-Based Conjoint Data Using A Hierarchical Logit Modelの内容を整理して紹介します。（より詳しく知りたいという方はこの書籍を購入して読んでください。） この章ではマーケティングリサーチの重要な手法である「コンジョイント分析」に焦点を当てます。中でも、消費者の実際の「選択行動」を分析する選択型コンジョイント（Choice-Based Conjoint, CBC）について、階層ベイズ多項ロジットモデルを用いた分析例を解説します。 通常のコンジョイント分析では、製品プロファイルに対する「好みの度合い」を
脆弱性報告で GitHub から $4,000 貰った話
はじめに こんにちは、ダイニーの ogino です。 この記事では GitHub の bug bounty で脆弱性を報告し、実際に報奨金を受け取った時の体験を共有します。 私は特にセキュリティの専門家ではなく、偶然に問題を見つけて初めて報告をしました。読者の方が同じようなチャンスに遭遇した時スムーズに行くように、海外からお金を受け取る上での意外なつまずきポイントや、実際に貰える金額などについて紹介します。 どんな問題を見つけたのか 今回見つけたのは、GitHub Copilot の VSCode 拡張機能に関する問題です。 この拡張機能のソースコードは本来公開されていないはずですが、TypeScript のソースマップによって元のコードが露出していました。 そもそも VSCode の拡張機能は .vsix という拡張子の付いたパッケージ形式で配布されます。これは実態としてはただの zip
Differential Transformerの構造解説 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに この記事では、2024年10月7日に登場したばかりの新しい機構、 arXiv:2410.05258 において提唱されたDifferential Attentionの解説をします。 本解説では実装できるレベル感の解説をします。 Differential Transformer (以下DiT) 概要 この機構は、従来のTransformerで問題となっていた、重要ではない無関係な情報にも注目度をふってしまうことを改善するために作られた機構ということです。 様々な条件下で、従来のTransoformerより性能が良いことが示されてい
計算時間の速いt-SNE実装とUMAPを、あくまで速度だけで比べてみた - Qiita
要約 $ \mathcal{O}(N^2) $かかるt-SNEの計算を高速な近似に置き換えるアルゴリズムを実装したopenTSNEライブラリを見つけた $ \mathcal{O}(NlogN) $でt-SNEに類したことができるUMAPについても、Pythonの著名な実装であるumap-learnライブラリも見つけた 扱うデータのサンプルサイズに応じて最速の実装は変わる 件数が少なめだとsklearnのt-SNEが有利 件数が増えるとumap-learnのUMAPが有利 件数に関わらず、openTSNEは無難な性能 t-SNEやUMAPの計算時間の比較結果は、本ページのデータ量に応じて計算時間が変わるのでは？だけ読めばだいたいOKです。 はじめに $ \mathcal{O}(N^2) $かかるt-SNEの計算を、近似計算によって$ \mathcal{O}(N) $オーダまで削減できるアルゴ
FMA (fused multiply-add) の話 - Qiita
この記事では融合積和 (fused multiply-add; 以下もっぱら FMA) について扱います。 この記事は元々「その辺で提供されている fma 関数の実装が正しいかチェックしてみた」記事だったのがだんだん守備範囲を広げていったものなので、FMAを単に使うだけではなく、実装する側の視点が多く含まれています。 筆者が実装したHaskell向けのFMA関数はこちらにあります： haskell-floating-point/FMA.hs at master · minoki/haskell-floating-point FMAとは、FMAを含む規格 融合積和（fused multiply-add; FMA）とは、積と和が合体した演算です。数式で書けば $xy+z$ です。この際、丸め（浮動小数点数で正確に表せない数をそれに近い浮動小数点数で代用すること）を1回しか行わないため、「積→和
ファミコン神拳とファイナルファンタジー - 神殿岸2
たまに界隈で話題に上がる、「ファミコン神拳がFF2をディスった件」というのがある。 『ファミコン神拳』は週刊少年ジャンプで88年まで不定期連載されていた、ファミコンゲームを紹介する連載記事だ。 執筆は「ゆう帝」こと堀井雄二を中心に集まったメンバー、ファミコン界とも関わりが深く、『ドラゴンクエスト』誕生にも重大な影響を与えた。 らしい。 はっきり言ってそんな昔のことは知らん。私はファミコン神拳が掲載されてる当時のジャンプなど、見たこともない。 FF2の話だ。レビューが掲載された1989年当時、FFの勢いは今ほどではないにしろ、十分知名度はあったはず。数年後のSFC時代にはドラクエと並び立つ2大RPGのイメージにまで成長する。 そんなライバルを、ドラクエとも関わりの深いファミコン神拳のライターたちがディスっていた。それは結構大きなことに思える。 このレビューは復刻済みだ。2016年に出た『週刊
Transformerにおける相対位置エンコーディングを理解する。 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 自然言語処理を中心に近年様々な分野にて成功を納めているTransformerでは、入力トークンの位置情報をモデルに考慮させるために「positional encoding（位置エンコーディング）」と呼ばれる処理が必要になります。 この位置エンコーディングは通常、トークン系列の開始時点を基準とした絶対的な位置情報を埋め込みます。 しかし、タスクによってはトークンの絶対的な位置ではなくトークン間の相対的な位置関係をモデルに考慮させたい場合もあると思います。 そういった需要に応えるため、トークン間の相対的な位置を考慮した位置エンコーディング技
TLM（Task-driven Language Modeling）の手法を使って、効率的に事前学習済BERTモデルの精度を超えられるか検証してみる - Qiita
はじめに TLM（Task-drive language Modeling）という手法を提唱する論文を読んで、内容が面白そうだったので、実際に実装してみて、TLMの効果を検証してみました。 実装する上で色々と勉強になったので、誰かのためになるのでは、と思い記事としてまとめてみようと思います。 TLM: Task-drive language Modelingとは？ NLP From Scratch Without Large-Scale Pretraining: A Simple and Efficient Frameworkという論文で紹介されている手法です。 TLMの課題背景は以下のような感じです。 近年のNLPはとんでもなく巨大なデータセットで何十億や何百億のパラメータを持つTransformerベースのモデルを扱うのが主流の1つに感じますが、そんな巨大なデータを扱えるのはごく一部の
仮想マシンイメージの脆弱性検知をTrivyに組み込んだ話 - masahiro331の日記
はじめに 実際に作ったもの ここから先が長すぎて面倒だという方向け なぜVMのスキャンが必要なのか？ 全体像 Trivyの脆弱性検知について 開発する上での課題 アーキテクチャ Storage層 EBS Storage Virtual Machine Image層 Disk Partition層 Logical Volume層 Filesystem層 & File層 苦労したこと&学び 処理が重すぎる問題 仕様書の英語が読めない とにかく人に頼る 巨大なバイナリファイルを読むのが辛い 感謝の念（一番大事） 最後に はじめに 2022年11月にOSSのコンテナ脆弱性検知ツール Trivy に 仮想マシンイメージ（VMDKやVDIなど）の脆弱性検知機能を追加しました。 今回はこの機能を追加した苦労話や具体的な技術について解説したいと思います。 技術話を書くと、正直クソ長文章になることは明白なの
LATTE: LAnguage Trajectory TransformErの紹介 - Qiita
はじめに この記事は、基盤モデル×Roboticsのカレンダー13日目になります。 ほかにもすごい興味深い記事がたくさんあるので気になった方は↓から見ていってください！ (ちなみに僕も今回初めて基盤モデルというものを知りました。自分自身、機械学習が専門ではないので、何か間違いがあればご指摘ください。) 基盤モデルとは？という方は @MeRT さんの以下の記事が参考になるかと思います。(上記アドベントカレンダー1日目の記事ですね) また、本論文はMicrosoftのプロジェクトページ、論文ともに公開されているので、本記事はラフな感じでいきたいと思います。 本記事 ＞ プロジェクトページ ＞ 論文という順で取っ付きやすくなればいいなーと思います。 LATTEとは？ 論文タイトルは「LATTE: LAnguage Trajectory TransformEr」です。 ミュンヘン工科大学とMicr
[輪講資料] Text Embeddings by Weakly-Supervised Contrastive Pre-training
大規模な弱教師あり対照学習によって訓練された強力なテキスト埋め込みモデルE5について解説した輪講資料です。 元論文: https://arxiv.org/abs/2212.03533
![[輪講資料] Text Embeddings by Weakly-Supervised Contrastive Pre-training](https://cdn-ak-scissors.b.st-hatena.com/image/square/e23aa7393db52ebb8aed62066085fef4123c4498/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2Fe5c4717713a84e579b44c4ef9898f618%2Fslide_0.jpg%3F29994898)
LLMの回答の不確実性を定量化する - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 1. はじめに 大規模言語モデル（LLM; Large Language Model）の導入がビジネスや生活の中で進んできています。LLMを活用する際、LLMが事実と異なる出力をするハルシネーション（幻覚）と呼ばれる現象に悩まされる方も多いと思いますが、ハルシネーションを回避・低減する方法の研究も進んでいます（たとえば、L. Huang et al., 2023をご覧ください）。本記事では、LLMの回答の不確実性を定量化し、それをもとにハルシネーションを検出する手法を提案した、Google DeepMindによる論文 To Believ
【論文5分まとめ】Ota: Optimal transport assignment for object detection
この記事は、論文の内容を5分くらいで読めるようにまとめた記事です。そのため、前提となる知識や関連研究に関する説明は大幅に省略しています。 基本的には筆者の備忘録ですが、面白そうと思ったら是非ご自身でも読んでみてください。 概要 物体検出モデルにおいて、予測された矩形と真の矩形（gt）の割り当ては、重要な課題の一つである。例えば、RetinaNetであれば、gtとアンカーのIoUが閾値以上であれば、そのアンカーから作られる予測矩形のターゲットとしてgtが割り当てられる。また、FCOSであれば、gtの中心に近い位置やgtの領域に対応する位置から作られる予測矩形にgtを割り当てる。 しかし、このような静的な割り当ては、以下の図のような複数のgtに所属してもよさそうな曖昧な領域の存在の扱いを難しくし、不適切なターゲットによる有害な勾配を生じさせる。 このような問題を回避するために、近年はさまざまな
JenkinsをIaCにより管理・運用する - decadence
はじめに JenkinsをIaCで管理する Jenkins本体の起動から初期設定 Jenkins Configuration as Code pluginによる設定管理 認証・認可の設定 Jobの定義 〆 Jenkinsの管理をIaC(Infrastructure as Code)に載せることで、運用コストの削減・不正な操作についての耐性・知見の共有といった様々な恩恵が受けられる。 具体的には以下のようなツールを使うことについて、この記事では述べようと思う。 Jenkins初期設定についてはdockerなどで管理を行う Jenkinsの設定管理をConfiguration as Code Pluginにより管理をする 認証設定についてはsaml pluginを、認可設定についてはrole-strategy pluginによりRBAC管理を行う JenkinsのJobについては、job-ds
Fitbitデータでスパース推定に入門してみる③ 〜心拍数データに対してfused lassoを使い、変化点を検出する〜 - mikutaifukuの雑記帳
はじめに 前回の記事では、個々の変数を選択するための様々なスパース推定の手法をまとめ、Fitbitデータに適用することでそれぞれの手法を比較しました。 mikutaifuku.hatenablog.com 今回のエントリでは、少し趣向を変えて心拍数データに対して、fused lassoと呼ばれる隣合う変数の関係性を加味した手法使ってみます。なお、今回のエントリは、書籍の第３章のfused lassoの部分を自分なりに整理してまとめただけなので、丁寧に学びたい方は、書籍を読んでいただければと思います。 スパース推定法による統計モデリング (統計学One Point) 作者: 川野秀一,松井秀俊,廣瀬慧出版社/メーカー: 共立出版発売日: 2018/03/08メディア: 単行本この商品を含むブログを見る fused lassoの概要 fused lassoは以下のような性質をもつデータに対して
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
オブジェクト指向でなぜつくるのか 第3版 を読んだ
AWS CDKのあるあるお悩みに答えたい
全国医療AIコンテスト 2021 1st place solution
