最近RAGアプリケーションの評価やその管理ツールについて調べることがありました。 今回はRAGアプリケーションでの実験管理に使用できるPhoenixを使ってみたのでそのメモです。 RAGアプリケーションと評価 RAGアプリケーションの評価 Arize Phoenix 類似ツール 使ってみる Tutorial ローカルでの管理 参考文献 感想 RAGアプリケーションと評価 Retrieval-Augmented Generation (RAG)は、LLMに外部の知識ソースからの追加情報を提供することで、LLM自体が知らない知識を補い、より正確で文脈に沿った答えを生成するアプリケーションです。 大まかには下記のような流れで動作します。 ユーザーからのクエリをもとに関連するドキュメントを検索 (retrieve) ユーザーのクエリ、関連するドキュメントを含めた形でプロンプトを動的に作成 (Aug

どうも、シオンです。気がつけば前回から１００日以上が経過していて、いつの間にやら春アニメが始まってしまいました。時の流れは早いですね。これからまたちょこちょこ記事を書いていけたらいいなと思っています。 今期のアニメで、オリジナル作品を３つ見ているんですが、そのどれもがなかなか面白い！ということで、それぞれを個別記事で書いていこうかなと思います。今回はタイトルにある通り、『夜のクラゲは泳げない』という作品について語ろうと思います。 あらすじ 面白いところ 推しキャラについて 曲について まとめ あらすじ あらすじはホームページとか見れば載ってるので細かくは書きませんが、４人の少女が覆面アーティスト「JELEE（ジェリー）」として活動していくという話ですね。メンバーはイラストレーターの「海月ヨル」こと光月まひる、元アイドルで作詞兼ボーカルの「JELEE/橘ののか」こと山ノ内花音、音大付属高校に

Spring Bootで初めてWebアプリを作ろうとすると最初につまづくのが「どういうライブラリ組み合わせればええんや…」というポイントなので、自分の中にある選定パターンをメモします。ここで説明するのはWeb層とDBアクセス層をどうするかという部分だけです。 あまり真面目な記事ではないので、ちゃんとした情報を知りたい人はSpring Academyとかを見るのが良いと思います。 マイ・パターン 灰色になっているのは仕事では使ったことのない組み合わせです。 Spring WebFlux + Spring Data R2DBC Spring初心者は無視して良いです。自分も使ったことがあるのはDBアクセスなしのWebFluxだけです。 Microservicesで言うところのAPI Gatewayだったりリバースプロキシだったり、特定のユースケースのときしか選択肢に上がりません。 Spring

前回、Chart.jsのPie chartをReactで表示してみました。 React + react-chartjs-2 + Chart.js を使って、Pie chart を表示してみた - メモ的な思考的な その続きとして、次はバックエンドからのレスポンスを React + Charts.js で描画したくなりました。 バックエンドは今までさわったことがないもので作ろうと考え、気になっていた Hono を使うことにしました。 Hono - Ultrafast web framework for the Edges https://github.com/honojs/hono では、HonoとReactをどう組み合わせればよいか調べたところ、以下の記事が参考になりました。 HonoでAPIだけ作って素のReact DOMでSPAを書くアーキテクチャ HonoでAPI付き雑React S

こんにちは、虎の穴ラボのA.M.です。 今回は書籍のご紹介です。 読んだきっかけ 直近のタスクで自身の生産性があまり良くなかったので、何か良い本がないか探していたところ、この本を見つけました。 試し読みをしてみたところ、以下のような内容があり、自分の課題に対して解決策が書かれているように感じたので、購入しました。 どうやったら不得意なことでも効率よく人並みのことができるのか 「思考法」（マインドセット）が高い生産性を形づくっている AI時代を生き延びる思考法 基本情報 タイトル 世界一流エンジニアの思考法 著作者名 牛尾 剛 ページ数 222ページ 発売日 2023/10/23 発行 文藝春秋 ISBN 978-4163917689 紹介ページ 『世界一流エンジニアの思考法』牛尾剛 | 単行本 - 文藝春秋BOOKS 書籍の目次 第１章　世界一流エンジニアは何が違うのだろう？―生産性の高さ

DIE WITH ZERO 人生が豊かになりすぎる究極のルール 作者:ビル・パーキンスダイヤモンド社Amazon 久々に生き方アップデートされる系の本に出会った。 人は老後のために過剰に資産を溜め込むが、その多くはほとんど使われることなく、なんなら老後も資産を増やし続けて死ぬ。 そんなことをしている暇はなく、今できる「経験」に金を使え！経験こそが人生で最も大切なことである！というのが本書の主張。 余分なお金を稼ぐということは、そのお金を稼ぐだけの時間も無駄にしている。そして、年齢を重ねるほどに体は衰えていき、やりたいこと（やれること）もどんどん減ってくる。 老後に必要な資金も含めてあり金を全部使えということではなく、必要な最小限だけ用意しておき、残りは経験に投資しようねという話。 経験は、「思い出の配当」として死ぬまでずっと人生を豊かにしてくれる。 また、お金・時間・健康のバランスが大事で

Googleが公開した、MLOps実践のためのホワイトペーパー GoogleがMLOps実践のためのホワイトペーパーを公開しています。 Practitioners Guide to Machine Learning Operations (MLOps) 2021年5月に公開されたものですが、2024年現在に読んでも色褪せない内容だったので、各章の要点をまとめました。 TL;DR Googleが2021年5月に公開したMLOpsの実践のためのホワイトペーパー MLOpsライフサイクルの全体像・コア機能を解説 コア機能: 実験、データ処理、モデル学習、モデル評価、モデルサービング、オンライン実験、モデル監視、MLパイプライン、モデルレジストリ、データセット・特徴量レポジトリ、MLメタデータ・アーティファクトトラッキング MLOpsのコアプロセスの詳細を解説 コアプロセス: ML開発、学習の運用

「エンジニアたるものブログ等でアウトプットせい！」みたいな風潮あったりしませんか？ ブログ書いている私が言うのもアレですが、けっこう辛いと感じる人も多いと思っています。 一方でどうやったらアウトプットできるようになるか、いい感じにまとまっている情報ってあんまりなくて、いろいろすっ飛ばして「学んだことをブログに書いてみよう」で終わってたりします。 0から0.5に進むための考え方を紹介します。 今北産業のまとめです。 インプットをうまくアウトプットに変換しよう アウトプットは型があるので、構成に迷わないように先に勉強しておこう まずは自分のためで良い 前提 そもそもアウトプットって何？ アウトプットへの考え方 インプット（=データ）を「解釈する」ためのテクニック ずらす 深ぼり 混ぜる アウトプットの型に沿う 体験をアウトプットする場合 学びをアウトプットする場合 エラーへの対応方法等をアウト

ブログの全エントリを読み込むコード作ったので、とりあえずこれで学習して極小規模言語モデルを作ったら面白かろう、とやってみました。 というとかっこいいけど、まあ形態素解析して続く単語の頻度を覚えておいて、頻度に応じた単語をつなげていうという、Twitter老人会の方ならご存じの圧縮新聞ですね。圧縮きしだのHatenaか。 まあ、ここではてなブログのアーカイブを読み込むコードを書いたので、これで何かしたら面白かろうなと。 GPTのEmbeddingを利用してブログの投稿に対する近いものを探し出す - きしだのHatena それで、以前 圧縮新聞ぽいものを作っていたので、これを改めてはてなブログをデータに作ってみた感じです。 Igoという形態素解析器をつかって圧縮新聞っぽいものを作ってみる - きしだのHatena 圧縮新聞のアカウントは凍結されていますが、雰囲気はこちらを。 圧縮新聞さん迷言集

こんにちは！ABEJAでデータサイエンティストをしている大谷です。 ABEJAは国立研究開発法人新エネルギー・産業技術総合開発機構（以下「NEDO」）が公募した「ポスト5G情報通信システム基盤強化研究開発事業／ポスト5G情報通信システムの開発」に当社提案の「LLMの社会実装に向けた特化型モデルの元となる汎化的LLM」が採択されたことを受け、LLMの事前学習を実施しました。 以降、本LLMプロジェクトをGENIAC（Generative AI Accelerator Challenge）と表記します。 開発内容は表題の通り、Mistral社のMIxtral 8x7Bをベースにした日本語の語彙拡張版継続事前学習です。弊社が調べた限り、Megatron-LMでMixtralモデルを継続事前学習するソースコードは2024年4月12日時点（執筆時）では存在していません。 GENIACの計算資源提供の

forkwell.connpass.com こちらのイベントに参加してきたので、会の様子と感想を書いていこうと思います。(最初の部分は聞けず途中参加でした) 会の概要 会の概要 産休/育休はキャリアのブランクか？ 産休/育休を取得する際の心理的ハードルは？ 会社からあってほしい支援は？ 今より子育て支援に手厚い企業があった場合転職を検討するか？ 復職後にスキル面での不安はあったか？ 産休/育休の心理的ハードルを下げるために企業に求めることは？ 社外コミュニティ活動は継続していたのか？ タイムマネジメントの工夫 男性側の育休はどれくらい取るべきか？ 未就園児を見ながらどうキャッチアップ時間を確保しているのか？ パートナーはどれくらい子育てに参加してくれていたのか？ 在宅勤務時の子どもとの向き合い方 今後の展望 会全体を通した感想 会の概要 子育ては、人生の大きなイベントです。 これまでの生活

2024年は、「技術発信を頑張る」というのを目標にしている。 この目標は1月に設定して、既に3か月が経過しているが、今のところ上手くいっていない。 書いた記事はまだ二つだけで、この記事を書くにもかなり苦労した。 zenn.dev zenn.dev 目標を設定したときはモチベーションに満ち溢れていたが、記事を書こうとしたときには既にモチベーションの低下が始まっていて、一週間くらいかけて”頑張って”記事を書いた。 なんで「モチベーションが下がっているんだろう」というのを考えて、自分なりに理由が見つかったのでまとめておく。 モチベーションを低下させる要因 一つ目は、「記事を執筆して出すまでのリードタイムが長くなるとモチベが低下する」という点。 以下の記事に以下の記載があった。 私が記事を書くときはネタの賞味期限を意識しています。 これは読み手が考える賞味期限ではなく、書き手である執筆者のブログを

はじめに こんにちは。株式会社LegalOn Technologies でエンジニアをしております、勝田(@WinField95)です。この記事は、情報検索・検索技術 Advent Calendar 2023 の 20日目の記事として執筆されました。 この記事では、ANTLR[1]を使用したシンプルなクエリ構文の解析を行う検索クエリパーサーの生成と、解析結果から Elasticsearch の Query DSL[2]への変換までのプロセスと簡単な実装を紹介します。実務では、要求に応じて複雑なクエリ構文の文法定義が必要になる場合もありますが、この記事ではなるべく簡単なクエリ構文を取り扱います。解説で使用するコードは、この GitHub のリポジトリで公開しますので、参考にしてみてください。また、Search Engineering Tech Talk 2023 Winter では、この記事

はじめに 株式会社LegalOn Technologies でデータアナリストをしている高木 要です。LegalOn Technologiesではデータ分析業務に積極的に取り組んでおり、我々データアナリストチームは各部門のステークホルダーとともに製品やビジネスの価値をデータから評価できるようにデータ分析を行なっています。分析内容は多岐に渡り、製品利用状況や営業データなどを用いて、プロダクト開発やビジネスにおける意思決定精度の向上に努めています。 今回は「ネットワーク分析を用いたお客様の法律文書ナレッジマネジメント状況の可視化」についてご紹介いたします。 背景 今回の分析は、営業チームからの「お客様のナレッジマネジメント状況を可視化し、把握したい」という依頼を受けて行なったものです。ナレッジマネジメントとは一般的には「知識を共有して活用することで、新たな知識を創造しながら経営を実践すること」

Hypothesisとは何か、プロパティベーステストとは何か Hypothesisは、Python向けのプロパティベーステストのライブラリである。 プロパティベーステストは、生成された多数の入力データに対してプロパティ(性質)が満たされるかどうかをテストする手法である。 HaskellのQuickCheckライブラリが初出で、現在は各プログラミング言語に移植されている。 従来のユニットテストは、ある程度固定したテストデータを指定してテストを行っていた。 その際、境界値分析などで妥当なパラメータを決定していた。 しかし、境界値分析が必ず通用するとは限らないし、人間が行う以上、ミスも発生する。 プロパティベーステストはデータを固定する代わりにそのデータが満たすプロパティを指定してテストを行う。 実際のテストケースはHypothesisがプロパティを満たすパラメータを決めて生成してくれる。 人力

前にこんなことやってました。 www.nogawanogawa.work コサイン類似度の計算を高速化したくなることがちょくちょくあるのですが、「ぶっちゃけどれくらいのスループットが出せるもんなの？」というのが気になったので完全に興味本位でやってみます。 コサイン類似度 定義と素朴なpythonでの実装 コサイン類似度の2つの計算パターン 諸条件 2つのベクトルの配列間ですべての組み合わせのコサイン類似度を計算 baseline numpy sklearn xlr8 pytorch jax Numba 実行速度結果 2つのベクトルの配列間で同じインデックスの組み合わせのコサイン類似度を計算 baseline numpy jax Numba 実行速度結果 使用したコード 参考文献 感想 コサイン類似度 定義と素朴なpythonでの実装 コサイン類似度は下記のような式になります。 これがなんの

まとめ Choices クラスの登場により、ModelのFieldにある choices を指定しやすくなった。 しかし、Choices クラスを使っても、ModelのFieldにある choices では、データベースに入る値を制限できない。 CHECK制約を使えばデータベースに入る値を制限できる、Choices クラスの属性を活用することもできる。 Choices クラスに __empty__ 属性を指定した場合は少し注意が必要かもしれない。 ModelのFieldにある choices を指定した状態でModelFormを実装すると、期待するバリデーションを備えたFormができる。 愚かなる者よ、何故に『戦い』に身を置く？ 何かを守るためだ そういう話は……興味ない 選択肢を出したのだから選択肢から選んでよ Django 3.0から、Modelを定義する際に Choices クラスが

こんにちは！ Engineering Officeチームのおかぱるです。 今回はコドモン開発チームが初めてオフラインイベントのスポンサーをすることになったObject-Oriented Conference 2024（以下OOC）についてです！ スポンサーをすることになった背景、準備やイベント当日の様子、ふりかえりまでを記事にしていきます。イベントに向けたチームの雰囲気を知りたい方、またオフラインイベントの裏側が気になっている方がいましたら、ぜひご覧ください💪 スポンサーをすることになった背景 スポンサーとして準備することと運営メンバー 準備〜当日の様子 ブース ノベルティ 幕間CM セッション ふりかえり よかったこと👍 コドモンが得た学びをコミュニティに還元することができた たくさんの方にコドモンを知っていただけた ブースでいろいろな方と交流をすることができた 次回以降改善したいこ