メリークリスマス！🎄 この記事はMisoca+弥生 Advent Calendar 2019の25日目です。 qiita.com 最終日の記事は、初日から24日ぶり2回目となる黒曜(@kokuyouwind)がお送りします。 💎 Ruby 2.7 will be released! ついに本日、Ruby 2.7 が正式リリースされますね！ Misocaでは id:eitoball の尽力により、すでにRuby 2.7対応のPull Requestがマージ待ちの状態です。年末までにリリースするかは未定ですが、遅くとも年明け最初の週にはリリースできると思います。 また、アドベントカレンダー初日に書いたActivePattern gemとMethodMatchable gemも、Ruby 2.7.0がリリースされたら合わせてバージョンを上げる予定です。 Experimentalな機能とはいえ

はじめにVision＆Languageモデル（VLM）を使って写真の説明をしてもらいます。 今回はGoogleが最近オープンソースとして公開してくれた「PaliGemma」を使ってみました。その他のVision＆Languageモデル（VLM）touch-sp.hatenablog.com touch-sp.hatenablog.com touch-sp.hatenablog.com touch-sp.hatenablog.com 画像と結果写真 結果 Two children sit on a ledge, looking up at a shooting star. The sky is dark, with a few stars visible. The boy is pointing to the sky, his arm outstretched. The girl is we

はじめに Ansible のロールでは、ロールの変数を vars/main.yml に、デフォルト値を defaults/main.yml に定義するというのが基本的なディレクトリ、ファイル構造です。 いつのバージョンからかはわかりませんが、それぞれ main.yml ではなくて main ディレクトリを用意して、その中に複数ファイルを入れておく構造でも読み取ってくれます。 この仕様が最近ドキュメントに明記されました。 Directories defaults and vars may also include nested directories. Roles — Ansible Community Documentation 私がこの仕様を知ったのもこのプルリクでした。へ〜と思ったので試してみました。 検証環境 ansible-core 2.12.0 ansible-core 2.16

Python製のタスクランナーを作ってみたので紹介。 タスクランナーとは タスクランナーとは、よく行う処理をタスクとして定義しておいて、コマンドラインから簡単に実行できるようにするツール。 ビルドのときに使われることが多いので、ビルドツールと呼ばれることもある。 たとえば、昔からある有名なものだと、GNU Makeとか。 あるいはRubyだとRakeが有名で、これはRubyの記述力の高さを十二分に活かしたものとなっている。 このタスクランナーの便利さは使ってみると分かって、とくにタスクやそれによって生成されるファイルに複雑な依存関係があったりした場合、依存関係を考慮して実行する処理を判断して必要な処理だけやってくれるのがとてもいい。 あるいは、複雑なコマンドを覚えたり、それを正しい順番で呼び出したりといったことも不要になるのもいい。 Pythonでのタスクランナー事情 そんなタスクランナー

🗒 今日の学び fortee.jp 前にWebサーバーにおけるPHPの実行方式に関する記事を書いたのですが、php-fpmの具体的な挙動までは首を突っ込まなかったので勉強になりました。ナチュラルに状態が残らないものだと思ってWebのPHPを書いてましたが、PHPコマンドで実行すると残るんですね…という学び。 fortee.jp ある程度馴染みのあるPHPをベースにRustはこうだよ、という話だったのでとてもわかりやすかったです。少しRustがわかりました。そして書いてみたくなりました。 ライブラリの実行時間のベンチを出してくださっていたのですが、Rustは文字通りダンチでした。10~100倍のレベルで違う。いいと言われてるものにはやっぱりそれなりの理由があるんですね。 fortee.jp ボーイスカウト原則や成功循環モデルについて、成瀬さんの体験談をもとに語られているので説得力のあるお話

はじめに「Fugaku-LLM」は日本が誇るスーパーコンピュータ「富岳」で学習した大規模言語モデルです。 パラメーター数が13b（130億）とそこまで大きくないのでローカルで実行してみました。 まっさらのUbuntu 22.04 on WSL2に「Fugaku-LLM」を動かす環境を構築するまでの全手順です。Docker Engineのインストールこちらに従いました。 インストール後に以下を実行しました。（ユーザー名は各自変更が必要です） sudo gpasswd -a ユーザー名 docker sudo chgrp docker /var/run/docker.sock Nvidia container toolkitのインストールこちらに従いました。 いったんここまででWSL2を再起動しました。（必要かどうかはわかりません）モデルのダウンロードこちらから「Fugaku-LLM-13B-

ver 0.2024.05: 連休の進捗：Pythonと深層学習モデルで動作する画像生成AIの上位Verの挙動の追及を(以下略 連休も終わりって過ごしやすい季節の5月が始まりました。昨年5月のRelease Notesを見返したら、その頃は呪文によって女の子の絵姿を大量召喚する魔術を使っていたようですが、今年は上位バージョンで同じことをしたり旅のイラストを召喚したりであまり変わっていない...！ ということで、 id:iwasiman (ver 0.2024.05)が今月もリリースのテストをしているようです。 じぶんRelease Notes / 「ちちぷいトラベル」企画より ver 0.2024.05: 連休の進捗：Pythonと深層学習モデルで動作する画像生成AIの上位Verの挙動の追及を(以下略 2024年4月までのアウトプットと参加イベントをふりかえると Github Speake

第十回技術書同人誌博覧会（技書博１０）の開催が近づいてきました。 「技書博１０」は2024年5月12日（日）に 東京都大田区の　大田区産業プラザPiO 大展示ホール（1F）にて開催されます。 行き方は？ ここに来てください！ www.google.co.jp というだけではしんどい方もおられるかと思うので、もう少し具体的にかみくだいで説明します。 一番最寄り駅は、京急蒲田駅（京急本線、京急空港線）になります。 JR京浜東北線、東急池上・多摩川線「蒲田」駅からも向かえますが、少し遠く（徒歩13分）なります。 アクセス ※大田区産業プラザPiO　交通アクセス ｜大田区産業プラザPiO　より引用 京浜急行「京急蒲田」駅から会場への行き方は？ 改札を出たら、階段を下りずに右の通路を直進します。 大田区観光情報センターを左手に見て進みます。 突き当りを左に曲がります。 横断デッキで国道を渡ります 東

はじめに AnsibleFet 2024 のキーノートで、Ansible code bot というものを知りました。 動画の 17:45 頃から。 GitHub 上の Playbook の品質上の修正提案のプルリクエストを出してくれる bot です。 おもしろそうだったの試してみました。 手順 スクショを取り損ねてしまったのですが、以下のページで手順がまとまっています。 access.redhat.com 有効な AAP サブスクリプションが必要で、Red Hat のサイトにログインする手順があります。 Your organization must have an active subscription to Red Hat Ansible Automation Platform to use the Ansible code bot. 今回はパブリックリポジトリで試しましたが、上記ドキュ

品川アジャイルでは呼ばれたら各スクラムフェスにお邪魔して配信のお手伝いをしているのですが、お手伝いさせていただけることはうれしいものの、どちらかというと、あらゆるカンファレンスの運営の方に「配信することをあきらめてほしくない」と思ってやっています。 カンファレンスの配信において注意しているのは、だいたいこんな感じです。 機材に詳しくない人でも運用できる 一日中放っておいても動く安定性 発表者が慣れているZoomと画面共有を使う 発表者PCからHDMI接続する際のトラブルを避ける そのままクラウドに録画録音して録画漏れを避ける (公開するかどうかは選択) 専任のカメラ担当を置かない (活人) 専用の機材を置く机を作らない (活スペース) 会場に映っていない、音が出ないことでオンラインの異常を検知する (ポカヨケ) 通常の配信では、「詳しい人しか使えない機材は使わない」ようにしています。普通に

🗒 今日の学び zenn.dev はてなブックマークを見ていると目についた。昨日🍣maguroさんがポストしていた内容を覚えていたので、そのまま見てた。 npmとの違いをざっくり言うとこういうことらしい。 TypeScript を直接パブリッシュ出来る モジュール解決は ESM だけ (CommonJS は無し) npm と互換性あり 複数ランタイムを意識した作り 各種 DX 改善 オープンソース zenn.dev これもTLでちょこちょこ見かけていて気になってたけど、調べるのを後回しにしていたやつ。 そもそもCloudflare自体クラウドの選択肢の一つくらいでしか認識していなかった。 これまでの主戦場がGCPで、今の職場に転職してからそれがAWSになりーので、Cloudflareまでキャッチアップする暇なかったんですよ。 というかこれから先も基本的にGCP以外のクラウドは必要が生じ

RAGの評価についてちょこちょこ調べたりしてましたが、今回はRAGの改善方法について調べたいと思います。 正直、今でもいたるところで手法が提案されているので追いかけきれませんが、包括的なレポートで言及されている考え方くらいは調べてみたいと思います。 Naive RAG 欠点 改善方針 Advanced RAG Modular RAG 参考文献 感想 Naive RAG 欠点 NaiveなRAGには明確な欠点がいくつか指摘されています。 検索段階ではprecisionとrecallを高める必要があり、検索されたチャンクが無関係だったり重要な情報が抜け落ちたりする 生成段階ではハルシネーションを起こすおそれがある。 augmentation時には、似たようなチャンクが検索されると、同じような内容が繰り返されたりする。また様々なパッセージの重要性や関連性を推測し、文体や調性の一貫性を確保すること

TypeScript + Bun な環境にて、SQLiteを操作したいことがありました。 Bunにはネイティブの SQLite driver があることから、そのまま bun:sqlite を使うこともできそうでした。 SQLite – API | Bun Docs ただ、日頃ORMでDBまわりを書いていることから、ORM的な何かを使いたくなりました。 BunのExamplesを見ていたところ、 Drizzle ORM が紹介されていました。 Use Drizzle ORM with Bun | Bun Examples Drizzle ORM - Overview また、Drizzleでは Drizzle Kit — is a CLI companion for automatic SQL migrations generation and rapid prototyping. Driz

Breaking the Wall between AI and DevOps with MLOps microsoftの公式GitHubアカウントにMLOpsというレポジトリがあります。 その中に、MLOps whitepaper.pdfというファイルがあり、各章の要点をまとめました。 MLOps/MLOps whitepaper.pdf at master · microsoft/MLOps · GitHub gitのcommit履歴を見るに、2019年10月に公開されたドキュメントです。 ※注意 GitHubからPDFファイルをダウンロードすると執筆時のレビューコメントがある状態なので、本ドキュメントを正式なホワイトペーパーと捉えて良いか不明です。 2024年現在、他にMLOpsに関するホワイトペーパーとしての位置付けのドキュメントがmicrosoftから出ていないので、暫定的に本ド

最近RAGをいじっています。 www.nogawanogawa.com www.nogawanogawa.com www.nogawanogawa.com 大体評価周りに関して何したら良いかはわかってきた気がするので、今度は精度に関するトラッキングをしていきたいと思います。 というわけで前回までのRagasやLlamaIndexに加えて、今回はLangfuseを使ってみたいと思います。 Langfuse LlamaIndexを使う際の他のObserbability系のツール お値段 使ってみる まずはただ使ってみる Ragasの出力を記録する 使ったnotebook 参考文献 感想 Langfuse Langfuseは、OSSとして開発されているLLMエンジニアリングプラットフォームです。 langfuse.com Langfuse is an open-source LLM engine

この前はPhoenixを使ってRAGの実験管理をしてみました。 とはいうものの、Phoenixに事前定義された機能で評価をしただけなので、今回改めてRAGアプリケーションの精度評価について考えてみようと思います。 RAGの評価周りでよく知られたツールとしてRagasがありますが、今回はこちらを使いながら評価について勉強してみようと思います。 Ragas Ragasで用いる評価指標 基本的な評価指標 Faithfulness Answer relevancy Context recall, Context precision Context Relevancy Context entities recall やってみる 評価 今回使用したnotebook 参考文献 感想 Ragas この記事の本題であるRAGの評価について入っていきたいと思います。 github.com docs.ragas

最近RAGアプリケーションの評価やその管理ツールについて調べることがありました。 今回はRAGアプリケーションでの実験管理に使用できるPhoenixを使ってみたのでそのメモです。 RAGアプリケーションと評価 RAGアプリケーションの評価 Arize Phoenix 類似ツール 使ってみる Tutorial ローカルでの管理 参考文献 感想 RAGアプリケーションと評価 Retrieval-Augmented Generation (RAG)は、LLMに外部の知識ソースからの追加情報を提供することで、LLM自体が知らない知識を補い、より正確で文脈に沿った答えを生成するアプリケーションです。 大まかには下記のような流れで動作します。 ユーザーからのクエリをもとに関連するドキュメントを検索 (retrieve) ユーザーのクエリ、関連するドキュメントを含めた形でプロンプトを動的に作成 (Aug

どうも、シオンです。気がつけば前回から１００日以上が経過していて、いつの間にやら春アニメが始まってしまいました。時の流れは早いですね。これからまたちょこちょこ記事を書いていけたらいいなと思っています。 今期のアニメで、オリジナル作品を３つ見ているんですが、そのどれもがなかなか面白い！ということで、それぞれを個別記事で書いていこうかなと思います。今回はタイトルにある通り、『夜のクラゲは泳げない』という作品について語ろうと思います。 あらすじ 面白いところ 推しキャラについて 曲について まとめ あらすじ あらすじはホームページとか見れば載ってるので細かくは書きませんが、４人の少女が覆面アーティスト「JELEE（ジェリー）」として活動していくという話ですね。メンバーはイラストレーターの「海月ヨル」こと光月まひる、元アイドルで作詞兼ボーカルの「JELEE/橘ののか」こと山ノ内花音、音大付属高校に

Spring Bootで初めてWebアプリを作ろうとすると最初につまづくのが「どういうライブラリ組み合わせればええんや…」というポイントなので、自分の中にある選定パターンをメモします。ここで説明するのはWeb層とDBアクセス層をどうするかという部分だけです。 あまり真面目な記事ではないので、ちゃんとした情報を知りたい人はSpring Academyとかを見るのが良いと思います。 マイ・パターン 灰色になっているのは仕事では使ったことのない組み合わせです。 Spring WebFlux + Spring Data R2DBC Spring初心者は無視して良いです。自分も使ったことがあるのはDBアクセスなしのWebFluxだけです。 Microservicesで言うところのAPI Gatewayだったりリバースプロキシだったり、特定のユースケースのときしか選択肢に上がりません。 Spring

前回、Chart.jsのPie chartをReactで表示してみました。 React + react-chartjs-2 + Chart.js を使って、Pie chart を表示してみた - メモ的な思考的な その続きとして、次はバックエンドからのレスポンスを React + Charts.js で描画したくなりました。 バックエンドは今までさわったことがないもので作ろうと考え、気になっていた Hono を使うことにしました。 Hono - Ultrafast web framework for the Edges https://github.com/honojs/hono では、HonoとReactをどう組み合わせればよいか調べたところ、以下の記事が参考になりました。 HonoでAPIだけ作って素のReact DOMでSPAを書くアーキテクチャ HonoでAPI付き雑React S