LLMアプリケーションの評価入門〜基礎から運用まで徹底解説〜
こんにちは。PharmaXの上野です。 今回はLLMアプリケーションを評価する上で知っておくべき評価の基本をきちんと整理したいと思います。 これまで何度かLLMアプリケーションの評価について語ってきました。 運用についても記事や発表の形でシェアを行ってきました。 ですが、まだまだ「評価とはなにか？」という基本的なところで躓いてしまっている方も多い印象なので、今回は前提から丁寧に評価の全体像をまとめていきたいと思います。 LLMアプリケーションを運用している方の参考になれば嬉しいです！ なぜLLMアプリケーションを評価する必要があるのか LLMをアプリケーションに組み込んでいると、LLMの出力を評価する必要が出てきます。 LLMの「出力は確率的である（毎回異なる）」ためです。 また、LLMの出力はハルシネーションを含む可能性がありますし、間違いではないにしてもサービス提供者の意図とは違った出
工学としてのSRE再訪 / Revisiting SRE as Engineering
SRE NEXT 2024 IN TOKYO.
『LeanとDevOpsの科学』をきちんと解読する 〜Four Keys だけじゃ絶対もったいなくなる話〜
スクラムフェス福岡2024での講演資料です。 --- 皆さん、職場でFour Keysを導入していますか？ Yesと答えた皆さん、『LeanとDevOpsの科学』は読みましたか？ あくまで僕の周囲のみの観測で語るのですが、Four Keysを職場で導入しているという人はとても多いので…
【AWS】ぼくのかんがえたさいきょうの運用・監視構成 - Qiita
AWSのインフラを運用・監視する上で使いやすいと思ったサービスを組み合わせて構成図を作成しました。それぞれのサービスの簡単な説明と類似サービスの紹介、また構成の詳細について説明していきます。 (開発で使用するようなサービスも紹介しますが、あくまでも運用・監視だけの構成です。) 各個人・企業によって環境は違うと思いますし、使いやすいと思うサービスは人それぞれだと思うので、これが正解という訳ではありませんが、参考にしてただければ幸いです。 参考になった教材を紹介した記事も作成しました。是非読んでみてください！ 【AWS】さいきょうの運用・監視構成を作成するのに参考になった書籍 インフラエンジニア1年生がプログラミングを勉強するのに使った教材 全体図 こちらがAWSにおける"ぼくのかんがえたさいきょうの"運用・監視構成です。複雑で分かりづらいかと思うので、詳細に説明していきます。最後まで読めばこ
ぼくのかんがえたさいきょうのDevOps実現構成
はじめに 昨年、AWS のインフラを運用・監視する上で使いやすいと思ったサービスを組み合わせて構成図を紹介した記事、「【AWS】ぼくのかんがえたさいきょうの運用・監視構成」が投稿したその日の Qiita のトレンド 1 位になり、はてなブックマークのテクノロジー分野でトップを飾りました。（たくさんの方に見ていただき感謝してます！） 本記事では「ぼくのかんがえたさいきょうの運用・監視構成」の続編として「ぼくのかんがえたさいきょうの DevOps 実現構成」を紹介させていただきます。あくまでも「ぼくのかんがえた」なので私個人の意見として受け入れていただけると助かります。 前回の記事でもお伝えいたしましたが、各個人・企業によって環境は違うと思いますし、使いやすいサービスは人それぞれだと思うので、これが正解という訳ではありません。一個人の意見として参考にしてただければ幸いです。 また、こちらの記事
開発者の生産性を測るためのフレームワーク`SPACE`について
LeanとDevOpsの科学の著者の一人であるNicole Forsgren氏が著者に入っているThe SPACE of Developer Productivity: There's more to it than you think - Microsoft Researchで提唱されているSPACEについて 以下記事も Four Keysだけじゃない開発者生産性フレームワーク 開発生産性の可視化フレームワークであるSPACEを活用するために、どのようなメトリクスをどう取得するかについて考えてみる 要約 SPACEは開発者の生産性を計測するためのフレームワーク 推奨されている測定指標のカテゴリ(本文ではディメンションと定義)の頭文字 satisfaction and well being performance activity communication and collaborati
実践ソフトウェアエンジニアリング（第9版） | Ohmsha
著者について／まえがき／訳者まえがき 第1章 ソフトウェアとソフトウェアエンジニアリング 第1部 ソフトウェアプロセス 第2章 プロセスモデル 第3章 アジャイルとプロセス 第4章 推奨のプロセスモデル 第5章 ソフトウェアエンジニアリングの人間的側面 第2部 モデリング 第6章 プラクティスの指針となる原則 第7章 要求エンジニアリング 第8章 要求モデリングの推奨手法 第9章 設計の概念 第10章 アーキテクチャ設計の推奨手法 第11章 コンポーネント設計 第12章 ユーザエクスペリエンス設計 第13章 移動体端末におけるソフトウェアの設計 第14章 パターンに基づく設計 第3部 品質とセキュリティ 第15章 品質の概念 第16章 レビューの推奨手法 第17章 ソフトウェア品質保証 第18章 ソフトウェアセキュリティエンジニアリング 第19章 ソフトウェアテスト―コンポーネントレベル
3〜4時間でAWSの監視系のサービス一気に学べたらコスパ良いと思いませんか | DevelopersIO
突然ですが、以下の機能がそれぞれどういうものか すべて ご存知でしょうか？ CloudWatch ServiceLens X-Ray CloudWatch Contributor Insights CloudWatch Synthetics CloudWatch Container Insights CloudWatch Logs Insights CloudWatch メトリクス Metric Math 検索式 カスタムメトリクス CloudWatch ダッシュボード CloudWatch 異常検出（Anomaly Detection） CloudWatch 埋め込みメトリックフォーマット CloudWatch アラーム 異常検出に基づいたアラーム 複合アラーム 私はわからなかったですね。ここ 1〜2年のCloudWatch系のアップデート量は凄まじいなと個人的には思っていて、Cloud
光を超えるためのフロントエンドアーキテクチャ - Speaker Deck
HTML5 Conference 11/25
ソフトウェアのための統計学 – 前編 | POSTD
ソフトウェア開発の原点は可能性の追求であり、不可能を可能にすることです。ひとたび ソフトウェア が開発されると、エンジニアは次に 程度 という課題に向き合うことになります。企業向けのソフトウェアであれば、「速度はどれくらいか」と頻繁に問われ、「信頼性はどの程度か」という点が重視されます。 ソフトウェアのパフォーマンスに関する質問に答え、さらには正しい内容を語る上で欠かせないのが統計学です。 とはいえ、統計学について多くを語れる開発者はそうはいません。まさに数学と同じで、一般的なプロジェクトで統計学が話題に上ることなどないのです。では、新規にコーディングをしたり、古いコードのメンテナンスをしたりする合間に、手が空くのは誰でしょうか？ エンジニアの方は、ぜひ時間を作ってください。近頃は、15分でも貴重な時間と言えるでしょうから、 こちらの記事をブックマークに追加 しておいてもいいでしょう。とに
『ソーシャル系Webサービスのデータマイニングで社会科学をしてみたい』
こんにちは、技術本部 秋葉原ラボのデータマイニングエンジニア の高野（@mtknnktm）です。弊社で運営しているゲームやコミュニティなどのソーシャル系Webサービスをより良くしていくためのデータ関連のあれこれを主な業務としています。そんな日々の業務の中で、ソーシャル系Webサービス上での現象や課題が、社会科学系の研究と関連してるんじゃないかなーと思ったので、その関連についてつらつらと書いてみました。最近、ソーシャル系Webサービスのデータを使った社会科学研究は非常に盛んで、SocInfo、COSN、SocialCom、IC2S2などなど、それを含む Computational Social Science をテーマとした新しい国際会議も数多く開催されています。本記事で取り上げるものは、私が主に興味のあるものを挙げたため、かなり偏りが有るかと思いますが、その他にもこんな興味深いトピックがあ
Apacheのアクティブ接続数を取得する
当然、Current Connections とは違う。 ってことで、やはり一番簡単なのは普通に netstat の結果に grep かけて行数をカウントする方法。 netstat -an |grep :80 |wc -lhttp://blog.mattsatorius.com/technology/web-design/ssh-command-to-show-current-active-apache-connections/ まぁ、これでも良いんだけど、これだと全てのIPアドレスを一緒にしてカウントされてしまうので、もっといい方法が無いか調べてみました。 IP別に集計する って事で、色々見てたらかなり強引だけど、IP別に表示する方法がありました。 netstat -plan|grep :80|awk {'print $5'}|cut -d: -f 1|sort|uniq -c|sort
前書き
「スモールワールド」 自分の知り合いの知り合いのそのまた知り合いに意外な有名人がいたり、自分の友人と別の友人がやはり友人同士である、ということはよくあるように思われる。 上の経験は偶然そのように感じるだけであろうか。 実際に人間の知人・友人関係をネットワークで表すと「スモールワールド」と呼ばれる特徴が見えてくる（数学的な定義は後述）。 上述の経験はこのスモールワールドという特徴に照らし合わせると、偶然ではないことがわかる。 スモールワールドの特徴を持ったネットワークは、ランダムにつながったネットワークや、規則格子状に（例えば三角格子や正方格子のように）つながったネットワークとは違った特徴を持っている。 興味深いことに、知人・友人関係のほかにも、ホームページがリンクで結びついたネットワークや電話回線網、飛行場と運航する飛行機を結びつけた交通網などのインフラネットワーク、あるいは、脳の神経ネッ
人口重心 - Wikipedia
この節は検証可能な参考文献や出典が全く示されていないか、不十分です。 出典を追加して記事の信頼性向上にご協力ください。（このテンプレートの使い方） 出典検索?: "人口重心" – ニュース · 書籍 · スカラー · CiNii · J-STAGE · NDL · dlib.jp · ジャパンサーチ · TWL (2020年2月) 本来ならば1人1人の住民の自宅が所在する経度・緯度をもとに重心を求めるのが望ましいが、これは事実上不可能である。そのため通例は基本単位区（町丁目、市区町村など）の人口データをもとに計算し、単位区の人口は単位区の中心（役場の位置を使うことも）に集中していると考える。 広い地域の人口重心を正確に計算するには、3次元空間上で重心を計算し、それを地表に投影して人口重心とする。これは現在ではコンピュータで簡単に計算できるが、人口重心の統計はコンピュータが普及する以前から取
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
マイクロサービスを正しい方法で監視する
Dave McCrory氏がデータの重力の法則の公式を発表
GitHub - takezoe/stepcounter