AIチャットボット向け「うそ発見器」、LLMの幻覚見抜く
チャットGPTのような大規模言語モデルを企業で利用する際に問題となるのが、ハルシネーション（幻覚）だ。MIT発のスタートアップは、モデルの回答がどの程度信頼できるかを示すツールを開発した。 by Will Douglas Heaven2024.05.01 1 8 大規模言語モデル（LLM）は、でっち上げの能力で有名だ。実際、それがいちばんの得意技である。大規模言語モデル自体に事実とフィクションを区別する能力はないため、リスクを負ってまで利用する価値があるだろうかと迷っている企業は多い。 マサチューセッツ工科大学（MIT）の量子コンピューティング研究室からスピンアウトした人工知能（AI）スタートアップ企業、クリーンラボ（Cleanlab）が開発した新ツールは、大規模言語モデルの現実の信頼性のレベルを、できるだけ明確に把握できるように設計されている。同社の「トラストワージー・ランゲージモデル（
Ollama + Open WebUI でローカルLLMを手軽に楽しむ
ローカルLLMを手軽に楽しむ ローカルLLMを手軽に動かせる方法を知ったので紹介します。今まではLLMやPC環境（GPUの有無）に合わせてDocker環境を構築して動かしていました。 それが、OllamaとOpen WebUIというソフトを組み合わせることで、ChatGPTのように手軽にローカルでLLMを動かすことができます。参考にしたサイトなどは本記事の末尾で紹介します。特にもりしーさんの動画はきっかけになりました（感謝です）。 動かす方法として以下2つを紹介します。 Ollama単体で動かす方法（初心者向け） Ollama + Open WebUIでGUI付きで動かす方法（Dockerが分かる人向け） 初心者でとりあえずLLMを動かすのにチャレンジしたいという人は、1つ目のOllama単体で動かす方法にトライするのがおすすめです。 Dockerとか普段から使っているという人は、1をとば
「よーしパパ、Ollama で Llama-3-ELYZA-JP-8B 動かしちゃうぞー」 - Qiita
はじめに こんにちは、KDDIアジャイル開発センターのはしもと（仮名）です。 エンドレス水出しコーヒーの時期になりましたね。 今回は、Ollama を使って日本語に特化した大規模言語モデル Llama-3-ELYZA-JP-8B を動かす方法をご紹介します。 このモデルは、日本語の処理能力が高く、比較的軽量なので、ローカル環境での実行に適しています。さあその性能は如何ほどに！！！！？？？？はやくAIは俺から仕事を奪え。 Llama-3-ELYZA-JP-8Bとは Llama-3-ELYZA-JP-8Bは、ELYZA社が開発した日本語に特化した大規模言語モデルです。Meta社の「Llama 3」シリーズをベースに、日本語での追加学習を行っています。80億パラメータという比較的小さなモデルサイズながら、「GPT-3.5 Turbo」や「Claude 3 Haiku」、「Gemini 1.0 P
ここが辛いよスクラムマスター - Qiita
ざくっと当時のチームの状況を フルリモート 開発メンバーはスクラムマスター兼任の私含めて4人 よくあるアプリ開発ではなく、社内アプリの運用をスクラムのフレームワークにそって推進 辛かったことを列挙する メンバー 学びたがらない マニュアル作業を淡々とやりたい人がスクラムチームに来てしまった プロダクトオーナー 何を実現したいか語らない 長期的な目標がなく、チームが外部（POの上司や関連部署）に振り回される 開発チームの実現方法に干渉する 議論すべきことが議論されず、技術的欲求を満たすために時間が使われてしまう スプリントの最中によくタスクが差し込まれる 計画がないため思いつきで、優先度が分からなくなる 自身が思い付いたアイデアを気に入っていてチームの意見を取り入れない PBIが明確になる前に着手せざるを得ない ネタが不足 情報も不足 忙しすぎてスクラムイベント以外でコミュニケーションが取れ
Backlogの課題とwikiとファイルをPythonでええ感じに出力（エクスポート）する方法 | DevelopersIO
こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回はBacklogの課題とwikiとファイルをPythonでええ感じに出力（エクスポート）する方法を紹介します。 なお、本記事と似たようなことは過去に以下の記事で投稿していますが、今回はwikiやファイルを含めて取り扱いました。 本記事の方法でできること・できないこと 本記事の方法では以下ができます 課題 課題の記載内容とコメント（テキストファイルとして、コメントには日時・作成者を包含）の出力 課題に添付されたファイルの出力 添付ファイルもダウンロード wiki wikiの記載内容の出力 wikiの階層構造はディレクトリ構造として維持 wikiの添付ファイルもダウンロード ファイル ファイルにアップロードされているもの出力 ディレクトリ階層構造は維持 その他 プロジェクトIDはプロジェクト名から
remote_addrとかx-forwarded-forとかx-real-ipとか - Carpe Diem
背景 ECSでNginxのコンテナをプロキシとして立てたところ、APIサーバのアクセスログのクライアントIPがNginxのコンテナIPになっていたのでその修正をしたのがきっかけです。 環境 Nginx 1.10.2 Docker1.12.1 構成 Client -> ELB -> Nginx -> API という構成とします。 ネットでよく見る情報 set_real_ip_from 172.31.0.0/16; real_ip_header X-Forwarded-For; を追加する、とか proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; を追加する、とかどれがどれだか分かりにくいので１つ１つ説明していきます。 用語説明 remote_
ハイブリッド検索のスコアリング (RRF) - Azure AI Search
Reciprocal Rank Fusion (RRF) は、以前にランク付けされた複数の結果の検索スコアを評価して、統合された結果セットを生成するアルゴリズムです。 Azure AI Search では、並列で実行される 2 つ以上のクエリがある場合は、常に RRF が使用されます。 各クエリがランク付けされた結果セットを生成し、RRF はランク付けをマージして、クエリ応答で返される 1 つの結果セットに均質化するために使用されます。 常に RRF が使用されるシナリオの例としては、ハイブリッド検索、同時に実行される複数のベクター クエリなどがあります。 RRF は、"逆順位" の概念に基づいています。これは、検索結果のリスト内の最初の関連ドキュメントのランクの逆数です。 この手法の目標は、元のランキング内の項目の位置を考慮して、複数のリストで上位にランク付けされた項目により高い重要性を
【CakePHP】ログ出力形式をカスタマイズしてデバッグ効率を上げる（2.x系） - Qiita
はじめに CakePHPでプログラムするにあたり色々なところで同じ書きっぷりの出力方法で書いてたり、違うメンバーが出力形式を違う形で書いていてログが見づらかったりしたので、ある程度の共通化を図るために設定方法を調べてメモしてみたという投稿です。 ネットを調べてもなかなか見つからなかったCakePHPのログ出力拡張クラスについて、そこそこまとめることが出来ていると思います。 想定読者 下記の方を想定した記事です。 CakePHPでログをいい感じに出したい方 CakePHPでログの拡張クラスを作ってみたい方 デバッグログで何を出したら良いか分からない方 CakePHPでWebアプリ作るにあたってログ設計したい方 チーム開発する上でベースとなるPHPフレームワーク拡張版を整えたい方 PHPやCakePHPでバリバリやってる方には向かないかもしれません。 前提条件 本稿は下記の環境で動作確認しまし
Androidエミュレーターの通信をBurp Suiteで取得する - Qiita
エミュレーターの通信を Burp Suite で取りたかったので、手順を簡単にまとめます。 手順として下記2つの方法があります。 ポート転送を利用する方法 仮想ネットワークのIPを指定する方法 検証環境 macOS Monterey 12.7.1 Android 12.0 Google APIs (API 31) ※root が使用できるもの Burp Suite Professional v2023.10.3.6 ポート転送を利用する方法 複数起動している場合は、適宜 adb -s [デバイスID] を指定してください。 手順 Android エミュレーターを起動する Burpを Loopback Only (127.0.0.1)、8080 ポートで開始する Androidエミュレーターのプロキシ設定をする ( iptables または Wi-Fi の Proxy 設定) エミュレーター
article.html?id=10
ナレッジ 2022.08.25 Burp Suiteとは？Proxy機能からRepeater機能、Intruder機能まで こんにちは、セキュリティサービスGの「シン」です。このブログではWebアプリケーションのセキュリティに興味がある方向けの記事を発信していきます。 プロキシツールにも色々ありますが、フリーのツールでこれほど機能が充実しているツールはないと思います。 今回はBurpのProxy機能、Repeater機能、Intruder機能について説明します。 ※本記事で使用されているBurpのバージョンは現在のバージョン（最新はv2022.8）と異なりますので、一部操作が異なる可能性があります。ご了承ください。 Burpとは? Burp Suite (バープ スイート)は、PortSwigger Ltdが開発したJava アプリケーションである。Web アプリケーションのセキュリティや
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Trustworthy Language Model (TLM)
本番環境とは別に開発環境にもMTをインストールする場合、ライセンスは2つ必要ですか？ | CMS プラットフォーム Movable Type
https://shiftasia.com/ja/column/%E3%82%B9%E3%82%AF%E3%83%A9%E3%83%A0%E3%81%AE%EF%BC%93%E3%81%A4%E3%81%AE%E4%BD%9C%E6%88%90%E7%89%A9/
単価相場 | ITフリーエンジニアのための【レバテックフリーランス】
【ワークマン】2023年最新！動きやすさ抜群！4D防風ウォームパンツ
Configuring Burp Suite With Android Nougat
GitHub - shohei1029/book-azureopenai-sample: 「Azure OpenAI Service で始める ChatGPT/LLM システム構築入門」のサンプルプログラムです。
https://www.amazon.co.jp/%E7%B4%94%E6%AD%A3%E5%BD%A2%E7%8A%B6%E3%83%9B%E3%82%A4%E3%83%BC%E3%83%AB%E3%83%8A%E3%83%83%E3%83%88-%E3%82%B9%E3%82%BA%E3%82%AD%E8%BB%BD%E3%80%8E%E7%B4%94%E6%AD%A3%E3%82%BF%E3%82%A4%E3%83%97%E3%80%8F4%E7%A9%B4%E3%82%A2%E3%83%AB%E3%83%9F%E3%83%9B%E3%82%A4%E3%83%BC%E3%83%AB%E7%94%A8%E3%83%8A%E3%83%83%E3%83%88-%E3%82%AF%E3%83%AD%E3%83%BC%E3%83%A0%E3%83%A1%E3%83%83%E3%82%AD1%E5%8F%B0%E5%88%86/dp/B01N5YEAFG/ref=sr_1_8?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&crid=DFJPIPKPT5KV&dib=eyJ2IjoiMSJ9.05Ms_MXLIon7zTJd1jtrEmMTwuOBQF17FwajhV-qP3qFcq0C3k4HbfNHFUwLyLXu9Nd3F-fqrOIgk5N4pmBfmdqUo-_6pDXRyc1WHxTK7X5Hr5qXF1hS40Z-KS_55Dd0SA7jt20QYgyYWvWEE316mpnkKmrd9Kq3SUK81J9nBe0_POsLmV7IJ5_JCTu5eVpnLAX6m2jngyYmuVKWuqTMJ7MbDNM_PB7hYowUtDHXRVuRwEy9OXHj9GGWZu8YD10eKLkJAU3CoNfnycoEWP3fKSrNLm9XHjxXOof3tMs8yEE.Ip3VJbwmoUlDwI9ZdlMEKHVsVJLtSSrAJYUyCk5naCg&dib_tag=se&keywords=%E3%82%A8%E3%83%96%E3%83%AA%E3%82%A3+%E3%83%8A%E3%83%83%E3%83%88&qid=1711240354&sprefix=%E3%82%A8%E3%83%96%E3%83%AA%E3%82%A3+%E3%83%8A%E3%83%83%E3%83%88%2Caps%2C197&sr=8-8
求職者支援制度のご案内
基本設計における成果物一覧と書き方（基本設計書サンプルあり） | 若手エンジニアの羅針盤