データコンペでCode Interpreter片手に戦ってみたけど惨敗でした
yukiCup2023Summerに参加しました 「君はバイク乗りを救えるか」というタイトルの内輪のデータコンペにお誘いいただき参加しました。 コンペの内容は、中古バイクの販売価格を予測するというテーブルコンペで、1日（8時間）という期間で競うコンペでした。 コンペは、SIGNATEさんのコンペに参加したくらいで、まともなデータコンペは、ほとんど初めて（一応、サブミットはできて、PublicとPrivateの違いはわかる程度）の初心者でした。 一方、参加者は、Kaggleグランドマスターが複数名、Kaggleマスターが複数名、エキスパート多数という異常なハイレベル（ていうか、グランドマスターってそんなポコポコいるものなの？？） これはチートせざるをえないということで、覚えたてのChatGPT Code Interpreterを武器に戦うことに。 ある程度使えるので、これはいいところまでいけ
社内の生成AIチャットとしてLibreChatを使っています - Ateam Tech Blog
こんにちは。エイチームライフデザイン技術開発室の鈴木です。 弊社ではGPT-4のような高性能な生成AIを社内の業務で利用できるように、Slack用アプリなどいくつかの社内ツールを用意しています。その中でも LibreChat というオープンソースソフトウェアを利用しているので、それについて説明します。 LibreChatとは 構成 バージョンアップ等の運用 LibreChatを使っていて起きた問題 新しいモデルがなかなか使われない Banされる RAGが使えなくなる 画像認識が使えない LibreChatの利用状況 まとめ 画像の出典 LibreChatとは www.librechat.ai LibreChatとは、いわゆるChatGPTクローンです。 OpenAIなどが提供する言語モデルのAPIに接続してチャットできるUIを提供する、オープンソースのWebアプリケーションです。 Libr
【Phi-3-Medium】GPU2台構成でローカルLLMを動かす【Ubuntu24】
はじめに GMO NIKKOの吉岡です。 みなさん、生成AIは活用してますか？ ChatGPTに始まり、Claude3やGeminiなど、実用的なAIがどんどん出てきてますね。 自分も使ってはきましたが、課金が気になってしまいます。 これではサービスに組み込むことは難しいですよね。 そのためローカルで動くLLMを追ってきましたが、今年に入って実用的な日本語を返すことができるモデルがいくつか出てきているので、サーバー構成からインストール方法、LLMの起動まで紹介しようと思います。 ローカルLLMを動かす上で一番重要なのはGPUのVRAMです。 LLMは7B、13B、70Bモデルが多いですが、量子化しない場合、必要なVRAM容量は動かすモデルの大体2倍なので、13Bモデルでは26GのVRAMが必要です。 NVIDIAのGPUを使ったCUDAが前提になっているのですが、一般向けでは24Gモデルが
UIUXデザイナーが「GPT4o」を活用してウェブサイトをつくってみた
デジタルプロダクション「factory4」でアプリやさまざまなIoTプロジェクトのUIUXデザインを手がける新谷友樹さんが、UIやUXにまつわるトピックについて解説する本連載。今回のテーマは「GPT4oを活用したウェブサイトづくり」です。 こんにちは！株式会社Cosmowayが組織するデジタルプロダクション「factory4」のUIUXデザイナー新谷です。 今回は先日OpenAIが発表した新たなAIモデル「GPT-4o」を使ってウェブサイト（LP）を作成してみました。GPT-4oのパフォーマンスを知ること、そしてデザイナーが生成AIとどう関わっていくべきかを探るきっかけにすることが、今回の目的です。 前提として「GPT-4o」がゼロベースでウェブページを作成することに向いているツールではないと思いますが、チュートリアルの要素と今後の可能性を知るためにあえて取り組んでみました。 GPT-4o
オンプレミスで動かすLLM
あらゆる産業で生成AIの活用が検討される中で、導入自体が難しい代表的な業界が製造業です。製造現場は基本的に外部からネットワークが隔絶されており、GPTシリーズのようなLLM（大規模言語モデル）を利用することができません。従来であればエッジコンピューティングに代表されるようなオンプレミスでの運用も考えられますが、LLMは実行するコンピュータへのハードウェア要求が非常に高いため、研究室機関レベルのコンピュータを用意する必要があり、一般的な工場にそのような機器を導入することは現実的ではりません。 自然言語モデルには “スケーリング則” と呼ばれる原理が存在します。スケーリング則とは、自然言語処理モデルのパラメーター数・データセットのサイズ・トレーニングに使用される計算量の3つの変数が大きくなればなるほど、パフォーマンスが良くなるというシンプルなルールです。スケーリング則に従えばお金を投入すればす
LangGraphを用いたマルチエージェント
A passwordless future! Passkeys for Spring Developers
ナレッジグラフでスターウォーズファンに映画を推薦する｜kiha
人間の持つ知識を形式的に表現する、知識表現の研究は古くからなされてきており、例えば一つの形としてWebシステムではよくつかわれるリレーショナルモデルなどがある。近年よく着目されているのがナレッジグラフであり、先端的な研究を超えて、実産業での活用事例（例えばGoogleのナレッジグラフサーチ）も多くみられるようになった。 本記事では、noteのレコメンドシステムも手がけている筆者がWikidataのエンドポイントを利用して、ナレッジグラフを探索し、スターウォーズファンにおすすめできそうな映画をリストアップしてみる。最終的にこんな感じのリストが得られる。スターウォーズファンのみなさまには、興味が惹かれるタイトルがあっただろうか？ ナイト ミュージアム2 インディ・ジョーンズ／クリスタル・スカルの王国 地獄の黙示録 チャーリーズ・エンジェルフルスロットル ブレードランナー 2049 ジャッジ・ド
LLMにまつわる"評価"を整理する
「LLMの評価」というフレーズを見て、どんなことを思い浮かべるでしょうか？ おそらく大半はLLMモデル自体の評価のことを思い浮かべると思います。新しいモデルが出てきた時に𝕏で見かける「GPT-4o のMMLUベンチマークは89%!」みたいなアレ。 ですが、プロダクト開発にLLMを使っている人の間では、プロンプト等が十分な品質を出しているかの確認などにも評価という言葉を使っていることは多いのではないかと思います。 うまい具合に後者を区別するためにいい感じの呼び名を付与したい気持ちがあるのですが、英語圏での例を見てみるとシンプルに"Evals"と呼んでることもあれば Evaluating LLM System Evaluating LLM-based Applications などなど表現の仕方は様々になっています。 そしてそのプロダクト開発文脈での評価も、実態としてはオフライン評価やオンラ
ChatGPTでOpenAPI定義からKarateのテストスクリプトを自動生成する - Taste of Tech Topics
最近久々に近所のお祭りに行ってきました、屋台の食べ物ではりんご飴が好きな菅野です。 皆さん、普段APIのテストはどのように行っておりますか？ 最近は、APIのテスト自動化を行えるようなツールやサービスも増えてきているように思いますが、当社では、OSSのテスティングフレームワークである「Karate」を用いることが多いです。 比較的簡単な構文で直感的にAPIのテストができる点がよいと思います。 しかし、いかに簡単な方法でAPIのテストが記述できるからといっても、APIの数が多いとテストを作成するのは一苦労です。 今回は、そんなKarateのテストスクリプトをChatGPTを活用して作成してみようと思います。 まず、REST-APIの仕様を定義する場合、OpenAPIを利用することが多いのではないか、と思います。 ChatGPTの開発元である「OpenAI」ではないです。自分も書いていて、紛ら
Azure AI Studioが一般公開(GA)されたので早速色々使ってみました！ - CCCMKホールディングス TECH Labの Tech Blog
こんにちは、CCCMKホールディングス TECH LABの三浦です。 いつの間にかこの会社に勤めて10年が経っていました。10年前はニューラルネットワークやディープラーニングが少しずつ浸透してきたころで、従来の機械学習とは何が違うのか、といったことを調べていた気がします。あれから10年、ディープラーニングの分野ではTransformerが生まれ、いつの間にか人の思考を代理でこなしてくれるようなAIまで誕生し、技術の進化のスピードにびっくりします。次の10年はどうなるんだろうと色々と考えてしまいます。 さて、今年に入ってからずっと楽しみにしていたのですが、ついにMicrosoftのAzure AI Studioが一般公開(generally available)になりました！ 今年一番最初に見た動画がAzure AI Studioのデモ動画で、それがとても面白い内容でずっと気になっていました
DifyをCloudRunとsupabase、upstashを使ってほぼ無料でデプロイする方法
DifyはDBにpostgres、キャッシュにRedisを使っている。 また、ベクトルDBは複数選択可能ではあるが、Postgresのvectorを使うことも可能なので、postgresで統一させちゃう。 これらをRDSとかで立てようとするとイニシャルで料金がかかってしまうので避けたい。 supabaseはPostgresを安価に、upstashはRedisを安価に使えるので、これらを使う。 まず、supabaseとupstashでアカウントを作成し、DBを作成する。 作成するうえで特に困ることはないので、そのままコンソールをポチポチするだけでOK supabase: https://supabase.com/ upstash: https://upstash.com/ 作成するとHOSTやpasswordなど必要な情報がコンソールに表示されるので、それをdifyのdocker-compo
Stockmark-100b: ビジネスドメインに対応した1000億パラメータ規模の大規模言語モデルの事前学習 - Stockmark Tech Blog
ストックマークは最近、ビジネスドメインに対応した1000億パラメータ規模の大規模言語モデルであるStockmark-100bの開発を行い、事前学習モデルと指示学習モデルをオープンソース（MITライセンス）として公開しました。この記事では事前学習における弊社の取り組みを紹介させていただきます。 プレスリリース: stockmark.co.jp 事前学習モデル： huggingface.co 指示学習モデル： huggingface.co 背景 2024年2月に国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）が実施する「ポスト５Ｇ情報通信システム基盤強化研究開発事業／ポスト５Ｇ情報通信システムの開発」に採択されました。これは、経済産業省の国内の生成AIの開発力強化を目的としたGENIACプロジェクトと連携して行われており、国内事業者に対して生成AIの開発に必要な計算資源の確保と利
生成UIで変わるのは作業効率化だけではない
AppleとGoogleが見据える生成UIの世界AIを活用した今後のUIデザインを考察する上で、プラットフォームを開発するAppleとGoogleの動向は注目です。両社ともマルチモーダル大規模言語モデル(Multimodal Large Language Model / MLLM)の研究を進めており、その成果が公開されています。 Recent advancements in multimodal large language models (MLLMs) have been noteworthy, yet, these general-domain MLLMs often fall short in their ability to comprehend and interact effectively with user interface (UI) screens. In this p
プロンプトを5倍圧縮できる「LLMLingua-2」
導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、サービスのシステム開発を行なっています。サービスではLLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 本記事では、入力するプロンプトの圧縮を効率的に行うための技術、LLMLingua-2について解説します。 LLMLingua-2は、いくつかの手法を組み合わせることによって、品質を下げないままプロンプトを圧縮してくれます。 サマリー LLMLingua-2は以下の方法で、情報の欠落を抑えた上でプロンプトのトークン数を大幅に減らすことに成功しています。 ターゲットとなるLLM(GPT-4など)にプロンプトの圧縮タスクを行なってもらう そのデータを基に入力したプロンプトを構成するトークンの不要、必要を判断する機械学習モデルを作成する 入力に対して上記機械学習
LLMによるLLMの評価（LLM as a judge）の精度改善のための試行錯誤〜評価分割・モデル間比較
LLM-as-a-Judgeとは LLMをアプリケーションに組み込んでいると、LLMの出力を評価する必要が出てきます。 LLMの「出力は確率的である（毎回異なる）」ためです。 また、LLMの出力はハルシネーションを含む可能性がありますし、間違いではないにしてもサービス提供者の意図とは違った出力をエンドユーザーに提示してしまうかもしれません。 LLMの出力を評価して、出力が適切でないことを判定できれば、ユーザーには表示しない、出力を再度行わせる（出力をLLMに修正させるのもよいでしょう）というようなことができるようになります。 ただし、LLMのすべての出力を人が評価していたのでは、手が回りません。 そこで、注目されているのが、LLM-as-a-Judgeと呼ばれるLLMにLLMの出力を評価させる手法（以後、単に評価と呼ぶ）です。 評価にLLMを使えば、出力をすぐに評価し、評価結果をアプリケー
Scrapboxの文章はLLMにも読みやすいのでは - 井戸端
箇条書きであれば、「長い文章のうちの3段目のインデントまでの内容を切り出す」みたいな感じで小さいチャンクを取り出すことが可能blu3mo.icon
ChatGPTのTeamsプランに移行した話｜MIERUNE Inc.
はじめにMIERUNEでCTO（Chief Technology Ojisan）を務めている井口です。MIERUNEでは生産性向上の観点から、希望者はChatGPTの有料プランを会社負担で利用できることとしました。2023年5月に開始した制度ですが、希望者とはいえ現在はほぼ全員が利用している状況です。 この度、長期的に全社利用していくこととしTeamプランに移行しました。本記事はそのレポートとなります。 導入にあたって生成AI活用は組織の生産性に大きな効果をもたらしますが、セキュリティリスクを考慮しなければなりません。入力データが学習に利用されてしまうと、予期せぬ情報漏洩に繋がります。そこで、導入にあたっては生成AI全般を利用する際の社内ルールを設定しました。 Notionの社内ルールページ・生成AIは生産性を飛躍的に高めるため、トレンドへのキャッチアップのためにも積極的に利用しましょう。
ChunkLlamaによる追加学習なしのLLMコンテキスト拡張を試す - Qiita
概要 LLMのコンテキスト長は、基本的にモデル学習時の系列長の長さに制限されます。これに対し、モデルの元々のコンテキスト長よりも大きなコンテキスト長を実現する技術がいわゆるコンテキスト拡張です。 多くのコンテキスト拡張の手法では長い系列長のデータを使った追加の学習が必要となります。必要な学習量の大小には差がありますが、そもそも学習のための機器の準備や設定、データセットの用意など一般ユーザにとってはハードルが高いものになります。 これに対し、ChunkLlamaという手法では追加の学習を必要とせずコンテキスト拡張を実現します。この手法をMistral-7bベースのモデルに対して適用し、推論や様々なテストを試しました。 目次 ChunkLlamaについて Mistralベースのモデルで試す ChunkLlama（ChunkMistral）の適用方法 実際に推論してみる PPL（Perplexi
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
時系列基盤モデルの世界 / The World Of Time Series Foundation Models
LLMとの共同執筆は文章の多様性を減らすか？