スマートフォンGPUの特性を解析！ 社内で実施予定のGPUパフォーマンスチューニング研修を紹介します！

OSSのLLMアプリ開発プラットフォームであるDifyを極限までAWSでマネージド化したい！先月そんな思いで検討・実装を始めました。もちろんAWS CDKを使っています。本セッションでは、マネージドなアーキテクチャの変遷、各アーキテクチャのよしあし、開発の過程で得られた知見などをまとめて紹介します。生成…

後から優秀な人がどんどこ入ってくる 自分は創業期ではないけど社歴でいえばかなり初期の頃に入社しており、それはそれで運が良かったし、カオスな時期ものどかな時期も大変だった時期もあってそれを乗り越えたといえば聞こえがいいが、会社が整うにつれてめっちゃ優秀な人に囲まれるようになって、ふと気が付くとちょっと引け目を感じる。 その優秀な人がみんな年下だったりする 社歴が長いのでその分年を重ねるわけだけど、若くて優秀な人がたくさんいて、みんなすごくて、もちろん出世（昇格を指す）もしていくので、ちょっとした置いてきぼり感がある。 チームが生まれたり消えたり統合したり分割したりするので、それに伴う降格（？）もあったりする いろいろな試行錯誤があるのでチームが変わり、一瞬上長的な役割になったけどそこから外れることももちろんあって、気持ちの持って行き場所がない時があった。 ちなみにこれは、以前の上長が「マネジ

Ollama の公式 Python ライブラリ ollama-python を使用すれば、LLM からの応答をストリームで受け取ることができます。これにより、応答が生成されるたびに小さなチャンクで受け取ることができ、リアルタイムで処理や表示が可能になります。 基本的な使い方 ライブラリをインストールします。

2024年8月6日、翔泳社さんより「マルチクラウドデータベースの教科書 クラウドロックインを乗り越えるデータベースの構築ノウハウ」が発売になりました。 ぜひ、皆さんに手に取って欲しい本ではありますが、、、購入をためらう人が居たとしても気持ちは分かります。 「マルチクラウドとか全然イメージできないし。」 「うちはAWS（Azure/Google Cloud）って決まってるから、マルチクラウドじゃないし」 「そもそもデータベース、そんなに得意じゃないし。」 ですよね、でもそんな方々にも伝えられることがあるんじゃないかと思って、 そもそもマルチクラウドなデータベースとは、どんな構成を指すのか そのマルチクラウドなデータベースは、利用者にどんな価値を提供するのか （※あとがきより一部抜粋） という所を基礎から説明できるように、共著者3人で頭を悩ませながら執筆を続けてきました。 ということで、今回は

β版では、PLaMo-100Bをベースに指示学習やモデルマージを行い、文章生成能力を高めた。無料トライアルは個人・法人を問わずに提供し、商用利用も可能。同社は今後、トライアルの検証結果から改善や追加学習などを実施し、商用版の「PLaMo 1.0 Prime」を今秋に発売する。 関連記事 PFNが生成AI新会社「Preferred Elements」設立へ　130億パラメータの和製LLMもオープンソースで公開 AIベンチャーのPreferred Networks（PFN）は、生成AI事業に関する新子会社「Preferred Elements」を11月1日に設立すると発表した。併せて、研究・商用利用が可能な、130億パラメータの事前学習済み大規模言語モデル（LLM）「PLaMo-13B」も公開した。 「いつものやつ持ってきて」──PFNの荷物運びロボット、あいまいな指示にも対応可能に　LLMの

あなたのネット履歴が誰に追跡されてるか…このサイトでわかります2024.08.06 11:00149,971 Matthew Gault - Gizmodo US ［原文］ （ 岩田リョウコ ） 真実を知るのは怖いけど、やってみましょうか。 オンライン上で過ごすすべての時間、私たちはずっと追跡されています。 Google（グーグル）、Facebook（フェイスブック）、Amazon（アマゾン）、そして他の何百ものウェブサイトが、検索ワード、マウスクリック、ウェブサイト訪問を記録しているのです。でも、ほとんどが合法に行なわれていて、違法なのは一部だけ。なので、企業が自分について収集しているデータの規模と違法性を解析するのは難しいことです。 そんな為す術もない私たちのために、元Googleエンジニアが新しいツール｢WebXray｣なるものを作ってくれました。 どんなことができる？WebXray

サービスの開発をしていてPMから施策案が出てきた時、ソフトウェアエンジニアとして施策案が本当にユーザーのためになりサービスの成長につながるか納得できないことがある。 このような時にただ文句や愚痴を言っても何も始まらない。エンジニアからも何らかのアクションを起こし施策を前に進める必要がある。 そこでエンジニアができるアクションについて、自分が思っていることを書いてみる。 納得できないケースは大まかにどのようなものがあるか 納得できないケースでは大まかに2つのケースがあるのかなと思っている。 (1) 施策をしたい目的や仮説自体に納得できていない (2) 施策の目的や仮説は良いが、それを達成する手段に納得できていない 1つ目は、たとえば「ターゲットとしているようなユーザーって本当にいるか？」「ユーザーにこういう課題があると言っているが本当にそういう課題があるか？」「この指標に繋がると言っているが

オープンソースのLLMエンジニアリングプラットフォームLangfuseはLangsmithと同様にDifyのv0.6.12で連携ができるようになりました。（LangsmithとDifyの連携方法についてはこちらの記事を参照ください） LangfuseとLangsmithとの大きな違いとしては、Langfuseはオープンソースで提供されているためセルフホスティングすることが可能という点です。 Langfuse本記事ではLangfuseのCloud版とDifyの連携方法を紹介しますが、もちろんセルフホストしたLangfuseとの連携も可能であるためこちらも連携方法が確認できたら記事にしようと思います。 Langsmithとの連携を試されたことがある方は、LangfuseのCloud版との連携する際の流れは基本的に同じなのでスムーズに進められると思います。 Langfuseの準備をしよう！Lan

はじめに Zennチームの吉川（dyoshikawa）です。 2024年6月頃より、Zennにいわゆるスパム投稿が急増したため、LLM（生成AI）を活用してのスパム投稿自動検出の仕組みを構築しました。 目的の性質上、あまり詳細については開示できないのですが、技術的な知見の共有のため、そして可能な限りコミュニティへ運営チームの取り組みをオープンにしたいという思いがあり本件の概要を紹介したいと思います。 課題 2024年6月頃より、Zennにスパム投稿が急増しました。それに伴いユーザの違反報告が増加したことで我々Zennの運営メンバーも事態を認識することになりました。 スパム投稿が読者の目に触れることが定常化することは避けたいですし、その都度違反報告をしてくださるユーザの負担も大きなものだろうという思いがあり、対策を進めることになりました。 解決策 この状況に対して、ある程度自動でスパム投稿を

写真は前職の最終出社日に同期と朝まで飲んで撮った渋谷スクランブルスクエア この記事について 本記事では自分が外資IT企業のSoftware Engineer - Machine Learning(機械学習エンジニア)に応募して、オファーをいただくまでにやったことを書きます。 外資IT企業のSoftware Engineerに関する日本語ドキュメントは、既に多くの方が素晴らしい記事を公開してくれていますが、Machine Learning / Data Science専門のポジションに関する情報はまだまだ少ない印象です。 本記事が外資IT企業でMachine Learning / Data Science関連の職を目指す人の参考になればと思います。 本記事には以下の内容は含まれません。 具体的な面接項目・質問内容 お金の話 企業ごとの面接項目についてはGlassdoor, LeetCode、

PharmaXでは、YOJOというサービスで複数のLLMエージェントを組み合わせたマルチエージェントの構成でチャットボットシステムを構築しています。 組み合わせると言っても曖昧ですが、具体的には、LLMの出力結果に基づいて、次の処理を分岐したり、分岐によってLLMを呼び分けたりするフローエンジニアリングと呼ばれる手法を用いています。 フローエンジニアリング自体は徐々に知られつつある概念ですが、日本語で解説した記事や実用事例の紹介がないので、今回はガッツリ解説してみようと思います。 上記で触れられている論文はコード生成に使われていますが、他の分野でも十分使えます。 というよりもフローエンジニアリングがなければ、複雑な処理をLLMに入れ込むことは難しいかと思います。 フローエンジニアリングとは何か、どのようなことを考えればいいのか？というコツをYOJOの例にも触れながらご説明いたします。 今回

その「人間らしさ」、本当に必要ですか？ ～タスクにあわせた対話評価指標定義のススメ～ / LLM Meetup 20240807

松尾研究室が2023年9~10月に東京大学サマースクールで開催した LLM 大規模言語モデル講座のコンテンツを無償公開しています。 本講座は約2,000名の受講者が参加し、全7回の講義を実施しました。 最終課題としてGPUを使ったコンペティションでは約800名が参加し熱戦を繰り広げました。 現在、講義のスライドのみ公開しております。 ダウンロードは利用規約を確認の上、下記からダウンロードをお願いいたします。 最終更新: 2024年2月10日 問題・フィードバック報告フォームはこちら 第1回：Overview of Language Models LLMの概要、今後の各回の講義の概要、および日本のLLM開発状況について 第2回：Prompting and Augmented Language Model 事前学習済みLLMを追加学習せずに活用する技術（プロンプティング、⽂脈内学習、Augme

競馬の単勝回収率140%を達成した機械学習モデルの開発プロセスについて書きたいと思います。 この記事では、データ収集から実際の予測までの一通りの流れを説明します。このモデルによる実際の予測はNoteで公開しています。 Note：https://note.com/umaro_ai/ 0. はじめに 競馬は運の要素が強いと思われがちですが、実際には馬の能力、血統、調教師の技術、レース適性など、多くの要因が結果に影響を与えます。これらの数百にも及ぶ複雑な要因を人間が考慮するのは難しいため、機械学習は有効なツールとなります。 機械学習の大まかな流れは以下の通りです。これは競馬予測に限らず、ほかの予測でも使う基本的な工程です。 1. モデル設計 始めに作成するモデルの方針を決定します。競馬は投票方法により払戻率が異なります。つまり人気馬やなんとなく予想して買い続けた場合は以下の払戻率に収束していきま

以下の記事が面白かったので、簡単にまとめました。 ・Introducing Structured Outputs in the API 1. Structured Outputs昨年のDevDayで、「JSONモード」を導入しました。これは、OpenAIのモデルを使用して信頼性の高いアプリを構築しようとしている開発者にとって便利な構成要素です。「JSONモード」は、有効なJSON出力を生成するためのモデルの信頼性を向上させますが、モデルの応答が特定のスキーマに準拠することを保証するものではありません。本日、APIに「Structured Outputs」を導入します。これは、モデルによって生成された出力が、開発者が提供するJSONスキーマと完全に一致するように設計された新機能です。 複雑なJSONスキーマのフォローの評価では、「Structured Outputs」を備えた新しいモデル「g

お役立ちコンテンツとして、世界の国名、港コード、港名の一覧です。

情報を発信する人のところに情報が集まることを日々実感しているので、Linuxのメモリ管理に特に詳しいわけではないのですが最近遭遇した問題について自分の理解を書いておきます。ざっと調べても同じことを書いている人を見つけられなかったので、公開には意義があると考えています。識者の方がフィードバックをくださると嬉しいです。 ※ AIの出力をベースに書いているのでいつもと少し文体が違います。 背景 要約 調査 再現の難しさ Goアプリケーションの調査 pprofによる分析 GCログの調査 Linuxの調査 Goランタイムの調査 GoのGCとTHP khugepagedの問題 Goランタイムにおける回避策 回避策の削除 max_ptes_noneのデフォルト値について MADV_NOHUGEPAGEをやめた理由 調査内容まとめ 解決策 検証 C言語 Go言語 まとめ 背景 Go言語で書かれたOSSのア