Google Cloud でのビッグデータ処理の選択肢
はじめに こんにちは、クラウドエース データソリューション部所属の伊藤です。 普段は、データ基盤や機械学習基盤を中心とした案件に携わったり、エンジニアリングマネージャーをしたり、Google Cloud 認定トレーナーとしてトレーニングを提供したりしてます。 データ処理システムのよくある課題として、データ処理が遅い、今後データ量が増える、などといったものがあります。 そのような課題を解決するために、Google Cloud では、ビッグデータ処理を行うための様々なプロダクトが提供されています。 ただ、候補のプロダクトも多く、似た名前のプロダクトもあるため選択する際に迷うこともあるかと思います。 そこで、本記事では Google Cloud において、ビッグデータ処理に使用される各プロダクトを選択肢に入れるときのポイントや、それぞれのプロダクトの特徴をまとめてご紹介できればと思います。 選択
Python理事会が古参開発者を追い出して開発者コミュニティが騒動に - Qiita
どういうわけか日本では一切話題に上がっていないのですが、Pythonの開発者コミュニティでなんか問題が起きているようです。 どうも話が様々なスレッドにとっ散らかっているうえに半分はDiscordや非公開のところで動いているみたいなので、読み取れていないところが色々あるかもしれません。 誰かが補足してくれるはず。 Proposed bylaws changes to improve our membership experience 最初のきっかけはこのスレッドです。 これは規約の一部を変更する提案であり、その中でも3番目の提案であるAdds provision to remove Members by vote of the Board of Directorsという変更が注目を浴びました。 Python財団にはフェローという制度があり、これはPythonエコシステムやコミュニティに優れた
Building Paved Paths: The Journey to Platform Engineering - Engineering@Microsoft
Over the past year, AI has taken the world by storm. Our industry is innovating at an unprecedented rate, bringing incredible products to market that make life and work easier and more efficient for real people across a wide range of sectors and job functions. Like previous industry shifts—the introduction of the PC, internet, and search—it’s a pretty safe bet that we’ll look back at this moment a
Host your LLMs on Cloud Run | Google Cloud Blog
Run your AI inference applications on Cloud Run with NVIDIA GPUs Developers love Cloud Run for its simplicity, fast autoscaling, scale-to-zero capabilities, and pay-per-use pricing. Those same benefits come into play for real-time inference apps serving open gen AI models. That's why today, we’re adding support for NVIDIA L4 GPUs to Cloud Run, in preview. This opens the door to many new use cases
LLM Powered Autonomous Agents
Date: June 23, 2023 | Estimated Reading Time: 31 min | Author: Lilian Weng Building agents with LLM (large language model) as its core controller is a cool concept. Several proof-of-concepts demos, such as AutoGPT, GPT-Engineer and BabyAGI, serve as inspiring examples. The potentiality of LLM extends beyond generating well-written copies, stories, essays and programs; it can be framed as a powerfu
【RAG】LangChainでつくるRAGチャットボット ～質問のコンテキスト化を試す～
前回の記事で、会話履歴付きのRAGチャットボットを試してみました。ユーザーの質問とLLMの回答を履歴として保持し、それを2回目以降の質問の際にプロンプトに含めるだけで、それなりに文脈を意識した回答をLLMが生成してくれるようになりました。 今回は、さらにRAGチャットボットの性能向上を目指して、LangChainのWebサイトにも載っている「質問のコンテキスト化」（Contextualizing the question）を試してみます。 RAGチャットボットにおける質問のコンテキスト化とは？ RAGチャットボットにおける「質問のコンテキスト化」は、2回目以降のユーザーの質問（クエリ）を、会話履歴を参照して単独で成立する質問に補完する技術のことです。 LangChainのWebサイトに掲載されている例を挙げてみます。 Human: "What is Task Decomposition?"
RAG評価ツール「RAGAS」の論文を読む
本記事では、RAG評価ツールの「RAGAS」の論文ついてざっくり理解します。軽めの記事です。 株式会社ナレッジセンスでは、生成AIやRAGシステムを活用したサービスを開発しており、その中でもRAG精度の評価は非常に重要です。 この記事は何 この記事は、「RAGAS」についての論文[1]を、日本語で簡単にまとめたものです。RAGASはツールとして有名ではあるものの、RAGASの論文を読んだことがある方は多くなさそうです。 RAGASとは、おそらく今、一番有名なRAG評価ツールです。同様のツールとして、他にはLangSmithやARESが有名かと思いますが、他の開発者と話をしていても、評価ツールとして一番に名前が上がりやすいのは、やはりRAGASです。 また、今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー R
GitHub - confident-ai/deepeval: The LLM Evaluation Framework
DeepEval is a simple-to-use, open-source LLM evaluation framework. It is similar to Pytest but specialized for unit testing LLM outputs. DeepEval incorporates the latest research to evaluate LLM outputs based on metrics such as G-Eval, hallucination, answer relevancy, RAGAS, etc., which uses LLMs and various other NLP models that runs locally on your machine for evaluation. Whether your applicatio
LLM Evaluation Metrics: The Ultimate LLM Evaluation Guide - Confident AI
Although evaluating the outputs of Large Language Models (LLMs) is essential for anyone looking to ship robust LLM applications, LLM evaluation remains a challenging task for many. Whether you are refining a model’s accuracy through fine-tuning or enhancing a Retrieval-Augmented Generation (RAG) system’s contextual relevancy, understanding how to develop and decide on the appropriate set of LLM ev
Prompt Engineering Guide – Nextra
Prompt Engineering Guide プロンプトエンジニアリングは、言語モデル（LMs）を効率的に使用するためのプロンプトを開発および最適化する比較的新しい学問分野です。プロンプトエンジニアリングのスキルを身につけることで、大規模言語モデル（LLMs）の能力と限界をより理解することができます。 研究者は、プロンプトエンジニアリングを使用して、質問応答や算術推論などの一般的なおよび複雑なタスクのLLMsの能力を向上させます。開発者は、LLMsやその他のツールとのインタフェースとなる強固で効果的なプロンプテクニックを設計するためにプロンプトエンジニアリングを使用します。 プロンプトエンジニアリングは、プロンプトの設計と開発に限らず、LLMsとのインタラクションおよび開発に役立つ幅広いスキルと技術を含みます。これは、LLMsとインタフェースすること、ビルドすること、能力を理解すること
最新のプロンプトエンジニアリング：RAGやReActなどの実装 - ライフ＆ジョブブログ
はじめに 2022年11月にGPT4が登場して生成AIブームが起きて以来、プロンプトテクニックに関する書籍、ブログ記事などがあふれています。 2023年4月には、プロンプトテクニックに関するガイドが公開されました。このガイドでは、プロンプトテクニックの基本的な考え方や、さまざまなプロンプトテクニックの例が紹介され、当ブログでも以下の記事でその基本的な内容について勉強しました。 【プロンプトエンジニアリングに学ぶ】上手なAIとの対話や質問の仕方 – ライフ＆ジョブブログ (life-and-job.com) ただし、そのときも多くのテクニックについて最新の研究論文と掲載されていたのですが、具体的にどのようなものかイメージができませんでした。 一方で、研究レベルから社会で実装され、実用化されるものもあり、プロンプトテクニックはさらに進化しています。本記事では、最新のプロンプトテクニックに関する
GitHub - astral-sh/ruff: An extremely fast Python linter and code formatter, written in Rust.
Docs | Playground An extremely fast Python linter and code formatter, written in Rust. Linting the CPython codebase from scratch. ⚡️ 10-100x faster than existing linters (like Flake8) and formatters (like Black) 🐍 Installable via pip 🛠️ pyproject.toml support 🤝 Python 3.12 compatibility ⚖️ Drop-in parity with Flake8, isort, and Black 📦 Built-in caching, to avoid re-analyzing unchanged files 🔧
マルチエージェントフレームワークCrewAIのチュートリアルを解説
TL;DR CrewAIで簡単にマルチエージェントなシステム構築できて良い ただお金は溶ける。気をつけて。本当に。 自分用にCrewAIのドキュメントリンク集も載せてる。 はじめに どうも、やまぐちです。 最近はLLMをつかったマルチエージェント系のユースケースが多く見られます。 例えば、DevinAIだったり、MetaGPTだったり。 じゃあみなさん、どうやってそんなマルチエージェントなシステムを構築するかは知っていますか？ 今回はマルチエージェントなシステムを構築するためのフレームワークであるCrewAIの使い方をチュートリアルを通して解説します！ 宣伝 宣伝です。 エージェントを使って量子化学計算をLLMに実行させたことをブログにしています。 エージェントのユースケースの一つなのでよかったら読んでみてください。 crewAIチュートリアル実施 ではチュートリアルをやっていきます。 基
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
What is a resource in OpenTelemetry? · Dash0
すべての Vertex AI のコードサンプル | Google Cloud
RAG with BigQuery and Langchain in Cloud | Google Cloud Blog
チートシート.md: AIスタートアップ製品情報、レビュー、最新アップデート – AI StartUps Product Information, Reviews, Latest Updates
Google Colab
Google Colab
crewAI - Platform for Multi AI Agents Systems