はじめに こんにちは、@s_shoheyです。 2024年2月28日から4月17日にかけて開催された、Kaggle LLM Prompt Recoveryコンペについてまとめます。我々のチームは72位でしたが、特に我々の解法には言及しません。 コンペ概要 2つの文字列original_textとrewritten_textが与えられます。rewritten_textはGemmaによりoriginal_textから生成されたものです。この生成時に使われたrewrite_promptを予測することが目的です。 図は https://www.kaggle.com/competitions/llm-prompt-recovery/discussion/480683 より Gemmaは2024年2月にGoogleが公開したオープンなLLMモデルであり、このコンペはGemmaの宣伝も兼ねているのでは、

Kaggle Masterが語るMachineLearning - TechLovers #1 https://sony.connpass.com/event/315090/ での登壇資料です。 コンペの流れとtips的な情報を主観強めで紹介しています。

Googleが公開した、MLOps実践のためのホワイトペーパー GoogleがMLOps実践のためのホワイトペーパーを公開しています。 Practitioners Guide to Machine Learning Operations (MLOps) 2021年5月に公開されたものですが、2024年現在に読んでも色褪せない内容だったので、各章の要点をまとめました。 TL;DR Googleが2021年5月に公開したMLOpsの実践のためのホワイトペーパー MLOpsライフサイクルの全体像・コア機能を解説 コア機能: 実験、データ処理、モデル学習、モデル評価、モデルサービング、オンライン実験、モデル監視、MLパイプライン、モデルレジストリ、データセット・特徴量レポジトリ、MLメタデータ・アーティファクトトラッキング MLOpsのコアプロセスの詳細を解説 コアプロセス: ML開発、学習の運用

LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由という記事を書きました。 mutaguchiさんのツイートを見て、LLMプロダクトの開発とはどういうものなのかを知らない人も多いのかなと気づいたので、そこらへんを記事として書いてみます。 https://t.co/4WvjuuoGnC 「LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由」の記事のはてブコメント見てたんだけど、ほとんど理解されてなかったのが興味深い。 ・プロプライエタリなLLMでは、ランニングコストが嵩み、これを利用したサービスは成立しづらい… — mutaguchi (@mutaguchi) April 24, 2024 商用LLM APIとローカルLLMって使い方が全然違う気がしてる。 商用LLM APIって、機微情報を送らないこと、規約違反テキストを送らないこ

2024年3月5日に開催されたイベントで発表した内容です。 スライドはこちら： またLTで全然時間が足りなかったので、イベント終了後にひとりで撮ったプレゼン動画がこちら： サンプルコードはこちら： 以下、発表資料を記事として再構成したものになります。登壇後に調査した内容も追記しています。 「ローカルLLM on iOS」のデモ オンデバイスで [1]処理してます APIは叩いていません 倍速再生していません 8.6 tokens/sec iOSローカルでLLMを動かすメリット オフラインでも動く プライバシーが守られる（データがどこにもアップされない） どれだけ使っても無料 モバイル端末スタンドアローンで最先端の機能が動作することには常にロマンがある iOSでローカルLLMを動かす方法 大きく分けて2つ llama.cpp Core ML llama.cpp LLMが高速に動くランタイム

Appleの研究チームが、オープンソースの言語モデル「OpenELM(Open-source Efficient Language Models)」を公開しました。公開されたモデルにはAppleデバイスで動作できるように変換するコードも用意されており、「言語モデルをAppleデバイス上でローカルに実行させる」ことが可能になっています。 [2404.14619] OpenELM: An Efficient Language Model Family with Open-source Training and Inference Framework https://arxiv.org/abs/2404.14619 OpenELM: An Efficient Language Model Family with Open-source Training and Inference Framewo

最適な学習方法は？　安全にデータを使うには？　AWSが解説する「生成AI活用のいろは」：「持続可能な生成AIイノベーション」を支援（1/3 ページ） 生成AIをビジネス利用しようとしている企業は多いだろう。市場にはさまざまなサービスがあふれているが、「うまく使いこなせないかもしれない」「一時的にしか使わないのでは」といった懸念を持つ人もいるだろう。本稿では、AWSのセミナーを基に、継続的に生成AIを活用するためのヒントを探る。 アマゾン ウェブ サービス（以降、AWS）は生成AI（人工知能）への投資を続けている。生成AIを利用するためのサービスだけでなく、生成AIを開発するための機能、生成AI向けの独自チップ開発、生成AIを活用するためのトレーニングなどその支援は多岐にわたる。 AWSは2024年2月22日、AI／ML（人工知能／機械学習）に関するオンラインセミナー「AWS Innovat

Amazon Web Services（AWS）は2024年4月23日（米国時間）、基盤モデルを使用した生成AIアプリケーションの構築、展開を支援する「Amazon Bedrock」サービスの新しい機能を発表した。新機能には、カスタムモデルインポート、モデル評価、「Guardrails for Amazon Bedrock」があり、使用可能な基盤モデルの選択肢も拡大している。 Amazon Bedrockは、大手AI企業の高性能な基盤モデルを、生成AIアプリケーションの迅速な構築、展開に必要な機能やエンタープライズグレードのセキュリティを含めて幅広く提供するフルマネージドサービスだ。発表内容の概要は以下の通り。 カスタムモデルインポート機能 関連記事 日本と中国を含むアジア太平洋地域の生成AI支出、2027年までに260億ドルに　IDC予測 IDCによると、アジア太平洋地域（日本と中国を含

BlogOpenAI’s commitment to child safety: adopting safety by design principles We’re joining Thorn, All Tech Is Human, and other leading companies in an effort to prevent the misuse of generative AI to perpetrate, proliferate, and further sexual harms against children. OpenAI, alongside industry leaders including Amazon, Anthropic, Civitai, Google, Meta, Metaphysic, Microsoft, Mistral AI, and Stabi

Adobeが映像のアップスケールが可能なAI「VideoGigaGAN」を発表しました。VideoGigaGANは既存の映像アップスケールAIと比べてクッキリとした描写が可能なほか、フレーム間のチラつきも抑えられています。 VideoGigaGAN https://videogigagan.github.io/ AdobeはVideoGigaGANの実力を示す例として、128×128ピクセルの映像を縦横8倍の1024×1024ピクセルへとアップスケールしたデモを公開しています。 オリジナル映像(左)とアップスケール後の映像(右)を大きさをそろえた状態で並べたものが以下。かなり高画質にアップスケールできていることが分かります。 滝の映像をアップスケールするとこんな感じ。アップスケール後の映像(右)はオリジナル映像(左)と比べて水流や植物がクッキリと描写されました。 Adobeによると、Vid

60周年を記念して制作したサコッシュ・冊子・卓上カレンダー・ステッカーのセットが、フォロー＆ポストで10名様に当たる！ 応募方法 講談社現代新書公式X（@gendai_shinsho）をフォローして、わたしの現代新書でつくったあなただけの本を、以下の2つのハッシュタグ #現代新書60周年キャンペーン#わたしの現代新書をつけてXにポストしよう！

国内AIシステム支出、2024年は対前年比34.5％増の9000億円規模　IDC予測：生成AIの登場で積極的投資が続く IDC Japanは、2024年の国内AIシステムの市場予測を発表した。2023年の国内AIシステム市場は前年比34.5％増の6858億7300万円。2024年は前年比31.2％増の9000億6000万円になると予測する。

Ubuntu 24.04 LTS “Noble Numbat”のリリース 2024年4月25日（現地時間⁠）⁠、Ubuntu 24.04 LTS “⁠Noble Numbat⁠”⁠、『⁠⁠高貴なフクロアリクイ』がリリースされました。Linuxカーネル6.8とGNOME 46をベースに、さまざまな更新を加えたLTS（Long Term Support）リリースです。 そのままでも5年、有償サブスクリプション（5システムまでは無償）であるUbuntu ProによるExpanded Security Maintenance（ESM）を利用することでさらに+5年（合計10年⁠）⁠、Ubuntu ProのオプションプログラムであるLegacy Supportを用いることでさらに2年の、合計12年間の利用が可能です。 Ubuntu 24.04 LTS Noble Numbat | 20 years o