Gemini 1.5 のロングコンテキストを活かして AI を育てるアプローチ 〜 RAG の限界を軽やかに突破するために
Gemini 1.5 のロングコンテキストを活かして AI を育てるアプローチ 〜 RAG の限界を軽やかに突破するために はじめに この記事では、Gemini 1.5 のロングコンテキストを活かして LLM を用いた AI システムを段階的に育てるアプローチを説明します。後半では、RAG システムの導入ハードルを下げるためにこのアプローチを適用するイメージをサンプルコードとあわせて紹介します。 ここではまず、前提知識となるグラウンディングや RAG の仕組みを説明します。 グラウンディングと RAG の違いについて LLM の業務活用に向けて勉強していると、かならず耳にするのが「グラウンディング」や「RAG」というキーワードです。グラウンディングは、LLM の基盤モデル自身が保有していない（学習していない）追加の参考情報をプロンプトに埋め込む事で、参考情報に基づいた回答を生成させるテクニ
「Llama 3.1」の日本語追加学習モデル、サイバーエージェントが公開 SNSでは「爆速すぎる」の声
サイバーエージェントは7月26日、米Metaの最新AIモデル「Llama 3.1 70B」を使った新たな大規模言語モデル（LLM）を公開した。Llama 3.1 70Bをベースに、日本語データを追加学習させたもので、Hugging Face上で公開している。ライセンスはMetaの「Llama 3.1 Community License」に基づいており、商用利用可能だが、利用規約などに同意が必要となる。 「Llama 3.1」シリーズはMetaが24日（現地時間）に公開した最新LLM。15兆トークンを超えるデータでトレーニングしたとしており、複数のベンチマークで米OpenAIのLLM「GPT-4o」や米AnthropicのLLM「Claude 3.5 Sonnet」より優れているという。
fastTextで文章分類(python) - My Note
文章を分類したくなったので、fastTextを用いて分類することにしました。 [ポイント] ・pythonでfastTextを利用 ・テキスト分類 データ 今回は元々収集していたtweetデータを用いて分類していきます。今回私は、3つのカテゴリに分割しました。 ラベル1:人が呟いたもの ラベル2:人が呟いたけれど何かのアプリケーション、botを介している？ ラベル3:企業が宣伝でtweet 以下のようなcsvファイルを作成します。今回私が学習に利用するデータは全部で200件です。ファイル名はtrain_data.csvとします。 形式は以下のような感じです。 ラベル(__label__*),tweetの文章 *には数字が入ります。 __label__1,江戸時代の五街道における宿場で東海道五十三次の中間点となる27番目の宿場は袋井宿ですが中山道六十九次の中間点となる35番目の宿場は
浮世絵生成AI「Evo-Ukiyoe」と浮世絵カラー化AI「Evo-Nishikie」が登場
日本のAI企業であるSakana AIが、日本を代表する美術のひとつである浮世絵を生成するAIモデル「Evo-Ukiyoe」と、浮世絵を彩色するAIモデル「Evo-Nishikie」を発表しました。 日本の美を学んだAI：浮世絵風画像生成モデルEvo-Ukiyoeと浮世絵カラー化モデルEvo-Nishikieを公開 https://sakana.ai/evo-ukiyoe/ 浮世絵は世界的にも知名度が高く、モネやゴッホなど数々の巨匠に影響を与えたことでも知られています。しかし、既存の画像生成モデルは浮世絵を重点に置いた学習が行われていないため、多くの人が画像生成AIに浮世絵を出力させようとしたにもかかわらず、浮世絵らしい画像を生成することができませんでした。 今回Sakana AIが開発したEvo-UkiyoeとEvo-Nishikieは、同社が開発した日本語対応画像生成モデル「Evo-S
生成AIの誤りを生成AIが見抜く、OpenAIの「CriticGPT」 その実力とは
OpenAIは2024年6月27日（米国時間）、同社の生成AI（人工知能）「ChatGPT」における応答の誤りを発見する「CriticGPT」を発表した。CriticGPTは、「GPT-4」をベースとするモデルで、ChatGPTが出力するコードの誤りを発見できるという。 OpenAIは「ChatGPTが生成したコードの人によるレビューにおいて、CriticGPTを使えば、使用しない場合よりも60％の確率でパフォーマンスが向上すると判明した。OpenAIはCriticGPTのようなモデルを私たちのRLHF（Reinforcement Learning from Human Feedback：人間のフィードバックによる強化学習）パイプラインに統合する作業を開始した。これは、AIの学習にAIのサポートを提供することを意味する」と述べている。 生成AIの誤りを生成AIが見抜く意義とは 関連記事 R
無料で使えるデータ分析ツール「KNIME」 プログラミング不要で機械学習による予測も可能 | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
Cloudflare、すべての生成AIによるクローラーをワンクリックでブロックする機能を無料で提供開始
Cloudflare、すべての生成AIによるクローラーをワンクリックでブロックする機能を無料で提供開始 Cloudflareは、すべての生成AIによるクローラーをワンクリックでブロックする機能を無料で提供すると発表しました。 生成AIは人間が作成したテキストや画像、動画などを大量に読み込んで学習を行う必要があります。生成AIを開発している組織は、より多くの学習データを取得しようとしており、そのためにインターネット上の多数のWebサイトをクロールするBotを稼働させているのです。 しかしWebサイトの運営元として自分たちのコンテンツがこうした生成AIの学習に使われることを望まないところもあるでしょう。 Cloudflareの新機能はこうしたWebサイトが簡単に生成AIのBotによるクローラーをブロックしてくれる機能を提供してくれます。 下記がCloudflareのダッシュボード画面で、すでに
オープンソースデータベース標準教科書｜DBスペシャリストを認定する資格 OSS-DB技術者認定試験
LPI-Japanは、PostgreSQLを体系的に学習するための教材「オープンソースデータベース標準教科書 -PostgreSQL-」を開発し、本サイトにて公開し、無償提供しています。 本教材は、データベースの経験の無い技術者を対象に、実習を通してSQL言語を使ったデータベースの操作、作成、管理についての基礎を学習するための教材が必要とのニーズに応えて開発されました。 データベースを初めて触る方にも分かりやすく、実際に動かしてみて理解できる内容となっています。 また、「OSS-DB技術者認定試験Silver」の学習教材としても役立ちます。 但し、本教材は【受験対策教材ではありません】。受験対策は、LPI-Japan OSS-DB認定教材をご利用ください。 なお、近年のスマートフォンの普及などによる学習環境の変化に対応するため、PDF形式だけでなく、EPUB形式のダウンロードも可能です。
生成AIグラビアをグラビアカメラマンが作るとどうなる？第27回：SD3 Mediumリリース！Part2(西川和久) | テクノエッジ TechnoEdge
現役グラビアカメラマンでありエンジニアでもある西川和久氏による生成AIグラビア連載の第27回は、前回に続いて最新の画像生成AIモデル Stable Diffusion 3 Medium について。 『生成AIグラビアをグラビアカメラマンが作るとどうなる？連載』記事一覧』 前回に引き続きStable Diffusion 3 Mediumの話連載第26回にSD3 Medium(以降SD3 Medium)の話を書いたが、今回はその続きとなる。 前回の記事ではSD3 Mediumの特徴として Baseモデルなのに高画質。そして日本人含むアジア系もOK 商用利用不可。個人レベルでの商用利用は、クリエイターライセンス($20/月)を契約 結構な頻度で致命的な問題が発生する Promptで左右など、位置関係が指示でき再現可能。文字もOK(英語のみ) 生成環境は現状でComfyUI(系)のみ。基本Work
バクラクのAI-OCRが扱う問題の複雑さ - LayerX エンジニアブログ
こんにちは。 LayerXのバクラク事業部 機械学習チームのテックリードを務めております機械学習エンジニアの島越（@nt_4o54）です。 最近、カジュアル面談や学会などで「AI-OCRってもうほぼ完成で、運用フェーズですよね」「やることあるんですか？」など頻繁に聞かれることがあります。 「いやいや課題が山のようにあるんです」という話をいつもしているので、今回は我々が作っているAI-OCRがどれだけ複雑で難しい問題を扱っているか、という部分についてお話しさせていただければなと思います。 少し、経理ドメインの話が多く恐縮ですが、お付き合いいただけると嬉しいです。 AI-OCRについて AI-OCRが扱う問題の複雑さ ドメインへの深い理解が必要 同じ書類であってもコンテキストによって抽出したい値が異なる まとめ 最後に AI-OCRについて まず、そもそも弊社のバクラクで提供しているAI-OC
「AWSセキュリティを「日本語で」学習していくための良いコンテンツをまとめてみた」というタイトルでAWS Summit Japan 2024のCommunity Stageで登壇しました #AWSSummit | DevelopersIO
AWS Summit JapanのCommunity Stageで登壇した「AWSセキュリティを「日本語で」学習していくための良いコンテンツをまとめてみた」の解説です。 こんにちは、臼田です。 みなさん、AWSセキュリティの勉強してますか？(挨拶 今回はAWS Summit JapanのCommunity Stageで登壇した内容の解説です。 資料 解説 AWSとセキュリティの勉強をしていく時、嬉しいことにAWS関連の情報はたくさんあります。しかし、どの情報から勉強していくか迷いますよね？そこで、AWS Security Heroである私がオススメする「日本語で」学習するための良いAWSセキュリティのコンテンツたちを紹介します。 紹介するコンテンツは、最近実施しているAWSセキュリティ初心者がステップアップしていくことを目的としたmini Security-JAWSにてまとめたmini S
機械学習を使うデータサイエンスの仕事に比して、統計学を使うデータサイエンスの仕事が産業界に少ない理由 - 渋谷駅前で働くデータサイエンティストのブログ
近年のデータサイエンティスト界隈では、僕が以前スキル要件記事でも提唱した通りの「ソフトウェアエンジニアの延長としての機械学習エンジニア」（機械学習メイン）と「アナリストの延長としてのデータサイエンティスト」（統計学メイン）とにキャリアもポジションもカルチャーも分化するようになって久しい印象があるのですが、世の中に溢れる求人情報や各種SNSで流れてくる巷の声を見聞きする限りでは、どう見ても前者の方が数が多い上に需要も旺盛なんですよね。 発展というよりMLを使ったプロダクトでお金稼いでいる会社があって、統計学やエコノメベースでプロダクトを作る事業会社がないだけだと思います。統計学とか示唆出しの手段なので、ブラスでお金稼ぐ感覚がないと居場所がないだけかなと。 https://t.co/PCDQHiIvlJ— be (@behemuhemulove) 2024年6月11日 で、畏友*1beさんがこ
Microsoft 生成AI活用事例と評価方法について
Design and Strategy: How to Deal with People Who Don’t "Get" Design
2ヶ月でAWS認定12冠したので攻略法を語ります - Qiita
AWS認定 is 何？ 人気のクラウドサービス「アマゾンウェブサービス」が提供している認定資格試験です。パソコンで実施するタイプの選択式テストとなります。 時流に応じて資格数は増減しています。だいたい10件ちょいです。 2023年度：12資格 2024年度：10資格（→また12に増える予定） 何をやったの？ 昨年末、急に思い立って認定資格を2ヶ月でコンプ（全冠）しました。 すいません、ちょっと盛りました。登竜門の「SAA（ソリューションアーキテクト アソシエイト）」だけは3年前に取っていました。 残りは週に1〜2件のペースで取得していたことになります。 資格に挑戦した理由は？ 実は私、「資格を取ること」にあまり価値を感じていませんでした。 勉強に多くの時間を使う必要があり、他のことができなくなる 机上学習やるならハンズオンに時間を割く方が実務に活きやすい 数が多すぎて、全冠なんて自分とは別
「情報 I・II」を学んだ高校生の技術レベルってどのくらい？ 元エンジニア校長にホントのところを聞きました【フォーカス】 レバテックラボ（レバテックLAB）
TOPフォーカス「情報 I・II」を学んだ高校生の技術レベルってどのくらい？ 元エンジニア校長にホントのところを聞きました【フォーカス】 「情報 I・II」を学んだ高校生の技術レベルってどのくらい？ 元エンジニア校長にホントのところを聞きました【フォーカス】 2024年5月22日 工学院大学附属中学校・高等学校 校長 中野 由章 芝浦工業大学大学院工学研究科修了（電気工学専攻）。日本アイ・ビー・エム大和研究所を経て、1993年から教職の道へ。三重県立尾鷲工業高等学校や大阪電気通信大学など、多様な機関で教鞭を執り、教育と情報科学を専門分野として研究を重ねる。2021年より現職。情報処理学会の初等中等教育委員会委員長も務める。愛称は、日本IBM時代に同僚に付けられた「ジョニー」。明確な由来はない。 工学院大学附属中学校・高等学校 高校における情報教育のあり方が、大きく変わろうとしています。20
結局｢物理リモコン｣が必要。SwitchBotがデジタル格差に出した答え
結局｢物理リモコン｣が必要。SwitchBotがデジタル格差に出した答え2024.05.17 20:0028,159 mio 一周まわって、やっぱり物理リモコンも必要だよね。 SwitchBotが5月21日に発売するのは｢学習リモコン｣という物理リモコン。スマート家電の選択肢が増え、家電ごとのリモコンをスマホに集約できるようになったこの時代。家族で住んでいる人は、そのスマホがない時どうしていますか？ 誰でもスマートホームを簡単に操作できるようにSwitchBot｢学習リモコン｣5月21日発売その答えとして、SwitchBotが出したのがこの学習リモコン。スマートホームに慣れている人だけが便利という現状から、高齢者など慣れていない人にも直感的にわかりやすい物理リモコンとして登場しました。 かくいう私もSwitchBotユーザーです。スマート家電を操作するスマホアプリを持っているのは私だけ。実
【エンジニア必見】2024年Udemyおすすめプログラミング学習おすすめ講座(分野別)
はじめに 今回は今まで自分が受講してきたUdemy講座の中で良かった講座を厳選してまとめました。 自分は新しい技術を学ぶ時はUdemyを中心に基礎をインプットし、何かしらの制作物を作って学んだ知識をアウトプットするように学習をしています。 そのためUdemy講座を選ぶ際は、基礎から網羅的に学べるものを受講するようにしています。 今回は自分が実務でも担当している「Web制作系」「フロントエンド系」「サーバーサイド系」で実際に受講して学びになった講座を解説も加えて紹介します。 今回紹介する講座は下記です。 1. ちゃんと学ぶ、HTML+CSS & JavaScript入門講座 2 .【JavaScript＆CSS】ガチで学びたい人のためのWEB開発徹底実践 (Web制作) 3. CSSを効率的に書く！フロントエンドエンジニアのための「Sass」講座 (Web制作) 4. WordPress開発
新モデルの追加と値下げ、ChatGPTのメモリ機能追加、「Sora」の発表… 『OpenAI GPT-4V／ChatGPT／GPTs 人工知能プログラミング実践入門』著者が語る、OpenAIの技術情報
『OpenAI GPT-4V／ChatGPT／GPTs 人工知能プログラミング実践入門』著者の布留川氏は、登壇時点までのOpenAIの最新情報と、最新技術情報のキャッチアップ術について話しました。全4回。 布留川氏の自己紹介 布留川英一氏：それでは始めます。OpenAI本出版記念として、今日は「OpenAI最新技術情報と技術情報キャッチアップ術」について話そうと思います。 最初に簡単に自己紹介をします。名前は布留川英一と申します。ハンドルネームはnpakaでやっています。株式会社ゼルペムに所属していますが、基本は個人でやっているようなものです。 プログラム歴は40年と言っていますが、1984年の「ファミリーベーシック」みたいなものから始めたので、ちょうど40年ということでキリがいい数字でした。インターネット歴は大学に入った1994年からなので、ちょうど30年です。 技術書歴は、最初に書いた
やさしいデータ分析【確率分布編】 新連載開始！
この連載は、データをさまざまな角度から分析し、その背後にある有益な情報を取り出す方法を学ぶ『社会人1年生から学ぶ、やさしいデータ分析』連載（記述統計と回帰分析編）の続編で、確率分布に焦点を当てています。 この確率分布編では、推測統計の基礎となるさまざまな確率分布の特徴や応用例を説明します。身近に使える表計算ソフト（Microsoft ExcelやGoogleスプレッドシート）を使いながら具体的に事例を見ていきます。 必要に応じて、Pythonのプログラムや統計ソフト「R」などでの作成例にも触れることにします。 数学などの前提知識は特に問いません。中学・高校の教科書レベルの数式が登場するかもしれませんが、必要に応じて説明を付け加えるのでご心配なく。肩の力を抜いてぜひとも気楽に読み進めてください。 筆者紹介： IT系ライターの傍ら、非常勤講師として東大で情報・プログラミング関連の授業を、一橋大
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
新人のためのインターネット&ネットワーク超入門2024