ローカルLLMのPoCに300万円使う前に読んでほしい話｜dx_note
はじめに製造業でローカルLLMの導入が話題になっています。 「ChatGPTは便利だけど、機密情報を扱えない」 「社内にサーバーを置けば、安全に生成AIが使えるらしい」 「最近のローカルLLMは性能が高いと聞いた」 こういった期待を持って、ITベンダーに相談する。担当者は丁寧にヒアリングしてくれます。立派な提案書も届きます。そして見積もり。金額は300万円から1,500万円、期間は3ヶ月から半年。 数ヶ月経って契約が成立し、プロジェクトが進みます。要件定義、環境構築。そして2〜3ヶ月後、ようやく検証環境が完成します。 検討開始から半年が経過。ようやく現場の担当者が触ってみる。 「あれ、このUI、使いにくいな...」 「既存の業務フローに合わない」 「思ったより効果が出ない」 でも、既に300万円を払った後です。 問題は、ITベンダーのPoCが悪いわけではありません。問題は、「触る」のが遅す
Cursorを使った文章執筆は、AIファーストな環境整備から始まる - 本しゃぶり
なぜCursorを使うと執筆が捗るのか？ それはAIファーストな環境では、自律的に情報を探索してくれるからだ。 執筆のパラダイムシフトは既に始まっている。 文章執筆でAIエディタを活用するには 最近、CursorなどのAIエディタによる文章執筆が注目を集めているが、「実際にどう使えば執筆が捗るのか」というイメージが湧かない人も多いだろう。いくら便利だと言われても、具体的な活用法が見えなければ結局は普通のエディタとの違いが分からない。ではどうしたら執筆に活用できるのか。 俺自身はこの2年間、AIを文章執筆に活かす方法を模索してきた。そしてようやく3つの要素が揃ったことで執筆環境が一変したと確信した。 EvernoteからObsidianに移行し、すべての情報をMarkdown形式で一元管理 音声入力でアイデアを一気に吐き出し、AIに修正・整理させる手法 Cursorの登場により、Markdo
生成AIの検索エンジンは60%以上も間違った情報を引用。有料版は無料版より自信を持って間違えやすい（生成AIクローズアップ） | テクノエッジ TechnoEdge
2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間の気になる生成AI技術・研究をいくつかピックアップして解説する連載「生成AIウィークリー」から、特に興味深いAI技術や研究にスポットライトを当てる生成AIクローズアップ。 今回は、生成AIモデルが検索で引用する情報が誤ったものが多いことを指摘した米コロンビア大学のTow Center for Digital Journalismによる2025年3月発表の研究を取り上げます。 現在、アメリカ人の約4分の1がAI検索ツールを従来の検索エンジンの代わりに使用しているとされています。 研究チームは、ニュースコンテンツを正確に検索し引用する能力を評価するため、リアルタイム検索機能を持つ8つの生成型検索ツール（ChatGPT、Perplexity、Per
言語モデルの物理学 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
言語モデルの物理学 (Physics of Language Models) とは、FAIR (Meta) の Zeyuan Allen-Zhu が提唱した、言語モデルの研究を進めるためのコンセプトです。ざっくり言うと、「あのモデルはこう」とか「そのモデルはこのモデルよりもこう」というような博物学的な知識を深めるのではなく、17世紀にケプラーやニュートンが物理学において行ったような原理に基づいた研究を進め、「言語モデルはなぜこのような振る舞いをするのか」という問いに答えられるようになるべきという考え方です。 言語モデルの物理学の特徴は大きく2つあります。 第一は、ウェブから収集したコーパスを使わず、きっちりコントロールされたデータセットを使って言語モデルを訓練するということ。ウェブは誰も全体像を理解できないほど複雑で、ノイズにまみれています。本物の物理学でも空気抵抗や摩擦があると、「鉄球は
LLMの推論では外れ値は重要な役割を果たす
本記事はTransformerの8bit行列演算を実装した以下の論文のまとめ記事です。推論フェーズでは4bitの量子化が主流の現在において、8bitの量子化手法はメリットが薄れた感がありますが、outlierとLLMの推論性能の関係についての考察とoutlierとそれ以外を分けて計算するアプローチが面白かったので取り上げました。 なお、著者らが実装したコードは現在でもbitsandbytes[6]という名前でGitHubでメンテされHuggingFaceのエコシステムに組み込まれています。本記事ではソースコードの実装箇所に関して調査した結果についてもAppendix Aに掲載しています。 paper: LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale, Nov 2022 Overview Transforme
史上最強のオープンソースLLM「Llama 3.1」登場。405B, 70B, 8Bモデル全てを実際に使ってみる方法
史上最強のオープンソースLLM「Llama 3.1」登場。405B, 70B, 8Bモデル全てを実際に使ってみる方法 2024年7月23日、Metaがオープンソースの大規模言語モデル「Llama 3.1」シリーズをリリースした。 中でも「Llama 3.1 405B」は、GPT-4oやClaude 3.5 Sonnetなど、OpenAIやAnthropicなどの他社が商用・非公開で開発している主要な最上位モデルたちと、肩を並べる性能を示すとされる。 オープンソースのLLMの中では、世界最大かつ最も高性能なLLMと言っていい。 本記事では、そんな登場したばかりのLlama 3.1モデルシリーズを、実際に試す方法を紹介する。 小型軽量な70Bと8Bモデルについては、超高速なAI専用クラウドコンピューティング「Groq Cloud」で無料で利用できる。 405Bモデルは、まだ試すことのできる場が
“GPU2個でGPT-4o”並みの性能 AIモデル「Command A」登場 「Transformer」開発者が発表
大規模言語モデル（LLM）の基礎技術「Transformer」開発者の1人、エイダン・ゴメスさんがCEOを務めるカナダのAI企業Cohereは3月13日（現地時間）、生成AIモデル「Command A」を発表した。GPU2個で動作できるのが特徴。それにもかかわらず、米OpenAIの「GPT-4o」や中国DeepSeekの「DeepSeek v3」と遜色ない性能を実現したという。 他のAIモデルが稼働する際、一般的に32個のGPUを必要とするなか、Command Aは米NVIDIAの「A100」または「H100」2個で動作するという。GPT-4oやv3との性能比較では、コーディングや学術分野、エージェントタスクで同等の能力を発揮した。人間による評価でも、両モデルとほとんど変わらない性能を示したとしている。
GPT-4oとGPT-4の違いとは？最新AIモデルの特徴まとめ | Hakky Handbook
はじめに 2024年5月13日、OpenAIが生成AIモデルのGPT-4oを発表しました。GPTシリーズが得意としていたテキスト生成能力の更なる向上に加え、画像認識や音声生成といったマルチモーダルへの対応が注目を集めています。 この記事では、GPT-4oが従来のGPT-4などのモデルに比べてどのような違いがあるかを解説します。最先端AIの特徴を理解し、ビジネスを加速させるヒントを掴んでいきましょう。 GPT-4oのここに注目 GPT-4oとは GPT-4o(omni：オムニ)は、OpenAIが2024年5月13日に発表したAIモデルです。従来のGPT-4やGPT-3.5に比べて多くの改善がなされており、高度な自然言語処理能力の他、画像・音声・動画の解析と生成にも対応しました。このマルチモーダル能力により、ビジネスや日常生活における幅広い用途での利用が期待されています。 GPT-4oのリリー
「GPT-4o mini」と「GPT-4o」のどちらを選ぶ？
「GPT-4o mini」と「GPT-4o」のどちらを選ぶ？：ChatGPT使いこなし術（1/2 ページ） 久しぶりにChatGPTを起動したら「GPT-3.5」という選択肢が消えていて驚いたという方もいるだろう。OpenAIは、5月にフラグシップの「GPT-4o」、7月に小型版の「GPT-4o mini」を発表しており、従来の上位モデルだった「GPT-4」が既にレガシーモデルという扱いになっている。 それぞれの新モデルについて、OpenAIのリリースには、性能やクレジットの消費量、APIを含めた挙動や今後の対応を含めて、詳しい特徴がもろもろ記されている。しかし、一般ユーザーがWebサイトやアプリから生成AIを使うという観点では、正直良く分からないものだ。そこで、実際に基本的な挙動を確かめることで、ユーザー視点での実像を確認していきたい。 なお、これらの新モデルのうち「GPT-4o」（ジー
新登場した「ChatGPT-4o」の特徴とマルチモーダルな使い方 | エンジニアなら知っておきたいGPTのキホン | Think IT（シンクイット）
【2026年の新常識】「良い質問」より「良い前提」。生成AIを動かすコンテキスト設計 1月8日 6:30
Gemma 3やQwQなどでローカルLLMがそろそろ使い物になってきた - きしだのHatena
GoogleからGemma 3が出たり、AlibabaがQwQを出したりで、27Bや32BでDeepSeek V3の671Bに匹敵すると言っていて、小さいサイズや2bit量子化でも実際結構賢いので、普通の人がもってるPCでもローカルLLMが実用的に使える感じになってきています。 Gemma 3 Gemma 3は単一GPUで動くLLMで最高と言ってます。 https://blog.google/technology/developers/gemma-3/ 1B、4B、12B、27Bがあって、最高なのは27Bだけど、今回はLM Studioで12Bの4bit量子化版を使います。 LM Studioはここ。モデルのダウンロード含め、わかりやすいです。 https://lmstudio.ai/ とりあえず知識確認でJavaのバージョン履歴を。だいたいあってる！ JDK13のリリース年だけ違うけど、
全ビジネスマンが使えるClaude3.7 sonnet と draw.ioで始める図の作成。｜遠藤巧巳 - JapanMarketing合同会社 AIネイティブな会社の作り方
3.7 sonnet → drawioが今のところベストな図の作成方法。特にdrawioにすることで修正ができることが従来との違い。パワポ作成やブログなどの際に図を多用できる。これはわかりやすくビジネスマン全員が使える組み合わせ。 https://t.co/GzZRYhgt1V pic.twitter.com/xmWryTqnk6 — 遠藤巧巳 - AIエージェント受託開発 (@ai_agent_dev) March 1, 2025 図の作成のベストは2025年3月時点ではClaude3.7 sonnetです。ChatGPT,Geminiでもできますが、クオリティが低いと人の修正時間が増えます。この図の作成クオリティのためだけにClaudeを契約しても良いと思います。 何が違う？これまでは図の作成はsvgで行うことが普通でした。しかしsvgだと人の修正ができないため、ほんの少しの違和感でも
抽象化のもれる穴が小さくなる - 西尾泰和の外部脳
「コンパイラが間違ってることを疑ってコンパイラの出力した機械語をチェックすること」と「人間が間違ってることを疑ってC言語の記述をチェックすること」の期待リターンが後者の方が高くなる 「LLMが間違ってることを疑ってLLMの出力したソースコードをチェックすること」と「人間が間違ってることを疑ってLLMに与えた自然言語の記述をチェックすること」だと2025年3月現在はまだ前者の方がリターンが大きそう
機械学習とディープラーニング（深層学習）の違いとは？
第3次AIブームといわれる昨今において、AIは多くの企業に注目され始めています。しかし、ディープラーニングと機械学習の違いまでは詳しくは理解できていないという方も多いのではないでしょうか。 AIを深く理解するためには、ディープラーニングと機械学習の違いをしっかりと理解しておかなくてはなりません。そこで今回は、「ディープラーニング」と「機械学習」の違いを分かりやすく解説していきますので、ぜひ参考にしてみてください。 ディープラーニングについて詳しく知りたい方は以下の記事もご覧ください。 ディープラーニングとは？仕組みやできること、実用例をわかりやすく紹介 AIにおける「機械学習」「ディープラーニング」それぞれの位置づけとは AIについて触れる中で目にする機会が多い「ディープラーニング」と「機械学習」は、それぞれどのような特徴があり、どのような位置づけになっているのでしょうか。まずは、それぞれ
ディープラーニングとは？特徴や仕組み、活用事例をわかりやすく解説
ディープラーニングは、機械学習技術の一種であり、大量のデータから自動的に特徴を発見することができる人工知能技術です。従来、手動で行われていたタスクを自動化し、洞察や予測に基づいて戦略的な意思決定を支援してくれます。 これにより、ビジネスプロセスの最適化や顧客エクスペリエンスの向上など、効率化や改善に繋がるメリットが得られます。本記事では、ディープラーニングの意味や特徴、活用事例などについて詳しくご紹介します。今後の業務改善に向けてディープラーニングを活用したい方には有益な情報となっていますので、ぜひ参考にしてみてください。 機械学習について詳しく知りたい方は以下の記事もご覧ください。 機械学習とは何か？種類や仕組みをわかりやすく簡単に説明 ディープラーニングとは、人間の脳の働きを模倣した人工知能技術の一種です。具体的には、多層のニューラルネットワークを用いて、データから複雑なパターンを学習
機械学習とは？概要や種類、仕組み、有効活用できた事例を簡単解説
AIは今や私たちの生活に欠かせない存在です。ビジネスから医療、自動運転まで、様々な分野で活躍しています。そのため、AIは、企業にとって必要不可欠なものになりつつあります。 しかし、AIを上手に使うためには、その背景にある「機械学習」の理解が重要です。この記事では、以下の内容に沿って、機械学習について解説します。 機械学習とは何か 機械学習の3つの種類 機械学習の仕組み 機械学習の代表的なタスク 機械学習の世界を垣間見て、その魅力と可能性を探りましょう。 AIについて詳しく知りたい方は以下の記事もご覧ください。 AI・人工知能とは？定義・歴史・種類・仕組みから事例まで徹底解説 機械学習とは何か 機械学習とは、機械が膨大な量のデータを学習することによって自らルールを学習し、そのルールに則った予測や判断を実現する技術のことです。学習方法には、膨大な量のデータを学習して特徴を把握していく「教師あり
AI（人工知能）の歴史について年表を活用しながら時系列で簡単に紹介 | DXを推進するAIポータルメディア「AIsmiley」
近年、AI・人工知能への注目度は非常に高くなっており、さまざまなメディアでも取り上げられています。AIについて詳しくない方でも、「AI＝便利なもの」という認識はあるのではないでしょうか。 ここ数年で大きな注目を集めるようになったためAI・人工知能の歴史は浅いと思われがちですが、実はAI・人工知能には長い歴史があり、現在に至るまでにさまざまな出来事が起きているのです。そこで今回は、AI・人工知能の歴史について詳しく解説します。 AIについて詳しく知りたい方は以下の記事もご覧ください。 AI・人工知能とは？定義・歴史・種類・仕組みから事例まで徹底解説 AI（人工知能）とは AI（人工知能）とは、人間の知能を模倣し、学習・推論・判断・認識などの能力をコンピュータ上で実現する技術のことを指します。 AIは、自動運転車・音声認識・画像認識・自然言語処理など、様々な分野で活用されています。例えば、Go
「GPT-4.5」正式発表 “深い思考”をしなくても世界理解と直感力で性能向上【追記完了】
米OpenAIは2月28日（日本時間）、生成AIチャットの「ChatGPT」に搭載するAIモデルとして「GPT-4.5」を発表した。同社の「o1」や「o3-mini」などの長く考えて性能を向上する方式は取っておらず、教師なし学習により「GPT-4o」よりも高性能になったという。月額200ドルのProユーザーは同日から利用可能。PlusやTeam、Enterpriseなどの有料プランユーザーには1週間ほどで提供する。 （関連記事：【詳報】GPT-4.5の特徴は？ 教師なし学習で性能向上、OpenAI史上最大サイズ、API利用は超高価） GPT-4.5では、学習時の計算リソースとデータ拡張、アーキテクチャと最適化の革新により、長く考えず方式でなくても性能を向上させることができたという。その結果、幅広い知識と深い世界理解を備えたモデルとなり、ハルシネーション（幻覚、それらしいうそ）の低減や幅広い
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
１０億円かけた虐待判定ＡＩ、こども家庭庁が導入見送り…ミス６割で「実用化困難」
RagChecker: A Fine-grained Framework for Diagnosing Retrieval-Augmented Generation