はてなブックマーク

650GBを超える巨大モデルのR1本体と比べると、かなり容量が小さく抑えられていることがわかる。 パラメーター数が小さくなればなるほど、容量だけでなく、推論のスピードも高速化するため、一般的なPCやスマホでも動かせる可能性がある。 例えば、筆者が実験したところ、Llamaの8BモデルはM3チップのMac Book Airでも普通に動作したし、Llamaの3Bモデルに至ってはiPhoneでも動作した。 小型軽量でもGPT-4oを超えるR1の超絶性能 DeepSeek R1のテクニカルペーパーの中で、Distilled Modelsのベンチマークテストの結果も示されている。 R1のいずれのdistilledモデルも、とんでもなくパフォーマンスが高く、6つのモデルの重要性には、甲乙つけ難いところだ。 しかし、筆者が注目したのは、DeepSeekのLlamaベースの8Bモデルが、昨年5月にリリース

DeepSeek API 価格表 （2025/01/20時点） ちなみに、V3モデルはキャンペーン価格で2月8日まで割引価格となっており、さらに安価に利用できる。 例えば Claude 3.5 Sonnet は、1M入力 $3 、1M出力 $15 （非キャッシュ価格）なので、V3が超低価格なのはもちろん、推論モデルのR1ですら競合他社のチャットモデルより大幅に安価になっている。 DeepSeek API を LibreChat で使う：カスタムエンドポイント作成手順 APIを使用する例として、当サイトでも過去に紹介したことのある「LibreChat」にて、DeepSeekのAPIを使って、R1モデルとV3モデルを呼び出せるようにしてみる。 LibreChatは、あらゆるLLMのAPIを、一つのWebインターフェースで利用できるようにするオープンソースのチャットUIだ。 OpenAI Cha

【無料配布】iPhone×最新AIで超高精度な音声入力！「ショートカット」でWhisperとGPT-4oを活用 iPhoneなどのスマホで、長文のメールやメッセージをフリック入力するのは本当にめんどくさい。 マイクを使って完璧な精度で音声入力ができればいいのに・・・と思ったことが、誰もが一度はあるはず。 本記事では、プログラミングの知識も不要で、iPhoneに初めから入っている「ショートカット」アプリを活用して、非常に正確で、かつ高速な音声入力機能を実現する方法を紹介する。 活用するのは、OpenAIが開発する2つの最新AIモデルだ。 音声認識モデル「Whisper」を使って音声をテキスト化し、さらにその結果を「GPT-4o」に校正させることで、完璧な音声入力を可能にする。 もう一生フリック入力をしなくても良くなるレベルなので、ぜひAI革命の一端を体験してほしい。 Apple純正の音声入力

Googleが開発する大規模言語モデルである「Gemini」には、実はあまり知られていない使い道として、無料で使える超高精度の文字起こしツールとしての顔がある。 2024年4月に登場したフラグシップモデル「Gemini 1.5 Pro」と、2024年5月にGoogle I/Oで発表されたばかりの軽量高速版「Gemini 1.5 Flash」は、ライバルOpenAIの最新モデル「GPT-4o」と同じく、音声などのマルチモーダルな入力にも対応している。 音声での入力に対応しているということは、録音した会議の音声なども読み込ませることができるということ。 Nottaなどの文字起こしに特化した専用のAIツールを使わなくても、オールインワンの大規模言語モデルであるGemini 1.5 Proを使えば、非常に高速かつ高精度な音声のテキスト書き起こしが利用できてしまうのだ。 しかも、ブラウザ上の「Goo

さよならNotebookLM。Claudeの革命的新機能「Projects」完全ガイド：リサーチ・読書の新体験 2024年6月26日、世界最高性能のClaude 3.5 Sonnetなどで知られるAnthropicが、Claude.aiの新機能「Projects」をリリースした。 Claudeは、OpenAI社が提供するChatGPTのように、ブラウザ上のチャット形式で大規模言語モデルと対話ができるサービスだ。 「Projects」機能を使うと、PDFなどのドキュメントをAIの知識源としてアップロードでき、AIがそれらのドキュメントを理解した上でチャットに回答してくれる。 PJに関連する文書を日々アップロードして蓄積していけば、次のMTGのアジェンダの作成から、メールの作成まで、なんでもできる優秀なプロジェクト専任アシスタントを雇えるようなものだ。 電子書籍やKindleをアップロードすれ

Googleが実験的に公開しているノートアプリ「NotebookLM」は、最新AI「Gemini」を組み込んだ革新的な文書管理・作成ツールだ。 これまで米国内でしか利用できなかったところ、ついに、日本からも利用することができるようになった。 「NotebookLM」では、PDF、メール記録、議事録などあらゆるドキュメントを、AIの知識源として読み込ませることができ、AIがそれらのソースに基づいて情報を整理・要約してくれたり、ドキュメントやレポートの作成補助までしてくれたりする。 その応用可能性は無限大で、例えば以下のようなあらゆるナレッジベースのタスクを高速化・効率化することができる。 読書をしながら重要なポイントの要約メモ・ノートを作成する作業 過去の議事録に基づいて次回のMTGのアジェンダを作成する作業 収集した文献や学術論文に基づいてレポートや報告文書をまとめる作業 本や授業スライド

Difyは、GPT-4やClaude 3、Llamaなどの大規模言語モデル（LLM）を組み込んだアプリケーションを開発するためのオープンソースプラットフォームだ。 プログラミングの知識がなくても、非常に分かりやすいテンプレートや、ドラッグ&ドロップのフロー図を使って、直感的にアプリケーションを開発できるのが最大の魅力だ。 OpenAIやAnthropicのAPIキーを使えば、Dify上で、まるでChatGPTのような高度な機能を備えたチャットアプリを、30分もあれば誰でも自作できてしまう。 本当に革命的なノーコードLLMアプリ開発ツールなので、ぜひ一度は触ってみてほしい。 エンジニアが本番レベルの生成AIアプリケーションを素早く構築できるのはもちろん、非エンジニアであっても、テンプレートやコンポーネントを活用しながら、非常に複雑な機能を持つAIエージェントやAIアプリケーションの設計が可能

Llama 3と徹底比較！Microsoftの最新小型軽量LLM「Phi-3-Mini」をローカルで使う方法 Llama 3モデルのリリースでオープンソースの大規模言語モデル（LLM）界隈が盛り上がりを見せる中、立て続けに、今度はMicrosoftが新しいモデルを公開した。 2024年4月23日に公開された「Phi-3 Mini」は、わずか38億パラメーターと、Llama 3 8Bモデルの半分以下のパラメーター数で、非常に小型で軽量ながら、同サイズ帯のモデルよりずっと優れたパフォーマンスを発揮するという。 Microsoftの公開したベンチマーク結果をみると、遥かにサイズの大きいLlama 3 8Bモデルよりも優れたスコアを達成している項目もある。 この記事では、小型軽量で、Mac Book Airなどでも高速に動作するPhi-3-Miniモデルを、リリース直後ながら、ローカル環境で動かす

Meta（Facebook）が開発・公開しているオープンソースの生成AIモデル「Llama」シリーズに、新たな「Llama 3」が2024年4月19日に公開された。 Llamaは、OpenAIのGPT-4や、AnthropicのClaude 3などと異なり、モデルが一般に公開されており、誰でもモデルをダウンロードして、自分のPC/Macなどで、例えインターネットに接続されていなくても利用することが可能だ。 今回リリースされたLlama 3は、8B（80億）パラーメータ、70B（700億パラメータ）の2種類だ。 大型の70Bモデルは、いくつかのベンチマークによれば、OpenAIの最上位モデルであるGPT-4 Turboや、AnthropicのClaude 3の最上位モデルであるOpusには及ばないものの、GPT-3.5やClaude 3 Sonnet、Gemini 1.5 Proよりも優れた

Whisperは、ChatGPTで知られるOpenAIによって開発された非常に正確な音声認識モデルで、会話の音声をテキストに書き起こしてくれる。 100万時間以上のデータでトレーニングされた最新のAIモデルだが、驚くべきことにオープンソースで公開されているため、誰でも、無料で、簡単に利用することができる。 有料の音声書き起こしサービス・議事録書き起こしサービスは数多くあるが、実は無料のWhisperを使えば十分だ。 むしろ、Whisperの方が殆どの音声認識ソフトより精度が高いだろう。 とはいえ、プログラミングの知識がない人にとっては、少し利用するハードルがある。 そこで、Whisperの最新モデル（Whisper v3）を、簡単に使える小さなWebアプリにしてみたので、この記事で使い方を紹介する。 Whisperを、Google ColabというGoogleアカウントを持っている人なら誰

多くの画像生成AIサービスは、ChatGPT有料版で使えるDALL-E 3や、Discordで使えるMidjourneyなど、クラウドベースであり、生成するたびにサーバーにアクセスして処理を行う。オンラインで簡単に利用できるというメリットの一方で、無料で利用できる範囲には枚数制限や速度制限などがあるのが大きなデメリットだ。 AIイラストは、何度もプロンプトを変えて「下手な鉄砲数打ちゃ当たる」方式で試行錯誤しないと、望むイラストには辿り着けない事が多い。趣味で試したい程度の無料ユーザーは、画像生成AIの凄さを体験できずにいるかもしれない。 この点、数ある画像生成AIの中で、Stable Diff… クラウドコンピューティングは時間あたりで課金されるため、Vast.aiのインスタンスを立ち上げた後に、ゼロからWebUIの使い方を調べていると、無駄にお金がかかってしまうので、まずは自分のPC上で

多くの画像生成AIサービスは、ChatGPT有料版で使えるDALL-E 3や、Discordで使えるMidjourneyなど、クラウドベースであり、生成するたびにサーバーにアクセスして処理を行う。 オンラインで簡単に利用できるというメリットの一方で、無料で利用できる範囲には枚数制限や速度制限などがあるのが大きなデメリットだ。 AIイラストは、何度もプロンプトを変えて「下手な鉄砲数打ちゃ当たる」方式で試行錯誤しないと、望むイラストには辿り着けない事が多い。 趣味で試したい程度の無料ユーザーは、画像生成AIの凄さを体験できずにいるかもしれない。 この点、数ある画像生成AIの中で、Stable Diffusionの大きなメリットは、公開されているモデルを無料でダウンロードして、自分のPC上でのローカル運用が可能であることだ。 一度モデルをダウンロードすれば、M1/M2/M3のAppleシリコンチ