無料で使える最高のAIノート『NotebookLM』使い方と活用事例｜AI-Bridge Lab こば
こんにちは！最近、ChatGPTと話しすぎてAI風の口調がうつってきたAI-Bridge Labのこばです！👋 今回の記事はGoogleのサービス『NotebookLM』(ノートブックLM)について 1.NotebookLMの概要 2.使い方 3.具体例として過去のnote記事を全部読ませた結果どうなったか この3点を分かりやすくご紹介します！ 先に結論だけお伝えするとかなり実用性が高くオススメのツールです！ そしてこの記事を読んで頂ければご自身での活用法が想像できるようになると思いますので、ぜひ最後まで読んで頂けますと幸いです！ 1.NotebookLMの概要公式サイト：https://notebooklm.google.com/ NotebookLMは、Googleが提供する生成AIサービスで、ユーザーのメモ書きやアップロードした資料を基に情報を整理し、質問に答えることができる革新的
「ChatGPTはすぐに嘘をつくから調べものには使えない」という意見をよく聞くが、これには大きな誤解がある。 そもそもChatGPTの心臓部である大規模言語モデル（LLM）は、膨大な知識を元にテキストを「生成」する仕組みだ。 逆に言うと、知識として持っていないことは一切わからないので、知らないことについて説明を求められても能力的に不可能なのだ。 だから、知識にない質問をされると答えられないだけでなく、苦し紛れに幻覚（ハルシネーション）を起こしてしまう。これが「すぐに嘘をつく」と言われる理由だ。 結論を書いてしまうと「ChatGPTは検索ツールではない」のだ。むしろ「ChatGPTがいちばん苦手とすることが検索」なのだ。 今回はこの欠点を補い、AIを活用した新しい検索の形を実現するという触れ込みのサービス「Perplexity.ai」を紹介していく。 Perplexity.aiとは Perp
ページ閲覧 AutoPagerize chromewebstore.google.com ページネーションされたウェブページを自動で読み込み続けます。無かったら違和感あるレベルで日常になっています。 daily.dev chromewebstore.google.com 開発者向けニュースを空タブに表示します。 タブを開くときに自然に視界に入るのに加えて、検索で「過去話題になったもの」から探したりします（はてなブックマークやHacker Newsも似た用途で使います） ホームタブとは別です。ホームはperplexity.aiにしてます。 Google Scholar PDF Reader chromewebstore.google.com 標準のPDFビュワーを科学論文を読みやすく強化します。参考文献の追跡や引用、ジャンプ機能を提供します。ついでに官庁資料やクリプト系のホワイトペーパーなど
perplexity.aiが速攻で$20払って良いと思えたくらいに情報収集を効率化してくれた件 - 理系学生日記
従来の検索エンジン Perplexity.aiの検索 RAGとの関係 perplexity.aiでリサーチするときのプラクティス 英語で検索しよう しっかり調べたい時はPage機能を使う ちょっとした調べ物 今使えるモデル まとめ Perplexity.aiがすごく良かったです。何か知りたいことが出てきたら、Google検索するよりもPerplexity.aiで検索している。 Perplexity.aiは、生成AIを用いた検索エンジンと見なすことができるサービスで、情報収集の効率を劇的に向上させてくれます。ユーザーの質問に対してWebをクローリングし、関連情報を要約し、それらの参照リンクとともに高精度な回答を提供してくれる。 最初にネタバレしておくと、このエントリ自体もかなりの部分をperplexity.aiの要約と回答生成能力に頼りました（Github Copilotにもわずかに頼ってい
“AI検索”サービス「Perplexity」（パープレキシティ）がスゴい。 Perplexityは、質問に対してテキストで答えてくれる、チャットbot型生成AIだ。ChatGPTと似ているが、検索に特化しており、「Webの最新情報をベースに検索できる」点が異なる。 例えば、7月4日時点で東京都知事選（7月7日投開票）の最新状況を聞くと、こんなふうに答えてくれる。
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog こんにちは。 LINEのNLP Foundation Devチームの清野舜と高瀬翔とoverlastです。 LINEでは2020年11月から日本語に特化した大規模言語モデル「HyperCLOVA」の構築と応用に関わる研究開発に取り組んできましたが、この「HyperCLOVA」と並行するかたちで複数の大規模言語モデルの研究開発プロジェクトが進行しています。 今回はそれらの研究開発プロジェクトのうち、我々を含むMassive LM開発ユニットから、日本語言語モデル「japanese-large-lm（ジャパニーズ ラージ エルエム）」をOSSとして公開できる状況になりましたので、本ブログを通じてお伝えすることにしました。 この記事
この記事は "What We’ve Learned From A Year of Building with LLMs" という記事を著者の一人である Eugene Yan さんから許可を得て翻訳したものです。 https://applied-llms.org/ Thank you for giving me a permission to translate this wonderful article! 著者の方々 Eugene Yan Bryan Bischof Charles Frye Hamel Husain Jason Liu Shreya Shankar 原文の公開日 2024/６/8 今は大規模言語モデル（LLM）を使った開発がとってもエキサイティングな時期です。この1年間で、LLMは実世界のアプリケーションに対して「十分に良い」ものになりました。そして、年々良くなり、安く
![[翻訳]LLMで1年間開発して学んだこと〜LLMプロダクト開発を成功に導くための実践的ガイド〜](https://cdn-ak-scissors.b.st-hatena.com/image/square/3636c7c8e7c838018a6e006d55b3f4b8d18f34cc/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--7VM-vHg9--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255B%2525E7%2525BF%2525BB%2525E8%2525A8%2525B3%25255DLLM%2525E3%252581%2525A71%2525E5%2525B9%2525B4%2525E9%252596%252593%2525E9%252596%25258B%2525E7%252599%2525BA%2525E3%252581%252597%2525E3%252581%2525A6%2525E5%2525AD%2525A6%2525E3%252582%252593%2525E3%252581%2525A0%2525E3%252581%252593%2525E3%252581%2525A8%2525E3%252580%25259CLLM%2525E3%252583%252597%2525E3%252583%2525AD%2525E3%252583%252580%2525E3%252582%2525AF%2525E3%252583%252588%2525E9%252596%25258B%2525E7%252599%2525BA%2525E3%252582%252592%2525E6%252588%252590%2525E5%25258A%25259F%2525E3%252581%2525AB%2525E5%2525B0%25258E%2525E3%252581%25258F%2525E3%252581%25259F%2525E3%252582%252581%2525E3%252581%2525AE%2525E5%2525AE%25259F%2525E8%2525B7%2525B5%2525E7%25259A%252584%2525E3%252582%2525AC%2525E3%252582%2525A4%2525E3%252583%252589%2525E3%252580%25259C%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Aseya%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2QzODg4YjM0MzEuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
ググるより早い。ぼくがたくさんのAIで調べ物する理由
ググるより早い。ぼくがたくさんのAIで調べ物する理由2023.12.30 22:0055,923 西谷茂リチャード 編集部 web検索だけじゃ、見つけにくい知識にアクセスできる。 メディアの仕事をしていると、1日のかなりの割合を｢調べもの｣が占めるようになります。ウェブ検索でかなりスピードアップして...いまは2023年。 新しい｢調べ物｣ツールとして、AIが頭角を現し始めました。おかげで調べるスピードが今まで以上にアップしたと感じています。ここでは、僕がどのようにAIを使っているのか、かんたんに紹介しますね。 ちょっとした調べもの調べものの中には、｢去年のXperiaのカメラの画素数は？｣みたいに明確な答えが決まっているものがあります。実際にこれをウェブ検索で調べた場合、検索結果のページをいくつか読む必要がありますよね。 Perplexityそこで便利なのが、AIチャットサービスのPer
生成AIの登場により、検索市場が大きく変わろうとしている。米国ではグーグル対抗のAI検索エンジン「Perplexity」の検索から流入するトラフィックは毎月40％増加していることが判明。日本でもソフトバンクと連携して本格参入することが明らかになった。これに対抗してグーグルも生成AIを活用した検索システム「Search Generative Experiences（SGE）」を利用者全員に早期に展開する見込みだ。生成AIによる検索が増えるとSEO（Search Engine Optimization）にどのような影響が出るのかは多くのデジタルマーケターが注目するところ。生成AIの登場で、検索市場に何が起きるのか。
やなぎや・とものり/1972年12月生まれ。1998年からITライターとして活動しており、ガジェットからエンタープライズ向けのプロダクトまで幅広い領域で執筆する。2018年から、NPO法人デジタルリテラシー向上機構（DLIS）を設立し、ネット詐欺の被害をなくすために活動している。 https://prof.yanagiya.biz/ https://peraichi.com/landing_pages/view/dlis/ ChatGPT、あの会社はどう使ってる？ ChatGPTに代表される生成AIは、誰にでも使える技術としてすっかり身近になりました。日々の仕事に活用したいと考えている人も多いのではないでしょうか。本連載では、ChatGPTなど生成AIを実際の業務に活用している企業に取材を行い、どのように導入・利用しているかをくわしく聞いていきます。 バックナンバー一覧 ChatGPTを筆
「ChatGPT」「Copilot」「Gemini」「Claude」「Perplexity」の性能を日常的な会話で評価した結果が公開される
AIの精度向上に伴って、ChatGPTやCopilot、Geminiなど日常会話を違和感なくこなせるチャットAIが続々と登場しています。しかし、一般ユーザーからはどのチャットAIが高性能なのかは判断しにくいものです。そんな中、ウォール・ストリート・ジャーナルが5種のチャットAIを対象に「日常会話への応答性能を人間が評価するテスト」を実施し、テスト結果を公開しました。 The Great AI Chatbot Challenge: ChatGPT vs. Gemini vs. Copilot vs. Perplexity vs. Claude - WSJ https://www.wsj.com/tech/personal-tech/ai-chatbots-chatgpt-gemini-copilot-perplexity-claude-f9e40d26 AI企業やAI研究者が自身の開発したA
ソフトバンクユーザーなら、生成AI検索「Perplexity Pro」が1年無料に ワイモバイル、LINEMOも対象
ソフトバンクは6月17日、生成AIスタートアップの米Perplexityとの戦略的提携を発表した。ソフトバンク、ワイモバイル、LINEMOユーザーであれば、AI検索エンジン「Perplexity」の有料版「Perplexity Pro」を1年無料で使用可能だ。 Perplexityは、質問を入力すると、インターネットの最新情報をもとに文章で回答する生成AIベースの検索エンジン。情報源も表示して回答するため、信頼性の高い回答を得ることができるとしている。 Perplexity Proは、月額2950円（年2万9500円）の有料サービスで、複数の大規模言語モデル（GPT-4o、Claude-3、Llama3など）を選択でき、分析のためのファイルアップロード回数が無制限で利用可能。Playground AI／DALL-E／SDXLによる回答の画像生成の他、検索結果をユーザーごとに最適化するAIプ
生成AI検索エンジンのPerplexityはクローラーを防ぐ「robots.txt」を無視してウェブサイトから情報を抜き出している
Perplexityは生成AIを利用した検索エンジンであり、ユーザーの質問に対してAIが直接回答を生成できるほか、ユーザーのプロンプトに基づいたウェブページを生成する「Pages」という機能を提供しています。そんなPerplexityが、検索エンジンやAIトレーニングなどのボット(クローラー)を制御するテキストファイル「robots.txt」の指示を無視し、管理者がPerplexityの巡回を禁止したウェブサイトにもアクセスしていることが判明しました。 Perplexity AI Is Lying about Their User Agent • Robb Knight https://rknight.me/blog/perplexity-ai-is-lying-about-its-user-agent/ GoogleやBingなどの検索エンジンやChatGPTをはじめとする生成AIは、ク
「テクノロジーで人々を適切な医療に案内する」をミッションに、医療プラットフォームを提供しているUbie株式会社の@masa_kazamaです。 この記事は#Ubieアドベントカレンダー5日目にエントリーしています。 今年は生成AI一色の1年でした。Ubieでは、生成AIをプロダクト活用と社内生産性向上の観点で取り組んでいます。(取り組みの詳細は、こちらの記事で紹介しています。) この記事では、社内生産性向上観点で、社内の業務プロセスに溶け込んでいて、なくてはならない使い方になっている事例を10個ご紹介します。その中のいくつかは、実際に生産性が倍以上になっていたり、外部委託のコストが半分になったりしています。この記事が、生成AIを活用している人や活用していきたい人のご参考になれば幸いです。 プロダクト活用にもいくつか事例が出ており、問診の内容を大規模言語モデル(LLM)を活用して要約する機能
大規模言語モデルのFine-tuningによるドメイン知識獲得の検討 - Preferred Networks Research & Development
本記事は、2023年夏季インターンシッププログラムで勤務された竹田悠哉さんによる寄稿です。 はじめに 2023年度のPFN夏季インターンに参加した、東京大学大学院工学系研究科の竹田悠哉と申します。学部では画像生成の研究をしていましたが、技術の社会実装をより俯瞰的に学びたいと思い、現在は技術経営戦略学専攻で教育工学の研究をしています。 インターンでは「機械学習技術の社会実装」をテーマに、LLM（Large Language Model）にドメイン知識を習得させることに取り組みました。様々な設定において、主に英語で学習されたモデルであるLLaMA2に対して日本語のデータでのFine-tuningを行い、LoRAやInstruction Tuning、ドメイン知識の習得に関する知見を得ることができたと思います。本記事では、そこで利用した技術の紹介と、日本語におけるドメイン知識の習得に関する実験、
今年もこの一週間がやってきて終わりました。Cloudflareを使って開発をする開発者大歓喜のDeveloper Weekです。 新製品、新機能の発表や、既存製品のアップデート、技術的解説などをブログで行うというものです。 4月1日(月)〜4月5日(金)に行われました。 すごい。数えてみたら21個のブログ記事がありました。各記事について雑な箇条書きをしてみます。 4/1 (月) 1. Welcome to Developer Week 2024 https://blog.cloudflare.com/welcome-to-developer-week-2024 まずはプロダクトディレクターのRitaから開始宣言 Cloudflareのプラットフォームは200万人が使っている 5つの「Cloud」を提案する Full-stack Cloud、Connectivity Cloud、Experi
日本新聞協会は7月17日、Web検索と連動してAIが回答を生成するサービス（以下、生成AI検索）について、著作権侵害に該当する可能性が高いとする声明を発表した。 生成AI検索は、米Googleや米Microsoft、米Perplexityなどが提供している。新聞協会はGoogleのサービスを例に挙げ、利用者が求める情報をネット上から探し出し、それを転用・加工したコンテンツを提供していると説明。著作権法に規定された「軽微な利用」とは到底いえない、長文の回答を提供するケースが多数みられるとしている。 「軽微利用」の規定（第47条の5）は、1）検索対象の情報の所在提供（URLの表示など）等に付随した利用である、2）検索目的に照らして必要な限度内で、かつ、軽微な範囲の利用にとどまっている、3）著作権者の利益を不当に害していない、という条件を全て満たすことで、許諾なしに他人の著作物を利用できる。 新
ソフトウェアエンジニア兼イラストレーターで、AI専門メディアGenerative AIとZeniteqを運営するジム・クライブ・モンジュ（Jim Clyde Monge）氏（詳細は同氏のLinkedInページを参照）がMediumに投稿した記事『Perplexityが「Pages」を発表 – 最強のAI記事ジェネレーター』では、検索AIのPerplexityの新機能であるPerplexity Pagesが紹介されています。 Perplexity Pagesの特徴を箇条書きにすると、以下のようになります。 Perplexity Pagesの特徴 Perplexity Pagesとは、特定のトピックについてPerplexityが検索して生成した文章をウェブ記事化するサービス。 Perplexity Pagesで生成された記事は、ウィキペディアのような簡潔なレイアウトをしている。 対象読者を「誰
キャンペーン期間：2024.6.19~2025.6.18 Perplexity ProはPerplexity AI, Inc.が提供するサービスです ※1上記価格は2024年6⽉19⽇時点のAndroid OS版の価格です。他の2024年6⽉19⽇時点の通常価格は以下の通りです。 いずれもソフトバンク・ワイモバイル・LINEMOのユーザーは1年間無料となります。 iOS版 ⽉3,000円 / 年30,000円 | Android OS版 ⽉2,950円 / 年29,500円 | WEB ⽉$20 / 年$200 なお、最新の価格は各アプリストア⼜はWEB上でご確認ください。 ※1上記価格は2024年6⽉19⽇時点のAndroid OS版の価格です。他の2024年6⽉19⽇時点の通常価格は以下の通りです。 いずれもソフトバンク・ワイモバイル・LINEMOのユーザーは1年間無料となります。 i
Devin を含むAIソフトウェアエンジニアと周辺技術のざっくり紹介 - Algomatic Tech Blog
こんにちは。LLM STUDIO 機械学習エンジニアの宮脇（@catshun_）です。 本記事では最近注目を集めている AI ソフトウェアエンジニアに関するプロダクトについてざっくりと紹介します。 社内勉強会に向けたキャッチアップ資料として作成しており、加筆修正する可能性がありますが、本記事を読んだ方の議論のネタ程度になってくれれば幸いです。 おことわり 本記事では AI ソフトウェアエンジニアに関する 詳細な解説は含みません。 Devin を参考に AI ソフトウェアエンジニアと呼称していますが、主語が大きく曖昧性の高い表現を使用しています。詳細については 参照元をご確認ください。 不十分また不適切な言及内容がございましたらご指摘いただけますと幸いです。 プロダクト等の利用時は 必ずライセンスや利用規約を参照して下さい。 本記事の目次 プログラム生成を伴う推論 Self-Refine (
OpenAIがAIを活用した検索サービス、もしくはChatGPTがウェブから情報を入手できるようにする拡張機能の発表を目前に控えていると、複数のメディアが報じました。発表は、Googleの年次カンファレンスであるGoogle I/O 2024が開催される2024年5月14日の前日に行われると予想されています。 OpenAI plans to announce Google search competitor on Monday, sources say | Reuters https://www.reuters.com/technology/openai-plans-announce-google-search-competitor-monday-sources-say-2024-05-09/ Apple to Power iOS 18 AI Features With In-House
特化型モデルが日本の生成AI開発の勝ち筋
こんにちは、シバタアキラです。5月は皆様にとってもイベントの多い月間だと思いますが、私も日韓のAI Expoに出展、各所での講演、そして今週は日本人工知能学会の大会にて論文の発表も控えております。イベント参加は時間も取られますが、生の情報に触れるいい機会でもあり、今回は直近のAI業界の状況について私が学んだことを中心にご共有します。 出口の見えない日本のLLM開発に光？ 昨年末MetaとIBMが手を組んでアナウンスされたThe AI Alliance は、「オープンAI開発を推進する」と大義を謳ってLinux Foundationとも手を組み、今月日本でカンファレンス及びディナーがありました。これまであまり話題になってこなかった団体という印象を持っていましたが、ビッグネームなメンバー企業・団体が着実に増えており、かなりモメンタムが増している印象を受けました。 私も東工大の岡崎先生と、NII
万能系Artifacts登場。「Poe Previews」ならGeminiもGPT-4もClaudeもAI共同開発者にできる（CloseBox） | テクノエッジ TechnoEdge
このところプログラミングの楽しみを覚えて毎日Claude ArtifactsとChatGPT Artifactsで遊んでいる筆者ですが、またまた新しいツールに出会ってしまいました。 それは、PoeのPreviewsという新機能。 Poeは、ChatGPT、Claude、Gemini、Mistralといった複数の最新LLM（大規模言語モデル）を呼び出して対話ができる総合窓口的AIエージェントサービスです。AIアグリゲーターという人もいます。似たようなサービスに、先ごろソフトバンクが利用者に1年間無料で提供し始めたPerplexityがありますね。 個別のLLMと契約をしなくても、Poeと月額契約（3000円から）を結ぶと、それぞれの最新モデルが使えるというメリットもあります。 そんなPoeが投入したPreviewsは、Claude 3.5 Sonnetで使えるようになったプログラミングコンパ
テクノロジーライター、Gマーク・パートナーショップ「AssistOn」取締役。 スティーブ・ジョブズ、ビル・ ゲイツ、スティーブ・ウォズニアックのインタビュー記事をはじめ、IT、カメラ、写真、デザイン、自転車など様々な分野の文筆活動や、製品開発のアドバイスを行う。 主な著書・共著書に『成功する会社はなぜ「写真」を大事にするのか』（講談社現代ビジネスブック）、『インテル中興の祖 アンディ・グローブの世界』（同文舘出版）、『ICTことば辞典』（三省堂）など。主な訳書に『Apple Design 日本語版』（アクシスパブリッシング）、『スティーブ・ジョブズの再臨』（毎日コミュニケーションズ）など。 最新刊として、『ルンバをつくった男 コリン・アングル「共創力」』（小学館）。 AssistOnホームページ：https://www.assiston.co.jp ビジネスを変革するテクノロジー 今やテ
OpenAIのチャットボットであるChatGPT、AnthropicのAIアシスタントであるClaude、Perplexity.aiのチャットボットであるPerplexityという3つの人気AIツールが、同時にシステム障害を起こし利用不可能となりました。 AI apocalypse? ChatGPT, Claude and Perplexity all went down at the same time | TechCrunch https://techcrunch.com/2024/06/04/ai-apocalypse-chatgpt-claude-and-perplexity-are-all-down-at-the-same-time/ アメリカ太平洋標準時の2024年6月4日、ChatGPTですべてのプランのユーザーに影響を与える大規模な障害が発生しました。OpenAIのサービス
What We Learned from a Year of Building with LLMs (Part I)
Join the O'Reilly online learning platform. Get a free trial today and find answers on the fly, or master something new and useful. Learn more It’s an exciting time to build with large language models (LLMs). Over the past year, LLMs have become “good enough” for real-world applications. The pace of improvements in LLMs, coupled with a parade of demos on social media, will fuel an estimated $200B
3人に1人が「生成AI」夏休みの宿題に活用、一番使われたツールは「ChatGPT」 学校や保護者も肯定意見が上回る
3人に1人が「生成AI」夏休みの宿題に活用、一番使われたツールは「ChatGPT」 学校や保護者も肯定意見が上回る 学生の3人に1人が夏休みの宿題に生成AIを活用し、8割が「宿題がはかどった」と感じている──スマートフォンアプリ情報サイト「Appliv（アプリヴ）」を運営するナイル（品川区）がそんな調査結果を発表した。 調査によれば、夏休みの宿題があると答えた学生の男女533人のうち、34.1％（182人）が生成AIを活用したという。 使われた生成AIのツールは？ 使われたツールは、多い順に「ChatGPT」（134人）、「Bard」（33人）、「Bing Chat」（31人）、「AIチャットくん」（26人）、「Perplexity AI」（25人）、「宿題ポケット」（25人）、「Stable Diffusion」（21人）、その他（7人）だった。
AI検索エンジンのPerplexityがユーザーのプロンプトに基づいてカスタマイズ可能なウェブページを生成する「Pages」機能を発表
AI検索エンジンのPerplexityが、ユーザーのプロンプトに基づいてカスタマイズ可能なウェブページを生成する新機能「Pages」を発表しました。Pagesは、教育者や研究者、趣味の人々が知識を共有するのに役立つように設計されているとのことです。 Introducing Perplexity Pages https://www.perplexity.ai/hub/blog/perplexity-pages Perplexity will research and write reports - The Verge https://www.theverge.com/2024/5/30/24167986/perplexity-ai-research-pages-school-report Pagesがどんな機能なのかは、以下のムービーを見るとよくわかります。 Introducing Perp
と言ってもこの点数が低いのか高いのか分かりませんので、Claude 3.5 Sonnetの点数も見ていきましょう。 Claude 3.5 Sonnetの点数 現時点で最強と名高いClaude 3.5 SonnetにもELYZA-tasks-100を解いてもらいます。 単純に問題文だけを投げる形で、temperatureは0.8にしました。 import json import anthropic from datasets import load_dataset client = anthropic.Anthropic( api_key="APIキー", ) dataset = load_dataset("elyza/ELYZA-tasks-100") test_set = dataset["test"] results = {} for i, example in enumerate(t
LINE、商用利用が可能な日本語大規模言語モデルをOSSで公開
「japanese-large-lm」は、同社が以前から取り組んでいる日本語の大規模言語モデル「HyperCLOVA」の研究開発プロジェクトと並行して、Massive LM開発ユニットにより開発された。 なお、本モデルのライセンスは、商用利用が可能な「Apache License 2.0」となっている。 同モデルの訓練には、同社独自の大規模日本語Webコーパスが利用され、Web由来のテキスト特有のノイズを除去するために、同社NLPチームのメンバーが開発したOSSの「HojiChar」によるフィルタリング処理が適用されている。また、最終的な学習には約650GBのコーパスが利用されている。加えて本モデルでは、「3D Parallelism」「Activation Checkpointing」などの手法を用い、学習を高速化している。 学習したモデルの性能評価には、Perplexityスコア（PP
支給されているPC(m1 Macbook)を使ってローカルでLlama 2を動かしてみるまでの記録です。 AppleシリコンのMacでもLlama 2をつかえるようにするLlama.cppというプロジェクトがあるので、これを利用させてもらいました。 Llama.cppはLlamaをC/C++に移植したもので、Mac上で4ビット整数量子化を使ってLlama 2をローカルに実行できるようにしたものです Llama 2のモデルはmetaのダウンロードリンクから取得しています。 準備 作業用のディレクトリを作成して行います。 $ mkdir llama2 $ cd llama2 Llama 2, Llama.cppのgithubレポジトリをcloneしておきます。 $ git clone https://github.com/facebookresearch/llama.git $ git clo
AI駆動の検索エンジン「Perplexity」がrobots.txtを無視して情報を収集しているのではないかという指摘が6月に報道されていた。現在の状況はどうなのか、実際にPerplexityで検証した。 robots.txtとは robots.txtは、ウェブサイト管理者がサーチエンジンのクローラーやボット（ウェブページを自動的に巡回して情報を収集するプログラム）に対して、サイトのどの部分にアクセスしてよいかを指示するテキストファイルだ。通常、ウェブサイトのルートディレクトリに置かれ、「https://www.example.com/robots.txt」のようなURLでアクセスできる。 このファイルの主な目的は、サイトの特定部分をクロールから除外したり、サーバーの負荷を軽減したり、プライバシーや機密情報を保護したりすることだ。 ただし、robots.txtは「紳士協定」的な性質を持つ。
Perplexityって何？ 「Perplexity」に注目が集まっている。一部ではインターネット検索を変えるのでは、とも言われている。このPerplexityとはどのようなサービスなのか、基本的な使い方を交えて解説する。 OpenAIの「ChatGPT」やMicrosoftの「Microsoft Copilot」、Googleの「Gemini」など、生成AI（人工知能）を利用したチャットサービスが大手ITベンダーから提供されている。これ以外にも、さまざまなベンダーがOpenAIのAIモデル「GPT-3.5／4」を利用したサービスを提供しており、どこもかしこもAIチャット、といった様相だ。 そんな中でソフトバンクが戦略的提携をした「Perplexity（パープレキシティ）」に注目が集まっている（ソフトバンクのプレスリリース「注目の生成AI系スタートアップのPerplexityと戦略的提携を
2023年も残り1カ月を切った。既に支給されている人も多いかと思うが、会社員にはボーナスのシーズンがやってきた。それに伴って、オンラインや店頭で相次いでセールが行われている。 つい財布のひもが緩くなりがちな季節だが、せっかく高価なPCを買うなら失敗のない買い物をしたい。一方で、PCに詳しい人にアドバイスを聞いたり、店頭で相談をしたりするのもちょっと面倒くさい。そんなときに役立つのが、各所で話題を集めている生成AIだ。 手元にPCやスマホさえあれば、時間も場所も問わずいつでも回答してくれるエージェントに、下記の質問を投げかけて「税込み30万円以下で買える、今お勧めのゲーミングPC」を聞いてみた。 もちろん、プロンプト（呪文）や問い合わせるタイミングなどによって回答は一定ではないので参考までに見てほしい。 あなたはPCショップ専門店の店員です。 税込みの予算30万円以内で最新のゲーミングPCを
無料で商用利用可能なSQL生成・コーディング・命令フォローなどのエンタープライズタスクに最適化された大規模言語モデル「Snowflake Arctic」が登場
クラウドベースのデータウェアハウスサービスを展開する企業のSnowflakeが、トップレベルのエンタープライズ向け大規模言語モデル(LLM)として「Snowflake Arctic」をリリースしました。Apacheライセンス バージョン2.0で提供されるオープンなモデルとなっており、無料で商用利用も可能です。 Snowflake Arctic - LLM for Enterprise AI https://www.snowflake.com/blog/arctic-open-efficient-foundation-language-models-snowflake/ Snowflakeの調査では、企業ユーザーはAIを使用して主にデータ支援やコード支援、検索拡張生成(RAG)を行うチャットボットを作成したい場合が多いとのこと。そこで、Snowflakeは「コーディング能力」「SQL生成能力
LLM開発のためのデータエンジニアリング MLOps Advent Calendar 2023の24日目です。 Stability AIでデータ系のソフトウェアエンジニアをやっているcvuskです。主な仕事は日本語LLMのためのデータ開発です。Stability AIでは日本語LLMも各種開発しています。LLMの学習というと大量のGPUを用意して巨大なデータでモデルを学習する、というキラキラしたイメージ（？）が強いかもしれませんが、データが重要かつ苦労が耐えない課題であることは他の機械学習やディープラーニングモデルと違いありません。日本語のテキストデータは英語ほど入手しやすいわけではないのと同時に、データエンジニアリングや品質面でもいろいろと大変なことが多々あります。今回はLLMのためのテキストデータの用途やエンジニアリングについて整理します。 LLMの学習 LLMの学習は大きく分けて事前
Brilliant Labsは2月8日、マルチモーダルな人工知能（AI）アシスタントを搭載する世界初のスマートグラスだという「Frame」を発表した。スマートグラスとは、周囲に視覚的なオーバーレイを配置し、歩き回るとさまざまなテキストが表示されるウェアラブルデバイスだと考えている人にとって、Frameはまさに待ち望んでいた製品だろう。 Humaneの「Ai Pin」やrabbitの「rabbit r1」と同じように、Frameを使用すると、マルチモーダルな生成AIエージェントを通して、物理世界の物事を調べたりできる。ユーザーは、自分の目の前にあるものや、食品のカロリー、外国語の看板に書かれていることについて、常時オンのAIアシスタント「Noa」に質問できる。Noaは、「GPT-4V」（ビジュアルベースのクエリー）、「Stable Diffusion」モデル（画像生成）、「Perplexit
「PerplexityのAIがクローラーをブロックするrobots.txtを無視している」との指摘に対しCEOが「無視しているわけではないがサードパーティーのクローラーに依存している」と主張
生成AIを利用した検索エンジンの「Perplexity」に対して、検索エンジンやAIトレーニングなどのボット(クローラー)を制御できるテキストファイル「robots.txt」の指示を無視し、管理者がPerplexityの巡回を禁止したウェブサイトにもアクセスしていることが指摘されています。これに対し、Perplexityのアラヴィンド・スリニヴァスCEOが、「robots.txtの指示を無視しているわけではない」「自社のクローラーだけでなく、サードパーティーのクローラーにも依存している」と釈明しました。 Perplexity AI CEO Aravind Srinivas on plagiarism accusations - Fast Company https://www.fastcompany.com/91144894/perplexity-ai-ceo-aravind-sriniv
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AI検索「Perplexity」がかなり便利だったので紹介します (1/5)
唐突に使っているChrome拡張を紹介 - laiso
Google検索も不要に？ 検索AI「Perplexity」がスゴすぎてちょっと怖い
36億パラメータの日本語言語モデルを公開しました
[翻訳]LLMで1年間開発して学んだこと〜LLMプロダクト開発を成功に導くための実践的ガイド〜
生成AIで検索市場が大変革、グーグル対抗の「Perplexity」が月40％も大躍進のワケ
ChatGPTで本を出した27歳、たった2カ月半で「11万字」を執筆・編集した秘密とは？
生成AIの活用事例 10選｜masa_kazama
無料で複数の生成AIを同時実行・比較できる「天秤AI byGMO」 ～履歴保持機能の追加でより便利に／GPT-4o、Gemini 1.5 Pro、Claude 3 Sonnetのほか、Perplexityも利用可能
月990円のLINEMOでもフル機能のAI ソフトバンクとPerplexity提携の狙い【石野純也のモバイル通信SE】
Cloudflare Developer Week 2024 まとめ！ - ゆーすけべー日記
生成AI検索は「道案内」ではなく「種明かし」──日本新聞協会、著作権侵害の可能性を指摘
Perplexityが「Pages」を発表 - 最強のAI記事ジェネレーター | AI専門ニュースメディア AINOW
Perplexity Pro | スマートフォン・携帯電話 | ソフトバンク
OpenAIが2024年5月13日にGoogleのライバルとなる「AI検索エンジン」を発表するとの報道
情報収集も市場調査もAIが代行～「出典」がバッチリわかるAI検索「Perplexity」がビジネスの即戦力だった！
ChatGPT、Claude、Perplexityという3つの競合AIが同時にシステム障害を起こし利用不可に
ELYZA-tasks-100を人間が解くと何点取れるのか？
m1 MacbookにLlama 2をインストールして使ってみる | DevelopersIO
AI検索「Perplexity」はクロール禁止のサイトから情報を取っているのか
AI検索エンジン「Perplexity」でネット検索はどう変わるのか
AIに予算30万円以下でゲーミングPCを組んでもらって分かったこと
LLM開発のためのデータエンジニアリング - Qiita
マルチモーダルAI搭載スマートグラス「Frame」、Brilliant Labsが発表