メタ、AIに心理学を応用で「本当に求められている応答を生成する」技術を一歩先へ | AMP[アンプ] - ビジネスインスピレーションメディア
メタの研究者による技術「System 2 Attention」 2023年11月、メタに所属する2人の研究者による論文が発表された。 内容は同社が開発した、ジェネレーティブAI（生成系人工知能）のパフォーマンスを向上させる新しい技術。「System 2 Attention」と名付けられたその技術は心理学をベースとしており、生成系AIの言語モデルに取り込むことで、与えられた指示の中で重要度の低い情報を無視し、利用者にとって重要な情報にフォーカスすることでより望ましい応答を生成することが可能になると期待されている。 私たち人間にとっても簡単ではないこのようなタスクをAIに行わせることができるこの技術。いったいどのような仕組みで、私たちのAI利用体験は変わっていくのだろうか。 生成AIの普及により問われる私たちの「質問力」 リリースから1年あまりで全世界での利用者が2億人に届こうかという勢いの「
![メタ、AIに心理学を応用で「本当に求められている応答を生成する」技術を一歩先へ | AMP[アンプ] - ビジネスインスピレーションメディア](https://cdn-ak-scissors.b.st-hatena.com/image/square/61a8474320a8f2c56dd97e1bc010379fd691572e/height=288;version=1;width=512/https%3A%2F%2Fampmedia.jp%2Fwp-content%2Fuploads%2F2023%2F12%2Fimage1-3.jpg)
米Microsoftの公式サイトに「GPT-5」の文字 GPT-4発表から1年 Xでは「そろそろ発表来る？」「ただの誤字」などの声
法人向けMicrosoft CopilotのWebサイトでは、提供プランの概要を記載している。そのうちの1つである「Copilot Pro」の特徴について、「Priority access to GPT-4 and GPT-5 Turbo in peak times」（ピークタイム時のGPT-4とGPT-5 Turboへの優先アクセス）という記載を確認できる。 GPT-5は、GPT-4の後継モデルとして予想されている大規模言語モデルの名称。日本時間の14日正午時点では、このWebサイトの表記以外にGPT-5に関するMicrosoftの公式発表は確認できおらず、同社が出資するOpenAIもGPT-5に関するアナウンスはしていない。 しかし、2023年3月14日（現地時間）はOpenAIがGPT-4を発表した日。そこから約1年がたつタイミングで、Microsoftの公式Webサイト内に「GPT
研究視点から鳴らす今の生成AIブームへの警鐘 ――日本IBM主席研究員金山博氏が危惧する知の消費と「人らしさ」の重要性 「生成AIが出てきて悩んでいる。今の生成AIは作業の効率化を促進できている場面もあるのだが、人間が賢くなる、成長するという喜びを増幅する存在ではない。なのに、多くの方が両手を上げて賞賛している。効率化だけを求める風潮に危険を感じるのだ」。 こう語るのは日本IBM 東京基礎研究所の自然言語処理技術 主席研究員である金山博氏だ。金山氏は世界を変えたIBM社員の1人と言っても過言ではない。 IBMの認知型テクノロジー「Watson」がクイズ番組『Jeopardy!』で人間のチャンピオン2人を破ったのは2011年2月のことで、これは現在生成AIブームで沸く「第三次AIブーム」の火付け役の1つと私は捉えている。 Watsonの勝利は、機械学習と自然言語処理におけるAIの能力を広
はじめに AI技術の進化が目覚ましい今日、エンジニアにとってAIツールはもはや欠かせない存在になっています。でも、世の中には無数のAIサービスが溢れていて、どれを選べばいいのか迷ってしまいますよね。 そこでこの記事では、エンジニア向けの最新AIツールをジャンルごとに徹底的に紹介します。これを読めば、自然言語処理、画像処理、音声処理、データ解析、自動化、開発支援など、様々な分野で使えるAIツールの全貌がつかめるはずです！ このガイドを参考に、自分のプロジェクトにぴったりのAIツールを見つけて、効率アップを目指しましょう！それでは、ジャンルごとにAIサービスを紹介していくので、あなたに合った最適のものを見つけていきましょう。 弊社Nucoでは、他にも様々なお役立ち記事を公開しています。よかったら、Organizationのページも覗いてみてください。 また、Nucoでは一緒に働く仲間も募集して
算術タスクでGPT-4を圧倒的に上回るコンパクトなモデル『MathGLM』登場。やはりステップ・バイ・ステップが重要 | AIDB
ホーム LLM, 論文 算術タスクでGPT-4を圧倒的に上回るコンパクトなモデル『MathGLM』登場。やはりステップ・バイ・ステップが重要 『MathGLM』という新たなモデルが登場しました。このモデルは、特別に作成されたドリル（データセット）とステップ・バイ・ステップ戦略を採用することで、算術タスクにおいてGPT-4を圧倒的に上回る性能を示しています。 アプローチとしては、複雑な算術問題を解決する際に、問題をいくつかのステップに分解し、それぞれのステップを逐次的に解決するという方法を採用しています。 参照論文情報 タイトル：GPT Can Solve Mathematical Problems Without a Calculator 著者：Zhen Yang, Ming Ding, Qingsong Lv, Zhihuan Jiang, Zehai He, Yuyi Guo, Jin
生成AIを開発するアメリカの「オープンAI」は、人工知能がもたらすサイバーセキュリティーや核の脅威などの「破滅的なリスク」を研究する専門のチームを立ち上げると発表しました。 これは、生成AIの「ChatGPT」を開発したアメリカの企業オープンAIが26日、公式ウェブサイトで明らかにしました。 このなかでは、将来的に開発されるAI＝人工知能は「全人類の利益となる可能性を秘めているが、一層深刻なリスクを引き起こす」として、AIが悪用された場合の危険性や、最先端の言語処理のモデルが盗まれた場合、どのように悪用されるおそれがあるかについて、理解を深める必要があるとしています。 そのうえで、サイバーセキュリティーや核の脅威など「破滅的なリスク」について研究するための専門のチームを立ち上げ、今後のAIの開発方針に活用するとしています。 AIの活用をめぐっては、イギリスで来月、各国の政府高官や企業の代表
従業員から見た｢働きやすさランキング｣100社
社風や働きやすさは外からは見えにくいもの。そこでクレジット・プライシング・コーポレーション（CPC）は、オープンワークと共同開発した企業の社風を定量的に評価する「VCPCクチコミインデックス」を用い、国内上場企業について「従業員から見た働きやすさスコアランキング」を作成した。 「VCPCクチコミインデックス」は、オープンワークの運営する従業員口コミサイトであるOpenWorkに寄せられた、従業員クチコミ文章情報を、CPC独自の自然言語処理モデルにて会社ごとの時系列スコアとして定量化したものだ（※本稿は2023年11月末時点までのOpenWorkに寄せられたクチコミ投稿に基づく）。 VCPCクチコミインデックスは「組織文化スコア」「働きがいスコア」「働きやすさスコア」の3種類がある。これらは、OpenWorkに掲載されているレーダーチャート・定量評価点情報とは別の指標となっている。 定量評価
対話型AIプロダクトの今と展望
〜ChatBot・VoiceBotの開発技術を解説〜
デジタルマーケティング分野のサービス開発を行う事業部。 全体の7割以上が技術職で構成され、広告取引の世界で培ったAI技術の適応領域を拡大中。 約350名を超える、エンジニア・研究者・データサイエンティスト・デザイナーが所属 DX AI D2C マーケ ティング AI クリエイ ティブ 対話AI 新事業 小売 医療 行政 GovTech 開発組織 DataScienceCenter データサイエンティストの横断組織 事業へのデータサイエンスの応用・実装 AI Lab AI技術の研究開発を行う専門組織 国際学会への論文投稿など学術貢献も活発 AI Tech studio ビジネスサイドと連携したプロダクト開発 接客 イベント デジタルマーケティング全般に関わる、幅広いAI技術の研究開発を目的に設立。 ビジネス課題の解決と学術的貢献を目指す。 ・KDD 2022 機械学習における観測遅延問題の
ジョージ・R・R・マーティンを含む17名の作家と全米作家協会が、OpenAIを著作権侵害で訴えている。ドラマ『ゲーム・オブ・スローンズ』の原作やフロム・ソフトウェアのゲーム『ELDEN RING』の世界観構築で知られるR・R・マーティンのほか、提訴した17名にはジョン・グリシャム、全米作家協会の会長もつとめるスコット・トゥロー、ジョディ・ピコーらが含まれる。 作家たちのグループがニューヨーク州南部地区連邦地方裁判所に提出した最初の訴状の内容は、ChatGPTなどのAIツールの学習のために、OpenAIが彼らの著作物を無断で使用したというもの。OpenAIをはじめとするAIに関連したビジネスに対して、著名な作家たちが訴えを起こすのは今回が初めてではない。 訴状には、LLM（大規模言語モデル。膨大な量のテキストデータを学習することで自然な言語処理ができるようにトレーニングされたモデル）は「二次
［CEDEC 2023］AIの現状とゲームに与える影響とは。街にいるAIキャラクターが，勝手にパーティーを始めるゲームが生まれる!?
［CEDEC 2023］AIの現状とゲームに与える影響とは。街にいるAIキャラクターが，勝手にパーティーを始めるゲームが生まれる!? 編集部：荒井陽介 Preferred Networks代表取締役 最高研究責任者 岡野原 大輔氏。 ゲーム開発者会議CEDEC 2023の初日である8月23日に，Preferred Networks代表取締役 最高研究責任者の岡野原 大輔氏による基調講演「AIはゲームをどのように変えるのか」が行われた。 急激に進化するAIの現状や，それが今後のゲームにどのような影響を与えるのかが語られた講演の模様をレポートしよう。 AIのトレンド 岡野原氏は，まずAIの現状を説明した。 多くの人がご存じの通り，AIの利用者は急増している。AIチャットボットのChatGPTは毎月16億人が利用し，画像生成AIのMidjourneyはこれまで3億枚ものタスクが実行されたという。
グーグル製生成AI「Bard」の歩みと実力、そして「成功」（Forbes JAPAN） - Yahoo!ニュース
グーグルの親会社アルファベットは2023年5月10日、毎年恒例の開発者会議「Google I/O 2023」を開催した。同社の幹部たちにとってこの会議は、グーグルの人工知能（AI）プロジェクトに関する社会の論調をリセットする重要な機会だった。 Google I/Oに先立つ2月、同社のスンダー・ピチャイ最高経営責任者（CEO）は、マイクロソフトのBing/ChatGPT公開に先駆けて、グーグルの会話型AI「Bard」のデモを急がせた。しかし、それはうまくいかなかった。プレゼンテーションの動画再生は、エラーと不具合だらけだった。同社の株価は急落し「マイクロソフトのAIの方がリードしている」という雰囲気が生まれてしまった。 しかし、一般のイメージとは異なり、グーグルはAIの覇権争いでマイクロソフトに後れを取っていたわけではなかった。マイクロソフトは、ChatGPTを開発した新興企業OpenAI（
関連記事のリンクが集まりそうだったので、エントリーを起こす。直近1週間ほどのものが多い。 直接のきっかけは、この記事だった。 digital.asahi.com ミューオンに限らず宇宙物理学という分野は、直接的な実用からほど遠いジャンルと言われる。だがブコメにあるようピラミッドや古墳の非破壊内部調査など、意外な応用が広がっている。 ブコメというなら誰かが書いていたように、素粒子物理学は宇宙の根本を研究している学問であり、大麻密輸の検出に応用できたとはしゃぐのは、むしろはしたない部類と考えるべきかも知れない。 と言いつつ、こんな記事も読んだ。X旧ツイッター経由である。 www.sciencetime.jp Wi-Fi がブラックホール研究から生まれたことは知らなかった。ブラックホール研究は、万万が一地球に影響が及ぶ重力範囲にブラックホールが発見されない限り、役に立つことはないだろう。そして万
WEELメディア事業部LLMライターのゆうやです。 2024年2月26日、MIstral 7BやMixtral 8×7Bなどを開発したMistral AI社が最新のLLM「Mistral Large」を公開しました。 このモデルは、Mistral AIが「最高レベルの推論能力」を持つと自信を持って語る新たなフラッグシップモデルです。 数あるLLMの中で最高クラスの性能を持つだけでなく、Gemini Proなどのクローズドモデルよりも高いベンチマークスコアを獲得し、様々なベンチマーク結果が、GPT-4に次ぐ世界第2位となっています！ MMLUのベンチマーク結果 引用元：https://mistral.ai/news/mistral-large/ また、Mistral Largreと同時に「Le Chat」というチャットインターフェースも公開され、Le chatを通じてMIstralのモデルが
Artie Beaty （Special to ZDNET.com） 翻訳校正： 緒方亮 吉武稔夫 2024-04-04 09:56 ブラウザー「Opera」のユーザーにうれしい新機能が発表された。デバイス上で完全にローカルな形でOperaから利用できる大規模言語モデル（LLM）だ。 Opera Softwareの発表によると、ユーザーがLLMをダウンロードし、内蔵機能を通じてローカルで使えるのは、主要ブラウザーでは初めてだという。これにより、サーバーにデータを送信することなくOperaでLLMを利用できる。この機能は、「AI Feature Drops Program」の一環として、「Opera One」の開発者向けストリームで提供される。AI Feature Drops Programとは、実験的な人工知能（AI）機能をアーリーアダプターがテストできるプログラムだ。 利用できるLLMは
OpenAI Vision API とはOpenAIは、自然言語処理の分野で広く認識されているGPT-4というモデルを提供しています。 そして最近、このモデルに画像認識の機能を追加したGPT-4 with Vision（以下、Vision API）がリリースされました。 この記事では、そのVision APIについて詳しく解説します。 Vision APIは、テキストだけでなく画像も理解することができるAIモデルです。 これにより、GPT-4が利用できる領域が大幅に広がりました。 Vision APIの使い方Vision APIは、画像のURLを指定するか、Base64でエンコードされた画像を直接リクエストに含めることで、画像をモデルに提供できます。 画像はuser、system、assistantのメッセージのいずれにも含めることができます。 以下に、Pythonでの使用例を示します。
人間とその他の動物を分ける認知機能のひとつに、人間は「口頭や書面での指示に従って、さまざまなタスクを実行できる」というものが挙げられます。新たにスイス・ジュネーヴ大学の研究チームが、テキストによる指示のみに基づいてタスクを学習して実行可能であり、「姉妹AI」に学習内容を教えることもできるAIを開発しました。 Natural language instructions induce compositional generalization in networks of neurons | Nature Neuroscience https://www.nature.com/articles/s41593-024-01607-5 Two artificial intelligences talk to each other - Medias - UNIGE https://www.unige.
サイバーエージェント、日本語LLM「CyberAgentLM2-7B-Chat」をAWS「Amazon SageMaker」で公開
今回掲載されたモデルは、日本語および英語データで事前学習を行なった70億パラメータのベースモデル「CyberAgentLM2-7B」にチャット形式でのチューニングを行った「CyberAgentLM2-7B-Chat」。本モデルは入出力の長さとして3万2000トークンに対応し、一度に約5万文字の日本語文章を処理できる。なお、同モデルは商用利用可能なApache License 2.0で提供されている。 今回、「CyberAgentLM」が「Amazon SageMaker JumpStart」で扱えるようになったことにより、日本語LLMを利用したい企業は簡単に「CyberAgentLM」を自社環境にデプロイできる。本モデルは、Amazon SageMaker JumpStartのメニューから選択可能。 同社は、日本語LLMの開発に積極的に取り組んでおり、2023年5月に「CyberAgent
PDF論文やプレゼン資料から「表3を説明して」「5～7ページを要約して」などの指示に回答 米Adobeなど「PDFTriage」開発
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米スタンフォード大学と米Adobe Researchに所属する研究者らが発表した論文「PDFTriage: Question Answering over Long, Structured Documents」は、WebページやPDF論文、プレゼンテーション資料などの複雑な構造からなる特定のドキュメントに対するテキストプロントに適切に回答する、大規模言語モデル（LLM）向けの方法を提案した研究報告である。 現行の方法では、LLMが対応するコンテキスト数（トークン数）に制限があるため、長い文書から関連するコンテキストを取得する前処理が必要であ
Techouse社内勉強会の内容を紹介します(1) データベース<ACID編> - Techouse Developers Blog
Techouseの「エンジニア基礎勉強会」とは Techouse では「基礎勉強会」と称して2週間に1回、わたしが OS・ネットワーク・データベース・ハードウェア・セキュリティ・システムアーキテクチャなどをお話する勉強会を開催しています。 講師は私ひとり、資料を準備するのも私ひとり、動画を収録して YouTube Live で社内向けに配信する作業も私ひとりでやってます。 参加は任意ですが、社内のメンバー (社員・インターン生・業務委託でご参画いただいている方) の多くの方が参加してくれています。先日の RubyKaigi 2024 に参加してくれたメンバーもほとんどがこの勉強会に参加し、基礎的な知識をもった上でセッションへ臨んでくれました。 開催履歴 これまでの開催履歴はこんな具合です。 見ていただくとわかる通り、ほんとうに基礎的な内容を1個ずつやっているということがわかるかと思います。
Frog > インタビュー > キャリアのスタートは研究者。コーディングの楽しさに突き動かされ輝かしいキャリアを築いてきたAkiさんの歴史を紐解く ブログ みなさんこんにちは！FrogメンバーのHiroshiです。今回インタビューに応じてくださったのは、現在Treasure Dataという会社でStaff Software Engineerとしてご活躍中のAkiさん。キャリアのスタートは研究者として東芝に勤められていました。その後Cookpadに転職し、副菜レコメンド機能の開発に貢献。その後はClouderaという会社での勤務を経て現在に至ります。エンジニアであれば誰もが二度見するような素晴らしいキャリアの持ち主ですが、Akiさんは更にオライリーから書籍も出版されています。 仕事ではじめる機械学習 バンクーバーに来られてから約2年が経過したAkiさん。インタビューの中では、キャリアに関する
独占禁止法裁判で提出されたGoogleの検索ランキングに関わる7つのドキュメント ｜SEO Japan by アイオイクスSEO Japan｜アイオイクスのSEO・CV改善・Webサイト集客情報ブログ
Google検索の独占禁止法に関わる裁判は長い間行われているイメージがありますが、これら裁判の過程で公開された資料に注目した、Search Engine Landの記事（https://searchengineland.com/google-search-ranking-documents-434141）を紹介します。核心に迫る箇所は非公開になっていたり、数年前に使用されたであろう資料も含まれていますが、SEO担当者にとっては確かに興味深い記述があると感じています。明日、すぐに使える知識、というわけではありませんが、Googleの検索に対する考え方に触れることができる、よい機会であると考えています。 Googleの検索ランキングにおける3つの重要な柱について学ぼう。また、エンドユーザーのデータが担う重要な役割や、人々と検索のかかわり方についても学ぼう。 米国の司法省は新たな裁判資料を公開し
登壇者の自己紹介 神里栄氏（以下、神里）：本日は、ウルシステムズ株式会社代表取締役会長の漆原茂さまを社外ゲストとしてお迎えしています。よろしくお願いします。 漆原茂氏（以下、漆原）：漆原と申します。今日はどうぞよろしくお願いします。私はいろいろな会社の代表取締役をやらせていただいているので、よく経営者と誤解されるのですが……エンジニアなんです（笑）！ （一同笑） 漆原：ひたすらコードを書きたくて、エモいコードを見ると「大好き！」みたいに思ってしまう。そういう人間なんです。 （一同笑） 漆原：なので、自己紹介のスライドもJSONで書きました。円周率も微分方程式も大好きです。分散システム、大規模データ処理とか、本当に最高です。 棚橋耕太郎氏（以下、棚橋）：棚橋耕太郎といいます。新卒でリクルートコミュニケーションズに入社して、現在はリクルートに在籍しています。リクルートコミュニケーションズでは、
本会ではジュニア会員制度や全国大会でのIPSJ KIDSを始めとしたキッズイベント企画からも分かるように，若い子どもたちの活躍にも注目しています．このたび，情報処理推進機構（IPA）より，情報処理技術者試験に最年少（8歳）で合格された方への取材をご寄稿いただきました．情報処理技術者試験についてはVol.64, No.4（2023年4月号）にも解説記事「情報処理技術者試験における実施方式の変革 ─「新たな日常」を踏まえた試験の実現に向けて─」が掲載となっておりますので，本稿とあわせてご覧いただければ幸いです． 奥村明俊（（独）情報処理推進機構 IPA） IPAは，優れたデジタル人材を育成するために，ITパスポート試験（IP），基本情報技術者試験（FE），情報セキュリティマネジメント試験（SG）といった役割やレベルが異なる計13区分の国家試験を実施しています$${^{1）}}$$．IPは，IT
昨日は今季の公式戦、初観戦（ベイスターズ vs カープ）でした。 試合前のセレモニーでは、「帰ってきた あぶない刑事」の番宣を兼ね、舘ひろしと柴田恭兵が登場しました。もう、イケオジ以上ともいえる世代のふたりですが、体型が変わらないように見えます。相変わらずのカッコよさを感じました。 試合は延長１２回５時間を超える熱戦でした。どっちに転んでもおかしくない試合でした。最後は６ー９でカープの勝利！！ベイスターズに連勝しました。 わたし的には、９回裏にベイスターズが１塁、２塁のサヨナラのチャンスを掴んだのですが、１塁の宮崎選手に代走を出したのが気になりました。延長戦の可能性を考えるなら、あの場面で宮崎交代させる必要はなかったと思います。 延長戦の陣容、ベイスターズは打線の核がすっかり抜け落ちてました。いっぽう、カープはスターティングメンバーを保っていました。結果論ですが、そこが勝負のあやだったと思
AIを駆使した「デジタル・ピープル」を開発するSoul Machinesが、故マリリン・モンローの知的財産を所有しているAuthentic Brands Groupと提携し、モンローのように会話をするAI「デジタル・マリリン」を開発しました。 Digital Marilyn | Soul Machines https://www.soulmachines.com/digital-marilyn-monroe-notification Marilyn Monroe AI Sparks Backlash for Digital Marilyn https://www.hollywoodreporter.com/news/general-news/marilyn-monroe-ai-backlash-digital-marilyn-1235846845/ AI Marilyn Monroe ad
当サイトはアフィリエイト広告を使用しています コンピューター （スマホ・パソコン・ゲーム） AIとAGIの違いとは？分かりやすく解説、アニメ作品を例にすると分かりやすいかも？ AIは人工知能の事ですがAGIは汎用人工知能と呼ばれる概念です。 AGIの開発はまだまだ先で2200年頃には開発できるかもしれないというレベルです。 AIと言えば最近はCHATGPTなどのAIも開発されて注目を浴びています。 具体的にAIとAGIの違いについて解説していきます。 現在のAIを弱いAIとか特化AIと呼んでいます。 AIとAGIの違い（CHATGPTの解説） AI（人工知能）とAGI（人工一般知能）は、人工知能の異なるレベルを表しています。 AI（人工知能）:AIは、コンピュータプログラムによって実現された人間の知能の模倣を指します。 これは、特定のタスクや問題を解決するためのアルゴリズムやモデルを使用し
コンペURL どんなコンペ？ LLM（ChatGPT）が作った科学・技術・工学・数学分野の問題をKaggle notebookという限られた環境下（主にメモリ13GBと9時間以内に完了）でどのくらいの精度で解けますか？という自然言語処理系のコンペ。 以下に入出力例を示しています。 ・入力 （質問）バタフライエフェクトとは何ですか？ （A）バタフライ効果とは、巨大な球体が不安定な平衡点から... （B）バタフライ効果は、古典物理学における必要条件... （C）バタフライ効果は、古典物理学における物理現象の... （D）バタフライ効果とは、巨大な球体が不安定な平衡点から.... （E）バタフライ効果は、物理学における因果関係の概念の適用と.... ・出力 E A B （解答を可能性の高い順番に出力） 評価指標はMAP@3（Mean Average Precision）でした。 ベースライン解法
M.S.WindowsにPython3を導入する（７つの方法、7つの罠）2024年版 - Qiita
この記事は、オープンソースまたは教育用でPythonを利用する場合に、すでにWindows機材があり、どうしてもWindowsにPythonを導入したい方向けの記事です。2017年に、その趣旨で、 M.S.WindowsにPython3(Anaconda3)を導入する（7つの罠） https://qiita.com/kaizen_nagoya/items/7bfd7ecdc4e8edcbd679 を書きました。@kaizen_nagoyaが書いた記事で、過去一番閲覧数（Views）が多い。 深層学習の読書会の参加者で、自宅で環境構築ができなかったり、ついていけなかった方の半分以上がWindowsにうまくPythonが導入できていませんでした。 「ゼロから作るDeep Learning ２自然言語処理編」読書会に参加する前に読んで置くとよい資料とプログラム https://qiita.com
先読みを用いたLLMの文章生成の高速化 - NTT Communications Engineers' Blog
こんにちは、イノベーションセンターの加藤です。普段はコンピュータビジョンの技術開発やAI/機械学習（ML: Machine Learning）システムの検証に取り組んでいます。一方で、兼務1で大規模言語モデル（LLM: Large Language Model）について調査を行なっており、特にLLMの推論や学習の高速化に関心を持っています。 今回は、小さな言語モデルによる先読みを活用してLLMの文章生成を高速化する手法（Assisted Generation2, Speculative Sampling3などと呼ばれています）についてご紹介します。 LLMの推論は計算コストが高く、文章生成の遅さが課題としてよく挙げられています。特に日本語はトークンあたりの文字数が少なく、ChatGPTのようなストリーム出力でもかなり生成が遅く感じるかと思います。 これに対して、いくらか余分にメモリを利用し
AI導入による口コミ投稿画像のカテゴライズ業務の一部自動化について - Tabelog Tech Blog
目次 目次 はじめに 口コミ投稿画像のカテゴライズ業務について なぜ自動化することにしたのか？ どのように自動化を実現したのか？ 1. 画像をカテゴライズできる機械学習モデルを実現した方法 1-1. CLIPについて 1-2. 口コミ投稿画像のカテゴライズ業務にCLIPを利用する方法 2. 食べログのシステムに機械学習モデルを組み込んだ方法 2-1. 今回の施策で開発したシステムの概要 2-2. 機械学習モデルを組み込む際の運用設計 2-2-1. 自動でのカテゴライズ精度が低いカテゴリへの対応 2-2-2. システム障害時の対応 一部自動化を実現した結果、どうなったか？ はじめに こんにちは。食べログシステム本部 ウェブ開発部 プロダクトチームの高橋です。 この記事では、食べログにおいて、口コミ投稿画像のカテゴライズ業務の一部を自動化した事例について紹介します。 口コミ投稿画像のカテゴライ
目次 本記事の動機 時系列解析とTransformerに対する先行研究のまとめ 複数時系列データの解析に対する課題を解決した改善モデル iTransformer iTransformerモデルの実装 実装環境と学習データ データの前処理 iTransformerモデル実装と最適パラメータ探索 数値実験と考察 本記事のまとめ 参考文献 本記事の動機 近年ではビックデータの利活用が活発になっており、データを蓄積・分析することが多くなっています。その際、機械学習やAIの実装をしてデータの分析を行う場合、データ数が鍵となっています。しかしながら、データの項目数が多いと、各項目のデータ数が少なくなる可能性があります。例えば、ある市場で売られている品種が複数あった場合、受注数の差だけではなく、受注のデータ数にも差が生じ、結果的に分析に使用可能なデータ数が少なくなり、分析の精度が低下することが考えられま
チャットAIのChatGPTのベースとなっている自然言語処理AIモデルのGPT-4は、科学的仮説を裏付けるためにデータセットを捏造するケースがあるという論文が発表されました。 Large Language Model Advanced Data Analysis Abuse to Create a Fake Data Set in Medical Research | Ophthalmology | JAMA Ophthalmology | JAMA Network https://jamanetwork.com/journals/jamaophthalmology/article-abstract/2811505 ChatGPT generates fake data set to support scientific hypothesis https://www.nature.com/
Difyで生成AIアプリケーション入門 前編：生成AIアプリケーションをノーコードで開発 | フューチャー技術ブログ
概要Dify （DeFiではない）と Anthropic Claude （OpenAI でも OpenRouter 経由の何かでもOK）を使って簡単に生成AIアプリケーションを構築する方法をご紹介します。 前編：ノーコードで生成AIアプリケーションを構築するチュートリアル後編：自作プログラムで機能追加して生成AIの指向性と精度を高めるサンプルの2本立ての予定です。 対象読者生成AIに興味があるがまだチャット以上の利用法を見出せず手を出せていない方お試しに手軽に生成AIアプリケーションを構築してみたい方特にOpenAIに月額費用に躊躇っている方前提知識・環境Docker (Docker Compose)。Windows なら Docker Desktop。後編ではホスト名 host.docker.internal を使用します“時々生成AIをチャットで活用している”程度のプロンプト操作の知識
東京大学松尾研究室は12月26日、大規模言語モデル（LLM）の研究者や開発エンジニアを募集するとX（旧Twitter）で発表した。同研究室は日本のAI研究の権威として知られる松尾豊教授の研究室。2024年、LLMの研究をさらに加速させるためチームを拡大するという。 LLM研究者は「効率的なLLMの学習方法に関する研究」「LLMの動作原理の理解」などの研究に取り組む人材を募集。言語モデルに関する直近2年以上の研究経験や、自然言語処理での修士以上の学位などを必須条件としている。 LLM開発エンジニアは「LLMのフルスクラッチ構築（1～100B）、継続学習」などに取り組む人材を募集。必須スキルとして「修士（Computer Science）以上の学位を有する人」「マルチノードマルチGPUでのニューラルネットの学習経験」「生成系の言語モデルに関するデータ加工やモデル学習、評価の一連を実施した経験」
長年この業界を見てきたが、かつて見たことがないような決算報告だった。 NVIDIAの第2四半期(5-7月期)の決算では前年同期比で売り上げが約2倍、純利益が9.4倍とアナリスト達の予想をはるかに超えたとんでもない数字が飛び出した。これにより米国の半導体関連株価が一気に押し上げられた。スタートアップ企業ならともかく、世界の半導体ランキングの10傑にリストされる巨大企業のNVIDIAが今回発表した決算は、全盛期のIntelの「ため息が出るような素晴らしい業績」といった通常の表現をはるかに超えた「とんでもない、ありえない数字」として業界関係者を大きく揺さぶった。 驚異的なNVIDIAの決算発表内容 先週発表されたNVIDIAの5-7月期の決算内容の概要は下記の通り。驚異的な数字が並ぶ。 売上高は135億700万ドルで前年同期比の約2倍 純利益は約62億ドルで前年同期比の9.4倍 この驚異的な伸び
進化を続ける生成AIの最前線、ChatGPT。既に多くの業界で注目される中、まだこの革命的な技術を手にしていないあなたへ。本連載では、具体的なコードを交えながら、ChatGPT APIの可能性とその活用法を徹底解説します。今回は、チャットBot以外の様々な利用目的で組み込むノウハウについて紹介します。 はじめに 前々回、前回の記事ではChatGPTの最もオーソドックスな使い方として、ユーザーとの会話を主軸とするチャットBotの開発に焦点を当てて解説してきました。しかしながら、ChatGPTの活用方法について未だイメージを掴めていない方々の中には、ChatGPTの活用方法で迷っているというよりも、チャットというインターフェースを取り入れるイメージが沸かないという方も少なくないのではないでしょうか。もしもこのケースに当てはまる場合は、「ChatGPTは会話をするもの」という先入観を捨て、システ
はじめに この記事は、特徴量エンジニアリングについてわかりやすく説明することを目的として書きました。特徴量エンジニアリングについては、多くの記事で取り上げられていますが、最初に読む入門的な内容を目指しています。 「特徴量エンジニアリング」とは、大雑把に言えば「機械学習モデルの予測精度を上げるための入力データの加工」のことですが、実はこの言葉の定義には曖昧さがあります。様々な記事を読むと、この言葉は使う人により若干意味が異なっていることが分かります。 例えば、ある記事では、欠損値の補完は「前処理」で、カテゴリカルデータのワンホットエンコーディングが「特徴量エンジニアリング」と解説されています。一方、別の記事では両者とも「特徴量エンジニアリング」と解説されています。したがって、この言葉でイメージするものは人によって異なっていると言えます。 データサイエンティストの中でも自然言語処理をメインに扱
はじめに どうもこんにちは。kunishouです。2023年も残すところ今日、明日のみ。皆さん年の瀬をいかがお過ごしでしょうか？ 今年も昨年と同様、仕事も勉強もしなくていい日が数日続き、すでにソワソワしてきました。というわけで毎年恒例の（と言いつつ今年で2回目の） Python / データ分析関連の人気 Qiita 記事 150選を今年も投稿することにしました！本記事では、2023年にQiitaに投稿された Python/データ分析関連の記事の中からいいね数の多かった150記事をピックアップし表にまとめました。 年末年始の空いている時間に、本記事で2023年のPython/データ分析関連のトレンドを振り返っていただけたら幸いです。 昨年の記事はこちら モチベーション Qiita公式からも毎年1月にQiitaの人気記事のランキングが公開されています。ただ、Qiita全カテゴリでのランキングで
Apple、限られたメモリで効率的な大規模言語モデル推論を行う方法を開発 | NEWS | Mac OTAKARA
※本サイトは、アフィリエイト広告および広告による収益を得て運営しています。購入により売上の一部が本サイトに還元されることがあります。 AppleのMachine Learning Researchは、arXivに「LLM in a flash: Efficient Large Language Model Inference with Limited Memory」を投稿しています。 大規模言語モデル（LLM）は、現代の自然言語処理の中心的存在であり、様々なタスクにおいて卓越した性能を発揮します。しかし、その集中的な計算とメモリ要件は、特にDRAM容量が限られたデバイスにとって課題となります。 この論文では、モデルのパラメータをフラッシュメモリに保存し、必要に応じてDRAMに取り込むことで、利用可能なDRAM容量を超えるLLMを効率的に実行するという課題に取り組みむと説明しています。 Ap
検索に関わることならなんでもOKです！ 検索エンジンのアルゴリズムや実装 検索システムの構築・運用・評価 形態素解析・分かち書きなどの自然言語処理 (NLP) 技術 検索に関する UI/UX 地理検索、画像検索、情報推薦など Lucene, Elasticsearch, Solr など検索エンジンOSS 今年も作成してみました! 2021年のアドベントカレンダー 2022年のアドベントカレンダー
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
研究視点から鳴らす今の生成AIブームへの警鐘――日本IBM主席研究員金山博氏が危惧する知の消費と「人らしさ」の重要性 | gihyo.jp
【178選】エンジニア必見！最新AIサービス完全ガイド - Qiita
米オープンAI 「破滅的なリスク」研究チームの立ち上げ発表 | NHK
『ゲーム・オブ・スローンズ』原作者のジョージ・R・R・マーティンら17人の作家が著作権侵害でOpenAIを提訴
科学に「何の役に立つのか？」はいい加減やめてほしい - 🍉しいたげられたしいたけ
【Mistral Large】GPT-4に次ぐ世界第二位のLLMを忖度抜きで徹底比較してみた | WEEL
Opera、LLMをダウンロードしてローカルで利用する機能を開発者版で提供
OpenAI Vision API の使い方や料金について｜ChatGPT研究所
テキストの指示だけでタスクを実行可能な上に別のAIにスキルを教えることができるAIが開発される
キャリアのスタートは研究者。コーディングの楽しさに突き動かされ輝かしいキャリアを築いてきたAkiさんの歴史を紐解く
なぜ、リクルートという環境を選んだのか？ エンジニアたちが語る、仕事のモチベと開発組織の魅力
情報処理技術者試験の最年少合格者とご両親の声｜情報処理学会・学会誌「情報処理」
今季初観戦 ベイスターズ vs カープ - 叡智の三猿
リアルタイムでファンと対話する「AIマリリン・モンロー」が誕生
AIとAGIの違いとは？分かりやすく解説、アニメ作品を例にすると分かりやすいかも？
Kaggleコンペ（LLM Science Exam）の振り返りと上位解法まとめ
複数時系列データ × Transformerの実装と評価
ChatGPTが科学的仮説を裏付けるためデータセットを捏造するとの指摘
東大松尾研、大規模言語モデルの研究者＆開発エンジニアを募集 「LLM研究をさらに加速させる」
驚異的なNVIDIAの決算が意味するもの - 吉川明日論の半導体放談(273)
チャットBotだけじゃない！ChatGPTを汎用自然言語処理エンジンとして利用する方法
改めて「特徴量エンジニアリング」とは何か？ - Qiita
2023年 Python / データ分析関連の人気Qiita記事150選 - Qiita
情報検索・検索技術 Advent Calendar 2023 - Adventar