ソフトウェア開発の世界は日々進化していますね。その中で、私たち開発者が使うツールは、まさに職人の道具のように大切なもの。常により良い方法を探し求めているのは、皆さん同じではないでしょうか。 そんな私たちの前に現れたのが、Zedです。このエディタ、一見するとただの新顔に思えるかもしれません。でも、その中身は、私のようなVimmerの心をしっかりと掴みました。なぜならZedは、Vimの精神や操作感を大切にしながら、現代のテクノロジーを駆使して作られているからです。 私は1年ほど前からZedを使い始め、すぐにルックやデザイン、全ての動作が期待通りかつ、速く完了する様子に魅了され、使い続けています。 筆者のZedのキャプチャ 機能的にはVSCodeが優れているし、AI Code EditorのCursorも盛り上がっていますが、もっと速く、たくさんコードを書きたい開発者の方にはZedという選択肢が
2.3k{icon} {views} 複数のLLM（GPT/Claude3）とArxivの検索APIをRAGで統合し、論文サーベイの自動生成を作りました。検索結果の前処理や、サーベイ特有のプロンプトエンジニアリングやソートが重要で、最適化手法として古くからある巡回セールスマン問題（TSP）が有効に機能しました。また、生成部分ではGPTよりClaude3の明確な有効性を確認できました。 できたもの Arxivの検索APIを使って検索拡張生成（RAG）したらサーベイを自動生成できた やっていること Arxivの検索ワードをGPT-4-Turboで生成 ArxivのAPIを叩いてヒューリスティックでフィルタリング OpenAIのEmbedding APIを叩く Embeddingに対して巡回セールスマン問題（TSP）を解いてソートをかける 論文の要旨をGPT-3.5-Turboで要約 ソートした
Azure OpenAI Service 「on your data」 で独自データを使ったチャットを実現する - Taste of Tech Topics
こんにちは、igaです。 先日は台風の影響が出る前に出かけられて、リフレッシュできました。 今回は、Azure OpenAIとチャットする際に、独自データを使用してみます。 独自データの使用（原文の表記はon your data）は、2023年8月現在パブリックプレビューとして利用できる機能です。 techcommunity.microsoft.com 独自データの使用（以降、on your dataと表記します）により、例えば企業内ドキュメントやFAQをAzure OpenAIに検索させることで、ユーザーからのチャットでの問い合わせに対して企業内ドキュメントやFAQを検索した結果をAzure OpenAIがチャットの応答として返すことができるようになります。 今回は、on your dataを利用するまでの流れを試したいと思います。 on your dataのポイント on your d
東京大学院工学系研究科・松尾研究室（主宰：松尾豊教授）は8月22日、「オープンソース」として18日に公開した大規模言語モデル（LLM）「Weblab-10B」について、「商用利用不可のため定義に当てはまらない」としてオープンソースの記述を削除した。 Weblab-10Bは、日本語と英語のデータセットを学習させることで学習データ量を増やし、日本語の精度を高めたモデルとしている。パラメータサイズは100億。研究目的での利用のみ認めており、商用利用は不可としている。 しかし、X（Twitter）などでは「商用利用不可ならオープンソースとはいえないのではないか」といった旨の指摘が相次いでいた。 米Open Source Initiativeが定める「オープンソースソフトウェア」の定義には「再頒布の自由」という項目があり、「ソフトウェアなどの一部として販売・頒布することを制限してはならない」と規定さ
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米カーネギーメロン大学などに所属する研究者らが発表した論文「Universal and Transferable Adversarial Attacks on Aligned Language Models」は、大規模言語モデル（LLM）が有害なコンテンツを生成しない仕組みを無効にする手法を提案した研究報告である。入力プロンプトの語彙に敵対的フレーズを入力するだけで解除可能だという。 ChatGPT、Bard、ClaudeなどのLLMは、ユーザーの質問に対する回答で有害なコンテンツ（例：爆弾の作り方やIDの盗み方、人種差別的なジョーク、詐欺
Claude 3 OpusはGPT-4では難しい「オホーツクに消ゆ」ライクなアドベンチャーゲーム生成ができる - ABAの日誌
ChatGPTにGPTsが搭載されたころ、テーマを与えるとそれに沿ったアドベンチャーゲームが作れないかと試していた。特に「オホーツクに消ゆ」のような、コマンド選択式のミステリーアドベンチャーを色々と遊べたら楽しいかなと思っていた。 結果としてはうまくいかなかった。GPT-4が作成するストーリーは具体性に欠け、実在（しそうな）人物やローケーションなどに沿った展開を持たせることが難しかった。 最近Claude 3とよばれる、GPT-4を凌駕するといわれるLLMが現れた。なので今度はこれを使ってアドベンチャーゲーム生成を試してみた。使うモデルはProユーザーが使えるClaude 3 Opus。 例えば「上野駅」をテーマにして生成すると、以下のようなゲームができる。 上野駅4番ホーム。午前9時頃。 ホームの端で、男性の刺殺体が発見された。あなたは、現場に駆けつけた刑事の沢村。 目の前には血まみれの
NotebookLMを使ってみた
こんにちは。GMO NIKKOのH.Tと申します。 GoogleからNotebookLMというサービスが出ましたので触ってみました。 NotebookLMの使い方 NotebookLM は簡単にはじめることができます。 NotebookLM にアクセスし、新しいノートブックを作成します。 そして自分が作成したいプロジェクトのための参照資料をアップロードすると、読み上げやブリーフィングシートの作成、FAQ、アイデアの整理などが可能になります。また、NotebookLM に質問して、すべてのソースの概要 ( 学習ガイドや目次など ) を自動的に作成することもできます。 Googleのブログより やってみた 早速使ってみました。 まず、上図のTry NotebookLMをクリックしますと以下のような画面が開きます。 「新しいノートブック」をクリックします。 あらかじめ青空文庫より「吾輩は猫である
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
生成AI時代のフロントエンド開発術
2022年11月にChatGPTがリリースされて、1年と約半年が経過しました。私はChatGPTが話題になった頃から、継続して利用しています。ChatGPTを使い続けていると、Webアプリケーションのフロントエンド開発に役立つことがありました。 そこで、本記事ではフロントエンド開発でChatGPTを活用して効率よく進める3つのパターンにまとめました。これらのパターンを紹介し、読者の皆さんの開発に役立ててもらえればと思います。 以下は、本記事で紹介するFigma、ソースコード、デプロイ先URLです。 Wireframing photo - Figma silverbirder/figma-photo-sample-app-for-ai - GitHub https://figma-photo-sample-app-for-ai.vercel.app ChatGPTを使う前に ChatGPTに
Claude3にプロジェクト全体をぶち込むためのプロジェクトの構造とファイル内容を自動でまとめるPythonスクリプト
はじめに Claude3Opusはものすごい能力で、手動で作成するのは面倒なプロジェクトのドキュメンテーションなどを一撃で生成してくれます。 しかし、プロジェクト全体の内容をWebのCladeには投入できないし、ファイルを１個ずつコピペするのもかなり時間を要します。 頼みのCursorもClaudeは対応していないので@Codebase機能が利用できません・・・ そこで、Pythonスクリプトを使ってプロジェクトのフォルダ構造とファイルの内容を自動的にまとめるスクリプトを作成したので紹介します！ このスクリプトを使うことで、プロジェクトを200kトークンまでの単一のテキストにまとめ、Claude3Opusに簡単に投入できるようになります。 スクリプトの機能と使い方 このPythonスクリプトは以下のような機能を持っています： プロジェクトのフォルダ構造をMarkdown形式で生成。※本当は
オープンソースAI(Open Source AI)とは、オープンソースの状態にあるAIシステムのことである。これはある意味で自明なのではあるが、「オープンソースの定義」(OSD)を管理している米国の非営利団体Open Source Initiative(OSI)では、2023年からわざわざ新たに「オープンソースAIの定義」(OSAID: Open Source AI Definition)の策定を開始している。2024年の8月頃には定義のRC版が公開される見込みであるが、本稿ではこの新たな定義が何故必要になり、その定義がどのような機能するものであるかということに対し、主に佐渡が視点から時系列的に簡単に紹介していく。これによって日本国内においてOSAIDが認知され、AI開発コミュニティにおいて自由かつ透明性が確保されたシステムの必要性への理解が深まる一助となることを期待する。 OSIにおける
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 この研究では、ChatGPT（GPT-4）に対して日本語と英語の両方でコード生成を指示し、その結果で生成した450個のコードサンプルの安全性を詳細に分析した。具体的には、英語、日本語の命令形と日本語の丁寧語の3種類でそれぞれ同一の内容を示すタスクのコー ドをGPT-4で生成した。 いくつかの条件で安全性を比較するため、暗号化と復号、サンドボックス化されたディレクトリの2つのシナリオを用意し、同じシナリオ内でPython、C、JavaScriptの3種類のプログラミング言語で25回コードを生成した。出力されたコードの安全性と、コード以外の部分
京都大学とベンチャー企業のテラバースムは9月12日、仏教の経典を学習させ、ユーザーの悩みに答えるチャットボット「親鸞ボット」「世親ボット」を開発したと発表した。米OpneAIのLLM「GPT-4」を活用。従来からの「ブッダボット」とあわせ、「仏教対話AIの多様化に成功した」としている。 浄土真宗の開祖・親鸞（12～13世紀）の聖典「正信偈」と、大乗仏教の「唯識」を大成し、アジア各地で教えを広めた菩薩の世親（4世紀）の聖典「倶舎論」をそれぞれ学習させたチャットボット。 AR技術を活用し、現実を映した背景に親鸞や世親の仏像画像を重ねるなどして視覚・聴覚を用いたコミュニケーションも可能にした。 研究チームはこれまで、仏陀の聖典を学習させた「ブッダボット」を2種類開発。1つめはGoogleの「Sentence BERT」を応用し、Q＆A形式で機械学習させてそのままの形で回答を生成するもの。2つめは
はじめに 新規事業部 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、RAG）という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力（プロンプト）に付け加えて渡すことで、ユーザが欲しい情報に関して回答
日本を代表する文化の1つである漫画。近年、漫画制作においても生成AIの活用が進展している。生成AIは、キャラクター設定から背景描写までさまざまな段階で作家を支援するだけでなく、効率性や創造性の向上にも寄与している。本講演では、創作の現場でAIを活用している漫画家ユニット「うめ」の小沢高広氏に、現役の漫画家が生成AI技術をどのように取り入れているのか、現在連載中の作品においての実際の使用例を中心に紹介いただいた。テキスト生成AIと画像生成AIのそれぞれの具体例、さらに、生成AIの普及が漫画業界に与える影響や今後の展望、生成AIが将来的に漫画家の仕事を奪うのか否かなど、多角的に考察いただいた。 二人組漫画家「うめ」のシナリオ・演出を担当している小沢高広と申します。僕はいろんなことを割と早め早めにやってしまう方で、2004年に原稿のデジタル入稿をやったり、Twitter（現X）を漫画に登場させた
2024年5月に入ってすぐ、AI研究者の間ではOpenAIにまつわる複数の噂が流れていました。いわく「OpenAIが近日中に生成AIを使った検索サービスをするらしい」、「OpenAIが新型のGPTを発表するらしい」などといったものです。 それに先立ち、4月の後半からは、生成AIの性能を比較するサイトで、正体不明のモデル「gpt2-chatbot」なるものが出現し、制作者が不明である中、当時最高の性能を誇っていたGPT-4を上回る性能を見せつけていました（もちろんOpenAIはすでに「GPT-2」を数年前に発表済みです）。では今更このような名前をつけて暴れ回っているこれは何なのか。OpenAI製なのか、それとも別の機関が開発したのか。 この話は後々答えがわかるのですが、このようにAI研究者たちが落ち着かず、あれこれと噂してOpenAIの動向に注意している中、OpenAIは日本時間の5月11日
ChatGPTプログラミングのすすめ
ChatGPTなどの大規模言語モデル (Large Language Model; LLM) にプログラミングやリファクタリングをさせる場合、目的に合ったものが作られているかを何らかの方法で検証する必要がある。 プログラムの正しさを完全に保証する方法はないが、ある程度の正しさを継続して担保するための方法を探ってみたので以下にまとめた。 ポイントは、ChatGPTの生成したプログラムの検証にもやはりChatGPTの力を借りることである。 実行可能性と入出力のチェック プログラムを生成するタスクである場合、いつでも「実行できるか？」というチェックが可能である。これは自然言語の生成と大きく異なる点だろう。実行可能性を確かめることは最低限のチェック項目になる。 エラーが出力された場合、自力で修正するか、もしくは、エラーの内容をChatGPTに提示して修正を依頼し、再度実行可能かを確かめる。 入力・
日本新聞協会など4団体は8月17日、生成AIにまつわる著作権保護策の再検討を求める共同声明を発表した。日本の著作権法第30条の4が「諸外国に比べ、AI学習に極めて有利に作られていることは大きな課題」と指摘。AIに学習させる著作物データの保護をめぐり、権利者団体と関係当局の意見交換を求めている。 声明を出したのは、新聞協会と日本雑誌協会、日本写真著作権協会、日本書籍出版協会。 生成AIは、ネット上の大量のデータを、著作者の同意なく学習して開発されているケースが多い。日本では、著作権法第30条の4により、このデータ収集は、「著作権者の利益を不当に害する」場合はを除き、著作権を侵害しないとされている。 声明では「学習利用の価値が著作権者に還元されないまま大量のコンテンツが生成されることで、創作機会が失われ、経済的にも著作活動が困難になる」「海賊版をはじめとする違法コンテンツを利用した、非倫理的な
AWS spacelyはなぜAWSにFTPを実装するのか 私はこのあたり全くの門外漢なのですが、不動産業界で古くから利用されてきた基幹システムではシステム間の連携の手段としてFTPを利用することが多かったそうです。 不動産VRを掲げるspacelyの場合でも例にもれず、外部連携の手段のひとつとしてFTPを提供してきました。 そのFTPを今後もつつがなく提供していくにあたって、AWSに実装していたFTP機能の構成変更をしたことがあり、今回はそのあたりについてすこし書いてみたいと思います。 AWSにFTPを実装する方法 いくつかの実装方法がありそうななかで、３つの方法を検討していきました 方法1. EC2 １つ目はEC2インスタンス上にftpdをインストールしてFTPのエンドポイントを提供するシンプルな案で、構成変更前のspacelyが採用していた方法でした。 細やかな制御が可能になる一方で、
オープンソースのRAGアプリ「RAGFlow」を試す
かなり新し目のフレームワークRAGプラットフォームアプリ RAGFlowとは？ RAGFlowは、深い文書理解に基づいたオープンソースのRAG（Retrieval-Augmented Generation）エンジンである。LLM（大規模言語モデル）を組み合わせることで、様々な複雑なフォーマットのデータから根拠のある引用に裏打ちされた、真実味のある質問応答機能を提供し、あらゆる規模のビジネスに合理化されたRAGワークフローを提供する。
Open Interpreterを使ってReactプロジェクトを自動生成してみた - Taste of Tech Topics
こんにちは、最近アニメ「葬送のフリーレン」を観て、漫画を全巻購入してしまった安部です。 今回は、Open Interpreterを使ってみます。 Open Interpreterは、ChatGPTのAdvanced Data Analysis（旧Code Interpreter）のように、プロンプトから判断して自動で処理を実行するという動きを、ローカル環境で実現してくれます。 ローカル環境で動くため、ディレクトリに置いてあるファイルを読み込ませたり、ファイルを特定の場所に出力させたりできます。 今回は、OpenAI のAPIで、gpt-3.5-turboを利用していますが、API Keyを持っていない場合は、Metaが公開した大規模言語モデル（LLM）である「Code-Llama」が自動でダウンロードされて利用できるようになります。 Open InterpreterのChatGPTとの一番
マルチエージェントで性能が上がったText-to-SQLのいま/Text-to-SQL
この先を生き残るために!!「生存戦略としてのLLMアプリ開発技術」/20240124_PE-BANK
統計学とは何か、そしてベイズ統計学の話 - hidekatsu-izuno 日々の記録
細々と統計学を調べ続けているが、最近ようやく統計学というものが何なのか、おぼろげながらわかるようになってきた（なお、統計学ができるようになってきたわけではない） 統計学を知る前の自分と今の自分をくらべたとき、間違いなく違うのは統計学に対する信頼だろう。以前は、統計学は数学の一分野であり、正しい分析手法を使えば真の答えが得られるものだと思っていた。しかし、実際には統計学者ジョージ・ボックスが言ったとされる「すべての（統計）モデルは間違っている、だが中には役立つものもある）」という言葉の方が実態に近い。 統計学は基本的に「不可能なことを可能にする（不良設定問題を扱う）」学問だ。例えば、1、3、5 という数字の列から何が言えるだろうか。確実なことは3つの実数値が観測された、ということだけで、それ以上のことは想像するしかない。奇数列かもしれないし、乱数から３つの値を取得した際に偶然それっぽい数字が
日本語対応でGPT-4よりも高性能な大規模言語モデル「Command R＋」が登場したので使ってみた、無料でダウンロードしてローカル動作も可能
AI開発企業のCohereがGPT-4と同等の性能を備えた大規模言語モデル「Command R＋」を発表しました。Command R＋は日本語での応答にも対応しており、ローカルにダウンロードして実行可能なほか、ウェブ上で実行できるチャットアプリのデモも公開されています。 Introducing Command R+: A Scalable LLM Built for Business https://txt.cohere.com/command-r-plus-microsoft-azure/ CohereForAI/c4ai-command-r-plus · Hugging Face https://huggingface.co/CohereForAI/c4ai-command-r-plus Command R+ https://docs.cohere.com/docs/command-r
はじめに Cohere(コーヒア)とは、生成AI関連のスタートアップ企業であり、オラクル、エヌビディア（NVIDIA）、セールスフォース・ベンチャーズ（Salesforce Ventures）、センチネルワン（SentinelOne）などが支援しています。 これまでにCommand-R+などのモデルを公開しています。 今回はCohereのイケている部分について紹介させていただきます。 UIがイケている こちらCohereのダッシュボードです。実際に使ってみるとわかるのですが、全ての画面がわかりやすいです。この画面だけでもやりたいことがすぐ見つけられますし、サイドバー、ヘッダーの選択肢も適切です。（筆者の感想ですが） PlayGroundはChatだけではなく、ClassifyとEmbedも選択できます。 さらにConnectorsでWeb検索を有無を選択できます。 このUIの偉いところは、
Amazon Bedrock を利用して生成 AI でなにができるのか？を体験できる AWS のワークショップをやってみた | DevelopersIO
Amazon Bedrock を利用して生成 AI でなにができるのか？を体験できる AWS のワークショップをやってみた re:Invent 2023 で開催予定の Game Day の 1 つに「Amazon Bedrock: Building with Generative AI」があります。私はこちらのイベント参加予定なのですが Amazon Bedrock を触ったことがありません。現地で焦る前に最低限のことを把握するべくAWS が提供している「生成系 AI 体験ワークショップ」をやってみました。 生成系 AI 体験ワークショップ 以下の環境を構築し、文章を校正してもらったり画像生成したりしました。 画像引用: 生成系 AI 体験ワークショップ ワークショップで学べること Amazon Bedrock を利用して ChatGPT の様なチャット機能や、画像生成を Web UI を
本記事は日本オラクルが運営する下記Meetupで発表予定の内容になります。発表までに今後、内容は予告なく変更される可能性があることをあらかじめご了承ください。下記セッションでは、本記事の内容以外にデモンストレーションも実施する予定です。 ※セミナー実施済の動画に関しては以下をご参照ください。 はじめに 2022年暮れ、ChatGPTの登場以降、あらゆる企業がDXの在り方を問われはじめ、大規模言語モデルの仕組みをどのように業務に取り入れるかを検討されていると思います。 その検討の一つとして、「GPT(LLM)が学習していない企業内のデータや最新のデータも有効活用すべき」 という点は非常に大きな論点なのではないでしょうか。 ご存じの通り、LLMとはインターネット上に存在するドキュメントデータをクローリングにより大量に収集し、それを学習データとして機械学習にかけたモデルです。 従って、至極当たり
KDDIグループでアジャイル開発事業を行うKDDIアジャイル開発センター（東京都港区、以下KAG）は7月23日、同社の新卒エンジニア向けに実施した生成AI研修の教材を無償公開した。体験型学習として、プロンプトエンジニアリングやRAG、API利用などの項目の研修メニューを紹介。計2時間程度の研修として想定した内容だという。 全研修メニューは「プロンプトエンジニアリング」（20分）、「いろいろな生成AIアプリを試す」（20分）、「API利用」（20分）、「RAG」（30分）、「AIエージェント」（30分）の5項目。エンジニアとデザイナー共通の体験型新卒研修として実施した。KAGでは事前に講義も実施し、実際の研修では受講者にペアを組ませ、相互フォローさせる形で行ったという。 プロンプトエンジニアリングでは「ChatGPT」を使用。いろいろな生成AIを試す際には、「Claude.ai」や「Perp
OpenAIが開発する大規模言語モデル(LLM)の「GPT-4」は、道徳テストで人間の大学生より優れたスコアをたたき出したり、セキュリティ勧告を読むことで実際の脆弱性を悪用できたりと、すでに一部の分野で人間の能力を超えることが示されています。そんなGPT-4が、プロのアナリストに匹敵する精度の財務諸表分析を行えることが実証されました。 Financial Statement Analysis with Large Language Models by Alex Kim, Maximilian Muhn, Valeri V. Nikolaev :: SSRN https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4835311 The future of financial analysis: How GPT-4 is disrupting
選挙でGitHubを使うことに意味はあったのか？――GitHubを用いた政策リポジトリの公開について振り返る｜#安野たかひろ 事務所（公式）
安野チームの今泉（GitHub担当）です。 選挙活動が終わって一週間ほど経ちましたが、現在でもテレビ・雑誌等さまざまなメディアにおいて、東京都知事選挙を総括する記事が出ている今日この頃です。感想についてもSNSでたくさん投稿されており、肯定する意見も批判的な意見も、いずれもじっくり拝見させていただいています。 この記事は、「双方向の政策ディスカッション」を実現するための方策として行われた「GitHubを用いた政策リポジトリの公開」プロジェクトについての振り返り記事です。 選挙期間中に投稿した過去の解説記事はこちらをご覧ください。 結果感想戦を始める前に、まずファクトベースで結果を見ていきます。今回募集したのは「課題提起」であるissueと、「変更提案」であるPull Request（PR）ですが、それぞれどれだけ投稿されたのでしょうか。数字を見ていきましょう。 課題提起（Issue）アーカ
米Microsoftは9月7日（現地時間）、同社が企業向けに提供している一連の生成AIツール「Copilot」の顧客に対し、このサービス使用中に著作権侵害で訴訟を起こされた場合、法的責任を負うと発表した。 副会長兼プレジデントのブラッド・スミス氏は公式ブログで、「Copilot Copyright Commitment」と呼ぶ新たな取り組みについて説明した。 生成AIツールに関しては、Authors Guild（全米作家協会）がMicrosoftのサティア・ナデラCEOを含む主な企業のCEO宛に作品をトレーニングに使うなという書簡を送るなど、著作権侵害の懸念が高まっており、「一部の顧客も訴訟リスクを懸念している」とスミス氏。 この懸念に対処するため、新たなコミットメントの下、商用顧客が提訴された場合、「当社は顧客を弁護し、顧客が使用していた限り、訴訟の結果生じる不利な判決または和解金を支払
推定1000万円以下のコストで開発され、国内最大・最高性能を達成した日本語LLM, Karakuri-LMの秘密 2024.02.18 Updated by Ryo Shimizu on February 18, 2024, 10:08 am JST 2024年1月。国内の生成AIコミュニティに激震が走った。 コンタクトセンター向けのチャットボット開発のパイオニアとして知られるカラクリ社が商用利用可能のオープンソースモデルとして公開したKarakuri-ln-70bの性能が高すぎると話題になったのだ。 多くの日本語LLMと同様に数学能力に関するスコアは低いが、物語を記述する能力、日本語の質問に日本語で答えたり、答えをプログラムで扱い易いJSON形式にしたりする能力がこれまでの国産LLMに比べて桁違いに高かったのである。 物語を記述する能力に関しては、一説によればGPT-4を凌駕するとも言わ
Apple’s Tim Cook and Craig Federighi at last year’s WWDC. Photographer: Philip Pacheco/Bloomberg 米アップルは通常、新しい製品カテゴリーに最初から飛びつくことはしない。スマートフォンの「iPhone」、腕時計型端末「Apple Watch」、複合現実（ＭＲ）ヘッドセット「Vision Pro」もそうだった。すでに立ち上がっていた分野に製品を投入し、自らの足跡を残す方法を見つけてきた。 人工知能（ＡＩ）分野でもそれをしようとしているようだ。生成ＡＩの熱狂が始まってから２年近くが過ぎた今、この技術に関するビジョンを打ち出す準備を進めている。米太平洋時間10日午前10時（日本時間11日午前２時）に開幕する世界開発者会議（ＷＷＤＣ）で同社は、主要なアプリや機能にＡＩを深く統合する計画を発表するとみられて
情報の海をハックするカギは「捨てる」こと。LayerX松村氏に学ぶ、価値ある情報を取りこぼさないコツ 2023年12月20日 株式会社LayerX 機械学習・データ部 機械学習グループ マネージャー 松村 優也 1993年生まれ。2018年3月、京都大学大学院情報学研究科 社会情報学専攻修士課程修了。在学中の起業経験を経て、新卒でウォンテッドリー株式会社に入社、推薦システムチームの立ち上げに関わる。2021年にはWantedly VisitのPdM、開発組織のEMを兼任。2022年9月に株式会社LayerXに機械学習エンジニアとして入社。2023年には機械学習チームのリーダー、現職に就任。 X（Twitter） Speakerdeck 技術や業界など仕事についての情報収集の基盤として多くのエンジニアを支えていたTwitter（現X）が、以前とは異なる姿となってゆく今、必要な情報を過不足なく
2023年10月からの景品表示法の改正に伴う注記：この記事は技術評論社様より献本をいただき、発売前の書籍レビューをするものです。 昨年末からの生成AIブーム、すごいですよね。 勢いを落とすことなく毎日のように新しい技術や製品のアップデートが登場しており、業務やプライベートで生成AIを活用したアプリケーション開発に取り組まれている方も多いのではないでしょうか。 そんな2023年10月、大規模言語モデル（LLM）を利用したアプリケーション開発に入門できる名著が発売されますので紹介します。 紹介したい本 ChatGPT/LangChainによるチャットシステム構築［実践］入門 著：吉田 真吾、大嶋 勇樹 あさって10/18(水) 発売です！ 今回ありがたいことに発売前に献本を頂けることになったので、先行レビューをさせていただきます。 この本を読むべき人は誰？ OpenAIなどの大規模言語モデル（
LINEは8月14日、日本語に特化した大規模言語モデル（LLM）「japanese-large-lm」を発表した。オープンソース（OSS）として公開し、商用利用も可能（Apache License 2.0）としている。 公開したLLMは、36億パラメーターと17億パラメーターの2つ。両モデルともHuggingFace Hubからアクセスできる。Web由来のテキストから大規模かつ高品質なデータ構築を行うため、OSSライブラリ「HojiChar」を使ったフィルタリング処理を実施。モデルの訓練には、LINE独自の大規模日本語Webコーパス（最終学習は約650GBのコーパスで実施）を利用したという。 LINEは独自LLM「HyperCLOVA」の開発を長年手掛けているが、今回のモデルは別の開発ライン（LINEのMassive LM開発ユニット）にて構築したもの。同チームでは、指示文に対して適切な出
Continueというコーディング支援AIツールの紹介です。 コーディング支援AIツール・サービスとしてはGitHub Copilotが有名で、次いでCursorやCodeiumあたりが話題性のあるところかと思います。Publickeyに2024年3月時点での情報がまとまっています。 Continueはそれらと比べて知名度は劣りますが以下のような特徴があり、うまく使いこなせば有力な選択肢になると考えています。 ツール本体がオープンソースである Visual Studio CodeとJetBrains IntelliJ IDEAの拡張機能がApache License, Version 2.0で提供されています 言語モデルは自分で選ぶ Continueではコード補完用とチャット用で二つの言語モデルを利用しますが、そこでどの言語モデルを選ぶかは利用者側に任されています Continueを開発し
生成AIでシステム開発はどう変わるか
https://layerx.connpass.com/event/301629/ での発表資料
130億パラメータの「Llama 2」をベースとした日本語LLM「ELYZA-japanese-Llama-2-13b」を公開しました（商用利用可）｜ELYZA, Inc.
130億パラメータの「Llama 2」をベースとした日本語LLM「ELYZA-japanese-Llama-2-13b」を公開しました（商用利用可） 本記事のサマリーELYZA は「Llama 2 13B」をベースとした商用利用可能な日本語LLMである「ELYZA-japanese-Llama-2-13b」シリーズを一般公開しました。前回公開の 7B シリーズからベースモデルおよび学習データの大規模化を図ることで、既存のオープンな日本語LLMの中で最高性能、GPT-3.5 （text-davinci-003） も上回る性能となりました。また、推論の高速化を実現したチャット型デモを併せて公開しています。 はじめにこんにちは。ELYZAの研究開発チームの平川、佐々木、中村、堀江、サム、大葉です。 この度 ELYZA は、130億（13B）パラメータの「ELYZA-japanese-Llama-
1BitLLMの実力を見る｜shi3z
1BitLLMは本当に実現可能なのか?そして、実現されると予告されていることに意味はあるのか? ようやく再現実装に成功した人が現れたので僕も試してみた。 ちなみに1Bit(1.58bit) LLMについての考察はこのページが面白いので一読をお勧めする。 ただし、普通のHuggingFaceのお作法とはかなり違うので注意が必要。 まず、このHuggingFaceリポジトリを丸ごとgit cloneする $ git lfs install $ git clone https://huggingface.co/1bitLLM/bitnet_b1_58-3B $ cd bitnet_b1_58-3Bこれをやらずにいつもの凡例みたいにいきなりpipelineに読み込もうとすると謎のエラーが出て悩まされることになる。海外でも悩んでる人が何人もいるみたいだ。まあ個人的には「こんな説明で誰がわかる?」と思
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Vimの操作感を愛おしむ人たちへ: Zedで広がる新たな可能性 - ROUTE06 Tech Blog
Arxiv RAGによる論文サーベイの自動生成 | Shikoan's ML Blog
松尾研、公開したLLMの「オープンソース」記述を削除 X（Twitter）で指摘相次ぐ
ChatGPTの“脱獄プロンプト”登場 文末に書くだけで「爆弾の作り方」「IDの盗み方」に回答
「恐ろしい時代になった」日清に走った生成AIショック わずか3週間で全社導入へ | Ledge.ai
オープンソースAIとは何か？ – Open Source AI Definition策定経緯とドラフト版概説
GPT-4でコードを生成するなら“日本語”と“英語”どっちがいい？ 日立製作所が検証
GPT-4で「親鸞ボット」「菩薩ボット」開発 京大「仏教対話AIの多様化に成功」
RAGを使った社内情報を回答できる生成AIボットで業務効率化してみた | DevelopersIO
RIETI - 漫画制作における生成AI活用の現状：2024春
GPT-4oをわかりやすく解説、専門家が「時代の転換点」と評価するヤバすぎる能力とは
「生成AIは著作権保護の検討が不十分」新聞協会など声明 「著作権法30条の4は大きな課題」
AWSでFTPを実装するためのいくつかの方法 - spacelyのブログ
OpenAIのライバル:Cohereが最高にイケている件 - Qiita
【ChatGPT】とベクトルデータベースによる企業内データの活用(いわゆるRAG構成) - Qiita
“新卒エンジニア向け”生成AI研修の教材、KDDI子会社が無償公開中 計2時間の体験型学習向け
GPT-4は財務諸表から将来の収益の伸びを予測する点で人間のアナリストよりも優れていることが研究により明らかに
Microsoft、生成AI「Copilot」の企業顧客が著作権侵害で提訴されたら「責任を持つ」
推定1000万円以下のコストで開発され、国内最大・最高性能を達成した日本語LLM, Karakuri-LMの秘密
アップル、待望のＡＩシステム発表へ－ＷＷＤＣでの注目点
情報の海をハックするカギは「捨てる」こと。LayerX松村氏に学ぶ、価値ある情報を取りこぼさないコツ
LangChainで生成AIアプリ開発に入門できる名著が出ました！ - Qiita
LINE、日本語の大規模言語モデル公開 オープンソースで 商用利用もOK
コーディング支援AIツールContinueの紹介と構成例 - Qiita