Amazon BedrockのKnowledge baseで簡単にRAGを構築 - Taste of Tech Topics
ポトフがおいしい季節ですね、菅野です。 Amazon BedrockのKnowledge baseがGAとなり、Amazon BedrockでもRAGが作成できるようになりました。 docs.aws.amazon.com 今回はKnowledgeベースを実際に作成して統計データを検索するRAGを構築してみます。 RAGとは RAGアーキテクチャ（Retrieval-Augmented Generation）は、自然言語処理において、Google検索のような検索技術と、ChatGPTのような文章生成技術を組み合わせた技術です。 このアーキテクチャを利用すると、生成AIが学習していないデータ、例えば自社の内部レポートのようなデータを用いて、ChatGPTライクな応答システムを構築できます。 具体的には、何か質問を受けると、質問に関連した文章を検索し、その検索結果を元に自然となるような回答を生成
多くのプログラミング言語の処理系に、攻撃者が任意のコマンドを実行できる深刻な脆弱性が見つかった。JPCERTコーディネーションセンター（JPCERT/CC）と情報処理推進機構（IPA）が共同運営する脆弱性対策情報ポータルサイト「JVN（Japan Vulnerability Notes）」で2024年4月15日に公開された。 脆弱性が確認されたのは「PHP」「Rust」「Haskell」の各言語処理系とJavaScript／TypeScriptの処理系「Node.js」、音声や動画をダウンロードできる高機能なコマンド「yt-dlp」である。ただし、この脆弱性の影響を受けるOSはWindowsだけで、LinuxやmacOSなどの他のOSには影響しない。 多くのプログラミング言語は、プログラムの中からOS上でコマンドを実行する機能を持つ。Windowsでは言語処理系が「CreateProces
「gettyimages」より 特に人手不足が深刻だといわれるIT業界だが、求人の募集条件が「経験者限定」ばかりで「未経験者が入り込める隙がない」「どこで育てているの？」という指摘や疑問が一部で話題を呼んでいる。未経験者がIT業界でエンジニアとして働くにはどうすればよいのか。また、誰もが社名を知る有名IT企業に就職するには、どうすればよいのか。業界関係者の見解を交えて追ってみたい。 多くの業界で人手不足が叫ばれるなか、成長が続くIT業界の人手不足は顕著だ。IT･Web領域における人材紹介事業を手掛けるレバテックの調査によれば、ITエンジニア・クリエイターの正社員求人倍率は12.9倍にも上る（2023年6月時点）。 「特にニーズが高いのがAI（人工知能）、データサイエンス、セキュリティ分野の人材。外資系IT企業では、大学院でこれらの領域を学ぶ人材に新卒1年目で年収1000万円を提示するケース
RWKVについて解説
本記事では、RWKVとよばれるモデルのアーキテクチャについて詳しく説明します。 はじめに 自然言語処理の分野において、Transformer[1]の登場以前に一般的に使用されてきたRNN[2]はいくつかの課題を抱えており、その課題を克服する新たな手法として、RNNとは完全に異なるアプローチを取るTransformerが登場しました。しかし、Transformerにも解決すべき問題が存在しています。そこで、これらのアプローチを結びつけて進化させていく必要が出てきました。 まず、RNNの利点と欠点を見てみましょう。RNNは、文章の長さにほとんど制約がなく、計算コストも比較的小さいという利点があります。しかし、以前の入力を正確に記憶することが難しく（長期依存性を捉えられない）、学習を高速化することも難しい（学習並列化が困難）という欠点も存在します。 一方、Transformerは長期依存性を捉え
ChatGPTを10倍以上高速化、秒速1,000兆回の演算ができるAIチップを開発 シリコンバレーで注目されるAIスタートアップGroqとは | AMP[アンプ] - ビジネスインスピレーションメディア
NVIDIAに対抗するAIスタートアップGroqとは？ NVIDIAが驚異的な決算を記録する中、シリコンバレーで密かに注目を集めているスタートアップがある。大規模言語モデル（LLM）の推論に特化したAIチップ「言語処理ユニット（LPU）」を開発するGroqだ。 VentureBeat（2024年2月23日）の報道によると、Groqは「年末までに、（同社のAIチップが）LLMスタートアップの主要インフラとして広く使用されることになるだろう」と予測されており、NVIDIAが圧倒的なシェアを占める市場で一石を投じる構えを見せている。 Groqの創業者でCEOを務めるジョナサン・ロス氏は、CNNのインタビューで同社のオーディオチャットインターフェースを披露し、「スピード記録を打ち破る」と自信を見せた。実際、Groqのチャットアプリのデモ版では、ユーザーが選択した「Llama」や「Mistral」モ
![ChatGPTを10倍以上高速化、秒速1,000兆回の演算ができるAIチップを開発 シリコンバレーで注目されるAIスタートアップGroqとは | AMP[アンプ] - ビジネスインスピレーションメディア](https://cdn-ak-scissors.b.st-hatena.com/image/square/082876f96f10999bb44dfa8b23e5f52283eda67a/height=288;version=1;width=512/https%3A%2F%2Fampmedia.jp%2Fwp-content%2Fuploads%2F2024%2F03%2Fshutterstock_1928860634-2.jpg)
【LINEヤフー】RAG技術を活用した独自業務効率化ツール「SeekAI」を全従業員に本格導入。膨大な社内文書データベースから部門ごとに最適な回答を表示し、確認・問い合わせ時間を大幅に削減
社内規程・ルール・問い合わせ先、コーディング時の技術スタック、顧客や取引先とのコミュニケーション履歴などを効率的に把握することが可能に。生成AIを活用した業務効率化ツールにより、年間70～80万時間の削減を目指す LINEヤフー株式会社（以下、LINEヤフー）は、生成AIを活用した社内向け独自業務効率化ツール「SeekAI」（シークエーアイ）を、全従業員に本格導入しました。「SeekAI」は、膨大な文書データベースから検索要件に最適化された情報を取得し、回答を生成する自然言語処理技術であるRAG（Retrieval Augment Generation）を活用しています。 独自業務効率化ツール「SeekAI」 「SeekAI」は、社内ワークスペースツールや社内データを参照元とし、従業員が入力した質問に対する回答を端的に表示するツールです。テスト導入段階では、技術関連の社内ナレッジ共有・共同
藤子・A・不二雄、藤子・B・不二雄、藤子・C・不二雄、藤子・D・不二雄――とは誰か？ 自分が何十年も前に書いた文章を読んでいると、「これは自分のなか？」と戸惑うことがある。そこで、自分の過去原稿をもとに会話するチャットBOTを作ることにした（前々回記事参照）。ChatGPTのプラグインで「PDFと対話する」なんてのがあるので同じようにできそうである。 30年前の自分と対話することのできる、私の場合は、《endoGPT》というプログラムである。 ハードディスクの中をさらってみると、月刊アスキーに連載した『近代プログラマの夕（ゆうべ）』（単行本1、2に収録分で1987～1995年）、『朝日新聞』の連載（単行本収録分で1996～2000年）、『先見日記』（2002～2005年）、それから2000年以降の原稿はもちろん残っている。古いものからみつくろうことにする。 これを言語処理の世界ではお馴染み
PCゲーム配信サービス「Steam」を運営する米Valveは1月10日、Steam上でのAI技術を使ったゲームの取り扱い方法を変更すると発表した。Steamではこれまで、生成AIを活用したゲームの配信を許可しない方針を示していたが、方針を変更。生成AIを使ったゲームの大半をリリース可能にするという。 AIを活用したゲームを配信するに当たっての仕組みも新たに整備。まず、開発者がSteamにゲームを提出する際に記入するアンケートに、AI技術に対する項目を新設するという。アンケートでは、ゲーム開発時にAIが生成したイラストや音楽、コードなどを利用したかどうかや、プレイ中にAIが違法なコンテンツを生成しないかなどを問う。 Valveはアンケートの回答を審査し、Steamで配信可能かを決める。配信する場合でも、開示された情報の多くをSteamの商品ページに掲載する。AIが生成したコンテンツを使って開
3つの要点 ✔️ Local-Sensitive-Hashingにより必要な要素同士のAttentionを計算することができるようになった ✔️ Reversible layerによってレイヤー数に比例して増加するactivationを保存するメモリの削減 ✔️ transformerの計算量を$O(L^2)$から$O(L \log L)$まで削減した Reformer: The Efficient Transformer written by Nikita Kitaev, Łukasz Kaiser, Anselm Levskaya (Submitted on 13 Jan 2020 (v1), last revised 18 Feb 2020 (this version, v2)) Comments: ICLR 2020 Subjects: Machine Learning (cs.L
Document Layout Analysisに物体検出を利用したDocument Object Detectionのすゝめ - LayerX エンジニアブログ
はじめに こんにちは。バクラク事業部 機械学習チームの機械学習エンジニアの上川(@kamikawa)です。 バクラクではAI-OCRという機能を用いて、請求書や領収書をはじめとする書類にOCRを実行し、書類日付や支払い金額などの項目内容をサジェストすることで、お客様が手入力する手間を省いています。 書類から特定の項目を抽出する方法は、自然言語処理や画像認識、近年はマルチモーダルな手法などたくさんあるのですが、今回は項目抽出のための物体検出モデルを構築するまでの手順について紹介します。 Document Layout Analysisとは Document Layout Analysisとは、文書のレイアウトを解析するタスク(直訳)のことを指します。具体的には、文書内のさまざまな要素(例えば、テキスト、画像、表、見出し、段落など)を抽出し、それぞれの位置や意味などを明らかにすることを目的とし
自称彼女の正体推理ゲーム『Inverted Angel』7月5日配信へ。自由入力した推理をAIが“だいたいのニュアンス”で判定 - AUTOMATON
ホーム ニュース 自称彼女の正体推理ゲーム『Inverted Angel』7月5日配信へ。自由入力した推理をAIが“だいたいのニュアンス”で判定 開発者のSCIKA氏は7月5日、『Inverted Angel』を7月5日19時にリリースすると告知した。対応プラットフォームはPC（Steam）となっている。本作は6月末のリリースを目指して制作が進められていたが、Steamの審査の関係もあり7月5日のリリースとなったようだ。 『Inverted Angel』は、恋人を名乗る見知らぬ女性の正体にAIによるニュアンス判定と共に迫る、Kawaii FutureミステリーADVだ。本作では、ある日主人公の住むアパートの部屋へ、見覚えのない女性が突然訪ねてくる。インターフォン越しに対応したところ、彼女は主人公の恋人だと主張。扉を開けてくれないことに憤っている。さらに彼女は、本当の知り合いであるかのように
はじめに はじめまして。インターンをしているイナです。 今回は初心者がGo言語の例外処理がないって本当なの？という部分について概念を中心に調べたものをまとめました。 Q. 例外処理とは まずは兎にも角にも、例外処理とはなんぞやってところからです。 いくつかのサイトで例外処理の定義について調べてみましたが、サイトによって言ってることはバラバラでした。 例外とエラーは一緒です or 違います！例外は想定外 or 想定内&想定外のエラーのことです！など人によって言ってることが違いました。 最初から壁が高すぎ...?と戦々恐々としていましたが、IT用語辞典 e-Wordで気になる部分がありました。 例外は「エラー」（error）と同種の概念で、普遍的に成り立つ両者の明確な違いは無く、同義として扱われる場合が多い。ただし、プログラミング言語や処理系によっては両者に異なる意味合いが与えられている場合も
『ドラクエ』堀井雄二×『倉庫番』今林宏行×『かまいたちの夜』我孫子武丸：鼎談＜未来展望編＞人工知能時代へ向けて「NLPアドベンチャー」の可能性を探索する
過去の探求が未来への展望を切り拓く。アドベンチャーゲームの新たな展開は、過去を踏まえつつAIの進化によって次なる局面へと進化しようとしている。ゲーム史が刻む足跡のひとつひとつが、私たちを新たな時代へと導いている。 前編となる＜過去探求編＞では、往年の「コマンド入力式ADV」の経験談や洞察、そして問題提起といった興味深い対話に耳を傾けた。後編の＜未来展望編＞では、AIがもたらす可能性や課題、自然言語処理（NLP）を活用した次世代ADV「NLPアドベンチャー」の現状に焦点を当てていく。往年の「コマンド入力式ADV」が、AIによってNLPアドベンチャーとして生まれ変わり、どのようなゲームデザインが求められているのか。 引き続き『ポートピア連続殺人事件』、『ドラゴンクエスト』の堀井雄二氏、『倉庫番』、『道化師殺人事件』の今林宏行氏、『かまいたちの夜』の我孫子武丸氏に登場してもらおう。さらにスクウェ
LLM開発のためのデータエンジニアリング MLOps Advent Calendar 2023の24日目です。 Stability AIでデータ系のソフトウェアエンジニアをやっているcvuskです。主な仕事は日本語LLMのためのデータ開発です。Stability AIでは日本語LLMも各種開発しています。LLMの学習というと大量のGPUを用意して巨大なデータでモデルを学習する、というキラキラしたイメージ（？）が強いかもしれませんが、データが重要かつ苦労が耐えない課題であることは他の機械学習やディープラーニングモデルと違いありません。日本語のテキストデータは英語ほど入手しやすいわけではないのと同時に、データエンジニアリングや品質面でもいろいろと大変なことが多々あります。今回はLLMのためのテキストデータの用途やエンジニアリングについて整理します。 LLMの学習 LLMの学習は大きく分けて事前
📞私「確定申告を修正したいです」📞税務署「LINEで来所予約できますので，まずは国税庁とお友達になっていただいて…」＼＼\\国税庁とお友達//／／
Yuta Nakamura🐠 @iBotamon Clinical NLP Researcher & Radiologist at the 22nd Century Medical and Research Center, UTokyo. 医療への自然言語処理の応用 (医療言語処理) を研究しています。 放射線診断専門医@東大病院22世紀医療センター。 researchmap.jp/yutanakamura Yuta Nakamura🐠 @iBotamon 📞私「確定申告を修正したいです」 📞税務署「LINEで来所予約できますので，まずは国税庁とお友達になっていただいて…」 ＼＼\\ //／／ 国税庁とお友達 ／／// ＼＼\\ 2024-03-28 12:11:52
GPT-4に選択肢を与えるとき、順序を入れ替えるだけで性能に大きな変化があることが明らかに 2023/8/29 LLM プロンプト 論文 AIDB Research 今回紹介する研究は、大規模言語モデル（LLM）であるGPT-4が、多肢選択問題（MCQ）において選択肢の順序に敏感であるという事実を明らかにしています。 この研究は、リクルートのAI研究所であるMegagon Labsのグループによって発表されました。研究者たちは、GPT-4とInstructGPTの2種類のモデルを用いて、5つの異なるMCQベンチマークで実験を行いました。その結果、選択肢の順序を単純に入れ替えるだけで、モデルの性能に13%から75%もの大きな変動が生じることが確認されました。 この記事では、この研究の詳細とその意義、そして今後どのような対策が考えられるのかについて、深く掘り下げていきます。 参照論文情報 タイ
はじめに Amazon Qとは VSCodeでAmazon QにChatする セットアップ 質問してみる 余談：Chatでエラー発生 Javaコードのバージョンアップ（未検証） まとめ はじめに こんにちは、高橋です。 先日AWS re:Invent2023に行ってきました。 Keynoteで発表されたAmazon Qについて、VSCodeで使ってみた感想を簡単にまとめようと思います。 Amazon Qとは Amazon QはAmazonによって開発された生成型AIアシスタントです。このツールは、特にAWS（Amazon Web Services）のエコシステム内で開発者やIT専門家を支援するよう設計されています。Amazon Qは自然言語処理を用いて、ユーザーが提出する質問や要求に応じて迅速かつ効果的な解決策を提供します。 Amazon Qには以下の種類がありますが、今回はAmazon
この記事は、プロデル公式ブログに掲載したコラムを再投稿したものです。 日本語でプログラムを書きたい 多くのプログラミング言語では、英単語や記号の羅列によって定義や動作を記述する言語仕様です。ただ日本語で読み書きし話し考える日本人にとって、義務教育の中で英語を学ぶとは言え、英単語を扱うことは日本語を扱うよりも難しいように思います。多くの日本人は日本語だけで物事を理解して考えているからです。 そういった中でソフトを作るプログラミングという作業でも、「英単語を使わずに日本語を使いたい」と考えることは自然なことのように思います。 ところが実際は最初に述べたような英単語主体のプログラミング言語が主流で、日本語を話すプログラマでも多くは英単語主体のプログラミング言語を使っています。そこには既に習得したプログラミング言語から移行してまで日本語でプログラムを書きたいとは思わない。という背景もあるのかと思い
リコーの国内販売子会社であるリコージャパンは2024年6月28日、生成AI（人工知能）が対話形式で社内情報に関する質問に回答するサービスを2種類、同日から提供すると発表した。RAG（Retrieval Augmented Generation、検索拡張生成）の仕組みを使い、LLM（大規模言語モデル）が社内規定や過去事例、業務報告書といった社内文書を参照できるようにすることで回答精度を上げる。 「RICOH デジタルバディ」は大企業での利用を想定する。PDF、Word、Excel、PowerPoint形式のファイルをアップロードできる。個人や部門ごとに利用範囲を制御でき、情報の漏洩を防ぐ。米Amazon Web Services（AWS）の生成AIサービス「Amazon Bedrock」を通じてLLMにアクセスする。既存データベースとの連係、長文読解や多言語対応に強いLLMへの切り替えなど、
Retrieval-Augmented Generationシステムの改善方法の紹介 - AITC - ISID | AI トランスフォーメンションセンター コラム
こんにちは、AI製品開発グループのファイサルです。 この記事では、Know Narrator Searchで使用されている文章参照手法、Retrieval-Augmented Generation（RAG）の精度向上方法について紹介します。 はじめに ChatGPTを始めとした大規模言語モデル（LLM）の登場により、AI業界、特に自然言語処理分野で多くの素晴らしい応用先が提案されるようになりました。 LLMは素晴らしい技術であることは間違いないですが、同時に幻覚（Hallucination）という問題を抱えています。 このHallucinationという問題は、LLMが事実と異なる情報をあたかも真実であるように回答するというもので、LLMの発表当初から指摘されていました。 この問題を解決するために、さまざまな手法が存在しますが、よく用いられるのが「Retrieval-Augmented G
OpenAI Sora に使われる技術
TL; DR OpenAI が非常に高品質な動画生成モデル Sora を公開 画像生成モデル Diffusion-Transformer を利用 動画を3次元画像として扱うことで画像モデルを拡張 キャプションは DALL•E3 同様、キャプション生成モデルで作成 OpenAI Sora Sora は OpenAI が今年の2月に発表した、動画生成モデルです。まずはこのモデルの出力例を見てみましょう。 図1. Sora の生成例: https://cdn.openai.com/sora/videos/big-sur.mp4 各フレームの画像が非常に美しく生成されています。また、従来の動画生成では時間が経った際に写っているオブジェクトを保つことが難しく、消えたり現れたり、急に歪んだりするものが多かったのに対し、Sora では一度隠れてから再度現れる場合であっても、矛盾なく生成できています。 こ
独自の日本語LLM（大規模言語モデル）のバージョン2を一般公開 ―32,000トークン対応の商用利用可能なチャットモデルを提供―
株式会社サイバーエージェント（本社：東京都渋谷区、代表取締役：藤田晋、東証プライム市場：証券コード4751）は、70億パラメータ・32,000トークン対応の日本語LLM（Large Language Model、大規模言語モデル）を公開したことをお知らせいたします。 当社はかねてより日本語LLMの開発に取り組んでおり、2023年5月には国内の自然言語処理技術の発展への寄与を目的とし、「CyberAgentLM」を一般公開しました。その後もLLMに関する研究開発を続け様々なモデルを開発するとともに、当社が提供する「極予測AI」をはじめとするサービスにおいて活用を進めております。
はじめに はじめまして、私は2022年に新卒としてBIPROGY株式会社に入社した高場です。 今回は若手社員の仕事紹介として記事をまとめます。 組織の紹介 私が所属している組織は AI 技術部と言い、主に AI を用いたサービスの検討等を行っています。 また、企業や研究機関と協力して共同研究を行うこともあります。 その中で私は主に自然言語処理や時系列データを扱う案件を主に担当しています。 案件紹介 全体概要 自然言語処理を取り扱っている案件としては、学校教育への支援システム（PoC）などがあり、時系列データの取り扱っている案件としては、 国立研究開発法人科学技術振興機構（JST） と協力して行っている 個人及びグループの属性に適応する群集制御1があります。 今回の記事では、時系列データを取り扱っている群集制御（群集マネジメント）に関する取り組みについて簡単紹介にします。 群集マネジメントと
概要 BERT系のモデルを活用した文章のEmbedding取得について、検証を含めていくつかTipsを紹介します。 Paddingの最適化 tokenの平均化 Embeddingを取得するLayer 上記Tipsを複合した文章Embedding取得classの実装 はじめに 近年は、ChatGPTを始めとしたLLM活用が話題となっています（言語処理と言えば初手LLM(GPT系)の雰囲気も一部感じております）。対話型ChatBotにおいてはGPT系の生成AIが一線を画していますが、文章のEmbedding取得では旧来のBERT系のモデルが優れている例も報告されています。 SGPT: GPT Sentence Embeddings for Semantic Search ChatGPT vs BERT：どちらが日本語をより理解できるのか？ 今回、社内で簡単な情報検索システムを構築する機会があり
私たちは毎日のようにExcelを使用しています。 データの入力、計算、分析など、その使用目的は多岐に渡ります。 そして、より作業を効率化するためにはマクロという機能を使うことが一般的です。 マクロとは、一連の操作を記録し、その操作を自動で再現する機能のことを指します。 しかし、マクロの作成は多少のプログラミングスキルが必要で、これがハードルとなっていました。しかし今回は、その障壁を取り払う方法をご紹介します。 それが、AIの一種であるChatGPTを用いたExcelマクロの作成方法です。 プログラミングの知識がなくても、GPTの力を借りることで、誰でも簡単にExcelマクロを作成することが可能になります。この記事では、その具体的な方法について、ステップバイステップで解説します。一緒に、未来の働き方を体験してみましょう。 1. はじめに ExcelマクロやGPTについて初めて聞く方もいるかも
YAPC::Hirosima 2024でコードゴルフコンテストを開催しました 〜解説編〜 #yapcjapan - KAYAC engineers' blog
こんにちは、技術部の谷脇です。 去る2月10日に行われたYAPC::Hiroshima2024ですが、みなさまはいかがだったでしょうか。私は参加して大満足であり、運営の方々に大感謝させていただきます。 さて、カヤックではゴールドスポンサーと椅子スポンサーをしていたというのは開催直前に出した記事で述べさせていただきました。 techblog.kayac.com この記事では伏せられていた、椅子スポンサーのPerlbatrossですが、この記事ではPerlbatrossの内容紹介と問題解説をしようと思います。 Perlbatrossとは YAPC::Hiroshima2024の開催期間中にコードゴルフの問題を出していました。以下は椅子スポンサーで貼らせていただいた問題です。 Q1. Split of Graphemeの問題 さて、これだけではなく、QRコードにアクセスすると実際に問題を解けるサ
5年後、生成AIでエンジニアの仕事はどう変わるのか？ メルカリ、LayerX、Algomaticの3社が語るAIへの取り組み
生成AIの技術革新が相次いだ2023年、生成AIを本格的に業務やサービスに導入する企業が増える中、生成AIの最前線に取り組むエンジニアは、現状をどう観察していて、今後どうなっていくと考えているのだろうか。本セッションでは、メルカリ、LayerX、そして2023年に創業したばかりのスタートアップAlgomaticの3社が集い、事業フェーズの異なるそれぞれの視点から、生成AIへの現状の取り組みや、今後期待する変化について語った。 生成AIへの3社の取り組み 「生成AIを本気で推進するトップランナーが語る！AIの展望2024年とその先」と題したパネルディスカッションでは、PIVOT 蜂須賀大貴氏がモデレーターを、メルカリ 石川佑樹氏、LayerX 松本勇気氏、Algomatic 南里勇気氏がパネリストを務めた。 冒頭で蜂須賀氏は「他の2社に負けない生成AIへの取り組み」というテーマを提示し、各社
DMM.com 会長の亀山敬司氏が、経営やビジネスをテーマに語るポッドキャスト番組『亀っちの部屋ラジオ』。脱力系ながらも本質をついた商売論・人生論を展開する本番組の中から、今回は株式会社Algomatic CEOの大野峻典氏のゲスト回の模様をお届けします。「まだ空いている、生成AIビジネスのど真ん中」と題し、DMMから20億円の投資を受けて設立したAlgomaticの展望などを語りました。 ■音声コンテンツはこちら DMMから20億円の投資を受け、設立したAlgomatic 亀山敬司氏（以下、亀山）：どうも、DMMの亀山です。今日はAlgomatic株式会社の大野くんに来ていただきました、よろしく。 大野峻典氏（以下、大野）：株式会社Algomaticの大野と申します、よろしくお願いします。 亀山：じゃあ、自分の過去を振り返りながら、自己紹介してもらおうかな。 大野：ありがとうございます。
機械学習、NLP論文の書き方（英語）
はじめに Kotoba Technologies, Inc. Co-Founder/CTO、Toyota Technological Institute at Chicago, Research Assistant Professorの笠井淳吾です。これまで自然言語処理（NLP）、機械学習の国際学会（ACL、ICLR、NeurIPS、EMNLP、ICCVなど）にて、投稿や発表を積み重ねてきましたが、一度自分なりに論文を書く際に考えていること、留意点、コツのようなものを言語化して共有したいと思います。個人の好みによるところも多々あるかと思いますので、取捨選択していただいて、皆さんの論文執筆の一助になることを願っています。 全体のストラクチャー まずは全体の流れから考えていきます。基本的に、論文を書く際には（多くの場合そもそもプロジェクトを始める前に）、タイトルをイメージしていきます。タイトル
エリートだった金融業界の人間が「軒並み失業」の危機…人間を超える投資AIの「ヤバすぎる実力」（小林 啓倫） @moneygendai
進む金融でのAI活用 さまざまな業界でAI（人工知能）の活用が取り組まれているが、なかでも以前から導入が進んでいた場所のひとつが金融だ。たとえば証券取引の分野では、アルゴリズムトレード（アルゴリズム取引）といって、機械に一定のルールを与えて自律的に取引させる試みが2000年よりも前から行われている。 それは今でいう「AI」とは比べ物にならないほど初歩的なものだったが、次第に高度化され、現在では多くの取引が機械的に行われるようになっている。たとえばある調査によれば、欧米などの主要金融市場における取引の6～7割が、このアルゴリズムトレードによって行われていると見られるそうだ。 また最近では、スマートフォンの普及を追い風に、株式投資や資産運用の支援をAIが行う個人向けアプリも登場している。こちらは既に使っていて馴染み深い、という方も多いだろう。AIが支援してくれる内容はさまざまだが、最新のアプリ
AIライティングアシストとは？英語学習への効果やデメリット・最新の研究も紹介 - ポリグロットライフ | 言語まなび∞ラボ
はじめに 今回はAIライティングアシストの英語学習への効果やデメリットについて考えていきたいと思います。さらに、最新の研究も紹介していきます。AIライティングアシストを支えているのが自然言語処理であり、それを言語に最適化したツールとしてChatGPTやGrammalyが英語学習のツールとして注目されています。今回はそれらのAIライティングアシストの正しい使い方について考えていきたいと思います。 ↓↓英語学習動画を随時アップしています www.youtube.com 主な参考文献 「言語と身体性」 「はじめての認知言語学 」 「ゼロからわかる人口知能」 AIライティングアシスト AIライティングアシストとは 英語学習者(EFL)とAIライティングアシスト AIと第二言語習得研究 自然言語処理(NLP) 自然言語処理とは 自然言語処理の発展 脳内に入り込んだニューラルネットワーク ディープラー
Amazon Web Services ブログ FMOps/LLMOps：生成系 AI の運用と MLOps との違い 最近、多くのお客様は大規模言語モデル (Large Language Model: LLM) に高い期待を示しており、生成系 AI がビジネスをどのように変革できるか考えています。しかし、そのようなソリューションやモデルをビジネスの日常業務に持ち込むことは簡単な作業ではありません。この投稿では、MLOps の原則を利用して生成系 AI アプリケーションを運用化する方法について説明します。これにより、基盤モデル運用 (FMOps) の基盤が築かれます。さらに、Text to Text のアプリケーションや LLM 運用 (LLMOps) について深掘りします。LLMOps は FMOps のサブセットです。以下の図は、議論するトピックを示しています。 具体的には、MLOps
アラン・ケイ先生が目指すのは「すべてを含んだシステムを2万行以内に書く」こと まつもとゆきひろ氏：こんにちは。まつもとゆきひろです。「Matzチャンネル」19回目になりますが、前回の放送の中で「アラン・ケイ先生が『あらゆるシステムは1万行以内に書かれるべきだ』というふうに言った」というエピソードを紹介したんですけれども、「Twitter（現：X）」とかで指摘を受けて確認したらだいぶ間違いがありましたので、慎んで訂正させていただきます。 まず、アラン先生の発言そのものは、STEPSというシステムに関連するものだったんですけれども、「1万行」じゃなくて「2万行」だったそうです。「2万行あればだいたい本1冊に収まるので、人間が理解できる」というような文脈で話されたんだそうです。1万と2万は倍、半分。オーダーは違わないにしても、でもちょっと違うかなという気がします。 さらに、このSTEPSですが、
検索エンジンをVespaへ移行しています こんにちは、スタンバイで検索周りの開発を担当している鷹取です。 今回はスタンバイで利用している検索エンジンをVespaへ移行している話を紹介します。 検索エンジン移行の背景 Stanby Tech Blogのスタンバイ2+1年の軌跡の記事で説明されている通り、 スタンバイでは、主に求人検索機能を提供していますが、その中でもオーガニック(無料掲載)と広告(有料掲載)という２種類の検索が存在します。 この2種類の検索ではそれぞれで異なる検索エンジンを使用しています。 オーガニック検索: Yahoo! ABYSSという検索プラットフォーム 広告検索: Elasticsearch このようになっている背景については、前述の記事に詳細が記載されていますので、興味がある方はそちらをご参照ください。これまで、この２種類の検索エンジンを運用してきましたが、それぞれ
【参加メモ】AI時代のソフトウェアテストの現在と未来 #genai_autify_launchable - ソフトウェアの品質を学びまくる
本日2024年3月5日(火)の昼間に開催された、『AI時代のソフトウェアテストの現在と未来』というイベントがとてもよかったので、特に印象深かったポイントについて共有したいと思います。 イベントの詳細はこちらで。 autifyjapan.connpass.com 登壇者はタワーズ・クエストの和田卓人 @t_wada さん、Launchableの川口耕介 @kohsukekawa さん、Autifyの近澤良 @chikathreesix さんのお三方。ファシリテーターは、近澤さんと同じくAutifyの、末村拓也 @tsueeemura さんです。 宣伝タイム Launchableは、「テストの失敗をよりインテリジェントに扱う」ことを目指している。 たとえば、テストのFlakinessの判定や対処にできるだけ人を介在させないとか、過去の実行結果を見て再実行要否の判断をするといったもの。 Auti
社内システムで生成AIを活用するコツは業務理解と事前準備 - 弁護士ドットコム株式会社 Creators’ blog
こんにちは。税理士ドットコム事業部の @komtaki です。 ChatGPT が 2022 年 11 月 30 日に出て一年が経ちました。みなさんも生成 AI を本番サービスで活用できてますか。 弁護士ドットコム株式会社でも実運用の壁を乗り越えて、実際にビジネスを変革するため本番サービスへの活用が進んでいます。「Developers Summit 2024」で市橋がプレゼンしていますので、よろしければご覧ください。 GenAI in Production～生成AIに君がみた光と、僕がみた希望～ / 20240215_devsumi2024 - Speaker Deck その事例を踏まえて、社内システムで生成 AI を組み込む流れとその勘所についてお話しします。生成 AI のカスタマイズに関する専門的な話（ファインチューニングや RAG など）には一切触れず、プロンプトエンジニアリングだけ
大規模言語モデル(LLM)を爆速で動作させる「言語処理ユニット(LPU)」を開発する「Groq」が爆速アルファデモを公開
大規模言語モデル(LLM)などを実行するために設計されたカスタムハードウェアである言語処理ユニット(LPU)を開発するGroqが、既存のLLMを爆速で動作させることができるアルファ版デモンストレーションを公開しました。 A company called Groq may have pushed AI chips to the next level https://www.androidheadlines.com/2024/02/openai-groq-ai.html Forget ChatGPT — Groq is the new AI platform to beat with blistering computation speed | Tom's Guide https://www.tomsguide.com/ai/forget-chatgpt-groq-is-the-new-ai-
Behind VS Code Extensions for JavaScript / TypeScript Linnting and Formatting
# Behind VS Code Extensions for JavaScript / TypeScript Linnting and Formatting This slides are used at VS Code Conference Japan 2024 https://vscodejp.github.io/conference-2024/ (15 ~ 20 minutes) ## References: - Extension API | Visual Studio Code Extension API https://code.visualstudio.com/api - The Biome Tool Chain https://fosdem.org/2024/schedule/event/fosdem-2024-2563-the-biome-toolchain/ - Mo
朝日新聞社の文章校正AI 「Typoless（タイポレス）」 がMicrosoft Wordアドインとして使えるようになりました。
朝日新聞社の文章校正AI 「Typoless（タイポレス）」 がMicrosoft Wordアドインとして使えるようになりました。あなたのWordに新聞社のAI校正を 株式会社朝日新聞社（代表取締役社長：角田 克）提供の文章校正AI「Typoless（タイポレス）」がMicrosoft Wordのアドインとして使用できるようになりました。これにより、Microsoft Wordでの文章作成中にリアルタイムでの校正が可能となり、より効率的な文書作成が実現します。 TypolessはこれまでWebアプリケーションで提供されていましたが、今回のアップデートにより、Microsoft WordのOfficeアドインとしてインストールできるようになります。Microsoft Word内で直接AI校正を利用できるため、作業効率が大幅に向上します。 この機能は現在の料金のまま、プレミアムプラン、エンター
赤ちゃんは何も知らないところからどのように言語を習得しているのか？
レディング大学の先史時代学者であるスティーブン・ミセン氏が、「どのように赤ちゃんは言語を習得しているのか」を解説しています。 How Babies and Young Children Learn to Understand Language < Literary Hub https://lithub.com/how-babies-and-young-children-learn-to-understand-language/ 言葉を話す時、人間は多数の単語を流れるように言葉を句切ることなく発言します。音だけでは単語と単語の切れ目はわかりませんが、それでも同じ言語を話す人々はそれぞれの単語を聞き分け、文の構成要素を自動的に解析して理解できます。 人間は自分が慣れ親しんだ言語について「どのようにアクセントが置かれるのか」「フレーズ間でどのように休止を挟むのか」などの韻律を知らない間に記憶して
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PHPやNode.jsなどに任意コマンド実行の脆弱性、原因はWindows仕様の理解不足
大手IT企業「経験者のみ採用」「他社が育てた人材欲しい」問題、どう攻略？
最短15分！ ChatGPTに自分の過去原稿を合体して“自分GPT”を作る
Steam、生成AI使ったゲームの提供を“ほぼ解禁” しかし「今後再検討の可能性も」と慎重な姿勢
計算時間とメモリの壁を打破！Transformerの次世代モデルReformer
Go言語の例外処理がないってのは結局どういうこと？ - Qiita
LLM開発のためのデータエンジニアリング - Qiita
GPT-4に選択肢を与えるとき、順序を入れ替えるだけで性能に大きな変化があることが明らかに | AIDB
Amazon QをVSCodeでつかってみた - NRIネットコムBlog
日本語プログラミング言語が必要な理由 - Qiita
リコージャパン、社内の質問にRAGを使って答える生成AIサービスを提供開始
若手社員のAI部署での利用技術紹介 - Qiita
BERT系モデルで文章をEmbeddingする際のTips - Qiita
プログラミング不要: ChatGPTを用いたExcelマクロの作成法 - TechSuite Blog
AIビジネスを狙う若者は多いのに、VCは投資に及び腰… DMMが、生成AIスタートアップに20億円を投資した背景
FMOps/LLMOps：生成系 AI の運用と MLOps との違い | Amazon Web Services
「すべてを含んだシステムを2万行以内に書く」は不可能に近い まつもとゆきひろ氏が示す、アプリの現代的で現実的なスケール
検索エンジンをVespaへ移行しています - Stanby Tech Blog