第1章　理論編 ・深層学習とは (p.13-) ・ニューラルネットワークとは (p.31-) ・どうやって学習するか: 勾配降下法 (p.57-) ・深層学習の注意点 (p.91-) 第2章　応用編 ・分類問題 (p.110-) ・画像認識 (p.120-) ・音声認識／自然言語処理 (p.151-) ・講演のまとめ (p.167-)

今のLLMを取り巻く状況について紹介します。

みなさんは農業テロという単語を知っているだろうか。農業テロは農業に対してのテロ行為（病原菌をばら撒くなど）を指す。 ＜実際の例＞ ・1989年にブラジルのバイーア州でカカオプランテーションにカカオの天敵である天狗巣病を引き起こす菌類が発生した。バイーア州はブラジルのカカオ生産の中心地だった。バイーア州は地理的に他の地域と隔絶しており、菌類もバイーア州に入ってきたことはなかった。プランテーションの環境も味方して病気は瞬く間に広がった。ブラジルは当時世界第二位のチョコレート生産国だった。それが4年後にはチョコレートの純輸入国となった。その現状は今も変わらない。この出来事によって2５万人の農園労働者が職を失い、100万人が都市へ移住した。多くの人が自殺した。この出来事はたった六人によって引き起こされた。菌類は彼らによってばら撒かれたのだ。彼らはカカオ生産に関する専門的な知識を持つ技術者だった。こ

※このエッセイには性暴力場面の撮影に関する記述があります 12　インティマシーコーディネーター 昨年はハードな役が続きました。何人もの愛人を囲い、人を殺めることもためらわない詐欺師。歯向かう者は消し、臓器ブローカーに死体を売り払う男。ショットガンで人を撃ち、手をナタで切り落とすサイコパスの連続殺人鬼。 中でも一番ハードだったのは、自分の娘に幼い頃から性的暴行を加え続けている父親の役。そう、NHKドラマ「大奥」で演じた徳川家慶です。放送後、大きな反響をいただきました。 この作品は、まず台本を読んだ段階でストーリーがとても独創的なのが気に入りました。が、僕にとっても娘役の俳優さんにとっても心身ともにハードな現場になるのは明らかでしたので、お受けするにあたって僕は必ず「インティマシーコーディネーター」さんを付けてください、とお願いしました。制作サイドも最初からそのつもりでいらしたというので、それ

本記事では、最近よく聞くようになった「CRAG」についてざっくり理解します。軽めの記事です。 はじめまして。ナレッジセンスの門脇です。生成AIやRAGシステムを活用したサービスを開発しています。 この記事は何 この記事は、RAGの新手法として最近注目されている「Corrective Retrieval Augmented Generation (CRAG)」の論文[1]について、日本語で簡単にまとめたものです。 「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー RAGの性能を高めるための新しい手法です。Googleなどの研究者によって2024年2月に提案されました。CRAG（日本語にすると「修正型検索拡張生成」）という手法を使うメリットは、ハルシネーション（幻覚）を減らせることです。CRAGが従来の「RAG」より

先日、博士（情報学）になりました。学部と大学院をあわせた 9 年間で読んだ情報科学関連の教科書・専門書を思い出を振り返りつつここにまとめます。私は授業はあまり聞かずに独学するタイプだったので、ここに挙げた書籍を通読すれば、大学に通わなくてもおおよそ情報学博士ほどの知識は身につくものと思われます。ただし、特に大学院で重要となる論文を読み書きすることについては本稿には含めておりません。それらについては論文読みの日課についてや論文の書き方などを参考にしてください。 joisino.hatenablog.com 凡例：（半端）とは、数章だけ読んだ場合か、最後まで読んだものの理解が浅く、今となっては薄ぼんやりとしか覚えていないことを指します。☆は特におすすめなことを表します。 学部一年 寺田 文行『線形代数 増訂版』 黒田 成俊『微分積分』 河野 敬雄『確率概論』 東京大学教養学部統計学教室『統計学

画像生成AIサービスの「Midjourney」に3月12日、新機能「Creative Reference」が追加。1枚の画像から特徴を引き継いだ画像を生成できるようになり、同じキャラクターに別のポーズをとらせるなど様々な画像を作れるようになりました。これまで画像生成AI「Stable Diffusion」などで同じキャラクターの画像を作るには「LoRA」という追加学習をするのが一般的でしたが、それが必要ないため、キャラクターの再現が劇的に簡単になってきました。 画像1枚で“似た顔”　Midjourneyの新機能「Creative Reference」 使い方は、MidjourneyのDiscordに画像をアップロードして、「Creative reference」のタグ（cref）をつけてプロンプトを入力するだけ。CW 0〜100までのパラメーターがあり、0だと顔だけが共通になり、あとは数字

アメリカの言語学者であるベンジャミン・ウォーフは、「言語がその人の考え方に影響する」という仮説を提唱しています。実際に、複数言語の勉強は認知能力を高め頭の回転を早くすると言われていたり、世界の見方が変わる言語とされるものがあったりするほか、アメリカ心理学会の学術雑誌に掲載された論文では、言語の違いは「時間経過に対する認識」にも影響を与えることが指摘されています。 The Whorfian time warp: Representing duration through the language hourglass - PubMed https://pubmed.ncbi.nlm.nih.gov/28447839/ The language you speak changes your perception of time | Popular Science https://www.pops

この記事は中国のNLP研究者Jianlin Su氏が運営するブログ「科学空間」で掲載された解説記事の日本語訳です。 原文の掲載日は2024/3/18です。 苏剑林. (Mar. 18, 2024). 《时空之章：将Attention视为平方复杂度的RNN 》[Blog post]. Retrieved from https://kexue.fm/archives/10017 近年、線形時間の学習・推論計算量を持つRNNが、少なからずの研究者やユーザーから改めて注目され始めており、どこか「文芸復興」の様相を呈している。その代表作にRWKV、RetNet、Mambaなどが挙げられる。RNNを言語モデルとして使う際の最大の特徴は一回の生成が費やす空間・時間計算量が定数であることだ。系列全体でみると、定数の空間計算量と線形な時間計算量を持つことになる。もちろん、どんな物事にも両面性がある。Atte

余分な卵は保険かそれとも食糧庫か？余分な卵は保険かそれとも食糧庫か？ / Credit:Canva多くの鳥たちは少し多めの卵を産みます。 3匹のヒナが理想的な種では4個の卵、4匹のヒナが理想ならば5個の卵というように、卵の数は想定するヒナの数に「プラス1」したものになります。 これまで、この「プラス1」された卵は孵化の失敗・病気・捕食などによるヒナ喪失の保険として機能すると考えられてきました。 しかし新たに行われた研究によって、ヤツガシラと呼ばれる鳥たちでは卵を「プラス1」する理由が普通とは違う可能性が示されました。 ヤツガシラはユーラシアとアフリカの両方に広く分布している雑食（肉食より）の渡り鳥であり、日本でも冬になると少数のヤツガシラが渡来することが知られています。 しかしヤツガシラにはもう1つ、高い兄弟食いの頻度が知られていました。 これまでの研究で、ワシやタカなど多くの鳥類で兄弟同

GitLab.com

3月4日の公開以来、「Claudeやばくない？」「GPT-4を越えた」と、界隈で話題の「Claude 3」は、OpenAIの元メンバーによって設立されたAIベンチャー「Anthropic」が開発する最新の大規模言語モデル（LLM）だ。今回はChatGPTのライバルClaude 3の有料版を2週間ほどヘビーに使ってみて感じたことを、良い点と悪い点どちらも書いていきたいと思う。 Claude 3とは？ 既報の通り、Claude 3はAnthropicが開発する大規模言語モデルの名称だ。 パラメーターのサイズなどが異なる3つのモデルがラインアップされている。 「Claude 3 Opus」は最も知能が高く、複雑なタスクでも最高のパフォーマンスを発揮する強力なモデル。APIやデータベースを介した複雑なアクションの計画や実行、インタラクティブコーディングなどの高度な活用が想定されている。 「Clau

1. 株価はサプライズによって動く 株式相場には常にプロの投資家がうごめいており、各銘柄の各種業績数値を常に予想して投資活動をしている。そんな状況下において、仮に「売上が前年比2倍」という決算が発表されても、株価が2倍になるわけではない。むしろ3倍が予想されていたのに、2倍だったら失望売りとなる。つまり事前予想と比較してこそ意味があり、staticな値や過去実績との比較を特徴量にすることはあまり意味がない。事前予想と決算の乖離、または前回予想と今回予想の乖離こそが意味のある特徴量であると言える。 2. 業績数値の単純な変化率では株価インパクトは測れない 営業利益の事前予想100億円に対し、決算が200億円の場合、 変化率 = （ 実績 - 予想 ) / 予想 の計算式を使うと、変化率は100%となる。 この変化率を特徴量にするのは一見もっともらしいが、株においてはこれは使いづらい。 営業利

それでは以下、簡単なデモを含めながら個別に説明していきます。 1. ハイブリッドサーチ こちらは、性質の異なる複数の検索方式（例えばベクトル検索とキーワード検索）を組み合わせて検索精度を向上させる手法になります。 各検索方式単体の場合に比べ、性質の異なる検索方式を組み合わせ、ある種いいとこ取りをする事で、検索性能の向上が期待できます。 今回はBM25でのキーワードベースの類似度検索と通常のベクトル検索を組み合わせていきます。 BM25について簡単に説明しておくと、文脈や文章構造は完全に無視した上で、文書内の単語を全てバラバラに分割し、文書内の各単語の出現頻度と文書間におけるレア度を加味した特徴量を算出します。 つまり、特定の文書内の各単語の数をカウントしてヒストグラムを作れば、似たような文書には同じような単語がよく出るはずなので(同じようなヒストグラムの形になるので)、類似度が高くなる性質

NLP2024ワークショップ「生成AI時代の自然言語処理における産学官の役割と課題」での招待講演資料です。

ホーム ニュース プレスリリース 謙虚なリーダーのもとで心理的安全性が高まりメンバーが本領発揮しやすくなる―職場においてリーダーの謙虚さと心理的安全性が果たす役割― 東京大学 発表のポイント 日本の企業において、リーダーの謙虚さが心理的安全性を介してプレゼンティーズムに影響することがわかりました。 チーム単位で働く職場において、リーダーの謙虚さ、心理的安全性、そしてプレゼンティーズムの3変数がどのように関係しているか初めて明らかにしました。 メンバーが活躍できる職場の人的環境や文化的条件を考え、介入をデザインする上で示唆に富む結果といえます。 謙虚なリーダーシップは、心理的安全性を介してプレゼンティーズムと関連する 発表概要 東京大学先端科学技術研究センターの松尾朗子特任助教、熊谷晋一郎准教授らの研究グループは、複数の業種の日本企業を対象に調査を実施し、リーダーの謙虚さが高まると心理的安全

ITジャーナリスト／Publickeyブロガー。IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。 AIスタートアップのCognitionは、自律型のAIソフトウェアエンジニア「Devin」を発表しました。 Devinは人間が課題を与えると、自律的に情報を参照し、コーディングやデバッグ、デプロイを行い、システム構築を実現するAIソフトウェアエンジニアだと説明されています。 Cognition AI CEOのScott Wu氏以下はデモ動画からのキャプチャです。 Devinは人間のソフトウェアエンジニアと同様に、自身のコンソール画面（右上）、コードエディタ（右下）、Webブラウザ（左下）を持っています（左上は人間とチャットでやり取りする領域）。 人間がプロンプトで何らかの課題を与えると、まず課題解決のためのプランを生成します。 今回、Dev

はじめに データ分析基盤の資料を力尽きるまで追記していきます。 構成図にあるアイコンや記事の内容から技術要素を調べて記載していますが、不明分は未記載にしています。修正のコメント頂ければ助かります。 あと、この記事追加してっていう要望も歓迎いたします。 テンプレート 記事公開日 : 会社名（サービス名） データソース : データ処理 : アウトプット : 画像 URL 2025年 2024/03/14 : 株式会社エス・エム・エス（カイポケ） データソース : Amazon Aurora データ処理 : Datastream、BigQuery、dbt アウトプット : Looker Studio 2024/03/12 : 株式会社マイナビ データソース : SQL Server、Amazon S3 データ処理 : Embulk、Amazon MWAA、Apache Airflow、Snowf

「ChatGPTによる新規事業開発の進化」をテーマに、リブ・コンサルティングが新規事業やサービス開発に取り組む人に向けたイベントを開催。同社の先進技術研究組織「ACROBAT」の所長・森一真氏が、ChatGPTを新規事業開発に活用する方法を語りました。 前回の記事はこちら AIに適した知的労働 森一真氏（以下、森）：データの分析も知的労働ですし、チームビルディングもある意味知的労働かなと思いますが、特に情報処理的で、かつ問題が曖昧ではなく、ちゃんと定義できるものほどAIに向いています。いわゆるリサーチや分析はどんどん優先的にAIに置き換わっていきます。 新規事業アイデアは（スライドの）真ん中にあるんですが、若干情緒的なところや文脈的なところもありつつ、リサーチ等の情報処理的な業務負荷が著しく高いので、うまくプログラムを組むことでかなりAI化が進みやすいと思います。 逆にリーダーシップやチー

桐朋高等学校（東京都国立市）、第78期卒業生の答辞がX（Twitter）を中心に、「とんでもない18歳だわ……」「す、すごいものを見た」など大きな反響を呼んでいます。 本記事では、答辞を書いた土田淳真（@tsuredurew）さんの掲載許諾をもとに、桐朋高等学校公式Webサイト、土田さんのnoteにも掲載されている答辞全文を紹介します。 ※画像はイメージです 答辞 ブラジルの1匹の蝶の羽ばたきは、巡り巡ってアメリカ・テキサス州のハリケーンの原因となりうるでしょうか。1972年、アメリカの気象学者エドワード・ローレンツは正確な気象予報の困難さをこのように例え、初期条件の僅かな違いが観測結果に大きな影響を与えることを示しました。ローレンツのこの問いはやがて「バタフライエフェクト」として大衆文化にも受容され「偶然に導かれた数奇な因果関係」を意味する言葉として用いられています。本日体育館の外に吹い