心の数量化と公理的測定論（関西学院大学社会学部教授：清水裕士）#心理統計を探検する｜「こころ」のための専門メディア 金子書房
今日の心理学を考えるうえで、心を測るという実践はもはや不可欠となっています。しかし、そもそも心を測るとはどういうことなのでしょうか。今回は、関西学院大学の清水裕士先生に、公理的測定論というアプローチからこの問題をご解説いただきました。 心を数量化する 心理学では、「心を測る」ということを行います。とはいえ、心はそもそも直接観測することはできませんが、それを測ることはいかにして可能なのでしょうか。数理心理学ではその問題を公理的測定論という研究成果によって答えようとしました。本記事では、心理学で心を測るという問題について、公理的測定論という観点から解説します。また、心理学者が知っているようであまり知らない、尺度水準の数学的な意味についても解説します。 心の測定は可能なのか 心理測定の歴史は、心理学の歴史と重なるほど長いですが、現代でも使われている心理測定の理論の基礎を形作ったのは、Thurst
Pythonデータサイエンスハンドブック 第2版
Pythonのデータサイエンス用のツールを使いこなすための実用的な情報が詰め込まれたリファレンスの待望の改訂版です。IPythonとJupyter、NumPy、pandas、Matplotlib、scikit-learnを利用し、データの操作、可視化、行列計算、時系列解析、統計分析、機械学習、データモデルの構築、複雑な科学計算まで、幅広いトピックをカバー。それぞれのトピックについて、押さえておくべき基本、tips、便利なコマンドなどを紹介します。Pythonでデータ処理を行う人にとってはいつも手元に置いておきたい「使える」一冊です。 『Python Data Science Handbook, Second Edition』への称賛 訳者まえがき はじめに Ⅰ部 Jupyter：Pythonより優れたPython 1章 IPython、Jupyter入門 1.1 IPythonシェルの起動
数学は人類が自然を理解するために生み出した学問であるが、自然を注意深く観察すると、そこには我々自身が考えている以上に数学の美しさが隠されている事に気付かされ、改めて驚かされる。 例えば、フラクタルは抽象的な数学の概念であるが、実は自然界に広くみられることがわかっているし、フィボナッチ数列の美しさは「花びらの枚数」や「松ぼっくりの鱗模様の列数」、「ひまわりの種の列数」、「ウサギの増え方」など、多くの場面で見られる。 フラクタルの例、野菜のロマネスコ (Credit: Bouba at French Wikipedia)そんな数学と自然の新たな驚くべき関係を、今回オックスフォード大学、ハーバード大学、ケンブリッジ大学、GUST、マサチューセッツ工科大学（MIT）、インペリアル大学、アラン・チューリング研究所の研究者チームの著名な研究機関からなる学際的な科学者チームが発見し、『Journal o
資料2-1：豊田先生御講演資料
鈴鹿医療科学大学 豊田長康 2024/04/22 日本学術会議 「研究力強化と学術会議への期待」 2024/04/22 1 日本の研究競争力低下の因果推論 （事前配布資料） 資料２－１ 論文データ Clarivate社の文献データベース（以下DB）であるWeb of Science Core Collection のデータを、分析ツール InCites Benchmarking & Analytics（以下InCites）を 用いて分析 なお、発表者はInCitesとSciValの両方を利用できる環境にある が、所期の目的の分析はSciValでは困難なため、InCitesで分析 した。 文部科学省 科学技術・学術政策研究所（以下NISTEP） の分析データ 他のデータ OECD.Statの公開データ 文部科学省、国立大学法人等のデータ 2 本発表のデータの入手元 2024/0
K n o w ledge Acquisition & D i a l o g u e R e s e a r c h T e a m 知識獲得・対話研究チーム Knowledge Acquisition & Dialogue Research Team 奈良先端大 ロボット対話知能研究室 Intelligent robot dialogue laboratory, NAIST その研究 ChatGPT でいいんじゃないですか？ ～LLM時代の対話システム研究～ 理化学研究所GRP/奈良先端科学技術大学院大学 吉野 幸一郎 その研究ChatGPTでいいんじゃないですか？ 1 2023/08/31 ⒸKoichiro Yoshino, Guardian Robot Project, RIKEN K n o w ledge Acquisition & D i a l o g u e R e s
恒星から極めて近い距離を公転する「ホット・ジュピター」は多数の恒星に存在することが分かっていますが、太陽はホット・ジュピターを持たない例外的な恒星の1つです。なぜ存在しないのでしょうか？ JAXA（宇宙航空研究開発機構）の宮﨑翔太氏と大阪大学の増田賢人氏の研究チームは、太陽のような年齢の古い恒星にはホット・ジュピターが少ない傾向にあることを突き止めました。これは太陽系にホット・ジュピターが存在しない理由となるとともに、太陽と似た恒星の中では、太陽系がそれほど少数派ではない可能性を示唆しています。 【▲ 図1: 典型的なホット・ジュピターの想像図。発見時は常識外れに見られていたホット・ジュピターですが、現在では発見そのものは珍しくないほどの多数派となっています（Credit: NASA, JPL-Caltech, R. Hurt）】■ “常識外れ” から多数派となった「ホット・ジュピター」天
Redis互換の超高速インメモリデータストア「Garnet」にC# CustomCommandを実装してコマンドを拡張する 2024-03-19 MicrosoftからIntroducing Garnet – an open-source, next-generation, faster cache-store for accelerating applications and servicesという記事が今日公開されて、Garnetという新しいインメモリデータストアがOSSとして公開されました。Microsoft ResearchでFASTERを手掛けていたチームによるもので、FASTERはC#実装の高速なキーバリューストアでした。今回のGarnetはその発展形のようなもので、FASTERベースのストレージと、Redis互換のプロトコルによる、インメモリデータストアになっています。詳しく
6048×4032ピクセルの大型フルフレームセンサー全域を使って本格的な映像撮影が可能な「Blackmagic Cinema Camera 6K」でムービーを撮ってみた
総合映像機器メーカーのBlackmagic Designが、ネイティブ解像度6048×4032ピクセルの大型フルフレームセンサーを搭載した映画撮影用カメラ「Blackmagic Cinema Camera 6K」を2023年9月5日に発表しました。巨大なセンサー全域を使ったオープンゲート撮影で、映画館の大きなスクリーンにも耐えられるほど美しい映像を撮れるというBlackmagic Cinema Camera 6Kを借りることができたので、実際にさまざまなムービーを撮影してみました。。 Blackmagic Cinema Camera | Blackmagic Design https://www.blackmagicdesign.com/jp/products/blackmagiccinemacamera Blackmagic Cinema Camera 6Kの外観については、以下の記事で
LLMの「創発」は幻影か
3つの要点 ✔️ 大規模言語モデルで観察される創発を検証 ✔️ LLMの創発は評価指標が見せる幻影である可能性を示唆 ✔️ LLM以外のモデルにおいて特定の評価指標を用いることで意図的に実際には発生していない創発を再現することに成功 Are Emergent Abilities of Large Language Models a Mirage? written by Rylan Schaeffer, Brando Miranda, Sanmi Koyejo (Submitted on 28 Apr 2023 (v1), last revised 22 May 2023 (this version, v2)) Comments: Published on arxiv. Subjects: Artificial Intelligence (cs.AI); Machine Learning (
※この記事の内容は下記記事からの続きとなります。 ・第一章：『複素数の極形式』 ・第二章：『正弦波』 ・第三章：『三角関数の合成』 ・第四章：『微分』 ＣＯＮＴＥＮＴＳ 文系投資家の修行～"神の言葉"を理解せよ！～ 神の言葉 指数法則 対数法則 底の変換公式 対数関数 閣下、『(a+bⁿ)/n＝x』故に神は存在する。何かご意見は？ 【レオンハルト・オイラー(数学者)】 文系投資家の修行～"神の言葉"を理解せよ！～ 神の言葉 シエル：「"神の言葉"…ミクサはどこまで知っている？」 『神の言葉』…数学の本を何冊も読んできたのに、未だに僕はこの概念を理解できてない…まさに、"苦手分野"とはこのことだ…。 シエル：「Why are you making such a worry face just because I said "Logos"？ ("神の言葉"と言っただけで、なぜそんな心配そうな顔
多くの病院が医師不足に悩む中、医師と病院をつなぐ医師紹介会社の存在感が年々高まっています。医師紹介会社は、多忙な中で自分に合った転職先を探したい医師と人手不足で困っている病院双方にとってメリットがあります。その一方で、中には不透明な手数料や社会通念として認められないような高額のお祝い金による転職勧奨などのトラブルも報告されています。 こうした事態を受けて厚生労働省（以下、厚労省）は、認定制度の創設や相談窓口の設置など、トラブル解消に力を入れています。ここでは医師紹介会社が広がってきた背景から、サービス利用時によくあるトラブルとその対策を取り上げつつ、適切な医師紹介会社を選ぶための方法を紹介します。 1. 大学医局が医師の人事権を握っていた時代から、医師・医療機関双方が自由に選べる時代へ ほとんどの医師が卒業と同時に出身大学の医局へ入局し、医局が医師の研修の大部分を担っていた時代は、医師の就
概要 背景・目的 関連研究 事後学習を通じた知識の獲得 未知の知識をどう定義するか 実験 ある情報がLLMにとって新知識であるかの確認 QAデータセット 実験の設定 結果 自作したQAデータセットでの結果 相対的な汎化性能（定量） 相対的な汎化性能（定性） 考察 未知の知識の定義の難しさ ハルシネーションの対策の難しさ 今後の発展 DROBEで機械学習エンジニアをしております、藤崎です。 概要 大規模言語モデル(LLM)に未知の知識を獲得させることができるかを検証しました。 LLMにとっての未知の知識はモデルの重みがリリースされた日付以降に公開された、ファッションドメインにおける商品の価格や規格の詳細情報としています。 その結果、ドメインの難易度が低く、使用者の専門性が高いようなユースケースにおいて、LLMを活用することは可能だと判断できました。 ただし、未知の知識の定義の難しさやハルシネ
MetaがLlamaファミリーの次世代大規模言語モデル「Llama 3」をリリースしました。研究目的のほか、月間アクティブユーザーが7億人以下の場合は無償で商用利用が可能となっています。 Meta Llama 3 https://llama.meta.com/llama3/ Introducing Meta Llama 3: The most capable openly available LLM to date https://ai.meta.com/blog/meta-llama-3/ 今回リリースされたのは80億(8B)パラメーターと700億(70B)パラメーターの2つのモデルです。共に事前トレーニングの後に命令追従用のためのファインチューニングが行われている「Instruct」モデルで、チャットAIとしてのタスクをこなすことができます。 同等のパラメーターを持つモデルとの比較結果
この本の概要 C++プログラマー必携の『C++ポケットリファレンス』がリニューアル！ 「逆引き形式で目的からすぐ探せる」「サンプルコードを見ながら具体的な実装のイメージがつかめる」という特徴はそのままに，C++23に対応しました。 信頼と安心の1冊です。 こんな方におすすめ C++を使用するプログラマ ゲーム開発者 本書のサンプル 本書の紙面イメージは次のとおりです。画像をクリックすることで拡大して確認することができます。 はじめに 謝辞 本書の構成 本書の使い方 CHAPTER 1 C++とは C++の歴史と特徴 主な処理系 CHAPTER 2 基本文法 プログラムの例 識別子 演算子 コメント 型 cv修飾子 型の別名宣言 型の自動推論と取得 構造化束縛 キャスト 動的な生成と破棄 COLUMN new／deleteとメモリリーク サイズとアライメント COLUMN アライメントとは？
以下の記事が面白かったので、かるくまとめました。 ・Fine-tune Llama 2 with DPO 1. はじめに「RLHF」は「GPT-4」「Claude」などのLLMの事実上の最後の学習ステップとなっており、LLM出力の饒舌さや安全さが人間の期待と一致していることを確認します。ただし、RLの複雑さが持ち込まれます。適切な報酬関数を設定し、状態を推定するようにモデルを学習する必要があります。同時に、元のモデルから離れすぎないよう注意する必要があります。このようなプロセスは非常に複雑で、正しく行うのは容易ではありません。 Rafailov、Sharma、Mitchellらによる最近の論文「Direct Preference Optimization」では、既存の手法で使用されているRLベースの目標を、単純なバイナリクロスエントロピー損失を介して直接最適化できる目標に切り替えることを提
【波の解析編】 ・第一章：複素数 ・第二章：正弦波 ・第三章：三角関数 ・第四章：微分 ・第五章：指数と対数 【文明崩壊編】 ・第三章：ローマ帝国の滅亡 ＣＯＮＴＥＮＴＳ 見下されるだけの人生に終止符を。～文系人は『オイラーの公式』を理解せよ！～前編 対数関数の微分 指数関数の微分 シエル：「そろそろ話を進めないか～？」 シエルちゃんの声に僕はハッとし、飛び起きる。 なんとなく…とても長い時間、眠っていたような気がしたから。 窓の外は薄暗いが、まだかろうじて夕日が街並みを照らしていた。 僕は少しホッとすると、視線を窓から隣の席へと移す。 僕：「ミアは…ひょっとして帰った？」 シエルちゃんは呆れた顔で僕を見る。 シエル：「寝ぼけてるのか？ ミアちゃんは仕事で今日は来れなかっただろ？」 僕：「えっ…？いや、さっきまでミアも一緒に勉強していたよね？ それにまだミアは仕事先が決まって…」 徐々に記
ゼロから作るDeep Learning ❺
人気シリーズの第5弾。今回のテーマは「生成モデル」です。本書では「正規分布」から「拡散モデル」に至るまでの技術を繋がりのあるストーリーとして展開します。読者は小さな学びを積み重ねながら、ステップバイステップで実装し、最終的には「Stable Diffusion」のような画像生成AIを完成させます。技術の面白さは細部にあります——ゼロから作る、数式に挑む。 まえがき ステップ1 正規分布 1.1 確率の基礎 1.1.1 確率変数と確率分布 1.1.2 確率分布の種類 1.1.3 期待値と分散 1.2 正規分布 1.2.1 正規分布の確率密度関数 1.2.2 正規分布のコード 1.2.3 パラメータの役割 1.3 中心極限定理 1.3.1 中心極限定理とは 1.3.2 中心極限定理の実験 1.4 サンプル和の確率分布 1.4.1 サンプル和の期待値と分散 1.4.2 コードで確かめる 1.4.
0.はじめに 『現代数理統計学の基礎』(久保川達也 著)の章末問題の答案を作成する．略解は久保川先生がこちらのサイトに掲載して下さっているが，「略解」なだけあって途中式がかなり端折られていたり，エレガントすぎて凡人では思いつきようのない解答だったりするので，多少計算がゴツくなったとしても庶民的な答案を心がける．また必要に応じて答案とは別に必要な知識の確認を行う． 各リンクから問題の方針と答案に飛べる． 1.確率 (易) ベン図書く (易) 和事象，積事象の性質 (易) 条件付き確率と同時確率 (易) 部分集合についての確率 (易) 条件付き確率の典型問題 (易) 条件付き確率の典型問題2 (易) 因果関係と相関関係，独立性 (易) 和事象と確率の和 2.確率分布と期待値 (標準) 分布関数，密度関数の定義 (標準) 分布関数，密度関数の定義2 (標準) 分布関数，密度関数の定義3 (標準)
統計検定(R)は一般財団法人統計質保証推進協会の登録商標です。 0.はじめに この記事は統計検定1級(R)を受けた著者が自身の実施した勉強の仕方や、有益だった書籍やwebコンテンツをまとめたものです。これから勉強を始める方の見通しになるようにしたつもりです。他の合格者の方も同じように書かれていますから、コレ以外にも良い方法はあるかもしれませんので参考程度に考えて下さい。 なお応用に関しては理工学の受験だったため、それを中心とした解説を行います。 これまでにも過去の合格者で同じような情報を書いている人はいましたが時代の変化と共に教材もアップデートされ傾向も変わりつつあります。こちらは2023年末に執筆しているため、その時点の情報を元に著者がやって良かった教材などを中心に紹介しています。将来陳腐化している可能性は十分にあるので、必要に応じて取捨選択してください。 結論が知りたい人は先に最後の方
目次 本記事の動機 時系列解析とTransformerに対する先行研究のまとめ 複数時系列データの解析に対する課題を解決した改善モデル iTransformer iTransformerモデルの実装 実装環境と学習データ データの前処理 iTransformerモデル実装と最適パラメータ探索 数値実験と考察 本記事のまとめ 参考文献 本記事の動機 近年ではビックデータの利活用が活発になっており、データを蓄積・分析することが多くなっています。その際、機械学習やAIの実装をしてデータの分析を行う場合、データ数が鍵となっています。しかしながら、データの項目数が多いと、各項目のデータ数が少なくなる可能性があります。例えば、ある市場で売られている品種が複数あった場合、受注数の差だけではなく、受注のデータ数にも差が生じ、結果的に分析に使用可能なデータ数が少なくなり、分析の精度が低下することが考えられま
みなさんこんにちは！クルトンです。 前日のブログは初回という事で、「機械学習とはなんぞや」について説明しました。 本日のブログは損失関数についてです。 なぜ2日目に持ってきたかというと、機械学習の理解において損失関数が重要であると考えているためです。 データの特徴によって機械学習で使うモデル(アルゴリズム)の種類が違うという話をしている書籍やブログはあります。 ただし本アドベントカレンダーでは、人間の言葉を理解する機械学習モデルについて説明しようと考えているため、対象外のモデルも説明に含めてしまいます。 また実際に、さまざまな機械学習モデルを動かす必要がある方でなく、対象読者を「(ChatGPTなどLLMについて)どういう動きをしているか中身を知りたいなー」という人からするとなくても良い情報なのではないか？と考え、思い切ってそちらは説明せずに機械学習モデルなら共通で必要な内容の中でいくつか
![[初級編]LLMへ至る道~損失関数ってなにをしているの？~[2日目] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/da0d583cbae46248013ea018c5ab61be764ad94d/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2Feye-catching-half-e1701275973271.png)
この投稿はrioyokotalab Advent Calendar 2020 21日目の投稿です。 adventar.org サウンド系の機械学習 PyTorchを使ってなにかするとなると、なぜか多くの人は画像をどうにかしようとしがちな気がします。特にブログとかでやってみた的な記事だとその傾向が強いと思います。確かにインパクトはありますし...。 画像処理はやり尽くされている感はありますが、音声系って意外とやられていない要素が多いように思います。もし、PyTorchで音声に関する機械学習を行いたいのであれば、この記事が参考になればと思います。 サウンド系機械学習のスタンダードな実装 音声というのは波情報です。それをそのまま1次元CNNにかけるというのでもいいのですが、波情報のままだと、情報が冗長すぎます。なので、基本的にはスペクトログラム1と呼ばれる、二次元情報に変換し、それを画像処理ベー
OpenAI DevDay日本最速レポ！GPT-4 Turbo、GPTs、Assistants APIとは？ChatGPT最新情報徹底解説 | WEEL
OpenAI DevDayで公開された新情報一覧 それでは、早速今回のOpneAI DevDayで公開された新情報を紹介していきます！ こちらです！！ GPT-4 Turbo GPTs Assistants API APIの新機能 以下で細かく解説していきます。 ちなみに、OpenAI公式が今回のDevDayの内容を記事に出していたので、英語で読みたい方はこちらをご覧ください。 しかし、記事には載っていない、イベント内でしか語られていない情報も載せていますので、合わせて確認していただくことをお勧めします。 New models and developer products announced at DevDay GPT-4 Turbo GPT-4 Turboは、新たに公開されるChatGPT APIです。 現状、最も優れたAPIです。 その特徴は6つ。 ・Context Length 12
フェヒナーの法則は、心理物理学の分野で用いられる法則であり、刺激の強度と感知される心的な強度との関係を表現するものです。この法則は、刺激の増加が心的な感じ方にどのように影響するかを示す重要な原則です。具体的には、刺激の強度が増加すると、心的な感じ方は対数的に増加するという関係を述べています。 この法則は、ドイツの心理物理学者であるグスタフ・テオドール・フェヒナー（Gustav Theodor Fechner）によって19世紀に提案されました。フェヒナーは、人間の感覚経験を量的に測定する方法を追求し、刺激と感覚の関係を探求しました。 フェヒナーの法則の数学的な式は、次のように表現されますS=klogR ここで、 S は感知される心的な強度、 R は刺激の物理的な強度、そして k はフェヒナーの定数です。この式は、刺激の物理的な強度が10倍になるごとに、感知される心的な強度が等倍で増加するとい
Ethereumを中心にBitcoinやWorldcoinにも応用され、日銀や自民党も注目する「ゼロ知識証明」 ～プライバシー保護強化、スケーリングに期待される暗号技術の概要と数学的知識手引き 6月13日、暗号資産・ブロックチェーンに関する技術・法務関連情報を周知啓発している「一般社団法人 日本ブロックチェーン協会」で、「イーサリアムコミュニティとゼロ知識証明の発展」（登壇者：日置玲於奈氏）と題したオンラインセミナーが開催されました。 ゼロ知識証明（zero-knowledge proof、ZKP）は、国内外の多くの機関・組織が注目する暗号技術の1つで、Ethereumを中心に暗号資産・ブロックチェーン開発において活発に応用されています。当記事はセミナーでの内容も取り上げながら、ゼロ知識証明、およびゼロ知識証明を応用した開発動向について解説します。 イーサリアムコミュニティ
第32回 人工知能学会 金融情報学研究会（SIG-FIN）参加レポート / 開発者向けブログ・イベント | GMO Developers
GMOインターネットグループ デベロッパーエキスパートの市川（@Yoshihiko_ICKW）です。 2024年03月02日（土） 第32回 人工知能学会 金融情報学研究会（SIG-FIN）@東京大学に参加してきました。 目的は、ファイナンス分野への人工知能技術の応用研究の調査のためです。ChatGPTのファイナンスへの応用の話も多かったです。よろしければご覧ください。 （文章の作成に当たっては、一部Chat-GPTを利用しました） イベントの概要 人工知能学会 金融情報学研究会（SIG-FIN）は人工知能学会の第二種研究会です。 詳細は上記リンクに譲るのですが、近年より広い方々の金融市場への関心が高まっています。このような背景で、ファイナンス分野への人工知能技術の応用を促進するための研究会になります。人工知能分野の研究者や金融市場の現場の技術者が参加する、大変ユニークな研究会になっていま
「○○年に一度の大雨」の計算方法とは 気象庁は観測結果をもとに、各地点について「〇〇年に一度の降水量」を算出し、発表しています。 ある期間内に1回起こると考えられる降水量のことを確率降水量といいます。気象庁の解説ページでは、確率降水量の推定方法が解説されていますので、これに基づいて「〇〇年に一度の大雨」の値を計算してみたいと思います。 大まかには次のような流れになっています。 年最大日降水量のヒストグラムを作成する 分布関数を当てはめる 分布関数の当てはまり具合を確認する 当てはめた分布関数から確率降水量を算出する 今回は、上記2. の「分布関数を当てはめる」の準備として、当てはめに用いられる分布関数を確認しておきましょう。 当てはめる分布関数の種類 気象庁の解説ページにあるように、当てはめに用いられる分布関数は次の５種類です。 グンベル分布 一般化極値 (GEV) 分布 平方根指数型最大
「数学力」と「計算力」の違いを知っていますか？ 芝村裕吏『関数電卓がすごい』より「はじめに」全文公開｜Hayakawa Books & Magazines（β）
「数学」を避けるあまり、「計算」まで避けて、損したり苦しんだりしていませんか？ このふたつはまったく別の能力です。ぜひ、この本で「計算」能力を身につけてください――必要なのは、スマホを横にすることだけです。「数学嫌い」で「文系」のあなたに贈る、画期的思考法変革書『関数電卓がすごい』（芝村裕吏、ハヤカワ新書）から、「はじめに」を公開します。 芝村裕吏『関数電卓がすごい』（ハヤカワ新書）はじめにこの項の4行まとめ ・この本は数学とも関数電卓とも縁遠い人向けに書かれた初心者本である。 ・数学が何の役に立つのかという疑問にもある程度は答えることを目指す本である。 ・世界的な関数電卓の隆盛と日本の現状には大差があり、これは教育制度の差である。 ・この本を読むことで、関数電卓を少し使って人生によい影響をもたらすことを願う。 本書が編まれた理由まとめは上にありますから、少しの回り道、経験をお話しすること
Metaがベイズ最適化の予想外の改善を実現
3つの要点 ✔️ 評価のコストが高いシステムの効率的な最適化技術としてベイズ最適化がある ✔️ 改善量の期待値（EI）を計算することで解の改善に必要な試行錯誤を削減可能 ✔️ パラメータが高次元の場合のEIの不具合を解決することで予想外の改善を達成 Unexpected Improvements to Expected Improvement for Bayesian Optimization written by Sebastian Ament, Samuel Daulton, David Eriksson, Maximilian Balandat, Eytan Bakshy (Submitted on 31 Oct 2023 (v1), last revised 18 Jan 2024 (this version, v2)) Comments: NeurIPS 2023 Spotlig
機械学習の評価指標覚え書き
評価指標の重要性 データ分析失敗事例集という書籍を読んで「評価指標って大事だな（小学生並みの感想）」と思ったので、個人的な覚え書きとしてメモ。 データ分析失敗事例集に加えて、ほぼ積読状態だった評価指標入門から、ポイントをまとめます。 評価指標とは何か？どうやって決めるか？ 一番大事な話として、そもそも（この記事では特に機械学習分野での）「評価指標とは何か？」「どうやって決めるか？」という大問題がありますが、私が語るのは恐れ多いので、本記事では省略します。 一番難しくて、重要だからこそ、簡単に説明できないのでこの記事を読んであらためて気になったら、最初に紹介したような本を読んでみると良いかもしれません。 評価指標の分類 機械学習は「教師あり学習」「教師なし学習」「強化学習」と大きく3つに分けられるという話を聞いたことがある人は多いかもしれません。そのうち代表的な「教師あり学習」をさらに大きく
はじめに この記事は、鈴木大慈先生の論文[1]の付録部分についての備忘録です。 Transformerをベースとした生成AIに多額のお金が投資されてます。また、Transformerをベースとした日本語に対応したLLMがリリースされるたびにニュースで取り上げられるなど注目されています。なぜTransformerがすごいのか？という根拠を、数理工学的に解説した論文[1]は、社会的に価値があると思い、備忘録を公開します。 Transformerは優れたモデルか？ 論文[1]では、「Transformerは、はたして優れたモデルなのか？」を解析しています。 結論から言うと、 無限次元入力のsequence-to-sequence関数に対し、Transformerは近似・推論能力をもつ Attentionは、入力列に応じて重要なトークンを選択することができる C. Auxiliary Lemmas
このページについて ※特に断らない限り、圏はlocally smallであると仮定しています。 ※上から順に読むことを想定しています。 ※定義が書いてない言葉があったりするので、その場合はnLabを見るなりしてください。 ※選択公理は特に断らず使います。 意見・質問・感想・誤字や数学的間違いの指摘などはTwitterまでお願いします。 ★お知らせ★ このページのPDFが紙の本になりました。↓のリンクから購入することができます。 全ての概念はKan拡張である: 第0章～第2章(Cauchy完備化は除く) 全ての概念はKan拡張であるII～豊穣圏論～: 第3章 2-category、豊穣圏 ■PDFの量が多すぎると思うので第0章～Kan拡張のPDF(kan_extension.pdf)までの内容を短くまとめたPDFを作りました⇒可能な限り最短でKan 拡張に到達する (2023-09-06更新
物理における数学の理不尽なまでの有効性あるいは非有効性｜KT
物理と数学物理を学んでいると、あるいは研究していると、数学の威力に感銘を受けることが多々ある。多くのひとにとって、その最初の体験は、力学の運動方程式（微分方程式）を扱ったときであろう。たった一つの方程式を解くことで物体の落下や惑星の軌道、大学入試で出されるようなややこしい設定など、ありとあらゆる運動を記述できるのは、驚くほかない。 "The unreasonable effectiveness of mathematics in the natural sciences" という有名な言葉を残したのは数理物理学者のWignerである（Wikipedia）。自然科学とは大きく出たものだと思うが、実際には物理のはなしをしているので、そこまで深い意味はないのかもしれない。 冒頭に、「確率分布を表すのになんで円周率を使うんだ？円なんて関係ないじゃないか！からかっているのかい？」（アメリカンな雰囲気
期待平均リターンが6％でも、資産は毎年6％ずつ増えないのはなぜか 算術平均と幾何平均のトリック - FIRE: 投資でセミリタイアする九条日記
株式は長期的に平均6％程度のリターンをもたらすと言われています。ただしこれは、毎年6％ずつ資産が増加することを意味しません。「当たり前だよ。＋20％とか▲15％とかの年もあって、平均すると6％なんだよ」。よく知っている人はそういうかもしれません。ところが、長期でも平均して資産が6％ずつ増えるかというと、実はそれも違うのです。 「株式が平均して6％リターン」の意味 平均6％で20年保有すると資産はどうなる？ 幾何平均と算術平均の違い 算術平均から幾何平均を計算する おまけ：G≒A-（σ^2／2）が成り立つワケ 「株式が平均して6％リターン」の意味 まず「株式が平均して6％リターン」の意味から考えます。これが何を意味するかというと、「来年の株式リターンはどのくらいになるか？」の期待値です。これまでの長年のデータを元に、2024年の株式リターンはどれくらいを期待できるかを考えるなら、過去何十年も
複数の関連度から検索可能な BGE M3-Embedding の紹介 - Algomatic Tech Blog
こんにちは。Algomatic の宮脇（@catshun_）です。 本記事では文書検索において一部注目された BGE M3-Embedding について簡単に紹介します。 Chen+'24 - BGE M3-Embedding: Multi-Lingual, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation おことわり 本記事では精読レベルの 詳細な解説は含みません。 詳細については 参照元の論文をご確認ください。 不十分また不適切な言及内容がございましたらご指摘いただけますと幸いです。 プロダクト等の利用時は 必ずライセンスや利用規約を参照して下さい。 本記事で紹介する 論文 は Work in progress とコメントされており今後内容が更新される可能
このノンテクニカルサマリーは、分析結果を踏まえつつ、政策的含意を中心に大胆に記述したもので、DP・PDPの一部分ではありません。分析内容の詳細はDP・PDP本文をお読みください。また、ここに述べられている見解は執筆者個人の責任で発表するものであり、所属する組織および（独）経済産業研究所としての見解を示すものではありません。 その他特別な研究成果（所属プロジェクトなし） 「親ガチャ」という言葉が、嘆きの文句として、X（旧ツイッター）などでこの数年広く使われるようになった。子供が親を選べないために生じる能力の差や機会の不平等、といった文脈で使われる言葉であるが、「親ガチャ」による格差を是正しようとする政策は、相続税による再分配などで先進的な国ではすでに行われている。こうした格差是正や機会平等を推し進める政策は、何も親を選べないことだけに対してではない。今の先進的な世の中では、例えば所得税は、高
NIDSコメンタリー 第279号 ハマスの前例のない対イスラエル攻撃 地域研究部アジア・アフリカ研究室主任研究官 西野 正巳
NIDSコメンタリー 第279号 2023年10月12日 ハマスの前例のない対イスラエル攻撃 地域研究部アジア・アフリカ研究室主任研究官 西野 正巳 はじめに 2023年10月7日早朝、パレスチナ自治区のガザ地区を実効支配するイスラム主義組織・ハマスの軍事部門カッサーム部隊が作戦「アクサーの氾濫[1]」を開始し、①大都市テルアビブを含むイスラエル各地に向けてロケット弾を多数発射し、②同時に、ガザ地区に隣接するイスラエル南部各地に戦闘員を侵入させて、イスラエル人（及び、イスラエル滞在中の外国人）多数を殺傷し、さらに、多数を拉致してガザ地区内へ連行した。イスラエル軍も同日から反撃作戦「鉄の剣[2]」を開始し、さらに翌日8日にはイスラエルは正式にハマスに対して宣戦布告しており[3]、日本時間10月11日現在、ハマスはガザ地区からのロケット弾発射を続けている一方、イスラエル軍は戦闘機、ドローン、砲
Bloom Filterの数理 - Qiita
Mastering Bitcoin の読書会をやっていました。読み直す度に新しい発見があるのがこの本であり Bitcoin の技術でして、その中で Bloom Filter についての話題があります。 Bloom Filter というのは確率的アルゴリズムの一つです。このエントリでは、 Bloom Filter とはどういうものか、そしてその数理はどうなるのかを記述したいと思います。 Bloom Filter の特徴 まず Bloom Filter というのは確率的アルゴリズムの一つでして、「ある要素 $e$ が、$n$ 個からなるデータ集合の中に含まれているか否か」という命題に答えるために使われます。 この命題を解くための一番直感的な方法は、$n$ 個のデータからなる集合を作った後で、要素 $e$ がその集合に入っているかどうかを先頭から見に行くという方法だと思います。この方法の時間計算
日本の研究力の低下、その一因として博士課程進学者の減少が指摘されている（科学技術・学術政策研究所, 2023）（注1）。そうした中、ここ数年、政府の「骨太方針」は、博士人材の育成や支援に言及している。特に2023年の「骨太方針」は、優秀な若者が博士を志す環境を実現するため、「博士課程学生の処遇向上、挑戦的な研究に専念できる環境の確保、博士号取得者が産業界等を含め幅広く活躍できるキャリアパス整備等」の支援を強化すると述べている（注2）。こうした動きを見ると、博士課程卒業者は労働市場において不遇な状況にあるという印象を受けるが、実際はどうなのだろうか？ 高学歴者の賃金に関する研究 欧米では博士学位を持つ労働者の賃金に関する実証研究がいくつか存在し（e.g., Jaeger and Page, 1996; Walker and Zhu, 2011; Engbom and Moser, 2017）
© 2023 Mizuho Bank, Ltd. All Rights Reserved. みずほフィナンシャルグループ リサーチ＆コンサルティングユニット みずほ銀行 産業調査部 生成AIの動向と産業影響 【総合編】 ～生成AIは産業をどのように変えるか～ （2023年12月） アンケートに ご協力をお願いします QR *日本産業の競争力強化や社会課題の解決に寄与しうる技術・イノベーション領域をとり上げるレポート バーコード未取得 みずほ産業調査74号 革新的技術シリーズ* 1 総合編目次 はじめに P2 1. 生成AIの概要と社会動向 P6 （1） 生成AIの概要～生成AIとは何か？ P6 （2） 生成AIをめぐる社会・市場動向 P13 （3） 主要国・地域の生成AI関連動向 P24 2. 生成AIが産業に及ぼす影響 P32 （1） 仕事の在り方の変化とビジネスへの影響 P32 （2）
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
遺伝子の突然変異が数学に支配されている事が明らかになった | TEXAL
その研究 ChatGPT でいいんじゃないですか？LLM時代の対話システム研究.pdf
太陽系に「ホット・ジュピター」が存在しないのは太陽系の年齢が理由かもしれない
neue cc - Redis互換の超高速インメモリデータストア「Garnet」にC# CustomCommandを実装してコマンドを拡張する
文系投資家の修行～"神の言葉"を理解せよ！～ - ミクサの脱社畜計画
新規参入の続く医師紹介会社、利用時の注意点と適切な会社の選び方とは｜医師のキャリア情報サイト【エピロギ】
ファッションドメインにおけるLLMの未知の知識獲得可能性 - DROBEプロダクト開発ブログ
Metaが次世代のオープンLLM「Llama 3」を公開、無料で商用利用可能なモデルの中では過去最高の性能
［改訂第5版］C++ポケットリファレンス
DPO による Llama 2 のファインチューニング｜npaka
見下されるだけの人生に終止符を。～文系人は『オイラーの公式』を理解せよ！～前編 - ミクサの脱社畜計画
『現代数理統計学の基礎』章末演習問題解答 (答案) - Qiita
統計検定1級(R)の勉強の仕方【2023年末版】 - Qiita
複数時系列データ × Transformerの実装と評価
[初級編]LLMへ至る道~損失関数ってなにをしているの？~[2日目] | DevelopersIO
サウンド系の深層学習に使うtorchaudio - deoxy’s diary
フェヒナーの法則とは？
Ethereumを中心にBitcoinやWorldcoinにも応用され、日銀や自民党も注目する「ゼロ知識証明」 ～プライバシー保護強化、スケーリングに期待される暗号技術の概要と数学的知識手引き | gihyo.jp
【気象データ】「〇〇年に一度の大雨」の算出 (当てはめる分布関数の解説編)【統計解析】 - LabCode
Transformerは優れたモデルか？ - Qiita
圏論 | 壱大整域
RIETI - 能力と功績のどれくらいが運によるものか？バタフライ効果の実証研究
コラム「博士課程卒業者は不遇か？―「就業構造基本調査（2022年）」からの観察―」
生成AIの動向と産業影響【総合編】～生成AIは産業をどのように変えるか～（2023年12月）