---【追記：2022-04-01】--- 「基礎線形代数講座」のPDFファイルをこの記事から直接閲覧、ダウンロードできるようにしました。記事内後半の「公開先」に追記してあります。 --- 【追記ここまで】--- みなさん、はじめまして。技術本部 開発技術部のYです。 ひさびさの技術ブログ記事ですが、タイトルからお察しの通り、今回は数学のお話です。 ＃数学かよ って思った方、ごめんなさい（苦笑） 数学の勉強会 弊社では昨年、有志による隔週での数学の勉強会を行いました。ご多分に漏れず、コロナ禍の影響で会議室に集合しての勉強会は中断、再開の目処も立たず諸々の事情により残念ながら中止となり、用意した資料の配布および各自の自学ということになりました。 勉強会の内容は、高校数学の超駆け足での復習から始めて、主に大学初年度で学ぶ線形代数の基礎の学び直し 、および応用としての３次元回転の表現の基礎の理解
はじめに 初めまして。ZENKIGENデータサイエンスチームのはまなすです。正式な所属はDeNAデータ本部AI技術開発部なのですが[1]、業務委託という形で今年度から深層学習系の開発等に携わっています。 深層学習界隈では、2017年に衝撃的なタイトル（Attention Is All You Need）の論文が発表されてから早5年半、元出自の機械翻訳タスクを大きく越えて、Transformer関連の技術が様々な領域で用いられる汎用アーキテクチャとして目覚ましく発展し続けています。 今回はそんなTransformerが現時点までにどのように活用されてきたか、また、どのように工夫されてきたかをざっくりと俯瞰し、流れをおさらいする目的の記事になります。本記事の大枠は、2021年時点でのサーベイ論文である A Survey of Transformers に倣いつつ、適宜、2023年2月上旬現在ま
ゲーム作りとかCGとかに関わる数学(初歩)① 今回HIKKYさんのアドベントカレンダーに投稿するにあたって、別の温めてたネタはあったんですが諸事情により封印してしまったので、何か別のテーマにしようと考えました。 で、色々考えたのですが、特に思いつかなかったのでCG数学の初歩的な話をしようかなと思います。実際VKetCloudの中でも基本的な数学は必ず使われてますし。 あと「ゲームメーカーズ」さんの記事でも取り上げていただいた、僕のCEDEC+KYUSHU2023の数学のお話がやたらとウケがよかったため、数学の話で行くことにしました。 で最初に書いておくと、書きたかったことの半分もかけていません。 時間の都合上と、あと数式と頭が多すぎるのか、このドキュメントの編集が何度も落ちるからです。 と言うわけで、今回は概要と三角関数とベクトルの話だけにします。 あとは年末年始休みの間にでも続きを書きま
円安を恐れるべきか
現在、数十年振りの円安です。コロナ禍やロシアの侵略戦争によるエネルギー高もあって物価が上昇していますがこれは本当に恐れるべき事なのでしょうか。 私は以下の文を読んで何故円安なのか、それをどう考えればよいか、よく理解出来たので、クローズドなSNSで4月の投稿ですが、書いた人の承諾を得て公開します。 【転載開始】 2001年6月以降の日米のコアCPI（なお日本のコアコアはアメリカのコアに相当）をグラフにしたものです。灰色の細い線はその差です。いずれも日記で紹介している内容で、日頃からデータを取っていればすぐに作れるグラフです。 アメリカはインフレ、日本はデフレとします（今はそうです。）。 両国ともまっとうな金融政策、つまりインフレになれば金融を引き締め、デフレであれば緩和するという政策をとれば、アメリカは金融を引き締めて金利上昇、日本は金融を緩和して金利低下となります。 そうなると、それまで円
日銀の黒田総裁はアメリカ・ワシントンで開かれた金融関係者らが集まる討論会に出席し、日本の物価上昇は賃金の上昇を伴っておらず一時的なものだとして経済を下支えするため、大規模な金融緩和を続ける姿勢を強調しました。 日銀の黒田総裁は、15日、アメリカ・ワシントンで開かれた国際機関や中央銀行など金融関係者らが集まる討論会にスピーカーとして出席しました。 この中で黒田総裁は「日本では、物価上昇率が2％を超えているが原材料費などのコストの上昇によるもので、来年度の物価上昇率は2％を下回ると予想される」と述べ、今の物価上昇はエネルギー価格の上昇などに伴う一時的なものだという認識を示しました。 また、黒田総裁は、欧米の経済はコロナ禍の前を上回る形で回復しているが日本の経済の水準はそこまで至っていないとしたうえで賃金の上昇といった経済の好循環も生まれていないなどと指摘し、利上げを急ぐ欧米との経済状況の違いを
推薦システムにおいて線形モデルがまだまだ有用な話 | CyberAgent Developers Blog
本記事は、CyberAgent Advent Calendar 2022 19日目の記事です。 目次 はじめに 問題設定 協調フィルタリングのための線形モデル iALS EASE 関連する非線形モデル 実務活用 おわりに はじめに メディア DSC所属の機械学習エンジニアで、タップルの推薦システムを担当している橋爪 (@runnlp)です。 最近、推薦システムを触り始めました。推薦手法は、協調フィルタリング、コンテンツベース、ハイブリッドなど様々ですが、今回は昔から今に至るまで長く使われている協調フィルタリングについてです。 協調フィルタリングではDeep系のモデルがたくさん出る中で、RecSys2022で発表された論文では10年以上前から使用されている線形モデル(iALS)がDeep系のモデルに匹敵する結果であると報告されており興味深いです。また、推薦システムを開発するにあたって、問題設
はじめに 「メルアイコン」と呼ばれる、Melvilleさんの描くアイコンはその独特な作風から大勢から人気を集めています。 上はMelvilleさんのアイコンです。 この方へアイコンの作成を依頼し、それをtwitterアイコンとしている人がとても多いことで知られています。 代表的なメルアイコンの例 （左から順にゆかたゆさん、みなぎさん、しゅんしゅんさんのものです (2020/12/1現在)） 自分もこんな感じのメルアイコンが欲しい！！ということで機械学習でメルアイコン生成器を実装しました！！.......というのが前回の大まかなあらすじです。 今回は別の手法を使って、キャラの画像をメルアイコンに変換するモデルを実装しました。例えばこんな感じで変換できます。 実装したコードはこちら 本記事ではこれに用いた手法を紹介していきます。 GANとは 画像の変換にあたってはUGATITという手法を使って
この記事は私, wataokaが1年間をかけて作り続けた超大作記事です. 総文字数は8万を超えていますので, お好みのところだけでもみていってください. ついにこの時が来ました！！！！！ 1年間書き続けたQiita記事です！！！！！ ご覧下さい！！！！！https://t.co/eKBwP1zoeB — 綿岡 晃輝 (@Wataoka_Koki) December 31, 2020 俺的ランキング 動画での解説も挑戦してみました！ ぜひぜひご覧下さい！ 動画のリンク 第3位: Likelihood-Free Overcomplete ICA and Applications in Causal Discovery wataokaの日本語訳「尤度が必要ない過完備ICAと 因果探索における応用」 - 種類: ICA - 学会: NeurIPS2019 - 日付: 20190904 - URL:
第一位 Focal Loss for Dense Object Detection 物体検知のためのFocal Loss これは不均衡データに対処するための損失関数Focal Lossを提案した論文なのですが, とにかくそのシンプルさにやられました. 画像のFLの式を見てください. たったこれだけです. ptは正解ラベルに対する予測値なのですが, ptが大きければ大きいほど損失値をしっかり抑えられるように設計された関数となっています. 正解ラベルに対して0.6と予測するサンプルを学習に重要視せず, 0.3とか0.1とか予測しちゃうサンプルにしっかりと重要視するのです. 自分も7月くらいまでは不均衡データに関する研究していたのですが, 自分が考えた多くのアイディアが結局Focal Lossの下位互換に帰結してしまうのです. しかもこの損失関数の汎用性は非常に高く, あらゆるタスクに入れること
ホクソエムサポーターの白井です。学生時代は自然言語処理の研究をしていました。 「今年読んだ論文、面白かった５つ」というテーマで、自然言語処理(NLP)の論文を紹介します。 主にACL anthologyに公開されている論文から選んでいます。 はじめに 今年のNLP界隈の概観 1. Text Processing Like Humans Do: Visually Attacking and Shielding NLP Systems 面白いと思った点 2. Errudite: Scalable, Reproducible, and Testable Error Analysis 面白いと思った点 3. Language Models as Knowledge Bases? 面白いと思った点 余談 4. A Structural Probe for Finding Syntax in Word
入国審査
外国に入国する際には入国審査がある．その厳しさは国によって大きな違いがある．私が経験した中で一番いい加減だったのは EU 統合をする前のフランスである．日本のパスポートの表紙を見せればO.K.で中を開いてみることさえなかった．何のスタンプも捺していない．有効期限が切れていようが他人のパスポートだろうが大丈夫だと思ったものだ．すぐ隣のイギリスは概してずっと厳しい．大学やコンファレンスに行くのに招待状を出せと言われたことはよくあるが，一度は数学者だと言ったところ，その証拠を出せと言われたのだった．困ったがちょうど自分の論文を印刷したものを持っていたのでそれでO.K.だった．イギリスはこういう調子なので時間がかかる． アメリカはおそらく一番審査が厳しい国の一つで，いろいろなことをチェックされる．昔，友人で学生ビザを持っている人が学期の合間に短期入国しようとしたことがあった．大学に行くのではないの
背景 はじめまして、JX通信社でインターンをしている原田です。 近年深層学習ではモデルが肥大化する傾向にあります。2020年にopen aiが示したScaling Laws（[2001.08361] Scaling Laws for Neural Language Models） の衝撃は記憶に新しく、MLP-Mixerが示したように、モデルを大きくすればAttention構造やCNNでさえも不必要という説もあります。（[2105.01601] MLP-Mixer: An all-MLP Architecture for Vision） しかし大きな深層学習モデルを利用しようとすると、しばしば以下のような問題に悩まされます。 推論速度が問題でプロダクトに実装不可能 GPU/TPUはコスト上厳しい プロダクトの性質上バッチ処理が不可能（効率的にGPU/TPUが利用できない） 例えばJX通信社
RAGの処理で、リランクとベクトル検索でできることの違いを検証／解説してみる - Taste of Tech Topics
こんにちは。テニスしすぎて日焼けがすごいSsk1029Takashiです。 私は普段、生成AIを活用したRAGソリューションの開発をしているのですが、RAGでは特に検索部分の調整が重要になります。 今回はその検索の中で出てくるリランクに焦点を当てて、ベクトル検索と比較してどのような特徴があるのかというところを、検証を交えて解説していきます。 概要 RAGの検索部分では、よくベクトル検索が利用されます。 理由としては、入力が基本的に質問形式になりキーワードで入力されることが多い通常の検索よりも適している、などいくつか考えられます。 ただし、実際にRAGを試してみるとわかりますが、RAGシステムではベクトル検索だけでは検索精度の面で苦労することも多いです。 そこで解決方法の一つとして考えられているのが、ベクトル検索とリランクとの併用になります。 今回は、なぜRAGはベクトル検索だけだと苦労が多
『代数的整数論』目次
『代數的整數論』高木 貞治 著の現代仮名遣い版高木貞治さんの『代數的整數論』初版を現代語訳しました。 高木さんの出版された書籍は2010年末に著作権が消失しているため、現代語訳は法律的に問題ないと考えています。 著作権について、ブログ：高木貞治プロジェクトを顧みる。 二（三）次利用について、現代語訳の権利について。 推奨環境：PC。（スマホ：Chrome、Firefox。） JavaScript有効。 現在も岩波書店から第2版が出版されています。 底本：『代数的整数論』高(たか)木(ぎ)貞(てい)治(じ)著、岩波書店、1959年刊 $\blacktriangleright$ 評判 代数的整数論 概説および類体論序 前編 概説 第一章 代数的整数 $1.1$ 代数的な数 $1.2$ 有限代数体 $1.3$ 代数的整数 $1.4$ 整除 $1.5$ 単数 第二章 代数体の整数 イデアル $2
楕円同士の接触判定と衝突判定
ググっても出てこなかったので。 2つの楕円が接している（内接 or 外接）かどうか判定する方法についてです。ついでに衝突判定もできます。 衝突判定だけしたい方 以下で説明する方法でも判定自体はできますが、非常に非効率です。悪いことは言いません。GJK法などを使いましょう。凸同士なので簡単にできます。 どうしても接触を判定したい方 心して読み進めてください。 事の発端 まだそんなにバズってないけど宣伝していいらしいので． AI でも普通のプログラマーでもない優秀なプログラマーたる皆さんは，もちろん楕円が接するか判定する方法を知っていますよね？ 私は一昨日実装しました．各位の解法に興味があります．よろしくお願いいたします． — 青い楕円形のぜろ (@0_uda) October 4, 2022 もちろん楕円が接するか判定する方法を知っているので、書くことにしました。 楕円の表現方法 楕円とはい
平塚 徹（京都産業大学 外国語学部） 京都産業大学外国語学部では、英語・ドイツ語・フランス語・スペイン語・イタリア語・ロシア語・中国語・韓国語・インドネシア語を専門的に学ぶことができます。 『葬送のフリーレン』に出てくる人名や地名のほとんどはドイツ語が使われている。ドイツ語は「かっこいい」というイメージがあって多くのアニメで用いられている。しかし、プリキュアの名前は英語やフランス語などが使われているのに対して、ドイツ語は使われておらず、「重厚」なイメージが合わないと考えられていると想像される。それに対して、『葬送のフリーレン』のファンタジーの世界観にはドイツ語は相応しいと考えられたのであろう。ところが、主人公のフリーレンと準主人公のフェルンの名前の音は、プリキュア名によくあるパターンに合致している。プリキュア名の「キュア」に続く語は、両唇音で始まるものが多く、ラ行音が多いが（「プリキュア名
機械学習セキュリティのベストプラクティス – Draft NISTIR 8269: A Taxonomy and Terminology of Adversarial Machine Learning – 論文紹介 概要 「Draft NISTIR 8269: A Taxonomy and Terminology of Adversarial Machine Learning」は、米国のNIST（National Institute of Standards and Technology）が策定を進めている機械学習セキュリティに関するベストプラクティスのドラフトであり、機械学習システムの安全確保を目的として、機械学習にまつわるセキュリティを「攻撃」「防御」「影響」の3つの視点で分類している。 NISTIR8269はブログ執筆時点（2020年7月9日）でドラフト版であるが、「NIST SP8
機械学習初心者がデータ分析コンペサイトProbSpaceで総合ランク１位に到達するまでの道のり - 俺人〜OREGIN〜俺、バカだから人工知能に代わりに頑張ってもらうまでのお話
機械学習について全くの専門外で初心者だった私がコンペサイトProbspaceのRe:不動産取引価格予測コンペで３位入賞、YouTube動画視聴回数予測コンペで９位入賞するなど、累計で金２銀１銅１を獲得することができ、総合ランクで１位に到達することができました。 これまでたどってきた道のりを振り返って、良かった点、悪かった点を見直して、今後の進め方を考えていきたいと思います。 悪戦苦闘、一進一退しながら勧めてきた内容を、思いつくまま記載しているので、お見苦しい箇所もありますが、これから機械学習を始める皆さんや、始めたばかりの皆さんの何らかのキッカケになれれば光栄です。 では、振り返ってまいりたいと思います。 【目次】 1.G検定との出会い（2019年2月〜3月） 2.Pythonの勉強を始める（2019年4月） 3.kaggleのデータセットを使って機械学習に挑戦する（2019年4月〜5月）
いま「新しい数学」が必要だ。助けて数学者!｜shi3z
最初に言っておくが、僕は数学は全く苦手だ。数学が得意な人から見たらかなり的外れなことを言ってるのかもしれないが、僕にとっては切実な悩みなのである。「そんなのは簡単だよ」という人がいたらどうか教えて欲しい。 点がある。 これを0次元と言う。 点が横に並行移動して伸びて線になる。この線は無限大の長さまで伸びることができる。これを一次元という。 任意の長さ1の線が縦に1だけ動く、正方形になる。これを二次元と言う。 正方形を長さ1だけ今度は奥行方向に伸ばす。立方体になる。これを三次元という。 ここまでに「3つの方向」が出てきた。横、縦、奥行。 そのどれでもない四つ目の方向を考える。ただしこれは「時間軸」ではない。自由に行き来できる縦、横、奥行、ではない四つ目の「方向」だ。 立方体をそっち側の方向に動かす。これを超立方体といい、この空間を4次元という。 この長立方体をさらに「べつの方向」に動かす。こ
線形代数をBlenderで、やる｜Melville
「線形代数をBlenderで、やる」とはどういうことでしょう？ とりあえずこの画像を見てください これだけではよくわからないと思いますが、 要するに下の画像と全く同じ計算をやっています 確かに「結果」がBlenderの画像で並んでいる数字と同じになっているBlenderのノードの側にもよく見ると、3,1,4…と、 WolframAlphaの画像と同じ値が並んでいるのが確認できます 左の3つのノードが左の行列を表し、右の3つのノードが右の行列を表しているさて、このBlenderのノードシステム（GeometryNodes）ですが、 本来は3DCGのジオメトリをプロシージャルに生成にするためのもので、 決して線形代数をするための機能ではありません！ しかし、それをうまく悪用すれば使えば、 上のような行列の演算をさせて線形代数遊びができます！ この記事の最後では、これを応用して次のGIFのような
機械学習エンジニア1年目の自分へのおすすめ書籍
はじめに 本記事はBrainPadアドベントカレンダー2021に寄稿しています。 私は現在、株式会社BrainPadで新卒3年目の機械学習エンジニアとして働いています。BrainPadでは福利厚生の一環として、外部の研修や書籍の購入、各種資格の取得に利用できるスキルアップエイドという制度が用意されています。 私はこの制度を主に技術書やビジネス書の購入のために利用しており、機械学習エンジニアとしての能力向上を図っています。本記事では私がこれまでに購入した書籍の中から、機械学習エンジニアとして働く上で参考になったと感じた書籍を振り返っていきます。 機械学習エンジニアの能力とは 現在は多くの企業で、データサイエンティスト、機械学習エンジニア、MLOpsエンジニアといったポジションが作られていると感じます。これらの職種に必要とされる能力は、データの性質や業務への関わり方によって変わると考えられ、一
【ICLR2020採択論文】GANのなめらかさと安定性 - Preferred Networks Research & Development
リサーチャーの南です。機械学習のトップ会議のひとつであるICLR2020に、2019年度PFN夏季インターンのCasey Chuさん、PFN技術顧問の福水健次教授と共同で書いた論文が採択されました。 Casey Chu, Kentaro Minami and Kenji Fukumizu. Smoothness and Stability in GANs. In International Conference on Learning Representations (ICLR), 2020, to appear. 論文リンク 本記事では、上記論文の内容を簡単に紹介します。 背景: GANと安定化技術 周知のとおり、敵対的生成ネットワーク (GAN, [1]) はとても強力な生成モデルです。例えば、GANによって自然な高解像度画像を生成できることが知られています。下記は高解像度画像生成にお
退職時の「有給全消化ブロック」なぜ横行？ 日本企業の悪しき慣習、解決のカギは労働者にも（J-CASTニュース） - Yahoo!ニュース
あなたは年次有給休暇（有給、年休）を全消化して退職したいと思いますか？ J-CASTニュースで読者投票を実施したところ、肯定派が大多数にもかかわらず、退職経験者のうち2割が「社内で圧力」を受けて全消化しなかったとの結果が出た。労働者の権利にもかかわらず、なぜそのような事例が生じてしまうのか。 【画像】投票結果をグラフでみる 問題の背景には、日本の雇用システムが関係しているという。将来はどうあるべきなのか。J-CASTニュースは2023年11月までに、経済学的な観点から慶應義塾大学大学院商学研究科の鶴光太郎教授に詳しい話を聞いた（全2回の後編）。 ■日本は連関の強い「メンバーシップ型」 前編（「有給全消化」、5人に1人が会社から圧力 調査で見えた「退職者泣かせ」の実態）で原因を探るなか、鶴氏は日本の有給消化率の低さと根源は同じとし、手早く消化を進める方法は法律の面から「時季指定権」（労働者が
マンハッタン距離（Taxicab distance）／ユークリッド距離（Euclidean distance）、L1／L2ノルムとは？
マンハッタン距離（Taxicab distance）／ユークリッド距離（Euclidean distance）、L1／L2ノルムとは？：AI・機械学習の用語辞典 用語「マンハッタン距離」「ユークリッド距離」について説明。いずれも2点間の距離を計測する方法のこと。マンハッタン距離とは、碁盤の目状の道を縦に横にとタクシーが進むようにn次元の距離（＝差）の絶対値を合計することで距離を計算する方法。ユークリッド距離とは、n次元の距離（＝差）の二乗値を合計した値の平方根を求める（＝ピタゴラスの定理を適用する）ことで直線的な最短距離を計算する方法を意味する。 連載目次 用語解説 数学／統計学／機械学習におけるマンハッタン距離（Taxicab geometry：タクシー幾何学、Taxicab metric、Manhattan distance）とは、2点間の距離を計測する際に、n次元ベクトルの次元ごとに
こんにちは． watawatavoltageです．この記事では，制御工学関連書籍の世界について書きたいと思います． この記事は，完成した状態で投稿するのではなく，随時更新していくタイプの記事です． 「はじめに」では，なぜこのような記事を書くのか説明します． コメント欄で，紹介してほしい書籍を書いていただけたら，随時反映していきますので，よろしくお願いいたします． #はじめに みなさんはこんな経験ないでしょうか？ この制御の本わからん！！ なんでこの数式こうなんねん！！ 教授が「〇〇制御探せ」って言ってきたけどどこに書いてあんねん！！ あれあの式どこに書いてあったっけ？？ 輪講におすすめの本ないかな？？ プログラムから理解したいな～～ この本買えばいけるかな～ 体系的学びたい などなど尽きないと思います（箇条書きは随時追加します．コメント欄でも受け付けます）． 僕もいつも経験しています． そ
2. Transformer の構造と本研究のまとめ • Transformer は Layer Normalization (LN) の位置で2種に⼤別される 2 Post-LN Pre-LN Residual 後に Layer Norm 本研究の貢献 ・Post-LN と Pre-LN の性能差を実験的に⽰す ・多層 Post-LN の学習が難しい原因を⽰す ・⾼い性能を維持しつつ多層化する⼿法を提案 性能 多層化 Post-LN ○ × Pre-LN × ○ B2T（提案⼿法） ○ ○ × N × N Layer Norm Attention FFN Layer Norm Layer Norm Attention FFN Layer Norm Layer Norm Attention × N × N Attention Layer Norm Layer Norm FFN Layer
明けましておめでとうございます。新年一発目は偏ったビューを開陳する代わりに、グローバルの機関投資家大手が公表している2023年のアウトルックの取りまとめた。ゴールドマンなどのウォール街のセルサイドのレポートもリンクが出回っているが、そちらより優先度が高くしたのは、バイサイドの方が当たるからということでは全くないが、セルのレポートがどちらかというと投資家にリスクとポジションの点検を促すものであるのに対し、バイは戦略に共感してもらってお金を集めるのを目的としており、個人投資家から見てもバイサイドの方が多少なりとも相性がよいと思われるためである。「じゃお前がそのポジションを張ってみろ」という話になるので極論も排除されている。 ブラックロックの大局観から始めよう。過去40年間の大安定期（Great Moderation）が終わり、今後の新レジームでは先進国は①高齢化に伴う人手不足②地政学的な緊張③
前回の続き。将棋AIで最初に大規模機械学習に成功させたBonanzaの開発者である保木さんのインタビューがちょうどYahoo!ニュースのトップ記事として掲載されたところなので、今回はBonanzaの機械学習について数学的な観点から解説してみたいと思います。 Bonanzaの保木さんのインタビュー記事 プロ棋士に迫ったAI「Bonanza」 保木邦仁「将棋を知らないから作れた」 https://news.yahoo.co.jp/feature/1712 BonanzaのGPW発表スライド とは言え、Bonanzaで使われている機械学習の技法は、いまどきの機械学習とは少し毛色が異なるので心の準備が必要です。 まず、保木さんのGPW(ゲームプログラミングワークショップ)での発表スライド、以前はBonanzaの公式サイトからダウンロードできたのですが、Bonanzaの公式サイトがジオシティーズにあ
パンケーキを食べる回数、歯磨き粉の購入回数、本の貸し出し回数は、それぞれ独立した行為です。それぞれお腹が空いた時に好みの食事をとり、それぞれ必要な時に歯磨き粉を買い、それぞれ必要な時に図書館に行き好みの本を借ります。これらは、それぞれのカテゴリーに対する消費者のプレファレンス自体の違い（消費頻度や購入回数などの見た目の違い）はありますが、プレファレンスに基づいてそれぞれのカテゴリーの構造が形成されるという全く同じ規則に従っています。プレファレンス（Preference）とは、消費者のブランドに対する相対的な好意度、選好性を指しています。バイロン・シャープ氏の言う「人気度」とは「他ブランドと比べてどれぐらい好きか＝人気があるか」と解釈しても良さそうです。 森岡さんは「我々が奪い合っているのは消費者のプレファレンスそのもの」「プレファレンスによって購入回数も支配されている」と断言しています。そ
はじめに 特異値分解 特異値分解と最適化問題 リーマン多様体上での特異値分解 $\mathrm{St}(p,m)\times\mathrm{St}(p,n)$ 上の最適化 接空間 レトラクション $R_{(U,V)}$ 勾配 $\mathrm{grad} F(U,V)$ リーマン多様体上での共役勾配法 Pymanopt による求解 モジュールのインポート 解くべき最適化問題の定義 最適化手法の定義 出力内容 おわりに 参考文献 おまけ はじめに 以前（2019 年 11 月）に「リーマン多様体上の最適化の初歩と Pymanopt による数値実験」 という記事を投稿した． mirucacule.hatenablog.com 記事内で用いた最適化 Toolbox である Pymanopt のバージョンアップに伴い，実行方法に変更が生じたため改めて書き直そうと思ったのが本記事を執筆するに至った経
メンタルアベイラビリティについては、自分の頭の中に無数の引き出しがあるタンスが構築されている、と考えると良いでしょう。 私の場合、「お肉をサクッと食べたい」引き出しには「焼肉ライク」が一番手前に格納されています。「お肉を腹一杯食べたい」引き出しには「焼肉きんぐ」が、「良いお肉を少しずつ食べて多幸感に包まれたい」引き出しには「叙々苑」が一番手前に格納されています。 引き出しに付けられたネームを、ブランディングの科学ではブランドとつながっている道の入り口として「カテゴリーエントリーポイント」（CEP）と紹介しています。 消費者は、よほどの中毒でも無い限り、すぐさまブランドを思い浮かべるわけではありません。CEPを介してブランドを想起します。すなわち、より多くの引き出しに自社ブランドがなるべく手前に（第一想起されるよう）格納されることが重要です。 いわゆる「引き出し理論」自体は、某マーケターの方
コミュニティ抽出とは簡単に言えばグラフにおけるノードのクラスタリング手法です。具体的なアルゴリズムとしてはGirvan–Newman法をはじめ様々なアルゴリズムが存在しますが、この記事では去年（2019年）提案された新しい手法について解説したいと思います[1]。 [1907.03993] Community Detection on Networks with Ricci Flow 話の元になっているのはこちらの論文で、グラフをリッチフローによって変形し、伸びたエッジを切断していくことでクラスタを求めるというアルゴリズムです。リッチフローという聞き慣れない言葉が出てきましたが、ちゃんと後で説明するので気にせず進めましょう。 まずは実際にグラフのクラスタリングを行う様子をアニメーションで見てみてください。 アルゴリズム自体はそれほど難しくありませんが、背景を含めて理解するためには2つの理論
投資家IPランドスケープ・スタートアップ支援IPランドスケープ・大学支援用に改良中 更新中）tfidf etc embeddings cluster reconstructing vis: 特許など長文の、動的な文章間類似俯瞰図可視化・迅速閲覧・解析・探索手段。および第三の特許検索手法、動的な知識抽出管理手法、特許自動生成 （類似度ベクトルと小規模言語モデル及びChatGPTを用いた空白領域における特許生成追加） - Qiita
投資家IPランドスケープ・スタートアップ支援IPランドスケープ・大学支援用に改良中 更新中）tfidf etc embeddings cluster reconstructing vis: 特許など長文の、動的な文章間類似俯瞰図可視化・迅速閲覧・解析・探索手段。および第三の特許検索手法、動的な知識抽出管理手法、特許自動生成 （類似度ベクトルと小規模言語モデル及びChatGPTを用いた空白領域における特許生成追加）自然言語処理NLP可視化Visualization特許 ジョブスの述べる知性 1982 https://m.youtube.com/watch?si=lzbF1DfhLzeRzI4V&v=ymbD_a-G1IQ&feature=youtu.be 「 多様な経験と創造性：未来のために考えるべきこと 知性と視点 講演者は、知性とは「ズームアウト」して全体像を見る能力であり、細部に囚われ
ニューラルネットワークはあらかじめ設計されたネットワーク構造に従ってデータが入力から出力に向かって計算されながら伝搬していく。多くの問題では、事前知識を使って構造を設計することで性能を上げることができる。 例えば、畳み込みニューラルネットワーク（CNN）は、画像は近い位置にある情報が関係があるという事前知識を使って、近い位置にあるニューロン間のみをつなぐことでパラメータ数を減らし、特定のモデルが学習されやすいようにして汎化性能を上げている。 このような事前知識は帰納バイアスとも呼ばれ、学習が成功するかの重要な要素である。しかし、データの流れ方は学習によって決定し、データに合わせて変わることが望ましい。 自己注意（Self-Attention）機構1-2）は、データの流れ方自体を学習し決定するような方法である。もともとRNN向けに提案されたが、CNNなど他のニューラルネットワークにも利用され
C++ のパッケージマネージャーの選択メモ( conan vs. vcpkg vs. Hunter on Windows and Ubuntu ): C++ 実装がサブプロジェクトとして内包されるクロスプラットフォームアプリのリポジトリーの場合 - C++ ときどき ごはん、わりとてぃーぶれいく☆
タイトルが少しややこしいので最初に整理します。 このメモは: C++ のパッケージマネージャーの選択のはなし ただし: アプリはクロスプラットフォーム ( このメモでの具体例は Windows-10 & Ubuntu-19.04 ) アプリ全体(=このメモでは「ソリューション」とします)はいくつかの構成部品(=このメモでは「プロジェクト」とします)に分けて作られる プロジェクトの1つ以上に C++ を採用したい そのプロジェクト単位で C++ のライブラリーを管理できるパッケージマネージャーを導入したい → どうするのが楽そうかな のメモです。 選択肢と大雑把な検討 conan https://conan.io/ クロスプラットフォーム対応の C++ のパッケージマネージャーが欲しいの悩みに答えてくれる定番。 CMake でごにょごにょする vcpkg https://github.com
――新型コロナの感染拡大で、EU加盟国の中でも入国制限が導入されました。EUの理念に反するのではないですか。 3つのことが言えます。まず感染症を含む公衆衛生はEUでなく加盟国のコンペテンス（権限）。EUにできることは限られています。 EUはその範囲で、域内市場や移動の自由への制限をできる限り少なく、例外的なものにとどめようと努力していますが、危機の時に国家主権が前面に出てしまうのは想定されていることです。 ただ、そうは言っても、加盟国レベルの単独行動が目立ち、ひどかったよねというのが2点目。当初はマスクや医療機器の輸出を規制するなどして、ドイツが他の国を助ける姿勢をまったく見せなかった。その後少しずつ修正し、患者をイタリアから引き受ける形でソリダリティー（連帯）を示すようになりました。3点目は、医療の連帯も大事だけれど、本丸は（統一通貨の）ユーロだということです。 欧州中央銀行本部＝和気真
BitNet&BitNet b158の実装①｜はち
はじめに先週発表された論文『The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits』は多くの人に衝撃を与えたと思います。 それまで量子化とは、有り体に言えば性能を犠牲にメモリ等のコストを抑える手法でした。しかし、BitNet b158(*)では量子化手法としては初めてオリジナルを超える性能を出す可能性を魅せてくれました。 * Githubにある実装名から。以後この記事では名前で元のBitNetとは区別したいと思います。 そんなBitNetとBitNet b158ですが、論文の著者たちからは正式な実験コードが公開されていません。なので、有志の方々が論文を眺めながらあれこれ実装していているのが現状です。 そして、今の所論文の内容を完全に再現できているものはない気がします。（弱々エンジニアの私の理解不足な可能性も大いにあ
3つの要点 ✔️ ユークリッド距離や角度距離など特徴量間の関係性を事前に定める必要がない新しいアルゴリズム「BioMetricNet」を提案 ✔️ 代わりに、マッチングと非マッチングが事前に定められたそれぞれの分布に従うよう学習 ✔️ 顔認識で高精度を達成している手法（CosFace、ArcFace、SphereFace）と比べて、一貫して高い精度を報告 The Effect of Wearing a Mask on Face Recognition Performance: an Exploratory Study written by Arslan Ali, Matteo Testa, Tiziano Bianchi, Enrico Magli (Submitted on 13 Aug 2020) Comments: Accepted at ECCV2020 Subjects: Com
ニューラルネットワークのPruningの最新動向について - Ridge-institute R&D Blog
こんにちは．株式会社Ridge-iの@zawatsky_rと@machinery81です． 本記事ではPruningと呼ばれるニューラルネットワークの軽量化手法を紹介します． TL;DR Pruningとは？ Pruning手法の概要 手法の違いのポイント Structure Scoring Scheduling Fine-Tuning Pruningに関する論文の紹介 Unstructured Pruning Structured Pruning 自動モデル圧縮 Amc: AutoML for Model Compressionとその亜種 AutoPruner The Lottery Ticket Hypothesis メタ研究 To Prune, or Not to Prune: Exploring the Efficacy of Pruning for Model Compressi
はじめに どうも. terasaki です. 機械学習の PoC を黙々やっています. テックブログを書く当番がやってきました. どうしよっかな? 何かこうかな？ 行っている業務や扱っているデータの性質上, やってることをなかなか社外にオープンに出せないし 面白いこと書きたいよね？ 面白いってなんだろう？ 白い犬は尻尾も白いはずだから面白いよね! と考えてるうちに社内で書いた下書きがいっぱいできてしまったのでそろそろ真面目に書くとします. 今回のトピックは FractalDB と呼ばれる幾何学模様の人工データを生成するロジックを Julia で書いたというお話です. 結果として既存のコードよりも高速に生成できたよって話です. 何を作ったの？ IFS (反復関数系, Iterated Function System) による人工データを作っていました. 下記のようなフラクタル画像を生成するプ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
クォータニオンとは何ぞや？：基礎線形代数講座 - SEGA TECH Blog
30分で完全理解するTransformerの世界
ゲーム作りとかCGとかに関わる数学(初歩)① - Qiita
日銀 黒田総裁 “物価上昇は一時的 賃金上昇へ金融緩和継続” | NHK
メルアイコン変換器を作った話 - Qiita
【動画解説】2020年に読んだAI論文100本全部解説(俺的ベスト3付き) - Qiita
2019年、俺の読んだ論文50本全部解説(俺的ベスト3付き) - Qiita
今年読んだNLP系論文で面白かった5つ - 株式会社ホクソエムのブログ
BERTの推論速度を最大10倍にしてデプロイした話とそのTips - JX通信社エンジニアブログ
『葬送のフリーレン』のドイツ語
機械学習セキュリティのベストプラクティス – Draft NISTIR 8269: A Taxonomy and Terminology of Adversarial Machine Learning –
制御工学関連書籍の世界 - Qiita
Transformerを多層にする際の勾配消失問題と解決法について
グローバル大手機関投資家の2023年マクロ見通し : 炭鉱のカナリア、炭鉱の龍
機械学習エンジニアのための将棋AI開発入門その2 | やねうら王 公式サイト
マーケター必読「ブランディングの科学」の基礎を約10000文字でまとめました｜松本健太郎
リーマン多様体上の最適化―特異値分解の例を通して― - 冷めたコーヒー
定性的に発見した「買う理由」をブランディングの科学「独自指標」で定量的に評価する｜松本健太郎
グラフからコミュニティ構造を抽出する 〜リッチフローによるグラフの時間発展〜
《日経Robo》自己注意機構：Self-Attention、画像生成や機械翻訳など多くの問題で最高精度
【遠藤乾】支援を渋る豊かな国、募るイタリアの恨み EUの機能不全を避ける道は：朝日新聞GLOBE＋
顔特徴量の関係性を規定しない新しい顔認識アルゴリズム「BioMetricNet」とは？
FractalDB を作ってみよう(理論編) - ANDPAD Tech Blog