3Dモデルの配信サーバーでRustとZstandardを採用して数倍のパフォーマンス向上を実現した - pixiv inside
はじめに こんにちは、VRoid部所属のエンジニアのyueです。 この度VRoid Hubで3Dモデルの配信サーバーの見直しを行い、技術選定から始めRustとZstandard (zstd)を採用した実装に切り替えました。 結論から見るに従来のNode.js製サーバーと比べて以下のことを実現しました。 最大のレスポンス時間が 1.5 ~ 2.5s から 300 ~ 400msまで低下 平均のレスポンス時間が 700 ~ 800ms から 150 ~ 200msまで低下 サーバーのCPU使用率が ~ 50% から ~ 10%まで低下 docker image のサイズが ~ 346mb から ~ 21mb程度まで削減 配信されるファイルサイズが平均 10 ~ 20% 軽量化されました レスポンス時間 CPU使用量 (上からAVG(MAX), AVG, AVG(MIN)) メモリー使用量に関し
この記事はデータベース・システム系 Advent Calendar 2023の3日目の記事である。昨日の記事も僕でした。 間接参照を巨大仮想メモリで飲み込む メインメモリはハードディスクやSSDより容量が小さく、この問題は当面は解決の目処が立たない。 そもそも今のDRAMより速くて安くて大きいストレージが仮に発明されてもそれがDRAMに取って代わるメインメモリの立ち位置になるだけであってその下のレイヤーには依然としてそのメインメモリより安くて大きなストレージが置かれる事になる。大局的な観点ではストレージの階層構造とは経済活動の鏡像でもある。 バッファプール さて、耳にタコができるほど繰り返しているが現代のデータベースはディスクなどの永続ストレージにデータの本尊が保存され、メインメモリはそれに対する読み書きを高速化するためのデータ一時置き場としての役割を担当している。 代表的なRDBMSは3
深層学習の技術が著しく進歩した結果、コンピュータビジョンや自然言語処理、音声信号処理などの分野では深層学習モデルの性能が古典的な手法のを大きく上回っており、すでにスタンダードなアプローチになっています。 しかし、テーブルデータを扱うタスクにおいては、深層学習の有効性は明らかになっていません。本記事ではテーブルデータにおける従来手法と深層学習の比較論文のご紹介をしていきます。 背景近年、テーブルデータを扱う深層学習モデルも登場し、一部の論文では決定木ベースのモデルと同等かそれ以上の性能を示しています。しかし、私が実務で試す中では決定木ベースのモデルの方が性能が高く、学習と推論が速く運用コストでも優れているため、深層学習モデル採用には至っていません。 より一般的なテーブルデータのタスクにおける、決定木ベースモデルと深層学習モデルとの性能比較の文献を調べたところ、NeurIPS 2022で発表さ
セキュリティで保護されていないネットワークと通じてコンピューターに安全にコマンドを送信する「Secure Shell(SSH)」プロトコルにおいてハンドシェイクプロセス中にシーケンス番号を操作してSSHプロトコルの整合性を破る「Terrapin Attack」という攻撃が発見されました。この操作で、攻撃者は通信チャネルを通じて交換されるメッセージを削除あるいは変更できるようになり、さまざまな攻撃が可能になります。 Terrapin Attack https://terrapin-attack.com/ Terrapin Attack: Breaking SSH Channel Integrity By Sequence Number Manipulation (PDFファイル)https://terrapin-attack.com/TerrapinAttack.pdf Terrapin a
Googleの検索ランキングアルゴリズムに関する2500ページ超の内部文書「Google API Content Warehouse」がリークされました。この内部文書についてコメントを拒否していたGoogleですが、ついにこれが本物であることを認めました。 Google confirms the leaked Search documents are real - The Verge https://www.theverge.com/2024/5/29/24167407/google-search-algorithm-documents-leak-confirmation 世界最大級の検索エンジンであるGoogle検索を運用するGoogleの、検索アルゴリズムに関する2500ページ超の内部文書「Google API Content Warehouse」がリークされました。この内部文書により
こんにちは！アルダグラムでエンジニアをしている@sohichiroです。 本記事は株式会社アルダグラム Advent calendar 2023 13日目の記事です。 前日は、@kageyama さんによる、SQLインジェクションの話でした。 セキュリティはいつも万全にしておく必要があるので、大変ためになる記事でした。 さて、隠れ関西民として関東地方に生息している私にとっては、翔んで埼玉〜琵琶湖より愛をこめて〜は、いろいろ込み上げてくるものがありました。確かに兵庫県は神戸と芦屋だけが飛び抜けて都会指数が高いですよ😂（私、兵庫県の田舎の方出身）。関西弁を勉強したいなら、格好の教材だと思いました。 else ifが複数回出てくることのつらみ さて、else ifです。 else if。プログラマーであれば、一度は書いたことあると思います。 言語によっては、elsif（Ruby）、elif（P
memcached proxyで使うハッシュアルゴリズムを比較した話 - Mirrativ Tech Blog
memcached proxyのハッシュアルゴリズム比較 はじめまして！hibikiです(@add_bakkers) 現在大学3年生で、最近はネットワークに興味があり勉強中です。2023年8月からインフラチームにインターンとして参加しました。 本記事ではmemcached proxyのハッシュアルゴリズム比較の結果を紹介します。 memcached proxyのハッシュアルゴリズム比較 1. 背景と目的 ミラティブでのmemcachedの利用 課題: クライアントサイドでサーバ決定をしている memcached proxyの検討 2. memcached proxyに求められるアルゴリズム キーの分散 移動率の抑制 パフォーマンス ハッシュアルゴリズムの比較 3. 今回行うベンチマークの概要 計測対象とシナリオ 分散と移動率のベンチ 処理性能のベンチ 4. ベンチマークの結果と比較 移動率
自身の研究のためにLLMに関する論文を表形式でまとめています。 このレポジトリでは特にさまざまな分野の論文を表にする(Comprehensive)ことを目的としています。具体的には以下のキーワードに注目しています。 CoT / VLM / Quantization / Grounding / Text2IMG&VID / Prompt / Reasoning / Robot / Agent / Planning / RL / Feedback / InContextLearning / InstructionTuning / PEFT / RLHF / RAG / Embodied / VQA / Hallucination / Diffusion / Scaling / ContextWindow / WorldModel / Memory / ZeroShot / RoPE / Spe
最適化超入門
この「最適化超入門」は、『最適化したい！』と思った時に、最初に参考になりそうなものをつらつらと語りました。
上記のうちRingBuffer0,1,2,3の実装をしました。 RingBuffer0,1は特に実装の違いはありません。 RingBuffer2はマルチスレッド化のためProducerとConsumerの構造体を追加しています。 RingBuffer3はアライン調整のために_paddingフィールドを追加しました。 MultiThreadはもとのコードはcpuset(0,1)決め打ちだったので、それに合わせたものとcore idが違う(0,2)も実施しました。 実行結果 リファレンス(AMD Ryzen 7735HS) リファレンスとなるkumagiさんのコードをg++ -O2でビルドしました。 RingBuffer0_single: 1000000000 ops in 939 ms 1064962.726 ops/ms RingBuffer1_single: 1000000000 ops
【JS体操】JavaScript で頭の体操をしよう！〜第一問 44文字 解説編〜 - KAYAC engineers' blog
こんにちは！カヤック面白プロデュース事業部のおばらです。 普段は受託案件、特にインタラクティブな WebGL や Canvas2D を駆使する案件のデザイン＆実装を担当しています。 先日出題したJS体操 第一問目、挑戦してくださったみなさまありがとうございました！ 早速ですが最短文字数の回答は 44文字 でした！ export default x=>x-(x%=.2)+.2-(.04-x*x)**.5 みごと44文字を達成した方は、 halwhite さん koyama41 さん sugyan さん tkihira さん たつけん さん の5名！（※ Unicode コードポイント順） おめでとうございます！！ 最短文字数を狙った正統派の回答以外にも、裏技的な面白アプローチがたくさんありました笑 このアプローチは面白い、ぜひ紹介したい！という回答がいくつかあったので、解説記事は2回に分けて
GPSが1.5秒刻みで時刻をカウントする理由 | コラム | GPS/GNSSチップ&モジュール | フルノ製品情報
江戸時代の日本では、日の出と日の入りを境に１日を昼夜に分かち、昼と夜をそれぞれ６等分して「一刻」を定めていました。これは不定時法と呼ばれ、夏と冬では一刻の長さが最大50分も違っていました。時計が広く行き渡ってはおらず、暮らしのサイクルに刻時を合わせる、当時ならではの作法だったかもしれません。さて今回は、GPSに存在する、独自の時間のカウントの作法を話題にしたいと思います。 週番号ロールオーバーという「ほころび」の理由は GNSS衛星が送信する航法メッセージには測位演算に必要な情報がすべて含まれています。中でも時刻情報はとりわけ重要度の高い情報です。 先のコラムで、最初のGNSSであるGPSを例に、航法メッセージの構造についてご紹介しました。限られたbit数に必要な情報をみっちりと詰め込まれながらも基本的には問題なく機能していますが、20年に一度ぐらい「ほころび」が顔を出すこともあります。み
Raftとは？ 仕組みから考える得意なこと苦手なこと/What is Raft? Strengths and Weaknesses Based on Its Mechanism
-- 追記-- > termの説明で「今のリーダーが何代目のリーダーかを表す」と書かれていますが、あるterm内でリーダーが1人も選出されないことがあるので、termで何代目のリーダーかは表せなくないですか？ https://x.com/11Takanori/status/1801212885873602681 termは必ずしもリーダーを示すものではなく、また票割れや投票前の段階ではリーダーを指すとは限りません。 Raftの論文では > Terms are numbered with consecutive integers. といっており、リーダーかどうかは問いません > log indexは単にlog entriesの中の当該logの位置を示すものなので、「今のリーダー」に言及しないほうが良さそう https://x.com/komamitsu_tw/status/180125035
スパム防止などのためのレート制限を行うアルゴリズムは多数存在しています。さまざまなアルゴリズムの特徴をアニメーションでわかりやすくまとめたブログ記事をChatGPT関連のサービスsmudge.aiが開発ブログにて公開しました。 rate limiter – smudge.ai blog https://smudge.ai/blog/ratelimit-algorithms 配信のチャット欄にスパムが出現するという状況において、レート制限がない場合にはスパマーは短時間のうちに多数の投稿を行ってチャット欄を一人で埋め尽くしてしまいます。 左上の「Enable rate limiting」にチェックを入れるとレート制限を加えた場合の挙動が確認できます。レート制限が加わったことで、スパマーの投稿のほとんどをブロックしてチャット欄に与える影響を下げることができました。このとき、状況に応じて適切なアル
2023年8月7日JavaScript,Vue,Undo,デザインパターンリッチなアプリを開発していると、Undo（元に戻す） 機能を自分で実装する必要が出てきます。canvas を使った図形の描画などはブラウザデフォルトの Undo 機能が使えず、自分で実装しなければならない代表例です。Undo の実装にはパターンがあり、それを理解することで様々なアプリへの Undo の実装がしやすくなります。 この記事では、JavaScript による簡単なデザインツールのデモを通して、Undo の実装パターンと、具体的な実装例を解説します。 Undo の実装パターン #Undo の頻出実装パターンは、操作をデータで表現することです。ユーザーの各操作をデータで表し、それを打ち消す操作（逆操作）を保存します。Undo を行うときは逆操作を取り出し、それを実行します。 デザインツールに Undo を実装
ベクトル検索（Vector Search）とは？ キーワード検索との違い：AI・機械学習の用語辞典 用語「ベクトル検索」について説明。テキストなどのデータを数値ベクトル（埋め込み）として表現し、それらのベクトル間の類似度を計算することで、関連する情報を見つけ出す検索方法を指す。Azure OpenAI Serviceの独自データ追加機能で利用可能な「キーワード検索」「ベクトル検索」「ハイブリッド検索」「セマンティック検索」という検索手法の違いについても言及する。 連載目次 用語解説 AI／機械学習／自然言語処理におけるベクトル検索（Vector Search：ベクター検索）とは、テキストや画像などのデータを数値ベクトルとして表現し、それらのベクトル間の類似度（主にコサイン類似度）を計算することで、関連する情報を見つけ出す検索方法のこと、またその方法による検索のことである。なお、数値ベクトル
『最適輸送の理論とアルゴリズム』が重版して第 5 刷となりました。皆さまありがとうございます！ 漫画家さんやイラストレーターさんが重版したときに重版感謝の描き下ろしイラストを投稿しているのを見ていいなと思ったので、僕も専門書が重版したときに重版感謝の書き下ろし専門記事を投稿します。 本稿では、最近話題の拡散モデルと最適輸送の関係を直観的に解説します。 拡散モデルは画像の生成によく用いられる生成モデルです。モデルはノイズ入りの画像を受け取り、ノイズを除去することを目指します。生成時には、完全なノイズ画像からはじめて、モデルによりノイズを除去することと、微小なノイズを加えることを繰り返して洗練させていき、自然画像を得ます。 拡散モデルの動作の図示 このように、ノイズ から自然画像 までゆらぎながら変化する過程をブラウン橋 (Brownian bridge) と言います。ブラウン運動 (Brow
【特別取材】「ストリーミングで日本の音楽市場はまだ伸びる」日本上陸したBelieveシルヴァン・ドランジェ氏が語る | Musicman
世界の音楽市場でDXを進めてきたBelieveが日本に上陸した。TuneCoreの親会社でもあるBelieveはフランスに本社を置き、パリのユーロネクストに上場している世界有数のデジタル音楽企業だ。年間1400億円 (8億8000万ユーロ) 以上の売上を持ち、国によっては世界的なメジャー企業に比肩、あるいはそれ以上の売上シェアを達成している。 アジア太平洋地域を統括するシルヴァン・ドランジェ氏にインタビューしたが、今や同社はアーティスト育成とデジタル・マーケティングの専門家へと変貌を遂げ、音楽産業の成長に欠かせない存在になりつつあるのが見えてきた。 （インタビュアー：Musicman編集長 榎本幹朗 取材日：2024年3月13日） シルヴァン・ドランジェ（Sylvain Delange） Believeアジア太平洋地区社長。フランス生まれ。2013年初めにBelieveに入社して以来、アジ
共立出版さまより『Human-in-the-Loop 機械学習』をご恵贈いただきました。一通り読み終えたので感想を共有します。 映り込みが激しくて写真を撮るのが難しいことで有名な表紙 本書は機械学習モデルを訓練するためのデータを人間がどのように用意するかという問題を扱っています。本書の前半では能動学習というラベル付けデータの選び方の技法が、本書の後半では人間が付けたラベルの管理方法やラベル付けのための適切なインターフェースが紹介されています。 機械学習におけるデータをいかに作るかということは私自身とても注目している領域です。『Active Learning from the Web（能動学習を使ってウェブから機械学習データを収集する）』という論文を書いたこともありますし、PDF 翻訳サービスの Readable では能動学習に基づいたアノテーションを実際に行っています。そのため本書は非常に
この記事は、世界的なベストセラーとなった『21世紀の資本』の著者で、フランスの経済学者であるトマ・ピケティによる連載「新しい“眼”で世界を見よう」の最新回です。 最初にはっきり言っておきたい。フランスの日刊紙「ル・モンド」が掲載した見事な調査報道の記事によって、フランスの福祉機関「家族手当金庫（CAF）」の手当受給者数千人が、無節操で理不尽極まりない手続きの対象にされていたことが白日のもとにさらされた。 これはフランスに限らず、欧州や世界の社会保障や公共サービスの未来が根本的な問題に直面していることを示している。ル・モンド紙の記者たちは、隠蔽されていた数千行のプログラミングのコードを調べあげただけではない。 生計が不安定な人たちやひとり親たちに会い、手当の過払いがあったと不当に疑われて追い回された話にも耳を傾けた。記事が示したのは、闇雲にアルゴリズムを使って調査することが、日々の生活に悲劇
JWTの検証プログラムに対する有名な攻撃手法にalg=none攻撃があります。JWTのalgクレーム（署名アルゴリズム）としてnone（署名なし）を指定することにより、署名を回避して、JWTのクレームを改ざんする手法ですが、手法の解説は多いもの、脆弱なスクリプトのサンプルが少ないような気がしています。そこで、node.js用の著名なJWTライブラリであるjsonwebtokenを使った簡単なサンプルにより、alg=none攻撃の解説を試みます。 なお、jsonwebtokenの最新版では今回紹介した攻撃方法は対策されているため、以下のサンプルでは古いjsonwebtokenを使っています。 alg=none攻撃とは よく知られているように、JWTは以下のように3つのパートからなり、それぞれのパートはBase64URLエンコードされています。ヘッダとペイロードはエンコード前はJSON形式です
Social Network を活用するには自分の興味にあったアカウントをフォローすることが大事です．そのために重要な役割を果たすのが「おすすめユーザ推薦 (friend recommendation)」です．
前回は「直方体同士の衝突判定」として、前回は「AABB」(axis-aligned bounding box)と「OBB」(Oriented Bounding Box)という2つの手法を紹介しました。 今回は「簡易的だけど直方体よりはだいぶ正確」な衝突判定手法を紹介してみようと思います。ここで取り上げる手法は、最近の市販ゲームでもよく使われているので、興味深い話題かと思います！ 漫画やアニメなどの表現手法に「デフォルメ」があります。デフォルメにはさまざまな手法が存在しますが、そのひとつに実在するモノの特徴を残して形状を簡略化するというアプローチがあります。 突然ですが、今から著作権に触れない程度に「ドラえもん」をデフォルメして表現することに挑戦してみましょう。まず、大きい「○」を頭部として上に配置します。続いて小さい「○」を胴体として下に配置して、“逆”雪だるま形状を描いてみます。この頭部
驚くほどキレイな三次元シーン復元、「3D Gaussian Splatting」を徹底的に解説する - Qiita
はじめに 最近、3D業界で大きな衝撃を与えた「3D Gaussian Splatting」1について、ご存知でしょうか？数少ない写真から、目を奪われるほど美しい三次元シーンを再構成できるデモを見て私も大感動しました。なぜこんなに美しいのか、どんな技術で実現したのか、興味が湧いています！ "普通の3D物体ではなく、カメラの移動に合わせて、水面に映る景色も正確に表現しています。これはなかなか凄い..." 私も時間をかけて論文や公開されたコード2を勉強しました。本家の実装はCUDA化されており、難解な部分が多く、論文に書かれていないこともあります。そのため、「3D Gaussian Splatting」を勉強したい人にむけ、わかりやすい解説記事を書こうと思いました。単に概念や考え方だけでなく、ゼロから再実装できるように、すべてのロジックを数式として整理し、徹底的に解説しようと思います。 「3D
ツイッターからXへ...もはや悲しい抜け殻に...イーロン・マスクのせいで「劣化」したこれだけの機能や要素
マスク率いるXは投稿の監視も広告も、ニュース提供も問題だらけ PHOTO ILLUSTRATION BY YUKAKO NUMAZAWAｰNEWSWEEK JAPAN; SOURCE IMAGES: NATHAN LAINEｰBLOOMBERG/GETTY IMAGES (MUSK), SHAUNL/ISTOCK (CLOUD), ILLUSTRATION BY DUNCAN1890/ISTOCK (BIRD) ＜衝撃の巨額買収、突然の名称変更──謎と混乱だらけの1年間に起きた劣化現象（といくつかのプラス面）を検証＞ 本人が望んだ結果ではなかった。それでも2022年10月28日、イーロン・マスクのツイッター買収は完了した。 この世界一、二を争う富豪が買収を提案したのは昨年春。約440億ドルで入札に成功したものの、数週間後には重大な間違いを犯したことに気付き、どうにかして買収合意を撤回
Studio Ousiaと理化学研究所に所属している山田育矢です。 この記事では、大規模言語モデル（LLM）の性能を向上させる新しい方法であるLEIA（Lightweight Entity-based Inter-language Adaptation）を紹介します。 LLMは言語によって性能に顕著な差があり、訓練に使われるテキストが最も多い英語において特に性能が高い傾向があることが知られています。LEIAは、LLMが蓄えている英語の知識を他の言語から使えるようにする訓練を施すことで、英語以外の言語でのLLMの性能を向上させる新しい手法です。 この度、英語・日本語の2言語LLMであるSwallowの7Bと13Bのモデルに対してLEIAによる訓練を施して性能向上を行ったモデルを公開します。 ライセンスは、Swallowと同様のLlama 2 Community Licenseです。これらのモ
以前より不完全情報のボードゲームで強化学習のアルゴリズムを試したいと思ってる。 簡単すぎるゲームやマイナーなゲームでは、開発のモチベーションが続かない気がするので、日本で人気のある麻雀AIを開発したいと考えている。 麻雀は、「Lucky J」や「Suphx 」で強化学習が試されており、人間の高段者くらいの強さになっている。 それらのAIで使われている手法を自分で実装してみて理解したいと思っている。 また、MuZeroのようなモデルベースの手法を麻雀AIで試してみたいと思っている。 Pythonライブラリ まず、Pythonで使える麻雀ライブラリを探したが、点数計算用のライブラリが見つかったが、1局通して対局できるライブラリが見つからなかったので、自分で作ることにした。 Python以外の言語向けのオープンソースのライブラリでは、対局までできるものが見つかったので、参考にして実装した。 以下
米Google傘下のGoogle DeepMindは12月14日（現地時間）、LLM（大規模言語モデル）とLLMによる幻覚（ハルシネーション）を防止する“評価器”を組み合わせた新たなシステム「FunSearch」を発表した。長年解決不可能な数学問題とされてきた「Cap set問題」を解き、実社会でも役立つ「ビンパッキング問題」のための効果的なアルゴリズムを発見したという。 FunSearch（funは「楽しい」ではなく、「関数」に由来する）は、GoogleのLLM「PaLM 2」をコンピュータコードで微調整したバージョンの「Codey」を使っている。LLMは不正確な情報を幻覚させることが分かっているため、LLMの出力から不正確だったり無意味だったりする部分を拒否する“評価器”アルゴリズムを組み合わせているという。 FunSearchはLLMと評価器による出力と評価を反復させていくことで、自
「アルゴリズム」という言葉の由来は？
アルゴリズムという言葉はGoogle検索やSNSでの分析や、特定のタスクを実行して処理するプログラム、人工知能の開発などで私たちの生活に不可欠です。だれもが聞いたことある「アルゴリズム(Algorithm)」というワードがどこから来たのかという由来と歴史について、メルボルン大学でデジタルヘルスの研究員を務めるデビー・パッシー氏が解説しています。 Why are algorithms called algorithms? A brief history of the Persian polymath you’ve likely never heard of https://theconversation.com/why-are-algorithms-called-algorithms-a-brief-history-of-the-persian-polymath-youve-likely-n
［CEDEC 2023］ユニットが個性を発揮し，柔軟に動くためのAIとはどのようなものなのか。「タクティクスオウガ リボーン」のAI実装事例を紹介
［CEDEC 2023］ユニットが個性を発揮し，柔軟に動くためのAIとはどのようなものなのか。「タクティクスオウガ リボーン」のAI実装事例を紹介 ライター：箭本進一 ゲーム開発者向けカンファレンス「CEDEC 2023」では「『タクティクスオウガ リボーン』のAI実装事例」と題した講演が行われ，シミュレーションRPGにおけるAIがどのように状況を判断しているのかが明かされた。同作では地形に高低差があったり，様々な能力を持つユニットたちが他のユニットを守るべき状況が発生したりと，判断すべき項目が多岐にわたる。 企画者が望む振る舞いをAIにさせる手法について，スクウェア・エニックス 第一開発事業本部 ディビジョン5 プログラマーの長谷川 誠氏が語った。 スクウェア・エニックス 第一開発事業本部 ディビジョン5 プログラマーの長谷川 誠氏 ユニットが個性を発揮し，柔軟に動くためのAIとはどのよ
同社は「日本で問われている問題の1つは、労働人口の減少と高齢化。AIの力を使って、人口構成の変化やその他の社会変化に対応しながら経済成長を促進する必要がある」と提言。一方、G7議長国として生成AIの議論のため「広島AIプロセス」を立ち上げるなど、AI問題に関する日本のリーダーシップや、模範的な行動に多くの国が期待しているとも指摘している。 関連記事 「このカップル、絵面が濃い」──オタ恋の“AI広告”が話題 運営「女性入会者数が3～7倍増えた」 そのワケは 肥満体形の男性と、女性のツーショット写真──そんな画像広告を展開するマッチングアプリ「オタ恋」のAI広告が話題だ。この広告掲載後には、男性は1.5～2倍程度、女性は3～7倍程度、入会者が増加したという。 「人を審査するAI」のリスクとは？ 現金給付アルゴリズムが“暴走”した世界銀行の事例 世界銀行は、貧困層向けの現金給付プログラムの受給
という2点が重要になってくることはご存じかと思います。このうち1番目の描画に関しては比較的簡単に行える最適化手法が色々とあるのですが、2番目に関してはネット上に情報がほとんどなく個人的には全くの手探りで行うしかありませんでした。 ただ最近になってようやく
ED法と3値(+1,-1,0)のアイデアを元に新しい活性化関数(ExP2)を作ってGELU、ELUと性能比較してみた。MINIST精度 99.43%以上達成 - Qiita
ED法と3値(+1,-1,0)のアイデアを元に新しい活性化関数(ExP2)を作ってGELU、ELUと性能比較してみた。MINIST精度 99.43%以上達成DeepLearningPyTorch活性化関数誤差逆伝播法ED法 追記 ELUとの比較を追加しました、金子さんのアイデアの凄さが明確に結果に出ています。 また最後にニューロンが正・負どちらに発火しているのか可視化したチャートも追加しました。 初めに 誤差逆伝播法を用いずに、興奮性・抑制性ニューロンの出力を調整することでニューラルネットワークの学習を進める金子さんの誤差拡散法はとても衝撃的でした。 しかし、誤差拡散法は現在広く使用されているニューラルネットワークのアーキテクチャとは互換性がないため、 今すでに利用されているニューラルネットワークに興奮性、抑制性ニューロンのアイデアを直接反映できません。 そのため、今の誤差逆伝播法の範囲内
SHAPやLIMEなどの説明AI（XAI）のご紹介 / SHAP LIME PDP Grad-CAM
************************************************************* # 要約 ************************************************************* ・SHAP のアルゴリズムを説明 ・SHAPに近い手法「LIME」との比較及び考察も記載 ・SHAP 以外の手法で算出した Feature Importance との比較及び考察も記載 ・オープンソースのデータ及びコードを使ってハンズオン ┗テーブルデータ and 画像データに適用 ・SHAP 以外の画像説明モデル Grad-CAM, Guided Grad-CAM の紹介
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
間接参照を巨大仮想メモリで飲み込む - Software Transactional Memo
深層学習VS決定木：テーブルデータ分析の未来｜PKSHA Delta
SSH接続への中間者攻撃を可能にするエクスプロイト「Terrapin Attack」が発見される
Google検索のアルゴリズムに関する2500ページ超の内部文書が本物であることをGoogleが認める
else ifが複数回出てきたら考えること
コンピュータサイエンスで1冊ずつ本を上げるとしたら何になりますか？就職前にバイブル的な本を勉強したいと思いました。 -コンピュータアーキテクチャ -データベース -os -アルゴリズムとデータ構造 -セキュリティ -ネットワーク -プログラミング -仮想化技術 | mond
【LLMの研究者向け】400本を超えるLLMに関する論文のリストを公開・更新しています - Qiita
マイクロソフトの「コパイロット」とはなにか OpenAIとの依存と共生【西田宗千佳のイマトミライ】
徐々に高度になるリングバッファの話、をRustで試した - Qiita
Google検索、スパム・低品質サイトを4割削減へ
さまざまなレート制限アルゴリズムをアニメーションでわかりやすく視覚化するとこんな感じ
操作データから逆操作を生成しUndo（元に戻す）機能を実装するパターン - Katashin .info
ベクトル検索（Vector Search）とは？ キーワード検索との違い
拡散モデルと最適輸送 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
『Human-in-the-Loop 機械学習』 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
貧困層を目の敵にするイデオロギーが「公共サービスの質」を劣化させている | トマ・ピケティ「新しい“眼”で世界を見よう」
Kenn Ejima on X: "Googleのサーチアルゴリズムが漏洩。 さすがにこの規模のリークは歴史上、初めてのことだと記憶しています。 そして、Google自身は否定していたもののSEO業界では長年疑われていたアルゴリズムの数々が実在していたことも明らかになりました。 2,596個のモジュール、計14,014個のランキング特徴量。"
https://www.jstage.jst.go.jp/article/sugaku/65/1/65_0651093/_pdf/-char/ja
node-jsonwebtokenで学ぶJWTのalg=none攻撃 - Qiita
Bluesky のフォロー推薦モデルを書いた - HackMD
【西川善司が語る“ゲームの仕組み” Vol.4】実際のゲームの「当たり判定」はカプセル剤で出来ていた！？
LEIA: 言語間転移学習でLLMを賢くする新しい方法
Pythonの麻雀ライブラリを作る - TadaoYamaokaの開発日記
初心者でもゲーム制作ができる！『Pythonではじめるゲーム制作 超入門 知識ゼロからのプログラミング＆アルゴリズムと数学』発売／プロのゲームクリエイターがわかりやすく解説した入門書【Book Watch/ニュース】
Google DeepMind、LLM採用AIシステム「FunSearch」で数学的難問を解決
Microsoft、日本のAIガバナンスに関するレポート公開 「日本のリーダーシップを多くの国が期待」
【Unity】「八分木空間分割」と「Addressables」を使ってオープンワールドゲームを最適化する方法