日本のウェブデザインの特異な事例
sabrinas.spaceより。 8週間もかからなかったはずのプロジェクト 日本のウェブデザインはどう違うのか? 2013年のRandomwireのブログ投稿で、著者(David)は、日本のデザインの興味深い相違点を強調しました。日本人はミニマリストのライフスタイルで海外に知られていますが、ウェブサイトは奇妙なほどマキシマリストです。ページには様々な明るい色(3色デザイン原則を破っている)、小さな画像、そして多くのテキストが使われています。2022年11月に撮影されたこれらのスクリーンショットで、自分の目で確かめて下さい。 ブログ投稿には、文化的専門家、デザイナー仲間、そして不満を抱く市民によって支持されている、考えられる理由がいくつか挙げられていました。 この理論が今でも正しいのか、また、もっと定量的なアプローチが可能なのか気になったのでやってみました。 私が見つけたもの 各国の最も人
追記: U-Netの中間層は常にSelf-Attentionとなります。ご指摘いただきました。ありがとうございます。（コード） オミータです。ツイッターで人工知能のことや他媒体の記事など を紹介しています。 @omiita_atiimoもご覧ください！ 世界に衝撃を与えた画像生成AI「Stable Diffusion」を徹底解説！ 未来都市にたたずむサンタクロース（Stable Diffusionで生成） 2022年8月、世界に大きな衝撃が走りました。それは、Stable Diffusionの公開です。Stable Diffusionは、テキストを受け取るとそれに沿った画像を出力してくれるモデルです1。Stable Diffsuionは10億個近いパラメータ数をもち、およそ20億個の画像とテキストのペア（LAION-2B）で学習されています。これにより、Stable Diffusionは入
この記事は、ABEJAアドベントカレンダー2022 の 19 日目の記事です。 こんにちは！株式会社 ABEJA で ABEJA Platform 開発を行っている坂井です。 世間では Diffusion Model 使った AI による画像生成が流行っているみたいですね。 自分は元々 Computer Vision 系の機械学習エンジニアだったんですが、この１年くらいは AI モデル開発ではなくもっぱらバックエンド開発メインでやっていて完全に乗り遅れた感あるので、この機会に有名な Diffusion Model の１つである Stable Diffusion v1 について調べてみました！*1 では早速本題に入りたいと思います！ Stable Diffusion v1 とは？ Denoising Diffusion Probabilistic Model（DDPM） 学習時の動作 for
『マスターアルゴリズム』は全ての人々を機械学習（人工知能）の世界へといざなう「冒険物語」 - 渋谷駅前で働くデータサイエンティストのブログ
しましま先生(@shima__shima)こと神嶌敏弘先生から、訳書『マスターアルゴリズム』をご恵贈いただきました。 マスターアルゴリズム 世界を再構築する「究極の機械学習」 作者:ペドロ・ドミンゴス講談社Amazon 本書はビル・ゲイツが「AIを知るための本」と絶賛したという"The Master Algorithm"の邦訳版で、実際に「難しい理論や数式は書かれていないがこの一冊を読むだけで現代の機械学習（人工知能）の世界の全容を一望できる」優れた本だと個人的には感じました。また縦書き本ゆえいわば「読み物」的な立ち位置の書籍であり、研究者や技術者のみならずビジネスパーソンさらには一般の読書家にとっても読みやすく、尚且つ得るものの大きい一冊だと思います。 ということで、以下簡単にレビューしていきたいと思います。なお実は僕自身もしましま先生から発刊前の段階で翻訳内容の閲読を依頼されて一通り目
機械学習の全体像をまとめてみた
教師あり学習 概要 入力値から何かしらの予測をしたい場合を考えます. 予測する対象の正解データが事前に得られる場合、 入力値から正解データを出力するモデルを学習する手法を教師あり学習と言います. 主なタスク 何を入力して、何を出力するかでタスクが分類されます. 代表的なものに以下が挙げられます 時系列予測: 現在以前の時系列データ ⇒ 未来の時系列データ 画像分類: 画像 ⇒ ラベル 物体検出: 画像 ⇒ 物の位置と種類 セグメンテーション: 画像をピクセル単位で分割 文章分類: 文章 ⇒ ラベル 機械翻訳: ある言語の文章 ⇒ 別の言語の文章 時系列予測 現在以前のデータから将来のデータを予測します. 実用例 株価予測 災害予測 自動車の事故防止システム 主要なアルゴリズム 自己回帰モデル（AR・MA・ARMA・ARIMA） 時系列間の関係を数学的に定量化、モデル化する. 周期性のあるデ
画像の機械学習が劣化する理由 - Qiita
前書き 注意：ここに書いていることは2020年代としては、古すぎる見解になっている。 近年の自己教師あり学習の大幅な進展で、ここで述べているようなアプローチは大幅に古めかしいものになっている。 ・自己教師あり学習の進展は、画像認識タスクに対する共通のbackbone を作り出しており、後段で個々の画像認識タスクに対するfine-tuningをするアプローチに変わってきている。 ・そのため、ラベル付きの限られたデータで特徴量の抽出をしていたのが、自己教師あり学習に基づく特徴量の抽出になっている。 ・各人、自己教師あり学習について調べることをお勧めする。 主旨 単純に学習データを追加するだけでは学習が改善しないことがある。そのような場合へのヒントを著者の限られた経験の中から記述する。 はじめに 画像認識の機械学習を改善するためにはデータを追加すればよい。 そう思っている人が大半だろう。 ただ、
生成AIグラビアをグラビアカメラマンが作るとどうなる？第五回：Stable Diffusionの基本1 / Checkpointとリアル系モデルの遷移 (西川和久) | テクノエッジ TechnoEdge
Checkpointとはあとひと月ほどすると、前回ご紹介した次世代Stable Diffusion、SDXLの波が来そう(来るかも？)と言うこともあり、今回は一番の基本となるCheckpointと、筆者の興味の対象となっているリアル系モデルの遷移にふれておきたい。 まずStable Diffusionのバージョンは1.4、1.5、2.0、2.1などがあり、現在最もポピュラーなのは1.5 (SDXLは0.9、1.0)。基本、対応したバージョンでないとモデルは作動しない。 一言でモデルと言っても、Stable Diffusionが必要、もしくはオプションとして扱えるモデルは、Checkpoint、LoRA、LyCORIS、Embedding、 Hypernetwork…など、さまざまな種類がある。絵を作る上において最も重要(＝絵の元になる)のがCheckpointで、他は無くても最低限これだけ
推薦システムにおいて線形モデルがまだまだ有用な話 | CyberAgent Developers Blog
本記事は、CyberAgent Advent Calendar 2022 19日目の記事です。 目次 はじめに 問題設定 協調フィルタリングのための線形モデル iALS EASE 関連する非線形モデル 実務活用 おわりに はじめに メディア DSC所属の機械学習エンジニアで、タップルの推薦システムを担当している橋爪 (@runnlp)です。 最近、推薦システムを触り始めました。推薦手法は、協調フィルタリング、コンテンツベース、ハイブリッドなど様々ですが、今回は昔から今に至るまで長く使われている協調フィルタリングについてです。 協調フィルタリングではDeep系のモデルがたくさん出る中で、RecSys2022で発表された論文では10年以上前から使用されている線形モデル(iALS)がDeep系のモデルに匹敵する結果であると報告されており興味深いです。また、推薦システムを開発するにあたって、問題設
『ウェブ最適化ではじめる機械学習』はモダンなUI/UX改善の枠組みを学ぶ上で至適の一冊 - 渋谷駅前で働くデータサイエンティストのブログ
ウェブ最適化ではじめる機械学習 ―A/Bテスト、メタヒューリスティクス、バンディットアルゴリズムからベイズ最適化まで 作者:飯塚 修平発売日: 2020/11/19メディア: 単行本（ソフトカバー） こちらの書籍を著者の飯塚修平さんからご恵贈いただきました*1。テーマとしてはウェブ最適化即ちいわゆるUI/UX改善で、そのアプローチについて包括的にまとめた内容です。ちなみに本書は著者ご自身の修士・博士論文の内容に沿ったもので、いわば大学院での研究の集大成とも言えるものなのだそうです。 と書くと、いかにも「ガッチガチの研究」本に見えるかもしれませんが、引用されている事例などには一般のユーザー・消費者でもある我々にも馴染み深いものが多く、意外と取っ付きやすい内容だなと個人的には感じました。また、A/Bテスト・バンディット・ベイズ最適化とそれぞれ個別に専門書が書かれることが多く、別々に学ぶ羽目にな
時系列データのための大規模言語モデル
近年の大規模言語モデル（LLM）の出現は、自然言語処理（NLP）においてパラダイムシフトをもたらし、ChatGPTをはじめとする様々な革新的サービスを生み出している。LLMの急速な進化は、NLPの領域を超えて、より広範なデータモダリティへのLLMの適用可能性を探る研究への発展を促している。その中で今回注目したのが、時系列データへのLLMの適用である。例えば、[Gruver+, 2023] では、GPT-3やLLaMA-2などの既存のLLMが、ダウンストリームタスクで教師あり学習した時系列モデルの性能に匹敵するか上回るレベルで、zero-shotで時系列予測ができることを報告しており、大変興味深い。本ブログでは、2024年に公開されたサーベイ論文「Large Language Models for Time Series: A Survey」を参考にLLM for Time Seriesの全
私は趣味で機械学習を学ぶ初学者であり、説明に間違いや勘違いがある可能性があります。そういった点がありましたらコメントで指摘していただけると助かります。 また、so-vits-svcやRVCは論文ベースでの技術発表が無いため、以下はコードや周辺情報からの想像を含みます。 修正履歴 2023/04/15 RVCの動作について誤りがあったので修正しました。nadare🌱さんご指摘ありがとうございます。 AIボイスチェンジャーとは ある発話音声の入力を特定の話者が発話したような声質の発話音声に変換するための、深層学習を使用したアプローチがそう呼ばれている印象です。 以前から、深層学習を用いたリアルタイムボイスチェンジャーはMMVCなどが存在していました。 最近(2022年11月頃から2023年4月頃)では、Retrieval-based-Voice-Conversion 通称RVC や、Soft
インフラ一筋のおじさんが画像生成AI“Stable-Diffusion”を読み込んでみる件 | IIJ Engineers Blog
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 なんだかAIって流行ってますよねー こんにちわ。九州支社で細々と遊んで検証業務にいそしんでいるとみーです。 2022年3月から、どーしても「名前だけ知ってる状態」ってのにもやもやしていて、Deeplearningに手を付けたものの、あまりに内容が奥深すぎて沼にドはまりして周囲に「たすけてぇ、たすけてぇ」って叫んでいる素敵な日々を過ごしています。 取りあえず画像処理としてディープフェイク、NLP(Natural Language Processing：自然言語処理)として簡易チャットボ
この記事は私, wataokaが1年間をかけて作り続けた超大作記事です. 総文字数は8万を超えていますので, お好みのところだけでもみていってください. ついにこの時が来ました！！！！！ 1年間書き続けたQiita記事です！！！！！ ご覧下さい！！！！！https://t.co/eKBwP1zoeB — 綿岡 晃輝 (@Wataoka_Koki) December 31, 2020 俺的ランキング 動画での解説も挑戦してみました！ ぜひぜひご覧下さい！ 動画のリンク 第3位: Likelihood-Free Overcomplete ICA and Applications in Causal Discovery wataokaの日本語訳「尤度が必要ない過完備ICAと 因果探索における応用」 - 種類: ICA - 学会: NeurIPS2019 - 日付: 20190904 - URL:
複数のLLM（GPT/Claude3）とArxivの検索APIをRAGで統合し、論文サーベイの自動生成を作りました。検索結果の前処理や、サーベイ特有のプロンプトエンジニアリングやソートが重要で、最適化手法として古くからある巡回セールスマン問題（TSP）が有効に機能しました。また、生成部分ではGPTよりClaude3の明確な有効性を確認できました。 できたもの Arxivの検索APIを使って検索拡張生成（RAG）したらサーベイを自動生成できた やっていること Arxivの検索ワードをGPT-4-Turboで生成 ArxivのAPIを叩いてヒューリスティックでフィルタリング OpenAIのEmbedding APIを叩く Embeddingに対して巡回セールスマン問題（TSP）を解いてソートをかける 論文の要旨をGPT-3.5-Turboで要約 ソートした要約結果をClaude3 Sonnet
紹介論文 Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches (RecSys 2019) 日本語では「本当にそんなに進捗出てるの？ -或いは最近のNN推薦手法に対する警鐘-」という感じだろうか。 元論文はこちら https://arxiv.org/pdf/1907.06902.pdf 概要 DNNが登場してから推薦分野でもDeepXXな手法が増えている 新手法の登場頻度が高いため、代表的なタスクであるtopN推薦に対してすらSOTAが何か追えなくなっている そこでトップ会議（KDD, SIGIR, WWW, RecSys）のDNN関連研究18本を追試した 18本のうち、現実的な努力を行った上で再現できたのが7本 （RecSysでの発表によると、）
はじめに 2020年も，機械学習コミュニティでは多くの新しい成果が見られました．2019年に引き続き，1年を振り返ってもっとも面白かった論文を10本紹介したいと思います． * 本記事は，私のブログにて英語で書いた記事を翻訳し，適宜加筆修正したものです． ** 記事中の画像は，ことわりのない限り対象論文からの引用です． 論文10選（公開順） 普段から，読んだ論文を簡単にまとめてツイートしているので，それを使って公開日順に振り返っていきます．対象はおおまかに「2020年に公開された論文」と「2020年に学会・雑誌で発表されたもの」とします．全くの主観で選んでいるので，私の興味範囲である深層学習および応用研究に偏っている点はご容赦ください． 紹介するのはこちらの10本です！ Rigging the Lottery: Making All Tickets Winners PIFuHD: Multi
損失関数・不均衡 不均衡データにおけるsampling ランク学習のListNetをChainerで実装してみた 不均衡データへの決定打となるか！？「Affinity loss」の論文を読む、実装する 不均衡データを損失関数で攻略してみる 解説編：オーバーサンプリング手法解説 (SMOTE, ADASYN, Borderline-SMOTE, Safe-level SMOTE) LightGBMでランキング学習 半教師あり学習のこれまでとこれから Struggling with data imbalance? Semi-supervised & Self-supervised learning help! 深層学習 転移学習：機械学習の次のフロンティアへの招待 ディープラーニングの判断根拠を理解する手法 DNC (Differentiable Neural Computers) の概要 +
はじめに 機械学習に関する実用的な知見を知るために、「Kaggleで勝つデータ分析の技術」を読んだので、Kaggle以外の場面でも活用できる話題をまとめてみた。本書は機械学習の基本的な内容も含んでいるが、この記事では機会学習に関する一通りの知識を持ち、実問題に利用している読者を想定してまとめた。従って、勾配ブースティング木の仕組みや、回帰タスクの評価方法等、基本的な内容については解説しない。本記事では、評価の落とし穴や、モデルを改善するための特徴量の工夫、チューニングのTipsについて紹介する。 特徴量 Tips 1: 欠損値の扱い データにはしばしば欠損値が含まれている。欠損値は、そもそも値が存在していない場合の他に、ユーザが意図して入力していない場合や、観測器のエラーによって取得できていない場合等、様々な理由によって生じる。欠損がランダムに発生していない限り、欠損しているという事実が何
本記事の目的 もともと本業でデータサイエンスやディープラーニングを扱っていたわけでもなく、ディープラーニング周りは「なんとなく知っている」という状態。ちゃんと勉強したいと思いながらもなかなか手が出ず、モデル実装の経験もない。 上記の状態から、この1年間くらいでやっと、初めてディープラーニング実装の経験をするところまでたどり着いた。とりあえずデータサイエンスの入口に立てた（かもしれない）ということで、整理のためここまで取り組んできたことをまとめてみた。 これから勉強を始める、誰かのために役立てば嬉しい。 ＜画像ディープラーニングの始め方＞ ◇ ステップ1. 画像系AIの全体像を把握する ◇ ステップ2. 画像分類を実装してみる ◇ ステップ3. 理論をフォローアップする ◇ ステップ4. 実装の経験を積む ステップ1．画像系AIの全体像を把握する とりあえず初心者向けの書籍や動画などを見て全
初学者の分かりやすさを優先するため，多少正確でない表現が混在することがあります。もし致命的な間違いがあればご指摘いただけると助かります。 はじめに 機械学習を勉強したことのある方であれば，変分ベイズ（VB：variational bayes）の難しさには辟易したことがあるでしょう。私自身，学部生時代に意気揚々と機械学習のバイブルと言われている「パターン認識と機械学習（通称PRML）」を手に取って中身をペラペラめくってみたのですが，あまりの難しさから途方に暮れてしまったことを覚えています。 機械学習の登竜門は，変分ベイズ（変分推論）だと私は考えています。また，VAE（変分オートエンコーダ；variational autoencoder）に代表されるように，変分ベイズは最近の深層学習ブームにおいて理論面の立役者となっている側面もあります。一方で，多くの書籍やWeb上の資料では式変形の行間が詰ま
Kaggle Grandmasterになるまでの7年間の軌跡 - のんびりしているエンジニアの日記
皆さんこんにちは お元気でしょうか。冬だというのに、GPUと暖房で半袖装備でも過ごせています。 今年、長きにわたるMaster生活の終演を迎え、ようやくGrandmasterになることができました。 そこで、Grandmasterになるまでの経験をこちらに書き記しておこうと思います。 この記事はKaggle AdventCalendar2021カレンダー2、25日目になります。 qiita.com 著者の背景 Kaggleへの取り組み 1-3年目 4年目 IEEE's Signal Processing Society Avito Demand Prediction Challenge Home Credit Default Risk 5年目あたり 6年目 Global Wheat Detection 7年目 Shopee - Price Match Guarantee Hungry Ge
機械学習セキュリティのベストプラクティス – Draft NISTIR 8269: A Taxonomy and Terminology of Adversarial Machine Learning – 論文紹介 概要 「Draft NISTIR 8269: A Taxonomy and Terminology of Adversarial Machine Learning」は、米国のNIST（National Institute of Standards and Technology）が策定を進めている機械学習セキュリティに関するベストプラクティスのドラフトであり、機械学習システムの安全確保を目的として、機械学習にまつわるセキュリティを「攻撃」「防御」「影響」の3つの視点で分類している。 NISTIR8269はブログ執筆時点（2020年7月9日）でドラフト版であるが、「NIST SP8
【機械学習 × テニス】姿勢推定とLightGBMを用いたテニスのスイング認識【動作検出】 - はんぺんのIT日記(改)
はじめに 手法の決定 開発環境 データ取得 動画撮影 アノテーション 関節位置のデータ モデリング 学習用データ データ加工 データ分割 学習 評価 評価用データ Feature Importance Confusion matrix 動作の誤検出 高度化検討 トラッキングの追加 姿勢の検出精度の高いモデルの使用 特徴量の再検討 予測モデルへの転換 関節位置データのAugmentation さいごに 参考 はじめに こんにちは。はんぺんです。 テニスのスイングの検出・分類モデルを作ってみました。 youtu.be モチベーションとしては、インテリジェントデバイス的な何かを作ってみたいというものです。 ちょうど魔法少女リリカルなのはのレイジングハートみたいなイメージです。 インテリジェントデバイスとは、AIを有し自ら思考するタイプのデバイスのこと。 出展：レイジングハートとは (レイジングハ
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 国立台湾科技大学の研究チームが開発した「Cartoon Style Transfer in Faces using GANs」は、現実の顔のアイデンティティーを維持したままアニメ風の顔画像に変換するGAN（Generative Adversarial Network）を使った手法だ。実写感を排除しているのに、元の顔の原型をできるだけ残した点が特徴だ。 先行研究でも実写の顔画像からアニメ風の顔画像にスタイル変換するGANを使ったモデルが多数報告されている。TikTokやSnapchatなどの多くのモバイルアプリでも顔をアニメ化できるカートゥーン・フィルター機能を提供している。 これらの問題点
1.はじめに 皆さん、Neural Network Console をご存知でしょうか？ Neural Network Console は、2017年8月にSONYから発表されたディープラーニングの統合開発ソフトウエアです。プログラミング無しのドラッグ＆ドロップだけで簡単にニューラルネットワークの設計開発が出来、しかもワークステーションの様な美しい画面なのに、なんと無料で提供されているんです（なんて太っ腹な！）。 かく言う私も、Pythonを覚えなくてもディープラーニングが出来ると言うことに凄い魅力を感じ、発表当初から１年間くらいは色々遊んでみた記憶があります。 最近、ひょんなことから、Neural Network Console 関係の動画がやたら充実（2020年1月17日時点で47本）していることに気づきチェックしてみると、チュートリアル以外にディープラーニングの一般的な知識について分
最終更新 2021/11/24 本質的な内容は変化していないものの，最新の研究動向に対して本記事で取り上げた論文はかなり古くなっているので注意してください． 本記事より良くまとめられているオープンアクセスの日本語文献があるので，そちらを参照するほうがよいと思います． 深層学習技術のセキュリティ課題についてはこちら 森川 郁也(富士通株式会社), "機械学習セキュリティ研究のフロンティア" 電子情報通信学会 基礎・境界ソサイエティ Fundamentals Review, Vol.15 No.1, 2021 https://www.jstage.jst.go.jp/article/essfr/15/1/15_37/_article/-char/ja 深層学習技術のハードウェアセキュリティ課題についてはこちら 吉田 康太, 藤野 毅(立命館大学), "エッジAIデバイスのハードウェアセキュリテ
本記事では、私が2020年10月に読んだ書籍の内容や感想を紹介・解説します。 はじめに 私がこの1カ月間に読んだ、書籍の内容と感想のまとめ記事です （これらの読書は仕事ではなくプライベートの趣味です） Twitterでリアルタイムに投稿した内容を、1カ月分まとめます。 ※Twitterでは、書籍感想以外にも、IT・AI・Biz関連の情報をたくさんつぶやいているので、 これらの情報を収集したい方はぜひフォローください♪（海外の情報が多めです） Twitterアカウント：小川雄太郎@ISID_AI_team 2020年10月に読んだ書籍（はじめに） （過去記事） ●20年7月分の記事はこちら ●20年8月分の記事はこちら ●20年9月分の記事はこちら （書影） 版元ドットコムで公開されている場合のみ掲載しています （書籍分野） AI：機械学習&ディープラーニングのアルゴリズム、研究能力、開発・
Jukebox
Provided with genre, artist, and lyrics as input, Jukebox outputs a new music sample produced from scratch. Below, we show some of our favorite samples. Automatic music generation dates back to more than half a century.[^reference-1][^reference-2][^reference-3][^reference-4] A prominent approach is to generate music symbolically in the form of a piano roll, which specifies the timing, pitch, veloc
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 香港中文大学と明愛白英奇専業学校の中国研究チームが開発した「Manga Filling Style Conversion with Screentone Variational Autoencoder」は、白黒漫画をカラー漫画に変換する深層学習ベースのフレームワークだ。逆にカラー漫画をモノクロに変換することもできる。 カラーとモノクロの違いは、塗り方にある。カラーの塗りは通常、ベタ塗りやグラデーションで埋められているのに対し、モノクロでは豊かなスクリーントーンパターンで表現している。 基本的な特性も大きく異なる。カラー原稿が単一のピクセルに特徴が出ているのに対し、スクリーントーンはピクセル
GPT-4などの大規模言語モデルは非常に高い性能を有していますが、各モデルがどのような思考を経て応答を出力しているのかは開発者ですら把握できていません。新たに、OpenAIが大規模言語モデルの思考を読み取る手法を開発し、GPT-4の思考を1600万個の解釈可能なパターンに分解できたことを発表しました。 Extracting Concepts from GPT-4 | OpenAI https://openai.com/index/extracting-concepts-from-gpt-4/ Scaling and evaluating sparse autoencoders https://cdn.openai.com/papers/sparse-autoencoders.pdf 一般的なソフトウェアは人間の設計に基づいて開発されているため、各機能の仕組みを理解した上で機能を修正したり安
(DCASEホームページより) はじめに 音を題材とした異常検知のデータセットによる機械学習コンペが始まりました。 音に関するコンペ自体が珍しいなか、タスクとして一般的な分類などでもなく、更に難しい異常検知が設定されました。 個人的に2019年に画像の異常検知に積極的に取り組んだのですが、音声は周波数領域に変換すると画像のように取り扱えることから、チャレンジしたい題材でした。下記は画像にチャレンジしたときの記事です。 欠陥発見! MVTec異常検知データセットへの深層距離学習(Deep Metric Learning)応用 深層距離学習(Deep Metric Learning)各手法の定量評価 (MNIST/CIFAR10・異常検知) この記事では、そのコンペ「DCASE 2020 Task 2 Unsupervised Detection of Anomalous Sounds for
RecBole を用いてクックパッドマートのデータに対する50以上のレコメンドモデルの実験をしてみた - クックパッド開発者ブログ
こんにちは。研究開発部の深澤(@fufufukakaka)です。 本記事では最近面白いなと思って watch しているレコメンド系のプロジェクト RecBole を紹介いたします。また、クックパッドが展開している事業の一つであるクックパッドマートのデータを使って数多くのレコメンドモデルを試す実験も行いました。その結果も合わせて紹介します。 TL;DR: レコメンドモデルは作者実装に安定性がなく、またモデルをどのように評価したかも基準がバラバラで、再現性が難しいとされている(from RecSys 2019 Best Paper) 再現性に取り組むプロジェクトとして 2020年12月に始まった RecBole がある。 RecBole を利用することでなんと 50個以上のレコメンドモデルを大体１コマンドで試せる クックパッドマートでユーザに対してアイテムをレコメンドするシチュエーションを想定
この記事では、2020年に発表された論文や記事のうち、特に興味深かったものを合計85紹介します。下記12のトピックに分けて紹介していますが、あくまで便宜上の分類です。私の個人的な2020年総括は以下の通りです。 --------------------- 個人的2020年総まとめと所感 --------------------- 2020年はTransformerが大躍進しました。自然言語処理では大規模なTransformerモデルであるGPT-3が高い精度を多くのタスクで叩き出しています。大量のデータと大量のパラメータを使って画像分類でも最高精度であったBig Transferを超えるものが出てきています。 差別的要素や著作権の問題のないフラクタル画像データセットはAIの倫理がさらに重視されるであろう今後は、非常に重要なものになってくるかもしれません。ImageNetにアクセスでき
『This DX7 Cartridge Does Not Exist』。カートリッジ部分をクリックするだけで32種類の音色が生成され、自動的にSysExファイルがダウンロードされる オーディオ・ソフトウェアやAI技術などのR&Dを手がけるNintorac Audioが開発した『This DX7 Cartridge Does Not Exist』は、1クリックでDX7の音色を32種類生成し、SysEx（.syx）形式で書き出す無償のWebサービス。ダウンロードされたSysExファイルは、DX7実機はもちろんのこと、Dexed（DX7をイミュレートしたフリーのソフト音源。Mac／Windows対応）やRockrelay Synth FM（Android用アプリ）といったソフトウェアでも利用することができます。 SysExファイルをDexedにロードしたようす 一体『This DX7 Cartr
しばらく前にオンライン開催された「OngaACCELシンポジウム2020」にて、吉井和佳先生による自動採譜技術研究の発表がありました。たいへんありがたいことに、あの藤本健さんの記事でピックアップしていただき、なかなか反響があったようです。 音を楽譜にする“耳コピ”はここまで来た。AI自動採譜の最前線 この記事で紹介されている成果のうち、しゃをみんはコード採譜の研究に取り組んでおります。吉井先生の発表の中で、「ミラーニューロン仮説」なる概念が紹介されたあのパートです。 「生成モデル＋推論モデル＝VAE」でなんかぐるぐるさせるという話をしていましたね。本記事ではこの研究成果をざっくり解説するとともに、「AI自動採譜」研究の現在地を自分なりに整理してみたいと思います。 研究内容はIEEE TASLPに掲載されています。引用してください。 Semi-supervised Neural Chord
the peculiar case of japanese web design a project that should not have taken 8 weeks how is japanese web design different? in this 2013 Randomwire blog post, the author (David) highlighted an intriguing discrepancy in Japanese design. While the nation is known abroad for minimalist lifestyles, their websites are oddly maximalist. The pages feature a variety of bright colours (breaking the 3 colou
以前の記事でオートエンコーダによる異常検知は古い！と書いてしまいましたが、 最近は進化しているようです。 今回ご紹介する論文は、損失関数を工夫することで通常のオートエンコーダよりも 異常検知能力を上げる手法です。 ※本稿の図は論文（Improving Unsupervised Defect Segmentation by Applying Structural Similarity To Autoencoders）より引用しています。 論文の概要 通常のオートエンコーダによる異常検知は、微小な異常は捉えられない。 そこで、一枚の画像に対し小さな枠を用意して「輝度」、「コントラスト」、「構造情報」の類似度を計算して異常検知を行う。 本手法を使うことで、通常のオートエンコーダやVAEの異常検知と比べて、AUCで大幅な向上が見られた。 異常部分の可視化についても、通常のオートエンコーダよりも優れ
こんにちは，株式会社Ridge-iの@obaradsです．本記事では点群処理における表現学習手法について紹介します．また，本記事は@machinery81にレビューしていただきました． TL;DR 表現学習とは 点群で表現学習を扱う理由 点群の特徴の生成 ラベル付きデータが制限されている状況下におけるモデルの性能向上 点群間の対応を見つけるための表現学習 表現学習方法について 再構築タスクによる学習 Contrastive Learning 点群の表現学習に関する文献紹介 点群処理への深層学習の適用以前の特徴量の算出 ～2017年：PointNetが提案される以前の表現学習手法 2017～2019年：PointNetが提案されて以降の生成モデルを用いた表現学習手法 2019～2020年：自己教師あり学習を利用した表現学習手法 2020年～：シーン点群に着目した表現学習手法 まとめと今後の傾
I saw @VictorTaelin's tweet recently on increasing the effective context window for GPT-* by asking the LLM to compress a prompt which is then fed into another instance of the same model. This seemed like a neat trick, but in practice presents some issues; the compression can be lossy, crucial instructions can be lost, and less characters != less tokens. I set out to build a more usable version of
BigQuery MLでスロット使用量が急増しているプロジェクトやユーザーを異常検知する - yasuhisa's blog
背景 どうやって異常を検知するか BigQuery MLでの異常検知 検知できるモデルの種類 共通設定 データの前準備 モデルの学習 モデルを元にスロット使用量が異常に増加していないか予測する 所感 背景 BigQueryはオンデマンドとフラットレート(定額料金)がある オンデマンドはスキャン量がお金に直結するため、INFORMATION_SCHEMA.JOBS_BY_*などを使ってクエリ警察をしている方も多いはず INFORMATION_SCHEMAに代表されるデータ管理に役に立つ現場のノウハウを最近会社のTech Blogに書いたので、そちらも見てね 一方で、フラットレートに関しては定額使いたい放題のプランであるため、オンデマンドよりはクエリ警察をしていない場合もある 見れるなら見たいが、どうしても支出に直結するオンデマンドを優先して見てしまいがち。工数も限られている が、あまりに自由
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
世界に衝撃を与えた画像生成AI「Stable Diffusion」を徹底解説！ - Qiita
Stable Diffusion の仕組みを理解する - ABEJA Tech Blog
最近のAIボイスチェンジャー(RVC、so-vits-svc)
【動画解説】2020年に読んだAI論文100本全部解説(俺的ベスト3付き) - Qiita
Arxiv RAGによる論文サーベイの自動生成 | Shikoan's ML Blog
RecSys 2019 ベストペーパーを読んだメモ - Qiita
2020年のおもしろかったDL/ML論文10選 - Qiita
機械学習・アルゴリズム関連まとめ - Qiita
「Kaggleで勝つデータ分析の技術」から見る実用的な機械学習の知見
画像ディープラーニングの始め方（画像系AIの概要理解からUdemy受講, E資格取得まで） - Qiita
【徹底解説】変分ベイズをはじめからていねいに | Academaid
機械学習セキュリティのベストプラクティス – Draft NISTIR 8269: A Taxonomy and Terminology of Adversarial Machine Learning –
「誰がモデルか、なんとなく分かる」アニメ風の顔画像に変換するAI、台湾の研究チームが開発
最近、Neural Network Console の動画がやたら充実している件 - Qiita
深層学習のセキュリティ課題と論文まとめ - Qiita
（20年10月新刊メイン）IT・AIエンジニア&PdMにおすすめの書籍集 - Qiita
白黒スクリーントーンを使った漫画をカラーに自動変換 深層学習で
OpenAIがGPT-4の思考を1600万個の解釈可能なパターンに分解できたと発表
機械音の異常検知チャレンジ DCASE 2020 Task 2 - Qiita
2020年機械学習総まとめ 興味深い論文/記事85選｜akiraTOSEI
AI（人工知能）でDX7の音色を自動生成してくれるWebサービス、『This DX7 Cartridge Does Not Exist』
VAEに基づく「AI耳コピ」手法 - Qiita
the peculiar case of japanese web design - sabrinas.space
【論文読み】新・オートエンコーダで異常検知 - Qiita
点群データにおける表現学習 - Ridge-institute R&D Blog
CompressGPT: Decrease Token Usage 70%