Vue.js+textlint+機械学習でRPGツクールMZ用文章校正プラグインを開発して得られた知見
成果物 これを作るときにいろいろ問題にぶつかったので得られた知見をまとめます。 開発期間は3か月です。 目標 RPGツクールMZで動作する実用レベルの文章校正プラグイン 実現できた機能 それなりに誤りを検出できる ゲーム内のどのデータを校正するか選べる 校正の進捗がわかる 校正中はいつでも実行を停止できる プラグインだけで簡易的にチェックするかサーバーを使って精密にチェックするか選べる 配布するファイルは1ファイルだけで他のプラグインと同じように使用できる 画面 構成図 主な使用技術と選定理由 Vue.js 慣れている。使いやすいようにいくらかリッチなUIにしたかったため。 textlint ルールベースの文章校正ができるOSS。必須。 T5 sonoisa/t5-base-japanese ルールベースのアルゴリズムでは検出に限界があり、漢字の誤字や送り仮名の誤りなどのカバーが困難なので
TensorFlowとPyTorchの相互変換はどうやるか 機械学習の困りごとに使える重み変換のテクニック
「分析コンペLT会」は、KaggleやSIGNATEなど、データ分析のコンペに関連するLT（ライトニングトーク）を行う会です。rishigami氏は、TensorFlow／PyTorchのモデル移植について発表しました。全2回。前半は、TensorFlow、PyTorchそれぞれのモデル実装の基礎と、それぞれの違い、重み変換のテクニックについて。 フレームワークにまつわる、ありがちな困りごと 石上氏：今回は「TensorFlow／PyTorchモデル移植のススメ」というタイトルで発表します。 あらためて自己紹介ですが、私は石上と申します。ハンドルネームは「rishigami」でやっていて、Kaggleでは現在Competitions Masterとなっています。ただ最近はちょっと忙しくて、Kaggleに参加できておらず、つい最近NFLコンペが開催された（※取材当時）ということで、ちょっとそ
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
Twitter: ottamm_190 追記 2022/4/24 speakerdeck版：https://speakerdeck.com/masatoto/shen-ceng-xue-xi-falsebu-que-shi-xing-uncertainty-in-deep-neural-networks コンパクト版：https://speakerdeck.com/masatoto/shen-ceng-xue-xi-niokerubu-que-shi-xing-ru-menRead less
人工知能にコウメ太夫さんのツイートを学習させてみた - ニートの言葉
どうもこんにちは、最近何かを生成する系のAIで遊ぶことにハマってます、あんどう(@t_andou)です。 5年以上前の話ですが、人工知能に哲学書を読ませて哲学的な文章を書いてもらいました。 blog.takuya-andou.com 今回はその時よりも高度な「GPT-2」というものを使って、コウメ太夫さんのツイートを学習させてみたいと思います。 なぜコウメ太夫さんなのか コウメ太夫さんと言えば、毎日とても面白いギャグツイートすることで有名なかたです。 ですが、ごく稀に難解すぎてAIがツイートしてると疑われ、記事になることもあります。*1 AIが考えたと言われているツイート ミリンは１０％でミリン風調味料｛アルコール分１％未満｝は８％ということはキリン風ゾウ｛シマウマ縞数１００程度｝はドツチになるか考えいたら～、 竜宮城の乙姫さま生牡蠣当たってタイやヒラメにガスバナ～当ててました～。 チクシ
代理モデルによる機械学習モデルの説明 - Qiita
はじめに 代理モデル (surrogate model) とは複雑な機械学習モデル（e.g., DNN, GBDT）を近似する簡単なモデル（e.g., パラメタ数の少ないDNN, 単純決定木, etc）のことを指します．代理モデルは推論の高速化・機械学習モデルの説明などさまざまな用途に使われています． この記事では代理モデルによる機械学習モデルの説明をハンズオン的に紹介します．これは非常にシンプルかつ柔軟な手法ですが，アドホックな部分が多いためかハンズオン的な解説は見当たりませんでした．Christoph Molnar による Interpretable Machine Learning の Global Surrogate に概要は示されているので機械学習に詳しい人はこちらを読めば十分かもしれません．関連するライブラリに LIME や TreeSurrogate がありますが，わたしがこ
実践 時系列解析
時系列データが使われる範囲は広く、医療データ、金融分析、経済予測、天気予報など、さまざまな分野で使われています。本書は時系列データを通してデータ解析手法を学んでゆくアプローチで、データのクリーニング、プロットの方法、入出力など基本的なトピックについてひととおりカバーしてから、さまざまな分野の事例を数多く取り上げ、統計的手法と機械学習手法の両方を時系列データに適用し、また人気のオープンソースツールも積極的に取り入れた手法を紹介します。プログラムにはRとPythonの両方を利用。データセットやコードはGitHubからダウンロード可能です。 はじめに 1章 時系列の概論と簡単な歴史 1.1 時系列の多様な用途の歴史 1.1.1 時系列問題としての医学 1.1.2 気象予測 1.1.3 経済成長の予測 1.1.4 天文学 1.2 時系列解析の人気に火がつく 1.3 統計的時系列解析の起源 1.4
協力ゲーム理論のシャープレイ値に基づき機械学習モデルの予測を解釈するKernel SHAPの理論と実装のまとめ - Fire Engine
機械学習の幅広い分野への応用が進むにつれ，機械学習がその予測の根拠などを理解できない「ブラックボックス」となることが問題視されており，機械学習の解釈性や説明性が注目されています．今回のテーマであるSHAP（SHapley Additive exPlanations）は，機械学習モデルへの特定の入力に対する予測の根拠を提示する代表的な手法の一つです．SHAPには用途に応じていくつかのアルゴリズムがありますが，その中でも今回はあらゆる機械学習モデルに適用可能（Model-Agnostic）なKernel SHAPという手法についてまとめました． 構成としては，まずKernel SHAPとは何かについての概要を述べた後に， Kernel SHAPを理解する上で必要な要素である「シャープレイ値」と「SHAP」について説明します．さいごに，Kernel SHAPについて「理論」と「実装」に分けて書い
eコマースの検索と推薦についてのサーベイ論文である 'Challenges and research opportunities in eCommerce search and recommendations' を社内勉強会で発表した
eコマースの検索と推薦についてのサーベイ論文である 'Challenges and research opportunities in eCommerce search and recommendations' を社内勉強会で発表した 2021-07-10 SIGIR eCom を探索していたら発見したサーベイ論文の “Challenges and research opportunities in eCommerce search and recommendations"が面白かったので、社内の勉強会で発表してきた。 和訳すると、「e コマースの検索と推薦における挑戦と研究トピック」で、e コマースにおける検索と推薦の課題が明瞭に書かれていて非常に面白い論文でした。 自分もまだ検索エンジニアとして日が浅いので、手持ちのパターンを増やせるように日々勉強していますが、この論文のおかげでかなり
【初心者向け】 機械学習におけるクラス分類の評価指標の解説 - OPTiM TECH BLOG
こんにちは。R&Dチームの河野です。主な担当業務は機械学習モデルの開発です。 タイから日本に留学し、卒業後日本企業に就職していました。データ分析・機械学習の業務経験が3年程度で、R&Dチーム唯一の女性かつ外国人のメンバーです。 直近の仕事はディープラーニングによるクラス分類モデルの開発を担当しており、今回はモデル精度評価によく使われる評価指標について初心者向け説明させて頂きたいと思います。機械学習モデルの精度改善には課題に適切な評価指標の選択がすごく重要のため、各評価指標の理解が必要になります。分類モデル開発に興味を持っている方・挑戦してみたい方にご参考になれば幸いです。 基本的な用語 ポジティブとネガティブクラス 混合行列 評価指標 正解率（Accuracy） 適合率（Precision） 再現率（Recall） F値（F1-score） しきい値とprecision-recallのトレ
効率的学習 / Efficient Training（メタサーベイ）
cvpaper.challenge の メタサーベイ発表スライドです。 cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。 http://xpaperchallenge.org/cv/ Read less
2021年最強になるか！？最新の画像認識モデルEfficientNetV2を解説 - Qiita
その他層の数も探索空間に入れています。ここで拡張率とは、MBConvの最初のConvでチャネル数を何倍にするかの係数のことで、こちらでより詳しく解説しています。 探索は精度$A$、ステップごとの学習時間$S$、パラメータサイズ$P$を用いて、$A\cdot S^w\cdot P^v$を最大化するように行われます。ここで$w=-0.07, v=-0.05$であり、これらの値は実験的に決定されています。 1.3.2 EfficientNetV2のアーキテクチャ 下表がEfficientNetV2のSサイズのモデルになります。 画像: "EfficientNetV2: Smaller Models and Faster Training", Tan, M., Le, Q., (2021) 比較のためにEfficientNet-B0(i.e. V1)のアーキテクチャも下に載せます。 画像: "Ef
図で理解するTransformer - Qiita
対象読者 こんな人に向いてます Transformerを知らない人 私も全く知らずに調べました！なんにもわからない人の目線で書きます！ 想定される疑問を載せてます！ 多層パーセプトロンは知っているけど、それ以降出てきたいろんな用語についていけなくなった人 いつも知らない言葉を含んだ図ばかりで結局詳細がよくわからないって思っている人 図に式も載せて式を見ればやっていることがわかるようにしました！ 結局解説サイトを読んでもどう動くかわからない人 実際に軽いデータでTransformerを動かしてみたい人 軽く動かせるNotebookを用意してます！ ミスがあればご指摘くださると幸いです。 自然言語処理で大活躍している手法。 機械翻訳 テキスト要約 文章生成 文書カテゴリの分類 最近では、画像データやテーブルデータ（時系列データ）でも活躍しているようだ。 画像認識の大革命。AI界で話題爆発中の「
StyleGAN2で属性を指定して顔画像を生成する - すぎゃーんメモ
memo.sugyan.com の記事の続き(？)。 ある程度の学習データを収集して学習させたモデルが出来たので、それを使って実際に色々やってみる。 StyleGAN2-ADA 学習 mapping出力と生成画像 生成画像の属性推定結果から潜在空間の偏りを抽出 表情推定 顔姿勢推定 髪領域推定 (顔解析) 年齢 (上手くいかず) 複合 Repository StyleGAN2-ADA 前回の記事でも書いたけど、厳選した16,000枚の画像を使って StyleGAN2-ADA を使って生成モデルを学習させてみた。 github.com これは StyleGAN2 から進化したもので、より少ない枚数からでも安定して学習が成功するようになっていて、さらにparameter数など調整されて学習や推論もより早くなっている、とのこと。 それまでのStyleGANシリーズはTensorFlowで実装され
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PyTorch の基礎 - Training
はじめに — 機械学習帳
猫でもわかるTabNet
GOの機械学習システムを支えるMLOps事例紹介
Google、Androidデバイス用機械学習プラットフォームを発表
TechCrunch
サイバーエージェントにおけるMLOpsに関する取り組み at PyDataTokyo 23
