本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 当社データサイエンティストが、高次元のデータをできる限り重要な情報を保持したまま低次元データに変換する「次元削減手法」について代表的な3つの手法をご紹介します。また、実際に画像データを用いて手法を試してみましたので、その結果もご紹介します！ こんにちは。アナリティクスサービス部の西條です。 今回は、高次元データを可視化する際に使用する手法の1つである次元削減についてご紹介します。 次元削減とは 次元削減の手法 PCA t-SNE UMAP 各手法の比較 おわりに 参考文献 次元削減とは 次元削減とは、高次元のデータをできる限り重要な情報を保持したまま低次元データに変換する手法のことです。我々が取り扱うデータの中には画像や音声といった高次元データが存在しますが、これらを直接可視化して特徴把握

【機械学習】最新論文の異常検知手法をMVTecデータセットの実験結果で比較してみた＆各手法のPythonコードも紹介【異常検知】Python機械学習DeepLearningPython3異常検知 現在、世界最先端の画像の異常検知手法の性能は、どのくらいなのでしょうか？ 2021年度に国際会議に採択された論文の最新手法を調査してみました！（Pythonのプログラムコードも見つけたので、リンクを貼っておきます。） 論文の実験結果に記載されているMVTecデータセットのAUC値で各手法を比較してみたいと思います。 MVTecデータセットの画像例： 手法の概要紹介 CutPaste CVPR2021に採択された論文の手法。 CVPRはコンピュータビジョン系の世界最高峰の国際会議で、採択率は約20%。５人の一流の研究者が論文を投稿しても、１人しか採択されないという超難関です。 この手法のアプローチと

概要 PyCaretのLassoとLightGBMで学習したモデルの重みを用いて、特徴量選択を実施した。 実装 実行環境は以下の通り Python 3.9.0 PyCaret 2.3.0 前準備 データは、pycaretに用意されているサンプルデータのinsuaranceを利用する。 Build and deploy your first machine learning web app - PyCaret Official このデータは、保険会社が顧客の保険料を決める際に、貸し倒れしないような保険料を設定すべく、患者がWebに入力したフォームの内容から、将来の疾患や起こりうる健康リスクを予測し、患者ごとの適切な料金を設定するというタスクを解くために用意されたもの。 データの中身を見ると、顧客の性別や年齢、喫煙の有無といった情報が格納されている。 age sex bmi children

はじめに 書籍「Pythonで儲かるAIをつくる」の著者です。 関連リンク: Amazon サポートサイト 書籍の4.3節では、2値分類問題を対象に、決定木、サポートベクターマシン、ランダムフォレストなど機械学習の典型的なアルゴリズムをいくつか紹介しています。ここで各アルゴリズムの特徴を説明する手段との一つして、決定境界表示を用いています。 決定境界表示に関しては、現時点で（おそらく？）正式のライブラリがないため、簡易的に表示ができる関数を事前に定義し、書籍の中では、その関数を参照する形にしています。つまり、表示方法そのものに関する解説は一切ありません。この書籍は入門者向けなので、読者はこの実装ロジックを理解する必要はないという判断のもと、こういう方法を取りました。 一方で著者が非常によく聞かれるのが、この関数の中でどうやって決定境界を表示しているかという点です。当記事は、もともとはそのよ

プラットフォームの概要 AI Platform 生成 AIおよび予測 AIのプラットフォーム もっと詳しく ドキュメント 新機能 ログイン 無料で始める 運用 自信を持ってAIを拡張し、比類のないエンタープライズ・モニタリングとコントロールでビジネス価値を促進 デプロイと実行 再学習と最適化 監視と介入 ガバナンス AIの環境、チーム、およびワークフローを統合し、大規模な範囲での完全な可視性と監視を実現 レジストリと管理 監査と承認 コンプライアンスドキュメント生成 構築 ニーズの進化に合わせて自由に適応できるオープンなAIエコシステムで、迅速なイノベーションを実現 分析と変換 学習とチューニング 組立てと比較 プラットフォーム統合 インフラストラクチャーへのデプロイ ソリューション 業界ごと ヘルスケア 製造 小売業 金融サービス 成果ごと ユースケースのライブラリー お客様事例 Dat

はじめに 高度な機械学習モデルを構築していく前に、まずは目指すべきスコアの基準となるベースラインを設定します。ルールベースと機械学習モデルによって計３つ設定しました。 ルールベース 全員を死亡と予測　⇒正解率：0.622 男性は死亡、女性は生存と予測　⇒正解率：0.76555 機械学習 既存特徴量のみで学習したLightGBMで予測　⇒正解率：0.77033 １つのモデルでスコアを出したところで、それがどの程度優れているか判断することは難しいですが、ベースラインがあるとモデルの性能比較が容易になります。また、目標値が設定できるのでモチベーション維持にも繋がります。 kaggleからは話が逸れますが、複雑なモデルとシンプルなモデルに大差が無ければ、実務では解釈の容易性を考えてシンプルな方を採用することがあるのでベースラインモデルは作っておいた方がいいと思います。 全員を死亡と予測 学習データ

このエントリーを書いてる今日（9/29）と明日で有給消化期間が終わるマンです. 20日間, Banksy展を楽しんだ&新しいメガネを求めて新宿に行った以外, 地元の杉並区〜吉祥寺エリアからほぼ動きませんでした. Stay Home的な意味合いもあるのですが, 10/16（土）にPyCon JP 2021でお話をする事もあり, その準備（と信長の野望*1）に多くの時間を割いていました. PyCon JP 2021からトーク紹介 #pyconjp 「実践Streamlit & Flask - AIプロジェクトのプロトタイピングから本番運用までをいい感じにするPythonicなやりかた」 Web programmingトラックのIntermediate向けトークです。 楽しみですね。チケットはconnpassで発売中！（固定ツイート参照ください）— PyCon JP (@pyconjapan)

Optuna™は、オープンソースのハイパーパラメーター自動最適化フレームワークです。 「Optuna Meetup #1」では、Optunaのユーザー、導入を検討している方、また開発者を中心に、Optunaの様々な活用方法が共有されました。中村氏は、Hydra・MLflow・Optunaを組み合わせたハイパーパラメーター管理について発表しました。 ふだんは音声合成と声質変換技術などの音声を用いる技術を研究 中村泰貴氏（以下、中村）：「HydraとMLflowとOptunaの組み合わせで手軽に始めるハイパーパラメータ管理」というタイトルで、東京大学大学院情報理工学系研究科の修士課程2年の中村が発表します。 軽く自己紹介ですが、先ほど述べたように情報理工学系研究科の、猿渡・小山研究室の修士課程2年です。音声合成に関する技術をふだん研究しています。「Twitter」をやっているので、ぜひフォロー

この記事は、DataFrameとして取り込んだ「データ確認」と「データ変換」で使えるカンニングシートです。 必要なライブラリ # 頭の3行を表示 df.head(3) # 最後の4行を表示 df.tail(4) # 2,4,6行目を表示 df.loc[[1,3,5]] # 4~9行目を表示 df.loc[3:8, :] # 条件を指定して合致する行のみを表示する df[df['currency'] == 'USD'] # currencyカラムがUSDの行のみ抽出して表示。 df[df['cost'] > 30000] # costカラムが30000より大きい行のみ抽出して表示。 df[df['point'].isnull()] # pointカラムがブランクの行のみ抽出して表示。

Jupyterは、オープンソースで開発が進められているプロジェクト（Project Jupyter）です。Pythonなどのプログラミング言語で記述された実行可能なコードと、Markdownで記述されたコードに関連ドキュメントを、「ノートブック」と呼ばれる単一のファイルにまとめることが可能な環境の構築を目指しています。 このプロジェクトの代表的な成果物が、コードとドキュメントをひとまとめに扱えるノートブックをWebブラウザ上で実現するWebアプリ「Jupyter Notebook」や「JupyterLab」です。Visual Studio Code（以下、VS Code）にPython拡張機能とJupyter拡張機能をインストールすることで、このノートブック環境をVS Code内で実現できます。今回はその基本を見ていくことにしましょう。 必要なもの 以前のバージョンのVS CodeではPy

import torch model = torch.hub.load('rwightman/pytorch-image-models:master', 'resnet18', pretrained=True) print(model) Using cache found in /root/.cache/torch/hub/rwightman_pytorch-image-models_master ResNet( (conv1): Conv2d(3, 64, kernel_size=(7, 7), stride=(2, 2), padding=(3, 3), bias=False) (bn1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act1): ReLU(inpla

更新のお知らせ 好評につきまして Altair のハンズオン資料を大幅アップデートしました。ぜひこちらもご活用ください。 概要 本稿ではグラフ可視化ライブラリ Altair を用いて、interactive な図を作成する方法を紹介する。前稿では Kaggle のデータセットを用いたが、今回は乱数を用いてクロスセクションデータ（ある一点のデータ）と時系列データをそれぞれ生成し、それぞれに適した可視化を説明する。 ハンズオン (2022年11月26日追記) 本稿のipython notebookを公開しました（WEB形式, ソースコード）。よろしければご活用ください。 Altair の長所 データ可視化記述フォーマット VEGA に準拠したデザイン streamlit などでサーバーを立てなくても interactive な図を html や vega で出力できる。（interactive

他クラス分類の評価時にはclassification reportとconfusion matrixがめっちゃ便利なので使っていけPythonMachineLearning はじめに 二値分類では評価がやりやすいですが、他クラス分類時では結構いろんな評価指標あって迷いますよね。 (再現率だ、適合率だAUCだなんだかんだ...) しかし、pythonには便利なライブラリがあります。 各クラスの適合率や再現率がひと目でわかったり、どのクラスに分類間違いしているかなどを視覚的に理解できるライブラリを紹介します。 他クラス分類時に汎用的で少ないコードで使うこともでき非常に便利な２つのライブラリ。 - classification report - confusion matrix テストデータの作成 評価に使用するテストデータを作成します。 import random import pandas

要点 T5（Text-To-Text Transfer Transformer、論文、日本語解説記事）の日本語モデル（事前学習済みモデル）を作り、公開しました。ご活用ください。 T5とは、様々な自然言語処理タスクの入出力がともにテキストになるよう問題形式を再定義することにより、一つの事前学習済みモデルを多様なタスク用に転移学習させることができる高い柔軟性を持ち、かつ、性能も優れている深層ニューラルネットワークです。 転移学習の例: 文章分類、文章要約、質問応答、対話応答、機械翻訳、含意関係認識、文の類似度計算、文法的妥当性判定、タイトル生成、スタイル変換、誤字修正、検索結果のリランキングなど（固有表現抽出などのシーケンスラベリングの実施例はない？） 日本語T5モデルはHugging Face Model Hubからダウンロードできます。 ベンチマークとして、ある分類問題について、既存のmT

- はじめに - Pythonのパッケージ管理ツールは、長らく乱世にあると言える。 特にpip、pipenv、poetryというツールの登場シーン前後では、多くの変革がもたらされた。 本記事は、Pythonパッケージ管理ツールであるpip、pipenv、poetryの3つに着目し、それぞれのツールに対してフラットな背景、技術的な説明を示しながら、所属企業内にてpoetry移行大臣として1年活動した上での経験、移行の意図について綴り、今後のPythonパッケージ管理の展望について妄想するものである。 注意：本記事はPythonパッケージ管理のベストプラクティスを主張する記事ではありません。背景を理解し自らの開発環境や状態に応じて適切に技術選定できるソフトウェアエンジニアこそ良いソフトウェアエンジニアであると筆者は考えています。 重要なポイントのみ把握したい場合は、各章の最後のまとめを読んで頂

ScikitAllStars: 主要なscikit-learnの教師あり機械学習法を全部OptunaでチューニングしてスタッキングまでやっちゃうツールPython機械学習scikit-learnStackingOptuna 教師あり機械学習法はたくさんありますが、scikit-learn に入ってるもののうち主なものを全部使って、optunaでハイパーパラメーターチューニングして、できたモデルをさらにstackingしてしまうという一連の作業をまとめて行うライブラリ ScikitAllStars を作りました。 なぜこんなツールを作ったかって？めんどいからです。 また、ScikitAllStars の特徴として、教師あり機械学習が「回帰問題」なのか「分類問題」なのかという違いをほとんど意識せずに使えるというところもあります。 以下のコードは全て Google Colaboratory 上で

実行時間を測定するには? KaggleMasterのアライさん著・Kaggleコード遺産でおなじみ timer を使うのが便利です! いつもお世話になってます😊 Kaggleコード遺産 - Qiita from contextlib import contextmanager from time import time # https://qiita.com/kaggle_master-arai-san/items/d59b2fb7142ec7e270a5#timer をちょっといじったやつ @contextmanager def timer(logger=None, format_str='{:.3f}[s]', prefix=None, suffix=None): if prefix: format_str = str(prefix) + format_str if suffix:

こんにちは、しゅれぬこ(@syurenuko)です。 この記事を書いている2021年3月現在、データ分析コンペプラットフォーム「Solafune」にて、「夜間光データから土地価格を予測」という非常にChallengingな内容のコンペが開催されています。 Solafune -夜間光データから土地価格を予測- ざっくりどういうコンペか説明しますと、PlaceID（匿名化された地域ID）、Year（年）、MeanLight（その地域の平均光量）、SumLight（合計光量）の4つが与えられて、未知のテストデータのAverageLandPrice（土地価格）を予測せよといった内容です。 土地価格が決まる要因として、都市部に近い、開発が進んでいて将来性が見込めるなどの様々なものがありますが、このコンペでは夜間光からいかに正確に土地価格を予測できるのかを競います。 夜間光はその土地の経済活動と密接な

〜AutoMLで実践する〜 ビジネスユーザーのための機械学習入門シリーズ 【第 3 回】 「積ん読」と「体重増」の悩みを AutoML で解決しよう 前回は、AutoML Tables による EC サイトの LTV 分析事例を紹介しました。今回は、同じ AutoML Tables を、より身近な課題の解決に使う方法を紹介します。 その課題とは、筆者自身が抱えていた 2 つの悩みです。ひとつは、スキャンして PDF で保管している書籍の「積ん読」を大量に抱えていたこと。もうひとつは、自宅作業ばかりで増え続けてしまっている体重です。 この 2 つの課題を一挙に解決するソリューションとして筆者が思いついたのが、「PDF 書籍をオーディオブックに変換する」という方法です。読みたかった書籍をオーディオブック化しておけば、ランニングしながら積ん読を解消できます。 この動画のように、Cloud Sto