並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 7 件 / 7件

新着順 人気順

次元削減の検索結果1 - 7 件 / 7件

タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。

次元削減に関するエントリは7件あります。 機械学習pythonobservability などが関連タグです。 人気エントリには 『マイクロサービスにおける性能異常の迅速な診断に向いた時系列データの次元削減手法 - ゆううきブログ』などがあります。
  • マイクロサービスにおける性能異常の迅速な診断に向いた時系列データの次元削減手法 - ゆううきブログ

    著者 坪内 佑樹(*1), 鶴田 博文(*1), 古川 雅大(*2) 所属 (*1) さくらインターネット株式会社 さくらインターネット研究所、(*2) 株式会社はてな 研究会 第7回Webシステムアーキテクチャ研究会 2010年代のクラウド技術であるコンテナオーケストレーション、サーバーレス、マイクロサービス、さらにはエッジコンピューティングなどの普及により、分散システムとしての複雑度が高まっている。このまま複雑度が高まっていくと、人手によるルールベースの運用にいずれは限界が訪れるのではないかと考えている。そこで、最近は、このようなクラウドを中心とするSRE分野の課題に対して、機械学習やその他の数理的アプローチを適用するアプローチを模索している。特に、SREの中でも、システムに発生する異常への対応については、現場のエンジニアの経験に基づき直感に大きく依存している。 異常への対応を構成する

      マイクロサービスにおける性能異常の迅速な診断に向いた時系列データの次元削減手法 - ゆううきブログ
    • 特徴量次元削減手法のt-SNE・UMAPで記事文章ベクトルの可視化をしてみた

      この記事は  GMOアドマーケティングAdvent Calendar 2021   20日目の記事です。 こんにちは、GMOアドマーケティングのM.H.と申します! 文章のカテゴリ分類って難しいですよね。例えばメールの本文からそれがスパムか否かを判定する二値分類ならまだ良いですが、書かれた文章のテーマで分類するなどの話になってくると、その分カテゴリ数が増えて問題の難易度が上がります。 このような問題に対処するために機械学習を使うことはよくあることですが、大きく「教師あり学習」による予測モデルの学習と「教師なし学習」によるクラスタリングの2つのアプローチが使われることが多いように思います。 教師あり学習は素直な方法ですが、学習にあたり文章に対する正解カテゴリのアノテーションを付与する必要があり、入力データの作成にあたってかなり骨の折れる作業を強いられますし、時が経てば対応したいカテゴリが増減

        特徴量次元削減手法のt-SNE・UMAPで記事文章ベクトルの可視化をしてみた
      • 高次元データの可視化を目的とした次元削減手法を紹介 - Platinum Data Blog by BrainPad

        本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 当社データサイエンティストが、高次元のデータをできる限り重要な情報を保持したまま低次元データに変換する「次元削減手法」について代表的な3つの手法をご紹介します。また、実際に画像データを用いて手法を試してみましたので、その結果もご紹介します! こんにちは。アナリティクスサービス部の西條です。 今回は、高次元データを可視化する際に使用する手法の1つである次元削減についてご紹介します。 次元削減とは 次元削減の手法 PCA t-SNE UMAP 各手法の比較 おわりに 参考文献 次元削減とは 次元削減とは、高次元のデータをできる限り重要な情報を保持したまま低次元データに変換する手法のことです。我々が取り扱うデータの中には画像や音声といった高次元データが存在しますが、これらを直接可視化して特徴把握

          高次元データの可視化を目的とした次元削減手法を紹介 - Platinum Data Blog by BrainPad
        • 生物学データの次元削減・可視化手法PHATEを使ってみる - Qiita

          PHATE(Moon, K.R., van Dijk, D., Wang, Z. et al. Nature Biotechnology 37, 1482–1492 (2019))を使ってみる。 生物学の論文で使われる次元削減の手法は山のようにあるけど、どの手法も一長一短。代表的なものとしてたとえば以下のような手法がよく使われる。 1. PCA: 主成分分析。分散最大の軸を取り出す。他の手法にはない色んな利点があるけど、特に可視化に使う場合には、非線形な特徴が捉えられない、分布の大域的特徴を良く反映するぶん局所的な構造がノイズとしてつぶれがち、などの欠点がある。 2. t-SNE(およびUMAP): それぞれの点についてlocal neighborhoodとの距離関係が保存されるように低次元の配置を探索する。なのでデータ分布の局所的構造がよく保存された可視化となる。データが複数のクラスタか

            生物学データの次元削減・可視化手法PHATEを使ってみる - Qiita
          • 次元削減、局所性鋭敏型ハッシュ――コンピュータサイエンスは美しい

            次元削減、局所性鋭敏型ハッシュ――コンピュータサイエンスは美しい:Go AbekawaのGo Global!~Tyler McMullen(前)(1/3 ページ) グローバルに活躍するエンジニアを紹介する本連載。今回はFastlyのCTO、Tyler McMullen(タイラー・マクマレン)さんにお話を伺う。高校生のころはアーティストになりたかったタイラーさん。そんな同氏を引き留め、エンジニアの道に導いたのはある先生の一言だった。 国境を越えて活躍するエンジニアにお話を伺う「Go Global!」シリーズ。今回はFastlyのCTO(最高技術責任者)、Tyler McMullen(タイラー・マクマレン)さんにお話を伺った。ゲームやレゴなどパズル的なものが大好きな少年は「ゲームジニー」でプログラミングの世界に足を踏み入れる。 聞き手は、アップルやディズニーなどの外資系企業でマーケティングを担

              次元削減、局所性鋭敏型ハッシュ――コンピュータサイエンスは美しい
            • TSifter: マイクロサービスにおける性能異常の迅速な診断に向いた時系列データの次元削減手法 / TSifter in proceedings of IOTS2020

              第13回情報処理学会インターネットと運用技術シンポジウムhttps://www.iot.ipsj.or.jp/symposium/iots2020-program/

                TSifter: マイクロサービスにおける性能異常の迅速な診断に向いた時系列データの次元削減手法 / TSifter in proceedings of IOTS2020
              • 次元削減とは?次元削減と主成分分析に関して学ぼう! - AI Academy Media

                主成分分析(PCA)とは データセットの次元が多いと、データ分析においても、機械学習においても計算コストが増え、データの様子が分かりにくくなります。 その解決策として、統計や機械学習の分野でよく使われる手法が、主成分分析(Principal Component Analysis:PCA)です。 主成分分析では、特徴量を抽出することによって、データセット内の特徴量を削減することが出来ます。 それによって、3次元以下に次元を削減することが出来れば、データを可視化することもできます。 主成分分析では、特徴量を「選択」するものではなく、新しい特徴量を「抽出」します。 ただし、ここでいう「抽出」とは非可逆的な(一度抽出したら、元のデータセットの特長量には戻らない)ものなので、いくらか失われる情報が出てきます。 主成分分析を理解する 主成分分析とは、データセットの次元を削減するために用いる手法ですが、

                  次元削減とは?次元削減と主成分分析に関して学ぼう! - AI Academy Media
                1

                新着記事