こんにちは！ nakamura（@naka957）です。 今回はクラスタリングをご説明します。クラスタリングは教師なし学習に代表される手法の1つで、正解情報なしでデータ間の類似性を推定し、グループ化する手法です。DATA Campusでは、これまでに教師なし学習の概要とその手法の1つの主成分分析について解説しています。そちらも是非参考にしてみてください。 ■機械学習における教師なし学習の理解を深める ■教師なし学習の実践 主成分分析で高次元データを可視化する 本記事では、最初にクラスタリングの概念と主要な手法であるk-means法について説明します。次に、実装例の紹介に加え、同じ教師なし学習である主成分分析と組み合わせることで、クラスタリングをより有効に機能する例も紹介します。k-means法は単純なアルゴリズムで、様々な場面で簡単に適用できる手法です。是非、この機会にマスターしてみてくだ

みなさん、こんにちは。DATAFLUCTのKazumiです。 前回の記事（ WordCloudで小説の特徴を テキストマップ化してみた ）でWordCloudを用いたテキストマップの作成を紹介しました。そこではWordCloudを使って、テキスト内でよく使われる単語を可視化できました。今回はその仕組みともっと良くするための方法について話していきます。 WordCloudにはできないことがある！ そもそも形態素解析というのは何か？ 形態素への理解 形態素を解析する、とは ①文章を分割する ②品詞をつける WordCloudの弱点と応用 WordCloudの形態素解析が粗い理由 WordCloudをうまく扱うには おわりに 参考文献 WordCloudにはできないことがある！ まず、WordCloudにはできないことについて説明します。 WordCloudを使って作った、次の２つのテキストマッ

こんにちは！nakamura（@naka957）です。今回はMLflowをご紹介します。 読者の皆さんは、機械学習モデルのハイパーパラメータ調整を手作業で管理し、苦労した経験がないでしょうか。実験記録の管理は大事な一方で、なかなか大変です。 今回紹介するMLflowは、実験記録を簡単に管理できる便利なPythonライブラリです。MLflowは実験管理だけでなく、機械学習プロジェクト全体を管理する様々な機能を提供する非常に人気なライブラリです。一方で、多機能な反面で初心者が最初に導入するにはハードルが高い側面があるのも事実です。 本記事では、MLflowの実験管理の機能に絞り、簡単な例で使い方をご説明します。そのため、初めて使用する方も安心してご覧ください。 では、早速始めていきます。 実験記録の重要性 MLflowとは MLflowのインストール データセット準備 機械学習モデルの用意 M

こんにちは。今回は、データ基盤の構築の一部を実際に体験してみたいと思います。 データ基盤を作成するにあたり、まずは、社内に眠る様々なデータを集めてくる必要があります。 前回の記事では、その機能を「収集」と紹介していました。 データ基盤とは何か？ 収集・変換・統制の3つの構成要素に分けて解説 本記事では、データ基盤の収集機能をOSSで構築し、実際に体験してみたいと思います。 これからデータ基盤を開発していく方に、少しでもお役に立てたら幸いです。 データ連携に必要なELTについて データ抽出機能に特化したAirbyteについて ELに必要な環境のセットアップ Airbyteのセットアップ PostgreSQLのセットアップ BigQuery のデータセットの作成 Airbyte上での設定 AirbtyeによるELの実行 まとめ データ連携に必要なELTについて 収集機能を構築していくあたり、大

こんにちは！nakamura（@naka957）です。本記事では、TensorFlowの拡張機能であるTensorFlow Data Validationを用いたデータセット検証を行う方法をご紹介します。 データセット検証とは、機械学習モデルの構築時に使う訓練データと運用データの間の違いを調べることです。訓練データと運用データの性質に違いが存在すると、モデル精度の悪化に繋がります。そのため、構築したモデルの精度監視だけでなく、より前工程となるデータセット時点での検証も非常に重要になります。特に、データセットサイズが大きくなるほど、手作業での検証が困難となるため、効率的で自動化された検証方法が求められてきます。 データセット検証を行うライブラリは様々ありますが、今回は機械学習の実装フレームワークとして特に有名なTensorFlow系のライブラリを用いて行います。 では、早速始めていきます。

こんにちは！ 皆さんは機械学習モデルを作ろうとした時にデータが少なくても、思ったような精度が出ずに困ったことはないでしょうか。 筆者は機械学習を用いたプロジェクトで、「やりたいことはあるけど....データがない...ッ！」といつも困っていました。 今回は少ないデータでも精度の良いモデルが作れるかもしれない転移学習について解説をしていきます。 転移学習とはなにか なぜ転移学習は注目されるのか 少ないデータでも高精度なモデルを構築可能 短い時間で学習が可能 転移学習の実装方法 実際に転移学習をさせてみた 転移学習: 学習済みvgg19 転移学習: 学習済みMobileNet V2 転移学習なし: MobileNetV2 学習時間の比較 まとめ 参考文献 転移学習とはなにか 機械学習の分野で用いられる研究のテーマの1つで、意外と歴史は長く、1976年にステボ・ボジノフスキーとアンティ・フルゴシに

みなさん、こんにちは。DATAFLUCTのKazumiです。 今回は文章の解析を簡単に知ってもらうために、WordCloudというPythonのライブラリを用いて小説の「テキストマップ」を見ていきます。テキスト中の単語の出現頻度を大きさで表現することで、視覚的に描写することができるようになります。 １．【問題】このテキストマップが表す小説は何でしょう？ ２．実際に作ってみよう！ 利用準備 【コード】 実行した結果 ３．WordCloudで英語のテキストマップを取り上げた理由 １．【問題】このテキストマップが表す小説は何でしょう？ さっそく、WordCloudを使って、テキストマップを6個作ってみました。せっかくなので何の小説をもとにしてテキストマップを作ったのか当ててみてほしいと思います。答えは６つ目の小説のテキストマップの画像の後にまとめていますので、ぜひ当ててみてください！ ＃1　 ヒ

こんにちは！ 以前にDartsという時系列分析に特化したpythonライブラリを紹介しました。 前編はこちら 今回は実際にDartsを動かしていきましょう。 Darts内にもデータセットがありますが、公式でも触れられているのであえて、外部のデータを参照してみましょう。導入編でも触れたアイスクリームの生産量の変化を推測したいと思います。 アイスクリームのデータセットはこちら 上記リンクの上部右側Downloadからcsvをダウンロードしてください。 Dartsのインストールは以下の1コマンドです。Windowsではデフォルトのコマンドプロンプトでうまくインストールが終了しなかったので、WSL環境などを推奨します。 $ pip install darts ARIMAで学習してみる バックテストでモデルの選定を行う RNNで共変量を扱ってみる まとめ ARIMAで学習してみる まずは、導入編で最

こんにちは！nakamura（@naka957）です。本記事では、PyCaretで簡単に探索的データ分析を行う方法をご紹介します。 探索的データ分析（Explanatory Data Analysis: EDA）とは、データセットを様々な視点から分析し、データを考察することを目的に行うことです。EDAで得られた知見や仮説を活用し、その後のデータ分析や機械学習モデルの構築を有効に行うことができます。 データを考察するための最も有効な手法は、可視化することです。そのため、データを可視化するスキルはEDAにおいて非常に重要になります。本記事ではEDAを目的とした可視化する方法をご紹介します。 では、早速始めていきます。 PyCaretとは AutoVizとは ライブラリのインストール 実行の前準備 EDAの実行 散布図 棒グラフ 密度分布 Violinプロット ヒートマップ（相関係数） Auto

こんにちは！nakamura（@naka957）です。 ドリフト(Drift)という言葉をご存知でしょうか？機械学習のサービスを運用する上で重要な項目ですが、知らない人も多いのではないでしょうか。 機械学習プロジェクトは、モデルを構築するまでがゴールではありません。本番環境での運用を続けることがゴールです。ところが、本番環境モデルは徐々に精度が低下していきます。そのため、時機を見計らって再学習が必要です。 このように、モデルの精度が想定からズレることをドリフトすると言います。ドリフトはモデルの運用のために重要となる概念です。 本記事では、ドリフトの概念と重要性を説明していきます。 ドリフトとは コンセプトドリフト データドリフト ドリフト検知後の再学習 まとめ 参考文献 ドリフトとは ドリフトとは、本番環境のモデル精度が低下する現象を指します。 ドリフトは主に2種類に分けられ、コンセプトド

こんにちは！nakamura（@naka957）です。今回は、主成分分析（PCA）をご説明します。 主成分分析は教師なし学習の重要手法の１つです。教師なし学習は正解情報なしでデータのパターンを推測する手法です。その中でも、主成分分析は多数の特徴量を少数の特徴量で表現する手法です。言い換えれば、高次元のデータを低次元で表現するため、次元圧縮の手法とも呼ばれます。 本記事では、主成分分析の概要と実装例をご紹介します。実装例では、手書き数字の画像データを実際に次元圧縮してみます。手書き数字の画像データでパターンが観測されるか確かめてみましょう。 では、早速始めていきます。 主成分分析 実装例 データセットを準備 標準化でスケールを揃える 主成分分析の実行 結果の可視化 まとめ 参考 主成分分析 主成分分析（Principal Component Analysis: PCA）は、多数の特徴量のデー