はてなブックマーク

はじめに Pytorchでコードを書き始めるとき、乱数固定やデータローダー、モデルの訓練や学習結果の取得等、毎度色々なサイトを参照するのは面倒だと思い、現時点の個人的ベストプラクティス・テンプレートを作成してみました。 今後のバージョンアップや便利なライブラリの登場で変わるかもしれませんげ、現在はこれで落ち着いています。 個人的な備忘録も兼ねて、前半に簡単な解説付きのコードと最後に全コードを載せています。 もっと便利な書き方やライブラリなどあれば、コメントいただけると嬉しいです。 テンプレート（解説付き） 1. ライブラリインポートと初期設定 torchやよく利用するライブラリ(numpy, matplotlib)のインポート モデルの訓練時（for文）の進捗を表示するtqdmライブラリ（jupyter notebookとコマンドライン版） 進捗表示は待ち時間の見積もりやエラーに気づくこと

はじめに 昨今、様々な機械学習（深層学習を含む。以降、ML）の手法が提案されるとともに、社会実装や業務適用に向けたプロジェクトが開始されています。 しかし、現実問題をMLで解き、社会的・実務上の価値に繋げることは容易ではなく、多くのプロジェクトがPoC（Proof of Concept, 技術の概念検証）で止まっています。（PoC疲れ、PoC地獄、PoC貧乏といった単語すら登場しています...） ここ数年で多くのPoCが行われた結果、様々な反省点や改善手法が提案されてきており、本記事では、特に有意義だった下記の2論文+個人的な経験を踏まえて、社会実装・業務適用に向けた機械学習プロジェクトの進め方について、まとめてみたいと思います。 参考文献 Using AntiPatterns to avoid MLOps Mistakes How to avoid machine learning pi

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 完全なデータ・ドリブンアプローチは正しいのか？もっと人間のノウハウをモデリングに活用する！ 昨今のビッグデータ・機械学習は全ての規則（ルール）をデータから学習させる、というアプローチが中心かと思います しかし現実問題として、あらゆる事象に関するデータを網羅的・大量に蓄積している状況は稀です そこで注目したいのが、**データ化はされていないが長年の経験から蓄積され人間の頭の中に存在するノウハウ（知識）**です これらのノウハウを用いることで、不十分なデータを補うことができる可能性があるのがベイズ統計（ベイズモデリング）です あら

はじめに 近年、人工衛星データを社会やビジネスで利用するケースが増えてきています 人工衛星は宇宙から地球の状態を様々なセンサーで観測しており、それらはオープンデータとして公開されています 衛星データはビッグデータであり、昨今の機械学習やAIの技術と親和性の高いのですが、必要とされる処理リソース（ストレージ・メモリ）が膨大になりがちであり、個人のPC環境で利用するにはハードルが高いです しかし、Googleが提供するクラウドリソースを利用することで、個人でも無料で衛星データ解析を行うことができます 本記事では、**Google Earth Engine (GEE)とGoogle Colaboratory (Colab)**を利用して衛星データ解析の手法を紹介します 後日公開予定の【実践編】では衛星データから取得できる代表的なデータ（地表面温度・植生指数・積雪指数）の取り扱いも紹介していきたい

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに　〜衛星データとは〜 人工衛星データとは、人工衛星を利用した**“リモートセンシング”**によって取得されたデータを指します。 これまで人工衛星データは専門ツールや大容量データ処理基盤が必要なため、利用できる組織は大学機関や一部の専門機関が限られていましたが、昨今のオープンソース・ライブラリの普及やデータ処理基盤のクラウド利用により、一般組織でも気軽に人工衛星データを扱える外部環境が整ってきました。 衛星データを利用することで、これまで取得することができなかった様々な場所・時間・対象の状態をビッグデータで解析することが期待できま

はじめに 自然言語処理の世界で様々なブレークスルーを起こしている**「BERT」**をpytorchで利用する方法を紹介します 特に実務上で利用するイメージの沸きやすい、手元のラベル付きデータでファインチューニングをして、分類問題を解くタスクを行ってみたいと思います 読み込むデータをpandasで少し整形してあげれば他データでも応用することはできるはずなので、是非、お手元の様々なデータで試して頂ければと考えています 環境 Google Colaboratory（GPU環境） Google Colaboratoryの環境設定方法は様々な紹介記事があるので、それらをご参照ください 利用データ ライブドアニュースコーパス 「ITLife Hack（IT関連記事）」と「Sports Watch（スポーツ関連記事）」の記事を利用 それぞれの記事内容（テキスト）から、どちらのメディアの記事なのかを推定

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

はじめに Qiitaに投稿すると「いいね！」や「ストック」等のフィードバックがあります。 「いいね！」を押してもらった際、何件程度もらったら良いこと（良い記事）なのでしょうか？ Qiita APIから抽出したデータを利用して、検証してみました。 対象データ 期間：2011年9月 〜2018年11月 (2011-09-15 ~ 2018-11-12) データは下記リンクより習得（すでに抽出済みのデータがKaggleにupしたあったので、そこからtsv形式で取得） Qiitaの投稿記事からデータセット作った Qiitaの記事データをQiita API, Scrapyで収集 データの読取・前処理 Pandasでtsv形式のデータを読み取る csv形式の際はpd.read_csvだが、今回はtsv形式なので、pd.read_tableで読み取る デフォルトでは、タイムスタンプデータもstr型で読ま

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

はじめに データ分析実務において、前処理や集計・可視化後によく行う分析手法をまとめました 前処理編とデータ集計・可視化編の続きです ここでいう「実務」とは機械学習やソリューション開発ではなく、アドホックなデータ分析や機械学習の適用に向けた検証（いわゆるPoC）を指します 領域によっては頻繁に使う手法は異なるかと思うので、自分と近しい領域のデータ分析をしている方の参考になればと思います 今回紹介する分析手法 パレート分析 線形回帰 時系列解析（季節成分分解） 時系列解析（時系列データの相関） ランダムフォレストによる特徴量の重要度 1. パレート分析 対象データ：カテゴリカルデータ 用途：各カテゴリの全体に対する構成比率 ケーススタディ：製品カテゴリ別の売上データ（A~H）に対して、各製品カテゴリの売上傾向を把握したい サンプルデータの生成 A = np.repeat('Cat_A', 15

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Summary Google Trendから各キーワードの検索データを取得し、時系列データ分析を行います Pytrendsという（非公式の）ライブラリを用いてデータを取得します statsmodelsを活用して、時系列解析を行い、各キーワードの検索トレンドを分析します（季節成分分解・相関マトリックス） 分析ゴール 各プログラム言語のキーワード検索傾向や関係性を把握する 対象データ 対象言語を以下として、Google trendから抽出する JavaScript Ruby Python PHP Java SQL 2014年〜2018年9月末の期間で考察する データ取得方法 Pytrendsを利用して、Google Trend APIへアクセス 公式サイト https://pypi.org/project/pytrends/ 使い方（データ取得） TrendReqで接続言語とタイムゾーンを指定