忙しい研究者のためのテストコードとドキュメントの書き方 - Qiita
はじめに 「研究用のプログラムにもテストコードやドキュメント書いたほうがいいよね。」 「分かっちゃいるけど、そんな面倒なことやってられないよ。」 という研究者あるあるを解決すべく、僕が普段実践している開発スタイルを紹介します。 この開発スタイルのすごいところは： テストやドキュメントを一切書かない場合と比べて 追加の工数がほぼゼロ。 普通にコーディングしているだけで、いつのまにかテストコードとドキュメントまでできあがっている。 実装、コメント、テスト、ドキュメントが自然に同期するので、保守しやすい。 Pythonを例に紹介しますが、コメント内にテストを書けるツールと、コメントからドキュメントを生成できるツールをもつ言語ならばどれにでも応用できるはずです。 この開発スタイルに至った背景 ソフトウェア開発において、テストコードやドキュメントを整備することでプログラムの品質が向上することは広く知
Amazonレビューをセンチメント分析（感情分析）する【Python】
Amazonレビューは、何かと話題になります。 今なら、Amazonレビューにはサクラが多くて胡散臭いという話題でしょうか？ Amazonレビューは、以前は本当に役に立ちました。 参考にして買い物をすることも多くありました。 しかし、今はレビューを参考にすることが、めっきりと減りました。 そもそも、Amazonでの買い物をする機会が減りました。 その代わりに、安全なイメージのヨドバシで買い物をしています。 レビュー以外にも、悪質な業者の問題がAmazonには存在していますからね。 そのイメージの悪いAmazonレビューに関して、この記事で取り上げます。 どう取り上げるかと言うと、センチメント分析（感情分析）の対象とします。 本記事の内容 Amazonレビューをセンチメント分析（感情分析）する目的・意図Amazonレビューを取得（データ収集）するAmazonレビューをセンチメント分析（感情分
A complete guide to OCR using Pytesseract and OpenCV in 2024
Published: Feb 27, 2023 ● Updated: Jul 24, 2024 In this blog post, we will try to explain the technology behind the widely used Tesseract Engine, which was upgraded with the latest knowledge researched in optical character recognition. This article will also serve as a how-to guide/ tutorial on how to implement PDF OCR in python using the Tesseract engine. We will be walking through the following
Iterators, generators and decorators — Python for you and me 0.5.beta1 documentation
Iterators, generators and decorators¶ In this chapter we will learn about iterators, generators and decorators. Iterators¶ Python iterator objects are required to support two methods while following the iterator protocol. __iter__ returns the iterator object itself. This is used in for and in statements. __next__ method returns the next value from the iterator. If there is no more items to return
AIエンジニアが気をつけたいPython実装のノウハウ・コツまとめ - Qiita
本記事では、データサイエンティスト、AIエンジニアの方がPythonでプログラムを実装する際に気をつけたいポイント、コツ、ノウハウを私なりにまとめています。 AIエンジニア向け記事シリーズの一覧 その1. AIエンジニアが気をつけたいPython実装のノウハウ・コツまとめ（本記事） その2. AIエンジニアが知っておきたいAI新ビジネス立案のノウハウ・コツまとめ 2020年4月に書籍を、出版しました。 【書籍】 AIエンジニアを目指す人のための機械学習入門 実装しながらアルゴリズムの流れを学ぶ（電通国際情報サービス 清水琢也、小川雄太郎 、技術評論社） https://www.amazon.co.jp/dp/4297112094/ 本投稿は、上記の書籍に書ききれなかった 「AIエンジニアが、Pythonでプログラムを実装する際に気をつけたいことのまとめ」 です。 本記事の内容は、あくまで筆
Iterables vs. Iterators vs. Generators
A little pocket reference on iterables, iterators and generators. Occasionally I've run into situations of confusion on the exact differences between the following related concepts in Python: a container an iterable an iterator a generator a generator expression a {list, set, dict} comprehension I'm writing this post as a pocket reference for later. Containers ¶ Containers are data structures hold
BERTなどの大規模のモデルの課題 - Qiita
自然言語処理の画期的なモデル - BERT BERT [Bidirectional Encoder Representations from Transformers] は、Googleのチームに2018年の秋に発表された。トランスフォーマーアーキテクチャを使って、大量のデータで非常に大きいネットワークを画期的な方法でモデルを学習した結果である。学習方法と精度についてこの記事をご参照ください。 オープンソース・情報を自由に交換することを大事にしている機械学習のフィールドでは、新しいアイデアを arxiv.org で論文として公開し、github でモデルを共有することが基本的なやり方である。新しいアイデアが公開されたとたんに、世界の機械学習の研究者や開発チームが参考したり、再利用したりできる。 オープンソースの文化の結果、BERTが公開されて数か月たったら、 Open AI、Faceboo
【Python】A/Bテストの結果をピアソンのカイ二乗検定（独立性の検定）で紐解く
こんにちは、データサイエンティストのたぬ（@tanuhack）です！ Web業界で働いていれば、耳にタコができるくらい聞き飽きた『A/Bテスト（ランダム化比較試験）』という言葉。果たして、一体どれくらいの組織が正しくA/Bテストの結果を分析し、次のアクションに繋げられているのでしょうか…。 例えば、次のクロス集計表を見て、「うぉっしゃ、広告Bイケるやん！！！追加で広告費つぎこんだろー！！！」と、真っ先に思い浮かんだ方は要注意です。 CV（購入した）、Not CV（購入していない） このクロス集計表で言えば、Aの購入率は『11.64％』で、Bの購入率は『13.47%』なので、一見するとBの方が優れて見えますよね。 でも、ここには『誤差』という見えない落とし穴が存在します。 そこで今回は、こうしたクロス集計表について、『意味のある偏り』なのか、『誤差でもこれくらいの差は生じるのか』といったこと
Bayesian Methods for Hackers
An intro to Bayesian methods and probabilistic programming from a computation/understanding-first, mathematics-second point of view. Prologue The Bayesian method is the natural approach to inference, yet it is hidden from readers behind chapters of slow, mathematical analysis. The typical text on Bayesian inference involves two to three chapters on probability theory, then enters what Bayesian inf
音楽と機械学習 前処理編 MFCC ~ メル周波数ケプストラム係数 - Qiita
最近音楽を機械学習で扱うことに興味があって色々と調べているのですが、せっかくなので備忘録と理解促進を兼ねて記事にしてみます。 機械学習に限らず、音楽をデジタル情報として扱う際には楽譜や調、歌詞など、メタな情報を扱う方法と、オーディオデータそのものを扱う方法とに大別されますが、今回はオーディオデータそのものを扱う方法の一つとして、MFCCについてまとめます。 お急ぎの方向け mp3 を wav にして MFCC して現実的に扱えそうな次元に落とす # ffmpegのインストール $ brew install ffmpeg # ffmpegで mp3 を サンプリングレート 44.1kHz wavに変換 $ ffmpeg -i hoge.mp3 -ar 44100 hoge.wav # 必要なPythonパッケージのインストール $ pip install --upgrade sklearn
Vector Autoregression (VAR) - Comprehensive Guide with Examples in Python - Machine Learning Plus
Vector Autoregression (VAR) – Comprehensive Guide with Examples in Python Vector Autoregression (VAR) is a forecasting algorithm that can be used when two or more time series influence each other. That is, the relationship between the time series involved is bi-directional. In this post, we will see the concepts, intuition behind VAR models and see a comprehensive and correct method to train and f
Python 機械学習コードを Cython でラップして C/C++ から使う - luggage baggage
お久しぶりです。吉田弁二郎です。 Cython という便利なトランスパイラ（言語と言語の中間にある言語のようなもの）があります。Python ライクな文法で書ける Cython スクリプトは C/C++ コードに変換・コンパイルされた後に Python から呼び出し可能で、C/C++ ライブラリを Cython スクリプトから呼び出すことも難しくないので、Python ライブラリの高速化作業を効率良くおこなうためによく使われています。 著名なプロジェクトで言うと scikit-learn や pandas だったり、最近利用が広がり始めた cupy などで Cython が使われています。scikit-learn の例で言うと、例えばツリー系のアルゴリズムを実装したこのスクリプトは Cython によるものですね。 また逆の方向として、Python で書いたライブラリを C/C++ コード
【Pythonで異常検知】Chapter 1. １変数正規分布に基づく異常検知
概要この章では、以下の手順にしたがって１変数データの異常検知をPythonで実践することを目標とする。 訓練用データを正規分布にフィッティングする得られた正規分布からテスト用データの異常度を求める異常度の閾値を設定し、それを上回るデータを異常と判定するデータの準備異常検知を実践するために、今回はScikit-learnのbrest_cancerのデータセットを用いる。このデータセットは、乳房にできた腫瘍の様々な特徴量の値と、その腫瘍が悪性・良性のいずれであったかを記載したラベルから成る。 変数dataにデータセットを読み込むと、data["data"]に特徴量の値、data["target"]に特徴量と関連付けられたラベルが格納される。ラベルは0が悪性、1が良性を意味し、特徴量の値からこれらのラベルを予測することが課題となる。 import numpy as np from sklearn
特異スペクトル変換法による時系列データの異常検知（Python） - Fire Engine
はじめに 今回は、特異スペクトル変換法というアルゴリズムをPythonで実装します。このアルゴリズムは時系列データの異常検知に対して非常に強い力を発揮します。また、ハイパーパラメータ（人が調整する必要のあるパラメータ）が少なく、比較的チューニングが容易であることも特徴の一つです。数学の理論については深追いはせず、アルゴリズムの概要と実装まで書いていきたいと思います。 【目次】 はじめに 時系列データについて 時系列データの異常と変化点検知 特異スペクトル変換法の概要 履歴行列とテスト行列 特異値分解 変化度の定義 Pythonによる実装 特異スペクトル変換法の課題 おわりに 時系列データについて 時系列データとは、時間の推移ととともに観測されるデータのことです。昨今、様々な企業がデータ活用を推進していますが、世の中の実務の現場に貯まっていく多くのデータは時系列のデータです。 データ分析にお
異常検知ライブラリを作ってみた - Fire Engine
今回の記事は、前職消防士でゼロからプログラミングを始めた超未熟者の私が、異常検知ライブラリを作った話です。 なぜ作ったか マインド的背景 消防士を辞めてエンジニアに転職してから1年、いろんな技術に触れました。TensorFlow、scikit-learn、Dockerなどなど、必死になって使い方を覚えました。しかしだんだん、「これ、コマンド覚えてるだけで自分に何も技術身についてなくない？」という疑問や焦りが湧いてきて、自分は便利なツールを使いこなせるようになりたいんじゃなくて、いつの日かみんなが使って便利なツールを作る側になりたいんだ、ということに気づきました。そのような思いから今回初めてライブラリを作り、公開してみました。 データサイエンス的背景 世の中は時系列データで溢れています。ビジネスの場において、データの何かしらの変化の兆候を捉えて、いち早く意思決定をしたいという場面がよくありま
Pythonによる異常検知入門 - Fumiエンジニアブログ
03-204_Pythonによる異常検知入門(大山匠) 前説 内容 異常検知処理の概要 異常検知の種類に応じて、よく用いられるアルゴリズム 異常検知処理を業務で活用するために注意すべき点 ターゲット Pythonの基本的文法がわかる 統計・機械学習に触れたことがある 異常検知に興味がある 講師 大山 匠先生の授業・プロフィール - Schoo（スクー） https://t.co/Sg0vr4z4F8 『Pythonによる異常検知入門』の登壇者の方。#pyconjp_3— FUMI@PythonLifeなう (@FumiProgrammer) 2018年9月18日 アジェンダ 異常とは？ 異常検知アルゴリズムの紹介・Python 異常とは？ これは異常？ 9月中旬に最高気温が５度 PyCon JP 初来場 会場の火災報知器が発砲 → これだけでは、異常かどうかわからない。 様々なタイプの異常
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pythonプログラミング入門 — Pythonプログラミング入門 documentation
機械学習の Python との出会い — 機械学習の Python との出会い
https://vincentarelbundock.github.io/Rdatasets/datasets.html
Decorators in Python