pythonによる日本語前処理備忘録 | ブログ一覧 | DATUM STUDIO株式会社
はじめにこんにちは。DATUM STUDIOの安達です。 最近社内で日本語のテキストを用いた自然言語処理でよく質問を受けるのですが、前処理についてはそこそこ同じような内容になるため、本記事では社内共有の意味も込めて前処理に関して用いてきた＆用いれそうな手法を列挙します。 比較的同じ内容を扱った既存の記事としては以下のようなものもあり、読者の方はこれらも参考にされて要件に合わせて取捨選択してください。 自然言語処理における前処理の種類とその威力 – Hironsan自然言語処理の前処理・素性いろいろ 本記事における使用言語、環境は以下の通りです。 ・osx 10.13.6・anaconda 5.2.0・python 3.5.2Table of contents ・形態素解析段階での前処理 ・文字表現の正規化 ・URLテキストの除外 ・Mecab + neologd 辞書による形態素解析 ・形
pandasで複数条件のAND, OR, NOTから行を抽出（選択） | note.nkmk.me
pandasで複数の条件のAND, OR, NOTからpandas.DataFrameの行を抽出する方法を説明する。 注意点は二つ。 &、|、~を使う（and、or、notだとエラー） 比較演算子を使うときは条件ごとに括弧で囲む（括弧がないとエラー） なお、ここではブーリアンインデックス（Boolean indexing）を用いた方法を説明するが、query()メソッドを使うとより簡潔に書ける。 関連記事: pandas.DataFrameの行を条件で抽出するquery 本記事のサンプルコードのpandasはバージョン2.0.3。以下のpandas.DataFrameを例として使う。 sample_pandas_normal.csv import pandas as pd print(pd.__version__) # 2.0.3 df = pd.read_csv('data/src/sa
pandasのデータ型dtype一覧とastypeによる変換（キャスト） | note.nkmk.me
pandas.Seriesは一つのデータ型dtype、pandas.DataFrameは列ごとにそれぞれデータ型dtypeを保持している。 dtypeは、コンストラクタで新たにオブジェクトを生成する際やCSVファイルなどから読み込む際に指定できる。また、astype()メソッドで型変換（キャスト）することも可能。 データ型dtypeによって列を抽出する方法は以下の記事を参照。 関連記事: pandas.DataFrameから特定の型dtypeの列を抽出（選択） NumPyのデータ型dtypeとastype()については以下の記事を参照。 関連記事: NumPyのデータ型dtype一覧とastypeによる変換（キャスト） 本記事のサンプルコードのpandasは2.0.3。バージョンによっては挙動が異なる場合があるので注意。NumPyもインポートしておく。
データ分析で頻出のPandas基本操作 - Qiita
はじめに 機械学習や深層学習が人気の昨今ですが、それらのモデルの精度に最もクリティカルに影響するのはインプットするデータの質です。データの質は、データを適切に把握し、不要なデータを取り除いたり、必要なデータを精査する前処理を行うことで高めることができます。 本頁では、データ処理の基本ツールとしてPandasの使い方を紹介します。Pandasには便利な機能がたくさんありますが、特に分析業務で頻出のPandas関数・メソッドを重点的に取り上げました。 Pandasに便利なメソッドがたくさんあることは知っている、でもワイが知りたいのは分析に最低限必要なやつだけなんや…！、という人のためのPandasマニュアルです。 また、単に機能を説明するだけでは実際の処理動作がわかりにくいため、ここではSIGNATE(旧DeepAnalytics)のお弁当の需要予想を行うコンペのデータを拝借し、このデータに対
ディープラーニングに入門するためのリソース集と学習法（2018年版） - Qiita
最近Bitcoinの方が流行っている印象を受けますが，ディープラーニングの勢いは依然強く，Google Trendを見ても未だに検索数は上昇傾向にあるように見えます． 実際体験してみるとわかりますが，ディープラーニングはとんでもなく強力な機械学習の手法で，うまく使いこなせれば強力な武器になります．しかし，「ディープラーニングにはPhDが必要だ」「ディープラーニングは素人には学べない」といった幻想もちらほらあり，興味はあってもなかなかこの世界に飛び込めない人も多いのではないでしょうか？ この記事の目的 この記事では筆者がディープラーニングを学ぶ上で筆者が特に有効だと感じたリソースと，有効な学習法について紹介します．参考までに，筆者はディープラーニングを学び始めてまだ9ヶ月程度ですが，今となっては職場でディープラーニングを教える立場になっています．まだ筆者はディープラーニングに関しては初心者で
pandasで条件に応じて値を代入（where, mask） | note.nkmk.me
pandasで条件に応じて値を代入する方法を説明する。if文を使うわけではないが、if then ...あるいはif then ... else ...的な条件分岐の処理が可能。 特定の値の置換、欠損値NaNの置換や削除については以下の記事を参照。 関連記事: pandas.DataFrame, Seriesの要素の値を置換するreplace 関連記事: pandasで欠損値NaNを削除（除外）するdropna 関連記事: pandasで欠損値NaNを置換（穴埋め）するfillna 以下のpandas.DataFrameを例とする。 import pandas as pd import numpy as np df = pd.DataFrame({'A': [-20, -10, 0, 10, 20], 'B': [1, 2, 3, 4, 5], 'C': ['a', 'b', 'b', '
pandasの使い方（merge、join、concat編） - abcdefg.....
pandasのデータを結合する方法のメモです。 pandasのDataFrameとSeriesを merge関数、join関数、concat関数で結合してみました。 目次 pandas merge関数 inner join left join right join outer join 複数キーでのマージ 列名の重複 indexとのマージ 階層データのマージ join関数 concat関数 pandas pandasの説明とインストール方法は下記を参照。 pppurple.hatenablog.com IPythonで使ってみます。 SeriesとDataFrameを直接名前指定で使えるようにインポートして使います。 pandasはpdという省略名で使うのが通例です。 In [1]: from pandas import Series, DataFrame In [2]: import p
Pandasで2つのデータを横方向に結合するmerge関数の使い方
結合の仕方の違い 2つのDataFrameを横方向に結合するmerge関数 APIドキュメント params: returns: 基本的な使い方 結合の仕方を変更する 結合を基準にするデータを指定する 被りのあるラベルに添え字をつける まとめ 参考 Pandasにはデータ同士を結合するための関数も豊富に揃っています。そのため、少しわかりにくくなっている部分があるのも事実です。結合操作を自在に使いこなすことができるようになれば、分析作業も楽になるはずです。 そこで本記事では 結合の仕方の違い(left, right, outer, inner) 2つのDataFrameを横方向に結合するmerge関数の使い方 について解説していきます。 結合の仕方の違い それぞれの使い方の解説に入る前に、主にmerge関数で使われる引数howのオプションについて解説します。 SQLを扱ったことのある人にはI
pandas.DataFrameを結合するmerge, join（列・インデックス基準） | note.nkmk.me
共通のデータ列を持つ複数のpandas.DataFrameをその列の値に従って結合するには、pandas.merge()関数またはpandas.DataFrameのmerge()メソッドを使う。 pandas.merge — pandas 2.0.3 documentation pandas.DataFrame.merge — pandas 2.0.3 documentation インデックス列を基準にする場合はpandas.DataFrameのjoin()メソッドも使える。 pandas.DataFrame.join — pandas 2.0.3 documentation pandas.DataFrameを縦横に連結するにはpandas.concat()関数を使う。 関連記事: pandas.DataFrame, Seriesを連結するconcat 本記事のサンプルコードのpandas
Pandasで複数のデータを横方向に結合するjoin関数の使い方
join関数 APIドキュメント params: returns: 基本的な結合 3つ以上のデータの結合 Seriesを結合する 結合後のキーの使用範囲を指定する 左側データで使うキーを指定する 複数キーを指定する 被りのあるカラムラベルに文字列を付け足す まとめ 参考 横方向にデータを結合する関数の代表例としてmerge関数があります。 merge関数は細かい設定ができる一方で、3つ以上のDataFrame(もしくはSeries)をまとめて結合することができません。一方で、join関数は3つ以上のデータを結合することが可能になっています。 また、大きな違いの1つとして結合の基準となるキーのデフォルトが異なっており、merge関数では列データからキーを探してくるのが基本でしたが、join関数はインデックスラベルがキー となっている状態がデフォルトです。 結合していくものはインデックスラベル
Python pandas データ選択処理をちょっと詳しく <後編> - StatsFragments
概要 こちらの続き。これで pandas でのデータ選択についてはひとまず終わり。 Python pandas データ選択処理をちょっと詳しく <前編> - StatsFragments Python pandas データ選択処理をちょっと詳しく <中編> - StatsFragments サンプルデータの準備 データは 前編と同じものを使う。ただし変数名は変えた。 import pandas as pd s1 = pd.Series([1, 2, 3], index = ['I1', 'I2', 'I3']) df1 = pd.DataFrame({'C1': [11, 21, 31], 'C2': [12, 22, 32], 'C3': [13, 23, 33]}, index = ['I1', 'I2', 'I3']) s1 # I1 1 # I2 2 # I3 3 # dtype:
pandasで要素、行、列に関数を適用するmap, applymap, apply | note.nkmk.me
適用する関数、対象による違い pandasのオブジェクト（pandas.DataFrame, pandas.Series）に関数を適用する場合、どんな関数を適用するか、要素・行・列のいずれに適用するかによって、使うメソッドなどが異なる。 NumPyの関数の引数にpandasオブジェクトを指定 関数の引数にpandasオブジェクトを指定可能 関数の種類および引数の設定によって要素・行・列いずれに適用されるかが異なる pandasオブジェクトのメソッドとして用意されている関数もある pandasオブジェクトのメソッドで関数を適用 要素（スカラー値）に対する関数 Seriesの各要素に適用: map(), apply() DataFrameの各要素に適用: applymap() 行・列（一次元配列）に対する関数 DataFrameの各行・各列に適用: apply() 今回は以下のcsvファイルを
pandas の loc、iloc、ix の違い – python | コード７区
from pandas import DataFrame df=DataFrame([[1,2,3], [10,20,30], [100,200,300], [1000,2000,3000]], index=['row_0', 'row_1','row_2','row_3'], columns=['col_0','col_1','col_2']) #----------------------------- # col_0 col_1 col_2 # row_0 1 2 3 # row_1 10 20 30 # row_2 100 200 300 # row_3 1000 2000 3000 #----------------------------- # # 行ラベルを指定 # df.loc[['row_2','row_3']] #----------------------------
pandasで使われるデータ構造 ～1次元、2次元、3次元のデータの扱い方～ - 今日も窓辺でプログラム
この記事について 今までなんとなくで使用していたpandasですが、なんとなくで実装していたコード（日経平均予想のやつです）が汚くメンテナンスが難しくなってきたので、一度ちゃんとpandasでのデータの扱い方をまとめておこうと思って書いたものです。 pandasの公式ドキュメントに Intro to Data Structures というものがあり、基本的にはそこで説明されていることの一部をピックアップして紹介している記事になります。 http://pandas.pydata.org/pandas-docs/stable/dsintro.html 目次 この記事について 目次 Series: 1次元のデータ Seriesの作り方 Seriesはnumpyのndarrayに似ている SeriesはPythonの辞書に似ている ベクトル的な計算もできます Name属性 DataFrame: 2
Python pandas データ選択処理をちょっと詳しく <前編> - StatsFragments
概要 書いていて長くなったため、まず前編として pandas で データを行 / 列から選択する方法を少し詳しく書く。特に、個人的にはけっこう重要だと思っている loc と iloc について 日本語で整理したものがなさそうなので。 サンプルデータの準備 import pandas as pd s = pd.Series([1, 2, 3], index = ['I1', 'I2', 'I3']) df = pd.DataFrame({'C1': [11, 21, 31], 'C2': [12, 22, 32], 'C3': [13, 23, 33]}, index = ['I1', 'I2', 'I3']) s # I1 1 # I2 2 # I3 3 # dtype: int64 df # C1 C2 C3 # I1 11 12 13 # I2 21 22 23 # I3 31 32
Python でデータサイエンス
このサイトについて このサイトでは、データ加工や集計、統計分析などインタラクティブに実行されるスクリプトやバッチプログラム、本格的な Web アプリケーションの実装まで、多彩な機能を持ちながらも初心者にも扱いやすいプログラミング言語 Python (パイソン) を使ったデータの統計分析の手順や使い方について紹介します。 初めてプログラムに触れる人や、R や SAS, Ruby のような言語のプログラミング経験はあっても、Python をあまり扱った経験のない初心者向けに理解できるような内容としてまとめています。 また、本格的な統計分析（基本統計量や多変量解析、データマイニング、機械学習）を学んだことがない人でも理解できるよう、統計（アナリティクス）の解説も必要に応じて述べています。 このサイトで提供できる情報を通して、皆さんが Python を使ったビッグデータ解析を思いのままに使いこなせ
Pandas でデータフレームから特定の行・列を取得する – Python でデータサイエンス
このページでは、Pandas で作成したデータフレームを操作して、特定の行・列を取得し、目的の形へ加工する手順について紹介します。 なお、特定の行、列を除外する方法については、「Pandas のデータフレームの特定の行・列を削除する」の記事をご参照ください。 特定の列を取得する カラム名 (列名) を指定して、特定の列を抽出できます。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PandasでSeriesオブジェクトとDataFrameオブジェクトを作る
日本株の株価を取得してpandasデータフレームに格納する - Qiita
データフレームの基本操作[pandas][DataFrame][Titanic]