pandas.DataFrameの任意の位置のデータを取り出したり変更（代入）したりするには、at, iat, loc, ilocを使う。at()ではなくat[]のように記述する。 pandas.DataFrame.at — pandas 2.0.3 documentation pandas.DataFrame.iat — pandas 2.0.3 documentation pandas.DataFrame.loc — pandas 2.0.3 documentation pandas.DataFrame.iloc — pandas 2.0.3 documentation 位置の指定方法および選択できる範囲に違いがある。 位置の指定方法 at, loc: 行名（行ラベル）、列名（列ラベル） iat, iloc: 行番号、列番号 選択し取得・変更できるデータ at, iat: 単独の要素の

Python開発者が大好きな言葉があります。それは”全てはオブジェクトである”です。実際、私自身もPythonのクラスを教えているときに何度も口にしています。多くの人が何度も聞いた言葉かもしれないのですが、私が言う度に生徒は賛同の相槌をしてくれます。結局のところ、Javaにおいて全ては（対象がそうでない場合を除いて）オブジェクトであり、.NETにおいても全てはオブジェクトであると、よく言われています。 しかしPythonにおいて全てがオブジェクトであると言う時、（私の生徒は驚いていましたが）「 全て 」にはクラスも含まれているのです。これはとても筋が通っていて、オブジェクトシステム全体が理解しやすくなります。しかしそれでも、広い視野で物事を見ることは難しいのです。 今回のブログ記事では、Pythonのオブジェクト間のつながりをざっと見ていきたいと思います。そして”全てはオブジェクトである”

という応用まで、詳しく解説していきます。これを読んで小数点をマスターしましょう！ 本記事を読む前に、Pythonがどんなプログラミング言語なのかをおさらいしておきたい人は次の記事を参考にしてください。 → Pythonとは？特徴やできること、活用例をわかりやすく簡単に解説 なお、その他のPythonの記事についてはこちらにまとめています。 まずは、Pythonにおける小数点の基礎を確認しましょう。Pythonは数値型として、整数型、小数型、複素数型の3つを持ちます。そして、それぞれにint型、float型、complex型が対応します。この3つの型を使って数字を表現します。 他の言語を学んだ経験のあるかたには「倍精度小数点は？」と思われるかもしれません。倍精度小数点に関してはデフォルトで倍精度と同等の精度を持っているのでご安心ください。Python初学者の方やスクリプト言語しか経験のない方

pandas.DataFrameは二次元の表形式のデータ（テーブルデータ）を表す、pandasの基本的な型。 DataFrame — pandas 2.0.3 documentation pandas.DataFrame — pandas 2.0.3 documentation ここでは、はじめにpandas.DataFrameの構造と基本操作について説明し、そのあとでコンストラクタpandas.DataFrame()による作成方法およびファイルからの読み込み方法について説明する。 一次元データであるpandas.Seriesからpandas.DataFrameを生成する方法については以下の記事を参照。 関連記事: pandas.DataFrameとSeriesを相互に変換 本記事のサンプルコードのpandasのバージョンは以下の通り。バージョンによって仕様が異なる可能性があるので注意。N

Pythonで数値計算を行うための標準的なモジュールNumPyでは、ndarray（N-dimensional array、N次元配列）という、型付き高次元配列を表すオブジェクトが中心的な役割を果たしています。単にarray、配列とも言います。 この記事では、そんなNumPyのndarrayについてまとめてみました。 目次 高次元配列としてのndarray 配列の生成方法 配列同士の演算とブロードキャスト 要素・部分配列へのアクセス 配列に対するさまざまな操作 参考文献 Scipy.org / NumPy Reference / Indexing 朱鷺の杜 python / numpy Pythonの数値計算ライブラリ NumPy入門 NumPyについて 以下では、NumPyをimport numpy as npでインポートしたものと考えてほしい。np.も適宜省略することにする。 SciP

Pythonで数値計算を行なうためのライブラリであるNumPyでは、多次元配列を基本的なデータ構造として操作します。この独自のデータ構造を「ndarray」といい、知っておくことでデータ処理の際に高速化や省メモリ化したコードを書けるようになります。今回は『現場で使える！NumPyデータ処理入門』（翔泳社）からndarrayの基礎を紹介します。 本記事は『現場で使える！NumPyデータ処理入門 機械学習・データサイエンスで役立つ高速処理手法』の一部を抜粋し、掲載にあたって編集したものです。 NumPyとは NumPyは、Numerical Pythonの略称で、Pythonの数値計算のためのライブラリです。高速に数値計算ができることが特徴です。 NumPyで使われる主なクラスはnp.ndarrayと呼ばれる多次元を扱う配列です。NumPy配列は、公式ドキュメントでは単に配列と称されることが多

引数には、year、month、day、hour、minute、secondを指定します。hour、minute、secondは省略することもできます。 まずは日付型のデータを作成します。年、月、日をそれぞれ変数year_1、month_1、day_1に格納します。そしてその変数をdatetimeに渡し、日付型に変換します。 date_1の内容を確認すると、datetime.datetime(2018, 1, 23, 0, 0)と表示され、日付型のデータが格納されていることがわかります。

Pandas（パンダス）とは、データを効率的に扱うために開発されたPythonのライブラリの1つで、データの取り込みや加工・集計、分析処理に利用します。 Pandasには２つの主要なデータ構造があり、Series（シリーズ）が1次元のデータ、DataFrame（データフレーム）が2次元のデータに対応します。 実務で利用するデータは２つの軸で表される2次元のデータが多いので、DataFrameを利用する機会は非常に多く、DataFrameを理解することは、データを効率的に扱う上でとても重要になります。 この記事では、まずはDataFrameの基本的な使い方を確認した上で、最後にDataFrameを用いたデータ分析の事例を確認していきましょう。 DataFrame（データフレーム）とはDataFrameは２次元のデータに対応するデータ構造で、次のように行と列で表現され、複数の行と列が存在します

野菜の選び方はナップサック問題、乗り換え駅探索は、最短路問題といいます。典型問題は、よく研究もされているので、多くの場合、効率的な解法があります。あるいは、定式化がされているので、すぐ解くことができます。あとで、やってみましょう。ここで、あげている全ての典型問題の実行例は、典型問題と実行方法をご覧ください。 汎用問題 最近、私がやっているコンテナの仕事のお話しをします。 世界中の人たちが、いろいろなものを安く買えるのはコンテナ輸送のおかげです。中国などで生産したものを日本やアメリカやヨーロッパに、大量に安く運べるからです。でも、空のコンテナが、どんどんたまります。また中国に戻さないといけません。いつ、どこからどこに戻すかを決めるのが、最小費用流問題になります。ところが、最小費用流問題で表せない制約条件もあります。1 つが、カボタージュとよばれるものです。カボタージュというのは、国内のみの輸

Pythonは書きやすくて読みやすい、使うのが楽しいプログラミング言語です。本書では、学生や生徒、プログラミングの初心者が、数学の問題を具体的に解く楽しみをPythonを用いて体験します。方程式の解を求めたり、統計や確率を計算したり、放物線運動をプロットしたり、フラクタル図形を描いたり、フィボナッチ数と黄金比の関係を探ったりします。同時に、matplotlibとSymPyの使い方も学びます。数学とプログラミングの両方の知識と技術を身につけることができる、まさに一石二鳥の一冊です。 目次 日本語版まえがき 謝辞 はじめに 1章　数を扱う 1.1　基本数学演算 1.2　ラベル：名前に数を割り当てる 1.3　さまざまな種類の数 1.3.1　分数を扱う 1.3.2　複素数 1.4　ユーザ入力を受け取る 1.4.1　例外と不当入力の処理 1.4.2　分数と複素数を入力 1.5　数学を行うプログラムを

データの前処理にはいくつかの工程がある。書籍「データ分析プロセス」には 欠損など 前処理に必要なデータ特性の考慮とその対処方法が詳しく記載されている。 が、書籍のサンプルは R なので、Python でどうやればよいかよく分からない。同じことを pandas でやりたい。 データ分析プロセス (シリーズ Useful R 2) 作者: 福島真太朗,金明哲出版社/メーカー: 共立出版発売日: 2015/06/25メディア: 単行本この商品を含むブログ (2件) を見る とはいえ、pandas 自身は統計的 / 機械学習的な前処理手法は持っていない。また Python には R と比べると統計的な前処理手法のパッケージは少なく、自分で実装しないと使えない方法も多い。ここではそういった方法は省略し、pandas でできる前処理 / 可視化を中心に書く。 また、方法自体の説明は記載しないので、詳細

Twitter APIで「他人の全ツイート」は取得できない さて先日から書いてるように、PythonのTweepyというライブラリを使うと、簡単にTwitterのREST APIを操作することができますので、研究で何か分析するときも、これを使えば手軽に分析用のデータが取得できます。レスポンスのデータの中身を読むのが大変ですが、それなりに理解はできてきました。 statsbeginner.hatenablog.com statsbeginner.hatenablog.com ところで、特定のユーザのツイートの傾向を見たいと思った場合、APIで全ツイートを取得したいところですが、残念ながら最新のものから数えて3200件までしか取得することができません。 「自分のツイート」であれば、Twitterが公式に過去の全件を出力する機能を付けてくれていますが（付属情報がほとんど入って来ませんが）

statsbeginner.hatenablog.com を書いている方がいたのですが、BeautifulSoupとリスト内包表記を使えばもう少し楽に書けるということを示すために書きました。 参考資料 PythonとBeautiful Soupでスクレイピング - Qiita import time from urllib import request from datetime import datetime as dt import pandas as pd from bs4 import BeautifulSoup class TwilogParser: def __init__(self): self.account = None def set_account(self, target_account): self.account = target_account def get

「ビールと紙おむつ」のような相関関係を探る分析手法にはどんなものがある？――データ分析方法についての検討：ITエンジニアのためのデータサイエンティスト養成講座（5）（1/5 ページ） 連載バックナンバー 前回は「データを分析できる状態にする」をテーマに、ビジネスデータの分析で欠かすことのできない時系列データを中心に「データの取り扱い方」紹介しました。今回は、目的に応じた分析手法を選択するためにどのような分析手法があるかを簡単にご紹介し、実際に分析をする方法を実例を使いながら説明したいと思います。 ビジネスの課題に応じた手法を選択する 第1回でも説明した通り、与えられたビジネス課題を解くための分析手法を検討するのはデータ分析の最初のフェイズですが、解決するビジネス課題もさまざまであり解決するための手法も千差万別です。さらに1つの手法をとってみてもそれだけを説明する書籍があったり学術論文になっ

ログを分析するには？ XMLデータを分析するには？ pandasでデータを分析できる状態にする：ITエンジニアのためのデータサイエンティスト養成講座（4）（1/3 ページ） データと情報は似て非なるもの。意味のある情報を取り出すために、データを「使える」状態にするには意外と地道な手続きが必要です。手短に実行するために必要なスキルを紹介していきます。 連載バックナンバー はじめに 前回はデータを取り込んだり書き出したりする方法を紹介しましたが、実際の分析対象となるデータのほとんどは、そのまま分析できる状態にはありません。Webログなどはカンマ区切り形式ではなくスペースやカッコで区切られていますので、データを分割する必要があります。また、時系列に関する項目もフォーマットがまちまちなので統一する必要がありますので時系列データのクレンジングについても解説します。では早速具体的な例を使って説明してい

データを取り込む・格納するための方法を理解する：ITエンジニアのためのデータサイエンティスト養成講座（3）（1/4 ページ） データ分析を行う際の対象となるデータにはさまざまな形式が存在します。データ分析を行うには、まず、データを取り込む方法や、結果セットを書き出したり、データベースに格納したりする手続きが必要です。今回はデータの取得、格納といった分析のための下処理の手続きを紹介します。 連載バックナンバー 前回（本連載第2回）は、データ分析に必要な機能と、その機能を実装したPython環境や必要なライブラリのセットアップ方法を説明しました。今回は、分析に必要なデータを、CSV（カンマ区切り）形式のファイルやリレーショナルデータベース、Webサイトなどから取り込む方法について解説します。さらに、結果セットをCSV形式で書き出したり、リレーショナルデータベースに格納する方法も紹介します。 デ

データ分析がデキるITエンジニアになるために必要な「道具」を揃える：ITエンジニアのためのデータサイエンティスト養成講座（2）（1/4 ページ） データ分析の準備・加工に優れた道具とは？ 今回はITエンジニアがデータ分析する際のデファクトスタンダードになっている環境をセットアップしていきます。 連載バックナンバー はじめに 連載第1回 「ITエンジニアがデータサイエンティストを目指すには？」ではデータサイエンティストの役割を説明し、その中でITエンジニアが担う役割と必要となるスキルについて解説しました。第1回の中でも述べましたが、この連載の目的の1つはデータサイエンティストを目指すITエンジニアが必要最低限の知識とスキルを中心に紹介し、読者の皆さんにすぐに始められることから実際に着手していただくことですので、第2回の今回は実際に分析使う“道具”をご紹介します。この連載では分析ツールとしてP