pandas.DataFrameに新たな列または行を追加する方法を説明する。 新規の列名・行名を指定して追加する、pandas.DataFrameのassign()またはinsert()メソッドで追加する、pandas.concat()関数で連結する、といった方法がある。 以前あったappend()メソッドはバージョン1.4.0で非推奨（Deprecated）となり、2.0.0で削除された。 What’s new in 1.4.0 (January 22, 2022) — pandas 2.0.3 documentation 本記事のサンプルコードのpandasのバージョンは以下の通り。バージョンによって仕様が異なる可能性があるので注意。

pandas.DataFrameから任意の条件を満たす行を抽出するにはquery()メソッドを使う。比較演算子や文字列メソッドによる条件指定、複数条件の組み合わせなどを簡潔に記述できる。 pandas.DataFrame.query — pandas 2.1.4 documentation Indexing and selecting data - The query() Method — pandas 2.1.4 documentation ブーリアンインデックス（Boolean indexing）による条件指定については以下の記事を参照。 関連記事: pandasで複数条件のAND, OR, NOTから行を抽出（選択） 特定の型の列を抽出したり、行名・列名で行・列を抽出したりすることも可能。 関連記事: pandas.DataFrameから特定の型の列を抽出・除外するselect_dt

Pythonでは、外部ライブラリのopenpyxlを利用すると、Excelファイル（*.xlsx）の読み書きやシート操作がきます。今回はプログラミング中に使い方をすぐ調べられるように簡単なコードだけでシンプルにまとめてみました。ぜひ日頃のプログラミングにご活用ください！ 本記事の目次 openpyxlのインストール方法 Excelファイル（ワークブック） Excelファイルの読み込み Excelファイルの新規作成 Excelファイルの保存 ワークシート シートの取得 シート名の確認・変更 シートの追加 シートのコピー シートの削除 セル セルの取得 １つのセル 複数のセル：範囲指定 複数のセル：行指定 セルのアドレスの確認 セルの値の読み書き セルの書式設定 繰り返し処理 １シートずつ繰り返す １行ずつ繰り返す １行目から１行ずつ 範囲を指定して１行ずつ 応用例 openpyxlのインスト

注 継続的にいいねもらっているのですが、知識が浅い頃に書いたので、不正確なところがあります。今度直します。 私のGIS、重すぎ GIS使っていますか？ GISで利用するデータが多くなればなるほど、やりたい処理が増えれば増えるほどこう思うはずです。 地理情報くらいコードで扱わせろやとおもうあなたのためにあるいは地理空間情報入門者のためにまとめてみました。 そもそも地理空間情報、位置情報とは 地理空間に紐付いた情報。ある点や線、面、空間が地球上のどこに位置するかを表す情報を含む情報です。地球は歪な楕円であるためさまざまな手法があります。測量は真面目にやるとすごく複雑になるので軽く触れるだけですが（私も理解しきれていないし） 経度、緯度、高度（省略されることも）を持つもの 地球上の限られた範囲を無理やり直行座標とみなし、その平面内の位置を表したもの などのパターンがあります。どの方法で座標を表し

書籍化されました 本記事をベースに監修者の村上さんが１冊の本にまとめてくれました（感謝） データサイエンティストのキャリア面やポートフォリオの細かい部分をさらに追加・ブラッシュアップした内容になっています。 まえがき はじめに 皆さん、「データサイエンティスト」という職種をご存知でしょうか？ この数年間で、AIやディープラーニングといったバズワードと共にデータサイエンティストというワードも、よく耳にするようになりました。最新の技術を扱えて、年収も高い非常に魅力的な職業なため、データサイエンティストへの転職を検討されている方もいらっしゃるのではないでしょうか？ 実際、データサイエンティスト職への就職・転職希望者は年々増加しています。しかし、未経験の人材を育成できる会社はまだまだ少なく、未経験からの転職は転職希望者の増加に伴い高まっています。 データサイエンティストは求められるスキルの幅が広く

1. オブジェクト指向の起源 2003年チューリング賞の受賞者アラン・ケイさんはよくオブジェクト指向プログラミングの父と称されます。ご本人も憚ることなく、幾度、公の場で発明権を宣言しています。しかし、ケイさんは「C++」や「Java」などの現代のオブジェクト指向言語を蔑ろにしています。これらの言語は「Simula 67」という言語を受け継いだもので、私が作った「Smalltalk」と関係ないのだとケイさんは考えています。 オブジェクト指向という名称は確かにアラン・ケイさんに由来するものです。しかし、C++とJavaで使われている現代のオブジェクト指向は当初のと結構違います。ケイさん自身もこれらの言語を後継者として認めないです。では、ケイさん曰くC++とJavaの親であるSimula 67という言語はどんな言語でしょうか。ここで、簡単なサンプルコードを見てみましょう。 Class Recta

Commandeur & Koopman「状態空間時系列分析入門」をRで再現する 仕事の都合で仕方なく状態空間モデルについて勉強していたのだけれど(なぜ私がこんな目に)、仕事で使うためには自分で計算できるようにならなければならない。 参考にしているCommandeur & Koopman 「状態空間時系列分析入門」（以下「CK本」）の著者らは、すべての事例についてデータとプログラムを公開している。ありがたいことであります。しかし、ssfpackという耳慣れないソフトを使わなければならない。わざわざ新しいソフトの使い方を覚えるのは大変に面倒だ。できれば普段使っているソフトで済ませたい。 というわけで、勉強かたがた、CK本に出てくる計算例を片っ端から R で再現してみた。汗と涙の甲斐あって、すべての章についていちおう再現できたので、ここに載せておくことにする。 もくじ: Rプログラム紹介 全体

データ分析の世界的コンペ、Kaggle（カグル）。上位入賞すれば賞金やメダルが貰える、世界中のデータサイエンティストたちの戦いの場であり、今とてもアツいコンペです！ 一人で参加するもよし、チームで参戦するもよし。初心者にとっても、ベテランの方たちの最新データ解析を勉強できるので、Kaggler（Kaggleをやる人）になりたい人が急増中なのです！ でも、いざKaggleのサイトに行ってみるとまさかのオール英語・・！ 「アカウントの開設からもう無理だ・・(T_T)」 そんなあなたのために、今回はKaggle初心者向けにアカウントの開設方法から、チュートリアルのタイタニックデータ提出方法までをご紹介します♪ タイタニックコンペとは 「Titanic: Machine Learning from Disaster」のこと。 Kaggleの初心者向けのコンペの1つ。タイタニック号の乗客の生存予測を

Pythonでコードを書くときのGood/Badプラクティス こちらの記事は、DuomlyによりDev.to上で公開された『 Good and Bad Practices of Coding in Python 』の邦訳版です（原著者から許可を得た上での公開です） 元記事：Good and Bad Practices of Coding in Python ※ 記事の内容に注意すべき点と誤りがあるので、詳しくは注釈まで目を通すことをおすすめします。 （以下、翻訳した本文） この記事は元々 https://www.blog.duomly.com/good-and-bad-practices-of-coding-in-python/ に公開されたものです。 Pythonは可読性を重視した高水準のマルチパラダイムプログラミング言語です。Pythonは、「Pythonの禅」、別名ではPEP 20と

はじめに 2020/8/12に発売されたImpractical Python Projects: Playful Programming Activities to Make You Smarterの日本語訳書である、「実用的でないPythonプログラミング」をひょんな事から献本していただく事になった。（訳者が同僚である） 実用的でないPythonプログラミング: 楽しくコードを書いて賢くなろう! 作者:ヴォーン,リー発売日: 2020/08/12メディア: 単行本 ありがちなプログラミング初学者向けの本から1段上がった中級者向けの良い本だと感じたので、当ブログでたまにやっている筆者、訳者に媚びを売るシリーズの一貫として、感想を記す。 書籍の概要 「実用的でないPythonプログラミング」は、想定する中級レベルのアルゴリズムの問題を例に取り、Pythonでの美しいコードの書き方や、コンピュ

本記事では、時系列予測に利用できるpythonのライブラリの使い方について説明をします。 パッとライブラリを使うことを目指すため具体的なアルゴリズムの説明は省きます。 ※説明が間違えている場合があればご指摘いただけると助かります。 目次 利用データ ライブラリ Prophet PyFlux Pyro Pytorch Lightgbm 補足:Darts まとめ ソースコード このブログで記載されているソースコードはGitHubに上げておいたのでもしよろしければ参考にしてください。 github.com 利用データ 今回用いるデータはkaggleのM5 Forecasting - Accuracyと呼ばれるコンペティションで利用されたデータを用います。 作成したランダムなデータよりも実データのほうが予測をしている感があるからです。 予測に使うデータはwalmartの売上データです。 下図はその

はじめに データサイエンス・機械学習っておもしろそうだけど、どうやって勉強すすめたらいいんだろう？というところから2月に勉強をスタートし、勉強のinputだけではなく実践したいと思って3月にKaggleのコンペに参戦！ その結果がなんと、銀メダル (+上位3%)をとることができました！ この記事では、そんな自分の勉強してきた過程とコンペを進めてきた流れをまとめてみようと思っているので、一例として見てもらえると嬉しいです！ 概要 ➀コンペの紹介 ➁コンペ終了までの流れ (コンペ参加する前→コンペ参加後) ③コンペ中にしていたその他の勉強 今回参加したコンペ M5 Forecasting - Accuracy コンペ (2020年3月~6月) 今回取り組んだコンペは、この時系列データのテーブルコンペで、内容としては、アメリカの小売大手であるウォルマートの「商品の売り上げ予測」 過去約5年間分の

はじめに 評価関数（評価指標）についてあやふやな理解だったので、代表的な評価関数をまとめてみました。 評価関数とはそもそもどんなものなのか、それぞれの評価関数はどんな意味を持つのか、実際に使う時のサンプルコードを簡単にまとめています。 評価関数の追加や内容の修正は下記でしています。 評価関数とは 評価関数とは学習させたモデルの良さを測る指標を指します。 目的関数との違い 機械学習を勉強していると、目的関数や損失関数、コスト関数などいろいろな名前を目にします。 まずは、目的関数との違いについて確認します。 目的関数 モデルの学習で最適化される関数 微分できる必要がある つまり、学習中に最適化されるのが目的関数、学習後に良さを確認するための指標が評価関数ということになります。 損失関数、コスト関数、誤差関数は目的関数の一部になるそうです。 （いくつか議論がありそうなのですが、ほとんど同じものと

Python実践入門 ── 言語の力を引き出し、開発効率を高める (WEB+DB PRESS plusシリーズ) 目次 目次 はじめに 通常のclassとdataclassの比較 dataclassの良いところ データを格納する箱であることを明確にできる。 クラス定義を短くかける 型情報を書くことでデータ構造が見やすくなる。 Printしたときに、そのままオブジェクトの中身を表示できる。 asdict関数でdictに変換できる。(Dictから簡単にJSONにも変換できる) Dict(JSON)からdataclassを作ることもできる Frozen引数を使うことで、簡単にイミュータブルにもできる。 データが作られたときに、自動後処理機能を追加することができる。 dataclassの残念なところ コレクションの初期化 参考資料 MyEnigma Supporters はじめに C++ユーザやJ