The Interactive Handbook on Data Structures and Algorithms
Learning the fundamentals shouldn't be a chore. This one-of-a-kind interactive book offers a hands-on approach to learning data structures and algorithms, featuring rich visualizations, code execution playback, an assortment of problems and an embedded Python environment. It’s designed to support both beginners and more experienced learners through active exploration and interactivity. Purchase $3
【前編】PowerPointの中身は「入れ子の箱」だった ── python-pptxでスライド構造を丸裸にする
1. PPTXファイルの正体 ── ZIP の中の XML 群 PowerPointファイルは、見た目はひとつの塊だが、実態は XMLファイルの集合体をZIPで圧縮したもの だ。 スライド本体（slide*.xml）とは別に、デザインを司る「マスター」「レイアウト」「テーマ」が独立したファイルとして存在している。この分離が、後述するテンプレートの概念に直結する。 python-pptx は、このZIP内のXML群を Python の Presentation オブジェクトに変換してくれる。開発者は XML を意識せずに、Python のオブジェクト操作だけでスライドを読み書きできる。 2. PPTXの5層構造 ── コードで辿る入れ子の箱 PPTXの中身は、マトリョーシカのような入れ子構造を持っている。python-pptx はこれを忠実にオブジェクトモデルとして表現する。 文字の装飾（太
How to Read Data Files Line by Line in Python - LabCode
Have you ever needed to read .csv or .dat files line by line for data analysis? In this article, we will walk you through the process of reading files line by line using Python. Steps to Read a File The steps to read a file are as follows: Prepare the file. Write code to read the file. Execute the program. While the basic process remains the same for different file types like dat or csv, the code
How to Read a Data File in Bulk Using Python - LabCode
Reading Bulk Data from a dat File Preparing the dat File We have prepared a data file named “average_temperature_kyoto_2018.dat” containing average monthly temperatures in Kyoto city for the year 2018. # averaged temperature in 2018 @ Kyoto city # 01: month 02: averaged temperature in the daytime 1 3.9 2 4.4 3 10.9 4 16.4 5 20.0 6 23.4 7 29.8 8 29.5 9 23.6 10 18.7 11 13.5 12 8.2 Save this file in
時系列データを前処理する際のPython逆引きメモ - EurekaMoments
機械学習のための「前処理」入門 作者:足立悠リックテレコムAmazon 目的 データ分析の仕事をする中で最も扱う機会が多いのが 時系列データだと思います。その中で欠損値を扱ったり、 統計を取ったり、特徴量を作り出したりするのですが、 毎回やり方を忘れてググっているので、上記の書籍を読んで こういった前処理の方法をいつでも確認できるように メモしておこうと思います。 目次 目的 目次 日時のデータをdatetime型に変換する 最初の日時からの経過時間を計算する 各データの統計量を計算する 欠損値の確認と補完 経過時間の単位を変換する データフレーム結合する 基準日時からの経過時間を計算する 重複した行を削除する 特定のデータ列をインデックスにする 部分的時系列を抽出して統計量を計算する データフレームの各列をリストにして結合する 不均衡データから教師データを作成する データの読み込みと可視
実践 時系列解析
時系列データが使われる範囲は広く、医療データ、金融分析、経済予測、天気予報など、さまざまな分野で使われています。本書は時系列データを通してデータ解析手法を学んでゆくアプローチで、データのクリーニング、プロットの方法、入出力など基本的なトピックについてひととおりカバーしてから、さまざまな分野の事例を数多く取り上げ、統計的手法と機械学習手法の両方を時系列データに適用し、また人気のオープンソースツールも積極的に取り入れた手法を紹介します。プログラムにはRとPythonの両方を利用。データセットやコードはGitHubからダウンロード可能です。 はじめに 1章 時系列の概論と簡単な歴史 1.1 時系列の多様な用途の歴史 1.1.1 時系列問題としての医学 1.1.2 気象予測 1.1.3 経済成長の予測 1.1.4 天文学 1.2 時系列解析の人気に火がつく 1.3 統計的時系列解析の起源 1.4
［解決！Python］バイナリファイルの読み書きまとめ
ここでは本連載でこれまでに紹介してきたバイナリファイルの読み書きの方法をまとめる。詳しい解説はコード例の後で紹介しているリンクを参照してほしい。テキストファイルの読み書きについては「テキストファイルの読み書きまとめ」を参照されたい。 バイナリファイルの読み書き # 文字列のバイナリファイルへの書き込み with open('test.bin', 'wb') as f: s = 'ディープインサイダー' b = s.encode() # 文字列もバイト列にエンコードする必要がある f.write(b) # バイナリファイルにはバイト列しか渡せない # 文字列のバイナリファイルからの読み込み with open('test.bin', 'rb') as f: b = f.read() s = b.decode() print(s) # ディープインサイダー # 整数のバイナリファイルへの
Pythonで省メモリに大量の文字列を扱う工夫 - MNTSQ Techブログ
たくさんの文字列（や離散的な符号列）をメモリに載せないといけないんだけど、いろんな制約があって通常のList[str]では載らない…ということありませんか？（まぁあんまりなさそうですね） たまたまそういうことがあったので、その際に検討した内容をまとめておきます TL;DR メモリをもっと増やしましょう 富豪的に解決できるならいつでもそれが最高です しかし、世の中それでなんとかならんこともたくさんあります 用途があうのであれば専用のデータ構造を採用する 例えばもし共通のprefixやsuffixが存在し、順序に興味がなければtrie treeなどが使えます 例えば、弊社であれば、法人名をメモリに持ちたいなんてときもあります。そういうときに法人名の辞書をtrieで持ったりすることがあります 「株式会社」「一般財団法人」や「銀行」といった共通語がたくさんでてくるのでtrie treeでごりごり削
東大が無料公開している超良質なPython/Data Science/Cloud教材まとめ (*随時更新) - Digital, digital and digital
東京大学がちょっとびっくりするくらいの超良質な教材を無料公開していたので、まとめました Python入門講座 東大のPython入門が無料公開されています。scikit-learnといった機械学習関連についても説明されています。ホントいいです Pythonプログラミング入門 東京大学 数理・情報教育研究センター: utokyo-ipp.github.io 東大のPython本も非常にオススメです Pythonによるプログラミング入門 東京大学教養学部テキスト: アルゴリズムと情報科学の基礎を学ぶ https://amzn.to/2oSw4ws Pythonプログラミング入門 - 東京大学 数理・情報教育研究センター Google Colabで学習出来るようになっています。練習問題も豊富です https://colab.research.google.com/github/utokyo-ip
Python: 時系列データの交差検証と TimeSeriesSplit の改良について - CUBE SUGAR CONTAINER
一般的に、時系列データを扱うタスクでは過去のデータを使って未来のデータを予測することになる。 そのため、交差検証するときも過去のデータを使ってモデルを学習させた上で未来のデータを使って検証しなければいけない。 もし、未来のデータがモデルの学習データに混入すると、本来は利用できないデータにもとづいた楽観的な予測が得られてしまう。 今回は、そんな時系列データの交差検証と scikit-learn の TimeSeriesSplit の改良について書いてみる。 使った環境は次のとおり。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.14.6 BuildVersion: 18G3020 $ python -V Python 3.8.1 下準備 あらかじめ、必要なパッケージをインストールしておく。 $ pip install scikit-le
How to analyse 100s of GBs of data on your laptop with Python
Many organizations are trying to gather and utilise as much data as possible to improve on how they run their business, increase revenue, or how they impact the world around them. Therefore it is becoming increasingly common for data scientists to face 50GB or even 500GB sized datasets. Now, these kind of datasets are a bit… uncomfortable to use. They are small enough to fit into the hard-drive of
Pythonでデータ整形まわりをまとめた本：「Python for Data Analysis (第2版)」を読んだ | 10001 ideas
最近、Pythonを使って機械学習を勉強しているがnumpyやpandas, グラフ作成辺りの体系的な知識が足りない気がしていたので、この辺りをまとめた本「Python for Data Analysis (第2版)」を読んだ。感想としてはもっと早くに読んでおくべきだったと思う。今まで何となく書いていたnumpyやpandasが割と頭の中で整理できたと思う。 日本語版は第1版の翻訳が出ているようだ。Amazonのレビューを見ると第1版はPython2系列で書かれており、今読むとしたら内容が古いのでオススメはしない。第2版ではPython3で書かれている。 以下に学んだことをピックアップしておく。 IPythonでは変数の後に「?」をつけると変数の情報が見れる リストに要素を逐次的に追加していく場合、extendメソッドを使った方が要素を結合するよりも速い arr2d[0][2]とarr2d
データサイエンスプロジェクトのディレクトリ構成どうするか問題
あるいは、論文 "Best Practices for Scientific Computing" および "Good Enough Practices in Scientific Computing" について。 TL;DR 標題の件について、未だに答えは見えていないのだけど、自分の現状と他の人の例を文字で残しておく。 こういう話で「あーその手があったかー！」と知ったときの興奮はすごいので、みなさんもっとオープンにいきましょう。 大切なのは、ソフトウェア開発と同じ要領でデータサイエンスのプロジェクトを捉えて、分析と言う名の“開発”を行うつもりでディレクトリを掘ること。 必要なものリスト ナウいデータサイエンス/機械学習プロジェクトの中には（経験上、ぱっと思い浮かぶだけでも）次のようなファイル群があって、僕たちはそれらを良い感じに管理したい。 ソースコード 役割がいろいろある： 前処理（こ
AI人材になるにはスキルよりまず職種を選択しよう : 生成AIエンジニアLab
第4次産業革命とも言われる人工知能ブームは、文字通り急激な変化を起こしました。企業は必死で戦略を見直しているものの、そもそも見直すだけの知識を持つ人材が社内におらず袋小路です。見直せる人材がいないので、必要な人材像を定義出来ず、とりあえず「AI人材」とビジネス界隈でよく利用されています。 とにかく今、圧倒的な人材不足です。ではこの「AI人材」にどしたらなれるのでしょうか。 関連記事：人工知能(AI)ブームに乗りたい人に切符を提供してみる 一方、AI人材になるためには、機械学習の専門知識やプログラミングなどとても難しいように思えます。特に、プログラミングの経験がない方は、非常にハードルが高いと感じているのではないでしょうか。 私も元々プログラミングが出来ませんでした。数年前スマホアプリ開発が流行った際、自分でアプリを作ってる人がとても羨ましかったです。何度か勉強しようと本を買いましたが、ゼロ
Seven lessons I learned teaching data analysis with Python
A San Diego State journalism professor shares her experience with “First Python Notebook” As a digital journalism educator at San Diego State University, I am always seeking to provide my students with the latest skills to help them be the best journalists they can when they enter the job market. This past spring I had the opportunity to introduce my students to the Python scripting language via t
Python pandas データ選択処理をちょっと詳しく <前編> - StatsFragments
概要 書いていて長くなったため、まず前編として pandas で データを行 / 列から選択する方法を少し詳しく書く。特に、個人的にはけっこう重要だと思っている loc と iloc について 日本語で整理したものがなさそうなので。 サンプルデータの準備 import pandas as pd s = pd.Series([1, 2, 3], index = ['I1', 'I2', 'I3']) df = pd.DataFrame({'C1': [11, 21, 31], 'C2': [12, 22, 32], 'C3': [13, 23, 33]}, index = ['I1', 'I2', 'I3']) s # I1 1 # I2 2 # I3 3 # dtype: int64 df # C1 C2 C3 # I1 11 12 13 # I2 21 22 23 # I3 31 32
Pandasによる実践データ分析入門 - Gunosyデータ分析ブログ
こんにちは。データ分析部のオギワラです。最近は「NANIMONO (feat.米津玄師)」をよく聞いています。 今回はPythonのデータ分析ライブラリであるPandasについて、実践的なテクニックを「データ処理」「データ集計(Group By)」「時系列処理」の３カテゴリに分けてご紹介していきます。 Pandasに関する基本的な内容については、前エントリーで既に紹介されているので、是非こちらもご一読して頂けると幸いです。 data.gunosy.io データ処理 データの取り出し(query) 条件文に基づくデータ処理の適用(where) 各行への関数の適用(apply) データ集計(Group By) カラム毎に異なる集計を適用する(agg) 最大・最小値である行を取り出す(first) 標準化や正規化処理を適用する(transform) 時系列処理 時間の丸め処理(round) 時系
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Replacing Pandas with Polars. A Practical Guide. - Confessions of a Data Guy
PySpark を分析用途に使っている話
https://pandas.pydata.org/pandas-docs/stable/text.html