Pythonを使うことで身の回りの面倒な業務を効率化することができます。 本記事では、Pythonで社内DX（業務効率化）できることを7つの分野に分けてご紹介したいと思います。 Excel処理 Pythonのライブラリopenpyxlを使うとExcelファイルを操作することができます。 以下はopenpyxlで処理できる基本操作の一部です。 ファイル操作（新規作成、保存） シート操作（集計、移動、削除） 行と列の操作（グループ化、挿入、削除） セルの操作（取得、代入） 具体的には、複数のシートから集計シートを作成したり、ExcelやAccessのデータベースに接続してデータを加工し、グラフを作成することが可能です。 ※Accessのデータベースに接続する場合は、別途pyodbcモジュールを使う必要があります。 追記 2023年8月、ExcelにPythonが追加されました。 概要を知りたい

はじめに どうもこんにちは。データアナリストをしているkunishouです。2022年も残すところ今日、明日のみ。皆さん年の瀬をいかがお過ごしでしょうか？ 私は先日無事に仕事を納めることができましたが、仕事も勉強も何もしなくていい日が数日続きすでにソワソワしてきました。この禁断症状を抑えるべく、2022年の技術動向の振り返りもかねて、 2022年のPython/データ分析関連の人気記事をまとめてみることにしました（完全に思い付きです）。 本記事では、2022年にQiitaに投稿された Python/データ分析関連の記事の中から いいね数の多かった150記事をピックアップし表にまとめました。 年末年始の暇つぶしがてらにでも読んでもらえたら幸いです。 モチベーション 実はQiita公式からも毎年1月にQiitaの人気記事のランキングが公開されています。ただ、Qiita全カテゴリでのランキングで

後編 プログラミングを学ぼうと思い立つ行列はVBAなんかじゃ無理っぽいし、なんかプログラミング言語を覚えようと決める。 なんでも、統計やるならRという言語がいいらしい。 最近じゃPythonというのも人気らしい。 とりあえず両方試そうということで、RのためにRとRstudioをインストール。 Pythonはanaconda プログラミングはなんかを製作する目標がないと挫折すると聞いていたので。 深層学習というものが流行ってると聞いて、ちょっと触りを勉強したくなる。 「Excelでわかるディープラーニング超入門」 https://www.amazon.co.jp/Excel%E3%81%A7%E3%82%8F%E3%81%8B%E3%82%8B%E3%83%87%E3%82%A3%E3%83%BC%E3%83%97%E3%83%A9%E3%83%BC%E3%83%8B%E3%83%B3%E3

Information 2024/1/8： pandas , Polars など18を超えるライブラリを統一記法で扱える統合データ処理ライブラリ Ibis の100 本ノックを作成しました。長期目線でとてもメリットのあるライブラリです。こちらも興味があればご覧下さい。 Ibis 100 本ノック https://qiita.com/kunishou/items/e0244aa2194af8a1fee9 2023/2/12： 大規模データを高速に処理可能なデータ処理ライブラリ Polars の 100 本ノックを作成しました。こちらも興味があればご覧下さい。 Polars 100 本ノック https://qiita.com/kunishou/items/1386d14a136f585e504e はじめに この度、PythonライブラリであるPandasを効率的に学ぶためのコンテンツとして

本書ではPythonを使い、火星や木星や銀河の最果てを、詩人の魂を、高度な金融の世界を、選挙の不正を、ゲーム・ショーのトリックを、探っていく。マルコフ連鎖解析のような技術を使って俳句を詠み、モンテカルロ・シミュレーションで金融市場をモデル化し、イメージ・スタッキングで天体写真を改善し、遺伝的アルゴリズムで巨大なネズミを育てる。それとともにpygame、Pylint、pydocstyle、tkinter、python-docx、matplotlib、pillowといったモジュールの経験を楽しく積むことができる。 この本は2冊目のPythonの本とみなすことができる。完全な初心者向けの本や入門クラスの後に続く本、あるいは補完する本となることを狙っている。「impractical」（実用的でない）というタイトルに反して、本書の内容はかなり実用的で、文字列やコレクションの操作といった基本的なことか

PDFは扱いにくい PDFファイルをPythonで扱うのは大変です。 表がPDFの中に埋め込まれているケースも割とあります。 例えば 平成30年 全衛連ストレスチェックサービス実施結果報告書の中にはたくさんの表データが埋め込まれています。 例えばファイルの40ページの【表14 業種別高ストレス者の割合】を抜き出したいと思ったとします。 この表を選択して、Excelにコピペしてみましょう。 コピーして、Excelに貼り付けます。 おや？うまくいかないですね。 1つのセルの中に、全部のデータが羅列されてしまっています。 実はPythonを使ってこのPDF中の表を比較的簡単にcsvやExcelに変換することができます。 PythonでPDFの表をcsvに PythonでPDF内の表(テーブル)をcsvやexcelに変換する手順は2ステップです。 ステップ1. PDFから表をpandasのData

一般社団法人データサイエンティスト協会（所在地：東京都港区、代表理事：草野 隆史、以下データサイエンティスト協会）は、構造化データの加工について実践的に学ぶことができる無料の学習環境「データサイエンス100本ノック（構造化データ加工編）」をGitHubに公開しました。 「データサイエンス100本ノック（構造化データ加工編）」は、データサイエンス初学者を対象に、データの加工・集計、統計学や機械学習を駆使したモデリングの前処理等を学べるよう、データと実行環境構築スクリプト、演習問題をワンセットにしています。 近年、データ活用の重要性についての認知が広がる中で、書籍やWebサイトなど、データ分析のスキル向上に役立つ情報源も多く提供されています。一方で、実践するための「データ」や「プログラミング実行環境」を持ち合わせていないことも多く、「実践力」を身につける機会が限られていました。特に、「構造化デ

前回は、Pythonをインストールする方法を紹介した。今回は、Pythonでプログラムを作るのに便利な、Jupyterノートブックを紹介する。Jupyterを使えば、試行錯誤しながらプログラムを作ることができるので、データ解析や機械学習などの用途でPythonを使うのに便利だ。 Jupyterノートブックとは？ 前回、Pythonをインストールした時に、対話型実行環境を使って、簡単な計算をする方法を紹介した。対話側実行環境は、プログラムを書いて、すぐに実行できるので、これから、Pythonに慣れていこうという人には便利だと感じるものだったと思う。 今回紹介する、Jupyterノートブックは、この対話型実行環境を、より便利に拡張したものということができるかもしれない。Pythonの初心者にもオススメなのだが、データ解析や機械学習など、試行錯誤しながら、データを扱う場合にも、大いに役立つものだ

ちょっとしたデータの加工や集計に、ExcelやGoogle Spreadsheetは便利ですが、それが日常的な作業になってしまったら自動化したいですよね？ そこでお勧めなのがpandasです。 Pandasは Python 用のデータ処理パッケージであり、ExcelファイルやCSVなどの表形式データを読みこみ、加工や集計した上で、出力するといったことがプログラムで記述できます。また開発環境を用意しなくとも、Googleが提供する無料の開発環境であるColaboratory上で、すぐに試すことができます。 そしてPythonは、Office 98以降20年以降更新されていないVBAに代わる新たなスクリプト言語として、Microsoftが採用を検討しているという話もあります。 ExcelにPython搭載、マイクロソフトが検討。アンケートを実施中 まずPandasの全体像を掴んでみる Pand