Pythonを使うことで身の回りの面倒な業務を効率化することができます。 本記事では、Pythonで社内DX（業務効率化）できることを7つの分野に分けてご紹介したいと思います。 Excel処理 Pythonのライブラリopenpyxlを使うとExcelファイルを操作することができます。 以下はopenpyxlで処理できる基本操作の一部です。 ファイル操作（新規作成、保存） シート操作（集計、移動、削除） 行と列の操作（グループ化、挿入、削除） セルの操作（取得、代入） 具体的には、複数のシートから集計シートを作成したり、ExcelやAccessのデータベースに接続してデータを加工し、グラフを作成することが可能です。 ※Accessのデータベースに接続する場合は、別途pyodbcモジュールを使う必要があります。 追記 2023年8月、ExcelにPythonが追加されました。 概要を知りたい

今朝方GPT-4が発表されて、みなさん死ぬほど盛り上がってますねー。 GPT-4を使えば一発でできそうなネタではありますが、GPT-4 APIのお値段は3.5よりもお高めの設定なので、これからはどのように上手くGPTのバージョンを使い分けていくかが問われていくと思います。 というわけで今日は非構造化データを構造化データに変換する話です。 問題の背景行政が定期的に公開している統計資料をご覧になったことはありますでしょうか。ディスる訳ではないですが、以下に示すのは私が住んでいる富士吉田市の統計資料です。 統計ふじよしだ令和元年度版 - 商業 このように分かりやすい表で情報を提供してくれるのはありがたいのですが、数値データにはなっていないので分析に活用することができません。 GPTのパワーを使って、このような非構造化データを構造化データに変換できないか？というのが本日のお題になります。 コードP

便利なChatGPT いまさら言うまでもないことですが、ChatGPTはめちゃくちゃ便利です。特に日本語の文章、英語の文章、コードの校正に無類の強さを発揮します。私は学生時代は国語が得意だったのですが、ChatGPTは、私の国語力を大幅に凌駕していると思います。というかChatGPTは職業で日本語を書いている人をのぞくと、ほとんどの日本人よりも日本語が上手なんじゃないかと思います。 ChatGPTに校正してもらった日本語の差分が見たい さて、ChatGPTに文章校正をしてもらいましょう。 さきほどの文章をChatGPTを使って校正してもらいます。 違いがわかりますでしょうか？ ChatGPTに修正してもらっても、パッと見て、どこが修正されたか、すぐにはわからないケースが多いと思います。日本語は、まだ比較的違いを把握しやすいですが、英文やコードでこれをやるときに、目視でdiffすると見逃しま

調査の「聞き方」「答え方」がデータに与える影響（大阪大学大学院人間科学研究科教授：三浦麻子） #その心理学ホント？ 心理学が使用する代表的な方法の一つが調査法です。多くのデータが得られやすい，実施や集計が容易といった強みを持つ一方，弱みもあります。今回は，調査の「聞き方」，「答え方」によって得られるデータがどのような影響を受けるのかについて，三浦麻子先生にご解説いただきました。 心理学では「心」にまつわる構成概念を測定するために様々な手法を用いますが，そのうち，調査者の問いかけに対象者が主観（自らの気持ちや考え，経験など）を答えるのが調査です．調査では，呈示した質問に対して，あらかじめ用意した数値や選択肢から当てはまるものを選ばせる形で回答を求めることがよくあり，同じ形式で得られたデータですから，たくさんあっても集計・分析するのが容易です．心理学以外の領域でもよく用いられていて，学生の卒論

国が作成した統計を探したいときは e-stats。 政府統計の総合窓口 GL01010101 主要なものは総務省統計局か、厚生労働省がまとめたものが多い。 統計局ホームページ 厚生労働統計一覧｜厚生労働省 統計（METI/経済産業省） また、世の中にどんな統計資料があるかは、国立国会図書館の下記がまとまってる。 統計資料レファレンス・ガイド | 経済・社会・教育 | 国立国会図書館 1. 日本の統計 総合的な統計書 日本統計年鑑 統計局ホームページ/日本統計年鑑（自動的にジャンプします） 日本国勢図会 日本国勢図会｜当財団刊行の統計データブック｜公益財団法人矢野恒太記念会 日本長期統計総覧 新板 日本長期統計総覧 完結昭和国勢総覧 明治大正国勢総覧 地域別 社会生活統計指標 http://www.stat.go.jp/data/ssds/5.htm 類似資料：統計でみる都道府県のすがた、統

東京の多摩川沿いの浸水リスクがある地域で、「なぜか人口が増えている」ことをデータ分析ソフトを使って明らかにして、その背景を探りました。 次にこんな記事も書きました。 南海トラフ巨大地震によって津波の浸水が想定されている区域で、高齢者の施設がすごく増えていることを示した記事です。 どちらの記事も、誰もが入手できる「オープンデータ」と、後述する「GIS」という分析システムを使って隠れた事実を浮き彫りにした、データジャーナリズムのお手本などと紹介されたこともあります。 そしてつい最近手がけたのがNHKスペシャル「〝津波浸水域〟の高齢者施設」。蓄積してきた分析のノウハウを注ぎ込んだ番組です。 「データ分析」というと専門的で、すごく難しく思う方もいるかもしれません。しかし最初に述べたように私は数年前までは、パソコンを満足に使えない、データ分析とは無縁の「ガラケー記者」だったのです。本当に。 そんな私

後編 プログラミングを学ぼうと思い立つ行列はVBAなんかじゃ無理っぽいし、なんかプログラミング言語を覚えようと決める。 なんでも、統計やるならRという言語がいいらしい。 最近じゃPythonというのも人気らしい。 とりあえず両方試そうということで、RのためにRとRstudioをインストール。 Pythonはanaconda プログラミングはなんかを製作する目標がないと挫折すると聞いていたので。 深層学習というものが流行ってると聞いて、ちょっと触りを勉強したくなる。 「Excelでわかるディープラーニング超入門」 https://www.amazon.co.jp/Excel%E3%81%A7%E3%82%8F%E3%81%8B%E3%82%8B%E3%83%87%E3%82%A3%E3%83%BC%E3%83%97%E3%83%A9%E3%83%BC%E3%83%8B%E3%83%B3%E3

Excel医@4/28（金）『人生を変える　Excelの神スキル』大発売！ @Excel_design_Dr 30代内科医｜Excel大好き｜職場の悲惨なデータベースを見てExcel猛勉強→初心者からVBA使えるようになる→ユーザーフォームでシステム構築。何も伝わらない学会スライドに唖然→デザイン勉強中。全国民のExcelリテラシー上げたい。Amazonアソシエイト参加中。著書👉amzn.to/3tnd2fh excel-design-dr.com Excel医@デザイン勉強中 @Excel_design_Dr これから社会に出る若者へ。一つ忠告しておくが、マジで「Excelができる」ってのは神スキルだから勉強しとけ。プログラミングとか動画編集ができるのもいいけど、それを活かせる会社って少ないからな。Excelはほとんどの会社で使われてるけど、使いこなせる人はほんと少ない。マジで無双でき

「線形代数を簡単に理解できるようになりたい…」。そう思ったことはないでしょうか。当ページはまさにそのような人のためのものです。ここでは線形代数の基礎のすべてを、誰でもすぐに、そして直感的に理解できるように、文章だけでなく、以下のような幾何学きかがく的なアニメーションを豊富に使って解説しています。ぜひご覧になってみてください（音は出ませんので安心してご覧ください）。 いかがでしょうか。これから線形代数の基礎概念のすべてを、このようなアニメーションとともに解説していきます。 線形代数の参考書の多くは、難しい数式がたくさん出てきて、見るだけで挫折してしまいそうになります。しかし線形代数は本来とてもシンプルです。だからこそ、これだけ多くの分野で活用されています。そして、このシンプルな線形代数の概念の数々は、アニメーションで視覚的に確認することで、驚くほどすんなりと理解することができます。 実際のと

一般社団法人データサイエンティスト協会（所在地：東京都港区、代表理事：草野 隆史、以下データサイエンティスト協会）は、構造化データの加工について実践的に学ぶことができる無料の学習環境「データサイエンス100本ノック（構造化データ加工編）」をGitHubに公開しました。 「データサイエンス100本ノック（構造化データ加工編）」は、データサイエンス初学者を対象に、データの加工・集計、統計学や機械学習を駆使したモデリングの前処理等を学べるよう、データと実行環境構築スクリプト、演習問題をワンセットにしています。 近年、データ活用の重要性についての認知が広がる中で、書籍やWebサイトなど、データ分析のスキル向上に役立つ情報源も多く提供されています。一方で、実践するための「データ」や「プログラミング実行環境」を持ち合わせていないことも多く、「実践力」を身につける機会が限られていました。特に、「構造化デ

実践データサイエンス─サンプルコードと図表で学ぶ、前処理・モデル評価・パラメータチューニング 実践とともに、データサイエンスに入門しよう！敷居が高いと思われがちなデータサイエンスですが、データの前処理からの手順は意外とシンプルです。本記事では、データの前処理や特徴量の作成、モデルの評価・訓練、ハイパーパラメータの調整など、基本的な知識をサンプルコードと図表を見ながら学びます。 データサイエンティストとしてのスキルを向上させるには、データの前処理や特徴量の作成、モデルの評価・訓練、ハイパーパラメータの調整など、広域にわたる知識を身に付ける必要があります。 この記事は、そうした知識を「サンプルコードと図表を見ながら、分かりやすく学習できること」を目指して作成されました。記事内では、新米データサイエンティストのOさんが登場して、ある案件のデータ分析を担当します。読者のみなさんも、ぜひOさんと一緒

データサイエンティストの定義は？必要スキルは？現役データエンジニア／アナリストと考えた結論 需要が高まるデータサイエンティストというロールですが、業務の定義や、必要スキルは一体どのようなものでしょうか。3名のデータエンジニア／アナリストに実践から得た答えを聞きました。 データエンジニアとデータアナリストの違い 分析と実装。データサイエンティストに求められる要件 数学の素養が重要。技術は仕事で身につけられる！ データエンジニア／アナリストが考える必要なスキルセット データアナリスト・データエンジニアにとっての「事業貢献」 「データサイエンティスト」という肩書を耳にすることが増えています。 データの蓄積はとどまるところを知らず、さらにビジネスにおけるデータの重要度が増し続ける現在、同職が同じく重要になっていることは想像に難くないでしょう。 反面、データサイエンティストが現場で何をしているかは、

2018年12月18日に行われた第1回衛星データコンテスト「Tellus Satellite Challenge」の結果発表。本記事ではコンテストの運営を行う株式会社SIGNATEの齊藤さんに解説いただいた上位3名の解析手法と講評をご紹介します。 衛星データ解析コンテスト「Tellus Satellite Challenge」の第1回上位入賞者の表彰が2017年12月18日に行われました。 ※当日の様子はこちら 本記事では第1回「Tellus Satellite Challenge」結果について「Tellus Satellite Challenge」を運営する株式会社SIGNATEの代表取締役社長、齊藤秀さんにいただいた講評を紹介します。 記事執筆協力：齊藤 秀(SIGNATE)、向井田 明(RESTEC) (1)「Tellus Satellite Challenge」とは~概要と実施の背