データ解析に関するいろいろな手法を解説した記事や、データ解析をするときの考え方の記事をまとめました。興味のある内容がございましたら、ぜひリンクへ飛んでいただけたらと思います。 pdfファイルやパワーポイント(pptx)ファイルは、自由にご利用ください。 数学(行列計算・線形代数・統計・確率)が不安な方へ 高校数学の知識から、人工知能・機械学習・データ解析へつなげる、必要最低限の教科書 人の学習と人工知能の学習～人工知能を学習させるとかモデルを構築するということ～ Datachemical LAB 化学・化学工学分野におけるデータ解析・機械学習クラウドサービス「Datachemical LAB」 Datachemical LAB をデータ解析・機械学習・人工知能の初学者が用いて問題ないのか？ Datachemical LAB は他のソフトウェアと何が違うのか？～９つの大きなポイント～ Dat

注意: この記事は個人の感想を煮詰めたものです 「オブジェクト指向」という言葉を使うことの危険さを説明するならば、「お好み焼き」を語る危険さを数倍にしたものと言える。その言葉の認識が個々人で極めて多種多様で、それら全てを綺麗に突き通せる完全な説明は無いに等しい。— Takumi Sueda (@puhitaku) 2020年12月12日 あなたは最近、「オブジェクト指向」という単語を思い出しながらコードを書いたことがあるだろうか。私はない。少なくとも5年以上は。 もちろん「オブジェクト」(object) という用語自体は様々な言語に登場する。例として、Python という言語での object について解説を書いてみよう。 「データを抽象的に表したもの」 同一性 (identity) という尺度と内部の属性 (attributes) を持つ構造 属性もまた object である メソッドは

VS CodeとPythonとFlaskで作成したWeb APIをDockerコンテナ上で実行したり、リモートデバッグしたりしてみよう。

Pythonには複数のモジュールを束ねて扱うための「パッケージ」という仕組みがある。その作り方、インポート方法などについて見ていこう。

レンタルサーバーなどを利用して、Webサイトを運営している方は比較的多いことだろう。最近では、いろいろなWebアプリがあるので、Web上に売上データなどが自動生成される場合も増えている。そこで今回は、Pythonのスクリプトを作って、FTPS経由で生成されたデータを自動的にダウンロードするツールを作ってみよう。 FTPSでサーバーに接続しファイル一覧をダウンロードします Webサーバーのバックアップ体制は万全？ 最近は、いろいろな便利なWebアプリがあるので、それらをレンタルサーバーに転送して、ちょっと設定すれば、Wikiや掲示板、ブログや通販システムを手軽に動かすことができる。しかし、Web上でいろいろなことが完結してしまうので、ついついデータのバックアップを忘れがちになってはないだろうか。万が一、自然災害や何かしらの問題が起きて、データが失われてしまうと目も当てられない。 レンタルサー

こんにちは。運営のMasa(id:masayuki14)です。今回で3回目の年始記事となります。3回目ともなると、毎年恒例感がでてきますね。 昨年はコロナ禍の影響によりオンライン開催へシフトしたわけですが、これがコミュニティが拡大する要因ともなりました。また京都外から新たな運営メンバーも迎え様々な可能性が広がっています。そんな中、今年の活動方針を決めるサイゼリヤミートアップがオンラインで開催されたので、その様子をお届けします。 hannari-python.connpass.com 2021年に改善していくこと コミュニティ自体のあり方 かねてよりNPO法人化の話がありました。その背景としてお金の問題です。コミュニティ活動にはいろいろと費用がかかりますし、寄付を募ったり資金を蓄積していくには、非営利団体としての法人化をするほうが良いだろう、という考えです。活動の範囲も広がるでしょうし、社会

年始は今後に関して考え行動する時期にあります。今年はコロナもあり、今後の住環境を考えていました。その際に、果たしてその街の将来人口は？と気になりました。住宅価格は市場あってのものなので、欲しい人が多ければ上がるし、逆も真なりです。そしてそれって人生で最も大きな投資だったりします。 将来人口気になる・・・とググってみたところ、国立社会保障・人口問題研究所という組織が2015年の国勢調査をもとに、2045年までの都道府県・市町村別の日本の地域別将来推計人口（平成30（2018）年推計・5年ごと、男女年齢（5歳）階級別）というデータを作られていることが分かりました（データソース）。 このデータはたくさんの市区町村の人口を推計されているそうです（原文: 推計の対象とした地域は、平成30（2018）年3月１日現在の１県（福島県）および1,798市区町村（東京23区（特別区）および12政令指定都市※の

フルカラーで実践的 昨日、朝倉書店さんと筆者の@drillerさんから『Pythonインタラクティブ・データビジュアライゼーション入門』をご恵投いただいた。 サブタイトルは「Plotly/Dashによるデータ可視化とWebアプリ構築」であり、データ分析から図示まで1人で何役もこなせるPythonの強みを体現したような本である。 www.asakura.co.jp Pythonでグラフを描画するにはMatplotlibがデファクトスタンダードであるが、動的に描画したりWeb上で扱えるようにするにはJavaScriptの力が必要であった。 オライリージャパンさんにも『PythonとJavaScriptではじめるデータビジュアライゼーション』という本もあったように、データ分析の能力と描画する能力の両方が必要であった。 『Pythonインタラクティブ・データビジュアライゼーション入門』はデータ分析

この記事は はんなりPython Advent Calendar 2020 の 16 日目の記事です。 関西でフリーランスのエンジニアをやっている @tsujio です。データ分析とか分析基盤のお仕事を承っています。 今日のインターネットには Python の最新情報がたくさん流れていますが、この記事では Python の歴史にフォーカスを当ててみます (最新情報だとネタがないので)。 2020 年 12 月時点での最新バージョンは 3.9 で、最近は型に関する機能がどんどん追加されていってます。しかし今回は今からおよそ 30 年前の、Python が世に初めて出た 1991 年時点のソースコードをダウンロードして動かしてみようと思います。 Python 初出 Wikipedia の History of Python を読むと、Python が初めて世に出たのは 1991 年の 2 月で

Webサイトで公開できる対話的・探索的（読み手が自由に動かせる）可視化をPythonで実践。データ解析に便利なPlotly，アプリ化のためのユーザインタフェースを作成できるDash，ネットワーク図に強いDash Cytoscapeを具体的に解説。 ◎本書の刊行を記念しまして、ジュンク堂池袋店様にて、オンラインイベントが開催されます。 ○演題：Pythonインタラクティブ・データビジュアライゼーション入門 -COVID-19のデータを使ったインタラク ティブ可視化事例- ○日時：２０２１年１月12日　19:30～21:00 ＊申し込みなどの詳細は、丸善ジュンク堂のサイトにてご確認ください。 グラフ（棒グラフ，散布図，ヒートマップ・・・）や表，地図，ネットワーク図など，簡潔なコードですばやく可視化　オールカラー ●コールバック,アニメーションなどの機能で,大規模データでも特徴把握が簡単に ●統

こんにちは。 実行時間(処理時間)を計測したいことはよくあると思いますが、今回はPythonで実行時間を測りたいなってなった時の方法を、自分用にまとめておきたいと思います。 ※なんか章立ての粒度がばらばらになってしまった気がするが、細かいことは気にしない。。。 Pythonコード上 Pythonのコード上(という表現がいいのかはわかりませんが汗)で実行時間を計測するための方法が以下。 timeモジュールを使う これが一番最初にパッと思いつく方法かなと思います。 import time start = time.time() func() process_time = time.time() - start print(process_time) デコレーターを用いる方法 こちらの記事で紹介されていたんですが、これは確かに便利だなと思いました(作者の方ありがとうございます)。 自作のデコレー

さて、本日はPython で XML を CSV に変換する方法について書いてみようと思います。前回のエントリーでは Python で CSV を XML に変換する方法について書きましたが、今回はその逆ですね。 使用する XML 前回のエントリーで作成した prefectures.xml を使用します。興味のある方はぜひ前回のエントリーを読んでみてください。 www.gis-py.com 出力する CSV 以下のような形で CSV を出力しようと思います。 実行環境 Windows 10 64bit Python 3.6.6 サンプルコード prefectures.xml を CSV に変換するサンプルです。 # -*- coding: utf-8 -*- import csv from xml.etree import ElementTree def xml2csv(): input_

PythonのウェブフレームワークDashを使って、京都の新型コロナアプリを作成しました。DashはFlask、React、Plotlyを使って作られたフレームワークで、ダッシュボードのようなアプリケーションを短時間で作成できます。またコールバックを使ってアプリケーションをインタラクティブに動作させられます。私のようにデータをこねるのは好きだけど、ReactもVueもいまいちよくわからないという人には、容易にダッシュボードを作れるフレームワークです。 作成したアプリケーションは以下のURLにあります。 PC向け スマホ向け コードはgithubを参照ください。 開発環境は以下の通りです。 Windows10 Pro Python3.7.5 dash 1.9.1 pandas 1.0.0 アプリの機能 アプリは京都府のサイトから取得したデータ（取得方法などは後述）をCSVファイルとして読み込

毎月第3金曜日ははんなりPythonの日ということで、2020年もはんなりPython始動しました。今年はコードを書く会を多くしようとの意図のもと、今回はHanpy Dojoというタイトルで、プログラミングで問題を書く会を行いました。 初回の会場は、今年もお世話になります。スプーキーズさんでした。 Hanpy Dojo 今回の問題は以下のようになります。 github.com 解答も入りだしていますね。 問題は会の前からやってこられている方もおられたりして、熱を感じました。予習して、現場でもやって、復習もしたら1年後はプログラミング力がかなり向上すること間違いなしです。私もがんばります！ 会は今回は19時から開始、21時まで問題を解き、21時半まで解いた人に答えを発表してもらう形にしました。答えの発表がやってもらえるかというのが少し不安でしたが、皆さん積極的に発表していただけたので良かった