Python Dashによりデータ分析結果の共有を効率化する取り組み - ZOZO TECH BLOG
はじめに こんにちは、検索基盤部の伊澤です。検索基盤部では普段から、ZOZOTOWNの検索機能に関するデータ分析や、データ分析を踏まえた検索性能の改善に取り組んでいます。 検索に関するデータ分析では、検索クエリの傾向把握や課題のあるクエリの特定のために、検索クエリごとの検索結果のクリック率やコンバージョン率といったパフォーマンス指標を評価しています。 本記事では、検索クエリごとのデータ分析に関する情報共有を効率化するため、ウェブフレームワークの「Dash」で開発したダッシュボードを活用した事例を紹介します。 目次 はじめに 目次 検索クエリごとのデータ分析の重要性 分析結果のチーム内共有時の課題 Dashを用いたダッシュボードの開発 Dashとは Dashを選定した理由 検索クエリごとのパフォーマンス指標のダッシュボード 1. 検索クエリごとのパフォーマンス指標のテーブル 2. 検索クエリ
【最新決定版】タイタニックデータで学ぶ Pandasによるデータ加工からグラフ化まで - Qiita
この記事はNuco Advent Calendar 2023の21日目の記事です。 第１章：はじめに 本記事の目的 さてさて、この記事を読んだらいったい何が出来るようになるのよ！っていうのが、気になるところではあると思います。簡単に対象レベルを述べるのであれば、以下のような人が挙がってくるのではないでしょうか？ ＜対象レベル＞ ・何となくPythonを勉強し始めてみたけど、何やってみようかな？と考え中の方 ・データ分析をこれからやってみたいなって思っている方 ・就活もしくは転職でデータサイエンティスト、データアナリストを目指している方 ・普段SQLは使っているけど、Pandasだとどうやるんだ？となっている方 などなど、様々な境遇の皆さんに刺さる記事になってくれれば。。！ ＜出来るようになること＞ ・グラフ出力に必要なデータの加工 ・よく使う一般的なグラフの出力 ・各グラフの持つ特徴の理解
Pythonで特定口座にあるオルカンを新NISAに買い換えるタイミングを分析してみる - Qiita
目的 現在特定口座で積み立てているオールカントリー投資信託を新NISA口座に移し替えたい。実際移し替えることはできないので、投資信託を売って、買うことになる。積み立て枠は毎月10万売って10万買えば良い。では成長枠の240万はいつ売って、いつ買えば良いのか？ 「セルインメイ（5月に売ってどこかに行け、セント・レジャー・デーまで戻ってくるな）」の格言通り5月に売れば良い？ MSCIオールカントリーワールドインデックスの一年の値動きを分析してみる MSCIオールカントリーワールドインデックス（MSCI ACWI）の一年の値動きをYahoo Financeから取得したデータを元に分析してみることにする。 2008年からのデータになっているのはYahoo Financeに2008年より前のデータがないからだ。ちなみに2008年というとリーマンショックの年で、ここから各国中央銀行はじゃぶじゃぶ金融緩
PythonでGUIアプリを開発しよう
「Tkinter」というGUIライブラリを利用することで、PythonでもデスクトップのGUIアプリを作成できる。その方法を解説しよう。 第5回 PythonのGUIアプリで様々なイベントに対応する、カギは「bind関数」 実は、commandオプションはすべてのウィジェットで使えるわけではありません。Labelウィジェットのように、操作されることを前提としていないウィジェットにはcommandオプションはありません。 2024.01.12 第4回 Pythonでクリックに反応するには？ イベントドリブンを利用しよう Tkinterを含む大抵のGUIライブラリは、「イベントドリブン」という仕組みを採用しています。イベントドリブンでは、ユーザーの操作などをきっかけに処理を実行します。イベントドリブンのプログラミングでは、プログラムの進行が直線的ではなくなります。 2024.01.11 第3回
Pythonで理解する財務分析
企業の経営状況は財務に関する情報から分析できる。Pythonを使ってEDINETから有価証券報告書のデータを取得し、企業の収益性を可視化してみよう。 出典：日経ソフトウエア、2023年3月号 pp.40-51 「Pythonで理解する財務分析」を編集 記事は執筆時の情報に基づいており、現在では異なる場合があります。 Pythonを活用してグラフ化！過去5年間分の経営状況を可視化しよう Part2／Part3 有価証券報告書のXBRL形式のデータは複数のファイルから構成されています。つまり、CSVファイルのデータのように、すぐにデータ分析できる形式にはなっていません。XBRL形式のデータ構造について説明したあとで、XBRLデータから「売上高」の値を抽出するプログラムを作ります。 2023.04.18 Pythonによる財務分析に挑戦、有価証券報告書のデータを扱うには Part1 「財務分析」
Outlookから日報メールを取得してネガポジ判定をしてみた。 - Qiita
■概要 テキストデータのネガポジ判定の手法を学んだので、 試しに昨年新卒入社した時の日報でネガポジ判定を行ってみました。 書いたソースコードの紹介と共に、 「日報の提出時間が遅くなるにつれて、所感部分の文字数が減り、またPN値も下がるのでは」 という疑問を解明して参ります。 ■環境 OS: Windows10 言語: Python 3.10.4 IDE: Visual Studio Code (バージョン 1.69.2) ■分析の流れ 以下の手順で日報データの分析を行いました。 Outlookのフォルダから自分の送った日報のデータを取得、CSVファイルとして保存。 CSVファイルを読み込んで、DataFrameの整形 極性辞書の読み込み、PN値の算出 外れ値の処理 データ可視化1,2 結果と考察 ■ソースコード紹介 では早速、用いたコードを紹介して参ります。 0.モジュール、オブジェクトの
【自動化】PythonでOutlookのメールを読み込む - Qiita
アナログな作業を自動化したい 私の日常業務の中に、Outlookで受信したメール中の「問い合わせ番号」「問い合わせタイトル」「URL」「受信日」などを、サーバーに格納されている管理表(Excel)に書き写すという超アナログな作業があります。 この作業をなんとか自動化できないかと思い、まず手始めにOutlookで受信したメールをPythonで読み込むことを行います。 色々と調べてみましたが、あまり情報がなく試行錯誤しながらどうにかできましたので、備忘録も兼ねて情報を残しておきます。 （私の家のOfficeはとても古くてOutlook2007です…。おそらく最新のOfficeでも同じだとは思いますが、うまくいかない場合はご容赦ください。） 最終的なコードはとてもシンプルです。 前提 前提として私のOutlookのメールフォルダはこのようになっています。 大きく言うと、 1. 個人用フォルダ 2
【Python】学振の研究遂行経費報告書を自動で入力する - Qiita
追記2022-03-28 @kn1cht様から改善案を頂きました。ありがとうございます。 現状では学振マイページを経由してJシステム（特別研究員 提出Webフォームシステム）にたどり着く仕組みになっていますが、直接Jシステム (https://tyousa.jsps.go.jp/stu21/) にアクセスしても問題ないようです。 なので、該当の箇所を改定しています、githubには既にcommit済みです。 追記2022-03-31 @Hiroyuki1993様から多くの改善案を頂きました。ありがとうございます。 内容としては下記のとおり。 設定ファイルの分離（JシステムIDなど） READMEの追加（Mac対応含む） 細かいバグの修正 githubには既にcommit済みです。 追記2022-03-31 最後のポップアップウィンドウに対しても自動化しました。 また、windowsユーザー
Python画像処理のためのGUI入門（PySimpleGUI解説） - Qiita
はじめに Pythonを使って画像処理を行う際、パラメータを動的に変更しながら処理結果を確認したいということは多いかと思います（ですよね？）。こういった時にGUIベースのアプリケーションが作れると非常に便利ですが、PySimpleGUI でそれを簡単に実現することができます。 本記事では PySimpleGUI の基本的動作を理解しながら、インタラクティブな画像処理アプリケーションの作成方法を習得することを目的とします。 PySimpleGUI に関する基本的な説明から入るので、ある程度使い方が分かっている方は実践編から入って、不明点は都度戻って補完するのが良いかと思います。 よく見そうなところ 項目 概要
ゼロからはじめるPython(70) Pythonを使って自動で申請書PDFに書き込もう(その2)
既存PDFに何かしらのテキストを書き込む機会は多い。前回よりPythonで既存PDFに書き込みを行う方法を紹介している。前回は簡単な図形を描画してPDFに保存する方法を紹介したが、今回は実際に申請書に必要事項を書き込む方法を紹介する。特に日本語テキストの書き込み方法や既存PDFを読み込み方法を確認してみよう。 今回作るのはPythonで申請書に項目を自動入力するプログラムだ ライブラリのインストールが必要 前回よりPDFを作成する方法を紹介している。PythonではいろいろなPDFライブラリがあるが、本稿ではPyPDF2とReportLabを使う方法を紹介する。そのため、前回の内容を参考にして、これらのパッケージをインストールしておこう。 日本語フォントとサンプル素材をダウンロードしよう なお、ReportLabで日本語フォントを利用するには、フォントファイルを用意する必要がある。ここでは
pythonで自作関数をモジュール化・パッケージ化 - Qiita
pythonでの自作関数の作り方と使い方を説明していきます． プログラムを作成していると，同じような処理が何度も出てくることがあります． このような時に同じような処理が出てくる度に書くのはとても手間になります．それを自分の使いやすいように関数にしてしまったものが自作関数です． ファイル内の自作関数 自作関数の形式はこのようになっています．
Javaで作るのは他人のためのプログラム、Pythonで作るのは自分のためのプログラム - きしだのHatena
JavaやCで組むのは他人のためのプログラムで、Pythonで組むのは自分のためのプログラム、という違いがないかなという話。 TIOBEでとうとうPythonが1位になったというニュースが流れてました。 https://internet.watch.impress.co.jp/docs/yajiuma/1357645.html でも、Pythonが1位になったとはいえ、CやJavaであったような、世の中のプログラム全部Pythonになるみたいな雰囲気はないなと思いました。 で、こんなツイートをしたわけです。 PythonがJavaやCを抜いて1位になるのは、JavaやCが担っていたところがPythonに置き換えられたのではなくて、他人のためのプログラミングではなく自分のためのプログラミングが増えたということじゃないかなと思う。https://t.co/LeM3ADCwAA— きしだൠ(K1
Python boto3 でAWSを自在に操ろう ~入門編~ - Qiita
Boto3 とは AWS (Amazon Web Services) を Python から操作するためのライブラリの名称です。 S3 などのサービス操作から EC2 や VPC といったインフラの設定まで幅広く扱うことが出来ます。 Boto3 は AWS が公式で提供しているライブラリのため、APIとして提供している機能をほぼ Python から使えるようになっています。 今回はこの Boto3 の使い方と活用例を紹介したいと思います。 ちなみに Botoという名称は ボート ではなくイルカ の名前から来ているそうです。 https://reboooot.net/post/why-boto/ セットアップ Boto3 のインストール pip からインストールすることができます。 Python の 2 系は 2.6.5 から、3 系は 3.3 からサポートされてます。 AWS の API
Windows 上の Python で UTF-8 をデフォルトにする - Qiita
TL;DR: UTF-8をデフォルトで使いたい人は環境変数に PYTHONUTF8=1 を設定しよう Python は文字列が unicode なので、あちこちで「適切」なエンコーディングを選択する必要があります。残念ながら後方互換性やWindows固有の事情によりまだ ANSI Code Page (日本語なら cp932) がデフォルトで使われる場面があります。 ざっと Python と外の世界との入出力をあげてみます。 テキストファイルを読み書きする時のデフォルトのエンコーディング = ACP 標準入出力のエンコーディング 標準入出力がコンソールのとき = UTF-16 で WriteConsoleW 等を呼ぶ 標準入出力がコンソールでない時 = ACP 子プロセスとのPIPE = ACP 最近 chcp 65001 を使って UTF-8 を使う方法が広まっているように思います。これ
PythonからBLEを制御するライブラリの調査 - masato-ka's diary
はじめに この記事ではPythonのBLE制御ライブラリに調査を行った結果をまとめています。2017年のMaker Fair Tokyoのウェザーニュースブースにて、WxBeacon2というBLEの環境センサを購入しました。このデバイスはOMRONの2JCIE-BL01まんまの代物です。本家は加速度センサが入っているようですが、ブースの方曰くこちらは入っていないかもとのこと。 OMRON環境センサ WxBeacon2 しばらくはiPhoneから接続して専用アプリで遊んでみました。せっかくのなので、自分でアプリを作って遊んでみることにしました。今回はRaspberry Pi Zero WとMac OSX上で動作するアプリケーションを作成してみようと考えてみます。実装に利用する言語はPythonを選択しました。PythonのBLEライブラリを検索するといくつか種類が出てきたので、目に付いたもの
Python×Excel自動化できること28！読み込み書き込みグラフ作成の事例紹介
実際には上記のライブラリ以外にもExcel操作のライブラリは存在します。 しかし今のところ、上記の3つで問題ないと判断しています。 その理由も含めて上記の3つの特徴について紹介していきます。 ライブラリ1｜openpyxl openpyxlはExcel操作で最も使い勝手の良いライブラリです。 なぜならウェブに多くの情報が紹介されているからです。 ウェブで調べながらPythonプログラムを作っていく人も多いはず。 実際、私がopenpyxlをメインで使っている理由は、ウェブでの公開情報の多さです。 xlwingsを推奨する声もありますが、xlwingsは英語の文献は多いですが、日本語での情報量の多さはopenpyxlが多い。 そのため、現時点では私はopenpyxlを使用しています。 しかし、使い勝手が悪い部分もあります。 たとえば、「セルの値が数式のとき、その数式を取得してしまう」ことが挙
Excel読み込み (OpenPyXL)
ここではExcel操作ライブラリであるOpenPyXLを用いたExcelファイルの読み込みに関連する機能について触れています。 ブックのオープン まずはExcelブックの開いてみましょう。Excelであればどのようなファイルでも構いませんが、例で使用しているファイルは下記リンクよりダウンロード出来ます。 test_book.xlsx import openpyxl book = openpyxl.load_workbook('test_book.xlsx') openpyxlモジュールをインポート後、load_workbookを使用してブックを開きます。 引数にはファイル名を指定しましょう。 シート数・シート名の取得 ブック内のシート数と全シート名を出力してみましょう。 import openpyxl book = openpyxl.load_workbook('test_book.xls
AWS LambdaからPython Boto3を使用してDynamoDBを操作してみた - Qiita
DBとtableを自分の環境に書き換えてもらえれば、コピペで試せます。 バージョン Python3.7 準備 import boto3 dynamoDB = boto3.resource('dynamodb') table= dynamoDB.Table('sample') def main(event, context): search(event) insert(event) update(event) delete(event) return def search(event): query_data = table.get_item( Key={ 'id': event['id'] } ) print("GetItem succeeded:") # 取り出す時は sample_value = query_data['Item']['sample_value'] return
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
8.2. pytest - ゼロから学ぶ Python
Pythonのヒアドキュメント
