Google Colaboratoryでバグに悩まされずにcartopyを使う - Qiita
Python（pandasやNumPy）でデータサイエンスをしたい場合、描画ライブラリとしてはmatplotlibを使うのが現在のデファクトスタンダードで、地理空間データや地図の描画にはcartopyを使うのがよいです。そのcartopyですが、Googleクラウド上のJupyter notebookであるGoogle Colaboratoryで使おうとすると、2020-04現在は、公式の方法ではバグで悩まされ、実質的に使えません。回避策とその説明をこちらにまとめてみました。 結論 以下のどちらかでインストールしましょう。 パターン1 !grep '^deb ' /etc/apt/sources.list | \ sed 's/^deb /deb-src /g' | \ tee /etc/apt/sources.list.d/deb-src.list !apt-get -qq update
数学×Pythonプログラミング入門 ― 中学・高校数学で学ぶ
中学や高校で学んだ数学を題材にして、Pythonによる数学×プログラミングを学んでみよう。数学の教科書に載っている定理や公式だけに限らず、興味深い数式の例やAI／機械学習の基本となる例を取り上げながら、数学的な考え方を背景としてプログラミングを学べる連載。 第1回 中学・高校数学で学ぶ、数学×Pythonプログラミングの第一歩（2021/07/05） 1. 問題解決の方法を学ぶための最強のツールとは 2. 文法からアルゴリズムへ ・コラム 良いアルゴリズムと数学の知識 3. 数学×Pythonを学ぶことの相乗作用 4. 前提知識と目標 5. Pythonプログラミングの準備と便利なライブラリ 第2回 中学数学だけでフェルマーの小定理をプログラミングしてみよう（2021/07/26） 目標： フェルマーの小定理をプログラミングしてみる 1. サンプルプログラム（演算子の利用） ・【まとめ】演
VS CodeでJupyterしてみよう
Jupyterは、オープンソースで開発が進められているプロジェクト（Project Jupyter）です。Pythonなどのプログラミング言語で記述された実行可能なコードと、Markdownで記述されたコードに関連ドキュメントを、「ノートブック」と呼ばれる単一のファイルにまとめることが可能な環境の構築を目指しています。 このプロジェクトの代表的な成果物が、コードとドキュメントをひとまとめに扱えるノートブックをWebブラウザ上で実現するWebアプリ「Jupyter Notebook」や「JupyterLab」です。Visual Studio Code（以下、VS Code）にPython拡張機能とJupyter拡張機能をインストールすることで、このノートブック環境をVS Code内で実現できます。今回はその基本を見ていくことにしましょう。 必要なもの 以前のバージョンのVS CodeではPy
PythonによるExcel自動化は何がスゴい？インストールからコードサンプルまで実践詳解
生産性向上のもっとも有効な手段。それは「仕事の自動化」です。労働時間を短縮できるだけでなく、空いた時間を付加価値を高めるために使えるので非常に効果的です。仕事を自動化するには何らかのツールが必要ですが、最近ビジネスパーソンの間でその決定版として注目されているのが「Python」というプログラミング言語です。AI活用で改めて注目を集めた言語ですが、海外では文系学生にもこの言語を習得させようとする動きもあります。今回は書籍『PythonでExcel、メール、Webを自動化する本』のプログラムを実際に動かして、Pythonによる自動化を体験していただきましょう。 そもそもどうすれば仕事を自動化できるのか？ ふだん私たちは、さまざまなデータをピックアップしてきて1つの箇所にまとめるという作業をよく行います。たとえば、請求書を作成するには、売上データから当月のデータを顧客ごとに抜き出して、ひな型に貼
Directions API(Google Maps Platform) をコールしてルート間の距離と所要時間をPythonで取得する - Qiita
本投稿を書くきっかけ 自宅から行き先を調べるとき、行き先が１つの場合は Googleマップで入力すれば問題ないですが、 遊びにいく候補地(目的地)のリストがあって、自宅からの所要時間を調べるとき、 Googleマップでそれぞれの候補地の入力はしんどいので、もっと簡単にできないかというのがそもそもの背景です。 Google Maps Platform Directions APIを使用した投稿は以下を参照ください。 お父さん必見！週末お出かけ候補リストをかんたん作成(Python、Directions API) 本投稿では、Google Maps Platform の KEY申請方法、Directions APIの使用方法、Pythonを使ったサンプルについて記載しています ■Googleマップ 出発地、目的地を入力 ※みんな知ってますが。。念のため ■Directions API 以下のU
PythonでFilmarksから映画レビューを全件取得する - sushi.py
はじめに 本記事では、Python, BeautifulSoup4, requestsをつかってFilmarksから特定の映画のレビューをすべて取得する方法について説明します。 Filmarksは「国内最大級の映画レビューサービス」です。現時点(2018年8月23日22時頃)で5314万3638件のレビューが掲載されています。 よほどマイナーか人気のない映画でない限りレビューが投稿されている、と思います。 映画レビューサイトはFilmarks以外にもYahoo!映画や映画.com、みんなのシネマレビューなどがあります。 ほかにも映画レビューサイトはあるのになぜFilmarksからレビューを取得するのかというとまず「HTMLの構造が単純でスクレイピングしやすい」というのがあります。複雑なHTML構造をしていないため、スクレイピング初心者の方やPython初心者の方がスクレイピングを学ぶ入り口
あなたの生産性を向上させるJupyter notebook Tips | リクルートテクノロジーズ メンバーズブログ
このエントリは全9回を予定する18卒新人ブログリレーの第3回です． はじめまして．今年度よりリクルートテクノロジーズに入社した河野 晋策です． 7月からQassチームにて検索ロジックの改善を行っています． Qassチームは，検索基盤の運用や検索ロジックの改善を行っているチームです． 詳しくは以下の記事をご覧ください． 検索組織の機械学習実行基盤 リクルート全社検索基盤のアーキテクチャ、採用技術、開発体制はどうなっているのか Elasticsearch＋Hadoopベースの大規模検索基盤大解剖 本記事の想定読者：普段Jupyter notebook・Jupyter Lab，Google Colaboratoryを使っている方，またこれから使おうと考えている方 本記事の概要：jupyter notebookの知見共有 はじめに Jupyter notebookとは 近年，データの重要性が様々な
概要 — Python 3.4.1 ドキュメント
Python 3.13.0 documentation Welcome! This is the official documentation for Python 3.13.0. Documentation sections: What's new in Python 3.13? Or all "What's new" documents since Python 2.0 Tutorial Start here: a tour of Python's syntax and features Library reference Standard library and builtins Language reference Syntax and language elements Python setup and usage How to install, configure, and u
Python を使い、Gmail API 経由で Gmail の送受信を行う - Qiita
はじめに Gmail にはご存知の通りGmail API があり、SMTP や POP3 を使うことなく、検索機能など Gmail 独自の機能を活用することができます。 この記事では、Python を使って Gmail API の有効化から、スクリプトの作成、実行までの手順をステップバイステップで紹介します。 Gmail API を利用するまでに、プロジェクトを作成したり、APIを有効化したり、スコープを設定したり、認証情報を作成したりと、準備が割と大変なので、備忘録として書きました。 2020年4月時点の Gmail API の内容です。 Python 3.7.x を想定しています。 利用前の準備 Goole API を利用するプロジェクトを作成する 利用する Gmail アカウントの Gmail を開いたブラウザで、 Google Cloud Platform コンソール （ http
Python のクイックスタート | Gmail | Google for Developers
アドオン Apps Script Google Workspace アプリ 管理コンソール Cloud Search Gmail Google Calendar Google Chat Google Classroom Google Docs Google Drive Google Forms Google Keep Google Meet Google Sheets Google Sites Google Slides Google ToDo リスト Google Vault 拡張、自動化、共有 アドオン Apps Script チャットアプリ ドライブアプリ マーケットプレイス ツール 管理コンソール Apps Script ダッシュボード Google Cloud コンソール API Explorer カードビルダー トレーニングとサポート ご利用方法 Codelab デベロッパー
ゼロからはじめるPython(23) PythonでGmailを確認しよう その2
前回は、PythonでGmailのAPIにアクセスし、メールの要約を確認するところまで紹介した。今回は、もう一歩進めて、受信したメールを指定したフォルダに保存していくプログラムを作ってみよう。メールをファイルに保存するなら、個人的なメールバックアップとして使うこともできるし、また、様々な用途にも使えるだろう。 前回までのあらすじ さて、今回は、前回の続きとなる。既に、OAuth認証を行って、GmailのAPIが自由に使えるようになっているところから始める。もし、認証が終わってない人は、前回の内容を参考にして、作業を一通り終えておこう。 前回の補足 - APIの利用権限について ちなみに、前回、一つ目に実行したプログラム「gmail_auth.py」は、ユーザー認証のために必要なプログラムだ。このプログラムでは、冒頭で、以下のようにスコープ（利用可能権限の範囲）を指定していた。 # Gmai
ゼロからはじめるPython(22) PythonでGmailのメールを確認しよう
業務でGmailを活用している場面は多いことだろう。今回は、Pythonを利用してGmailのメールを確認する方法を紹介する。Googleは開発社向けに、さまざまなAPIを公開しており、Gmailを操作するAPIもその一つだ。GmailをPythonで処理できれば便利な場面も多い。今回は、Gmail APIを使うための設定を行い、簡単な新着メールの要約を表示するところまでを紹介しよう。 PythonでGmailを扱う三つの方法 さて、最初に、PythonでGmailの受信を行う手順を確認しておこう。PythonでGmailを表示する方法には、三種類の方法がある。一つは、Googleが公開しているAPIを経由してメールを操作する方法、二つ目は、電子メールの汎用的なプロトコルIMAPを使う方法、そして、三つ目は、同じく汎用的なプロトコルであるPOP3を使う方法だ。 実は、三つ目のPOP3を使う
pandasのDataFrameをfloatからintに変換する方法 - 子供の落書き帳 Renaissance
「pandas float int 変換」で検索する人が結構いるので、まとめておきます。 準備 1列だけをfloatからintに変換する 複数列をfloatからintに変換する すべての列をfloatからintに変換する 文字列とかがある場合は? NaNを含む場合は? int型で欠損値をNaNのままで扱う方法は 何でみんなこれで検索してるのか（read_csvでfloatになってしまった?） 準備 import pandas as pd import numpy as np pd.options.display.notebook_repr_html = False # jupyter notebook上での出力形式を制御するために書いています。無くても動きます。 # 動作環境の確認 print(pd.__version__) print(np.__version__) # --------
PRIME STUDY（プライム・スタディ）
原理原則で学ぶ Principle Based 当サイト「PRIME STUDY（プライム・スタディ）」はPython試験、PHP試験等の無料模擬試験サイトです。 （運営元：プライム・ストラテジー株式会社 [ Pythonエンジニア育成推進協会Python認定スクール、PHP技術者認定機構ゴールド認定スクール ] ） 模擬試験を何度でも無料で PRIME STUDYではPython試験（Python 3 エンジニア認定基礎試験、Python 3 エンジニア認定データ分析試験）とPHP試験（PHP 8 技術者認定初級試験、PHP 8 技術者認定上級試験、PHP 7 技術者認定初級試験）の模擬試験を何度でも無料で受験いただけます。 現在のみなさんの合計受験回数は 207,512回です。 ※2024/09/16（当サイト公開後1562日経過時点） Python試験・PHP試験合格を目指すみなさん
PythonでPDFファイルのテーブルデータを読み取る - Qiita
PDFデータ 世の中の人はPDFが大好きなようで、嫌い嫌いと言っていても扱わざるを得ません。しかし、それに何時間もかけるのはちょっと・・・と思うのが人の常です。PDFの表データをしかないというケースもありますが、そのような際に便利なtabula-pyという超便利なライブラリがあったのでメモしておきます。 https://github.com/chezou/tabula-py tabulaにかんして tabulaはPDFの表を抽出するためのJavaのライブラリです。tabula-pyはそのラッパとなっております。そのため、利用するためにはJavaのインストールが必要です。 Javaをインストールした後、下のようにするとPythonのライブラリが利用できます。
Kaggleで戦いたい人のためのpandas実戦入門 - ML_BearのKaggleな日常
はじめに 自分は元々pandasが苦手でKaggleコンペ参加時は基本的にBigQuery上のSQLで特徴量を作り、最低限のpandas操作でデータ処理をしていました。 しかし、あるコードコンペティションに参加することになり、pythonで軽快にデータ処理をこなす必要が出てきたので勉強しました。 そこで、当時の勉強メモをもとに「これだけ知っていればKaggleでそこそこ戦えるかな」と思っているpandasの主要機能をまとめました。 注記 実戦入門 のつもりが ほぼ辞書 になってしまいました orz pandasとはなんぞや的な内容は書いていません (import pandasやDataFrameとは何かなど) pandas1.0系でも動くように書いたつもりですが間違ってたらすみません 目次 はじめに 注記 目次 Options DaraFrame 読み書き CSVファイル 読み込み 書き出
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pythonic High School | 高校数学から機械学習まで Pythonでじっくり楽しく
Python 3.9の新機能 - python.jp
nkmk note
［Pythonチートシート］基本要素編
