pandas DataFrameで整形後Redshiftにロードする時はInt64を使おう | DevelopersIO
こんにちは、平野です。 久しぶりにブログ書く時間が確保できました。 在宅で仕事しているとちょこちょこ家事が発生したりで、なかなかブログまで手が回らない...。 と言っていても仕方ないので、定期的なアウトプットは再開して行きます！ 閑話休題。 Redshiftへのデータロードする際にSTL_LOAD_ERRORが発生して何か失敗してるなぁ、と思ったら、 pandasの意外と面倒な仕様に当たっていて、解決までに結構苦労したのでブログにしておきます。 今回、既存システムの移行ということでpandasでのデータ整形に初めて触ったのですが、 比較的あるあるなハマり方なのかな、ということで参考にして頂ければと思います。 状況 今回想定しているケースは以下のような状況です。 S3上のファイルをread_csvでpandas DataFrameに取り込む DataFrameで値の整形などを行う（この記事で
ゼロからはじめるPython(62) PythonでExcelを自動操縦しよう - ExcelファイルをPDFに変換
今回はPythonを利用して、Excelを自動操縦する方法を紹介する。PythonからExcelを自動操縦できれば、事務作業の効率化に大いに役立つだろう。その一例としてExcelファイルをPDFに変換するプログラムを紹介する。 PythonでExcelを操作してPDFを出力した VBAよりもPythonで自動化しよう ところで、マルチプラットフォーム対応のプログラミング言語Pythonだが今回はWindows専用だ。というのも、今回はWindowsに備わっているCOM(ActiveX)機能を使うからだ。もともとExcelには処理を自動化するのためにVBAというマクロ機能が備わっているが、外部のプログラミング言語から操作できるよう考慮されている。そのため、このCOM機能を利用することでPythonからもExcelを自動操縦できるようになっている。VBAよりも柔軟で先進的なライブラリを多数備え
Python と Ruby の比較（環境・文法・リテラル編） - Qiita
はじめに こんにちは。入社早々、在宅勤務となった@sho-hata です。 在宅勤務は通勤時間がないという嬉しい点がある一方、オンオフの切り替えが難しいですね。 さて、今までPythonしか触ってこなかった自分ですが、仕事でRuby on Railsを触ることになり、日々勉強の毎日を過ごしています。 今回は、自分がRuby触り始め第一週ということで、Rubyの公式ドキュメントの「多言語からのRuby入門」の項にある「pythonからRubyへ」を読みながら、Rubyとpythonとのちょくちょく気になる類似点・異なる点を簡単に調べて、まとめてみました。 内容は適宜、追加予定です。 なお、以下全てRubyを主語としています。 Pythonとの類似点 対話型の実行環境がある めっちゃ便利ですよね。コードをさくっと試したい時とか、インタプリタ型言語の本領発揮って感じです。 Rubyの対話型実行環
Django Heroku デプロイ２ - Qiita
#前提 前回の記事「Django Heroku デプロイ１」の続きです。 https://qiita.com/yusuke_mrmt/items/1a3ee727d119617b2d85 #デプロイ ここまでで、アプリをデプロイする領域を確保できたので、実際にデプロイまでいきます。 ##デプロイまでの流れ デプロイを行うにあたり、事前に以下の項目を設定する必要があります。 １、Heorku用の設定ファイルの作成 ２、アプリケーションサーバーのインストール ３、django-herokuインストール ４、データベースの設定 ５、許可ホストの設定 ６、静的ファイルの設定 ７、開発環境の設定と本番環境の設定の分離 上記となります。順に設定していきます。 ###１、Heorku用の設定ファイルの作成 プロジェクトのディレクトリ直下に下記の2つのファイルを追加します。 ■runtime.txt の作
MacのPython開発環境を見直してみたら色々大変だったので備忘録メモ - Qiita
Pythonは非常に優れた汎用プログラミング言語です。OSを問わず機械学習の分野は言うに及ばず、クラウドやWebプログラミングの分野にまで利用されています。また仮想環境管理ツールを導入すれば、複数のバージョンを使い分けたい場合に仮想環境を構築して管理出来ます。筆者は学生時代から愛用しているAnaconda1のConda Envを使ってきました。ところがここで困った問題が有ります。Macユーザーの方でHomebrewをお使いの方は御存知だと思いますが、Hombrew2とAnacondaの相性は最悪です。また、Conda Envは仮想環境の共有やリモート管理(Gitなどで管理)が考慮されておらずとても不便です。本記事ではそんなPythonの開発環境を見直してみようという試みについてまとめました。 Anaconda @ Macの問題 Homebrewとの相性問題 仮想環境情報の共有やリモート管理
Pythonチュートリアル(6章)の内容を箇条書きでまとめた - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 前の記事：Pythonチュートリアル(5章)の内容を箇条書きでまとめた はじめに Python3 エンジニア認定基礎試験対策として、Pythonチュートリアル(書籍)の内容を暗記しやすい箇条書きにまとめた自分用メモです。 参考資料 Pythonチュートリアル： https://docs.python.org/ja/3/tutorial/ 6章： https://docs.python.org/ja/3/tutorial/modules.html 書籍： https://www.oreilly.co.jp/books/9784873117
Writing Python inside your Rust code — Part 1
About a year ago, I published a Rust crate called inline-python, which allows you to easily mix some Python into your Rust code using a python!{ .. } macro. In this series, I’ll go through the process of developing this crate from scratch. Sneak preview If you’re not familiar with the inline-python crate, this is what it allows you to do: fn main() { let who = "world"; let n = 5; python! { for i i
O’Reilly の電子書籍:Python での機械学習 | Microsoft Azure
検索 アカウント ポータル サインイン 閉じる
Google クライアントライブラリ for Python で、BigQuery のデータセットやテーブルなどのメタ情報を取得してみた | DevelopersIO
Google クライアントライブラリ for Python で、BigQuery のデータセットやテーブルなどのメタ情報を取得してみた こんにちは、みかみです。 BigQuery のデータセットやテーブル、UDF などの情報は、INFORMATION_SCHEMA の各ビューから取得できますが、オンデマンド料金の場合、現在のところ INFORMATION_SCHEMA に対して SELECT 文を実行するとクエリ課金が発生します。 BigQuery INFORMATION_SCHEMA の概要 ｜ BigQuery ドキュメント 一方、list、get などのメタデータオペレーションは無料で使用でき、課金は発生しません。 無料のオペレーション ｜ BigQuery ドキュメント Google クライアントライブラリ for Python （ google-cloud-bigquery ）を
S3 アクセスのニアリアルタイムな異常検出を pandas と Firehose で実装してみる | DevelopersIO
みなさん、S3 の異常アクセスてどうやって検出していますか？ EC2 への異常アクセスであれば GuardDuty がありますよね。CloudFront, ALB, API Gateway であれば AWS WAF がありますよね。S3 は？ S3 Access Analyzer？ あれは 99% アクセス分析やってくれそうなサービス名ですが、アクセスが来たものを対象に分析するサービスではなく、「アクセスされる危険性があるよー」という分析をしてくれるサービスなので違うんですよ。 AWS CloudTrail Insights？ あー、CloudTrai Insights は API コールのアクティビティを機械学習し、異常な挙動が起きた場合に知らせてくれますよね。S3 も CloudTrail に出力できるし出来るんじゃ… と思いますよね。でも出来ないんです。CloudTrail Insi
Pythonを会得する考え方やポイント5選！ 『パーフェクトPython』著者が魅力を語る！ - FLEXY（フレキシー）
※本記事は2020年4月に公開した内容です。 株式会社ディー・エヌ・エーのシステム本部CTO室の露木誠です。PythonやDjangoについて執筆した『パーフェクトPython』や『Django×Python』などの著書が技術系出版社から数冊出版されています。DjangoのAUTHORSファイルにも実は名前が掲載されています。 本記事では、Pythonを始めたいと思っている方向けに、Pythonの魅力をお伝えできればと思います。知っておきたいPythonの言語仕様や特徴的な考え方をご紹介しますので、参考にしてください。 Python関連のエンジニア案件を見てみる 自己紹介とPython、Djangoに関わる活動について ディー・エヌ・エーのCTO室に所属、元々は異業種からIT業界に参入 現在は、株式会社ディー・エヌ・エーのシステム本部CTO室で、エンジニア組織の課題解決を主な活動として、日
20 Cheat Sheets: Python, ML, Data Science, R, and More - DataScienceCentral.com
Home » Uncategorized20 Cheat Sheets: Python, ML, Data Science, R, and More Vincent GranvilleNovember 11, 2018 at 4:00 am This resource is part of a series on specific topics related to data science: regression, clustering, neural networks, deep learning, Hadoop, decision trees, ensembles, correlation, outliers, regression Python, R, Tensorflow, SVM, data reduction, feature selection, experimental
Mac で docker-compose コマンドがエラーで動かない ( pyenv とか python とか言ってくる ) #docker - Qiita
$ docker-compose --version Traceback (most recent call last): File "/Users/yumainaura/.pyenv/versions/3.7.3/bin/docker-compose", line 5, in <module> from compose.cli.main import main File "/Users/yumainaura/.pyenv/versions/3.7.3/lib/python3.7/site-packages/compose/cli/main.py", line 17, in <module> import docker File "/Users/yumainaura/.pyenv/versions/3.7.3/lib/python3.7/site-packages/docker/__ini
京都大学のPython講義資料から見る重要単元 - Qiita
はじめに 2月13日 京都大学がPythonの講義資料を無料公開しました。 関連: 講義資料リポジトリ 紹介記事-Qiita 紹介記事-CodeZine かなり充実した内容となっています。（完璧ではありませんが。。。） COVID-19のせいもあり自宅での学習が今後の鍵になると思われますので、有効活用させていただきましょう。 私自身、Pythonの基礎がうやむやなまま使っているので、これを機にしっかりと理解しておきたいと思います。 ちなみに**講義資料とコラム編**の二つに分かれていて、本記事では講義資料のみ取り扱います。 Pythonなんとなく使えるぜって人はコラム編を読んでみてください。面白いですよ。 コラム編もおまけ程度に書いたので暇すぎて死にそうな人は見てみてください。 京都大学のPython講義資料：コラム編の紹介 この記事で何をするか この記事では、京都大学様の講義資料の中から
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.com: Practical Deep Learning for Cloud, Mobile, and Edge: Real-World AI & Computer-Vision Projects Using Python, Keras & Tensorflow: Koul, Anirudh, Ganju, Siddha, Kasam, Meher: Books
Why Data Scientists Must Speak the Language of Python
Amazon.co.jp: Pythonクローリング&スクレイピング[増補改訂版] -データ収集・解析のための実践開発ガイド: 加藤耕太: 本![Amazon.co.jp: Pythonクローリング&スクレイピング[増補改訂版] -データ収集・解析のための実践開発ガイド: 加藤耕太: 本](https://cdn-ak-scissors.b.st-hatena.com/image/square/f5e31cdfb34f31456730beeb716ff0a4a0c5b77c/height=288;version=1;width=512/https%3A%2F%2Fm.media-amazon.com%2Fimages%2FI%2F41VimzqqXAL._SL500_.jpg)
Python Scikit-learn to simplify Machine learning : { Bag of words } To [ TF-IDF ] - Data Science Central
Visualizing Decision Trees with Python (Scikit-learn, Graphviz, Matplotlib) - KDnuggets
ゼロから作るPHPとPythonの連携 on Laravel - Qiita
