PythonでStateモナドを書いてみる - QiitaDeleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
AWS Data Wranglerを触ってみた - アメリカ的間投詞
つい先々週Amazon Web Services ブログで紹介されていたAWS Data Wranglerを触ってみたので、その感想などを書きます。 AWS Data WranglerはAWSの各サービス上にあるデータを操作するためのPythonライブラリです（つまりサービスではない）。Python環境においてメモリ上にあるpandasのDataFrameや、PySparkのセッションで捕捉しているデータをAWSの各種リソース(S3, Redshiftなど)へとアップロードすること、またその逆の作業が行えます。 元来このような操作は各チームでライブラリを用意するか、個々のデベロッパーが都度開発することで実現されることが多かったでしょう。今回AWS Data Wranglerが提供されたことにより、そのような手間を省くのに加え、データのやり取りを行う際のベストプラクティスに沿った実装を利用で
文系大学生が機械学習を０から始めて９か月でKaggle銀メダルを獲得するまで - Qiita
今回自分は０から始めて９か月でコンペで銀メダル(6385分の249位,top4パーセント)を獲得できました。 自分の今までの流れをおさらいしていきます。 それまでの僕のスペック 数3と行列はほぼ何も分からない プログラムはrubyとjavaはそこそこに書ける、pythonは知らん 勉強の流れ １２月末 機械学習を始めると決心、とりあえず何をやればいいかよく分からないがpythonが必要らしいのでprogateでpythonをやってみる １月 数学が必要らしいので、行列と微分積分について１から学んでみる。今から考えると、行列の基礎をさらえたのは良かったですが、それ以外はこの時間は絶対いらなかったなと考えています。 微分積分 行列 ２月 Udemyで多くの講座を受ける、詳細は以下の記事にまとまっています https://qiita.com/HayatoYamaguchi/items/c8051
PyCon JP 2019に参加してきました - Unipos engineer blog
データ分析、及び機械学習の開発を行っている長谷川と水谷です。 9/16(月)-9/17(火)に開催されたPyCon JP 2019に参加し、長谷川がライトニングトーク、水谷がポスターセッションで発表を行ってきました。 PyCon JPとは PyCon JPはPythonに関する日本最大級のカンファレンスです。普段業務や趣味でPythonを使用する人々が集まり、さまざまな分野での活用方法や知見を交換し、交流する集まりです。 今年のテーマは「Python New Era」。令和になって初のカンファレンスであることと、来年でPython2のサポートが終了することから、時代の移り変わりを反映したテーマになっております。 各自の発表内容 長谷川は、CfPが無事通り、エンディング前に行なうライトニングトークの一つとして、登壇してきました。 発表のテーマは「Pythonで、処理をより効率化するためのTi
Automated reports with Jupyter Notebooks (using Jupytext and Papermill)
Jupyter notebooks are one of the best available tools for running code interactively and writing a narrative with data and plots. What is less known is that they can be conveniently versioned and run automatically. Do you have a Jupyter notebook with plots and figures that you regularly run manually? Wouldn’t it be nice to use the same notebook and instead have an automated reporting system, launc
Learn Functional Python in 10 Minutes
In this short 10 minute article, you’ll learn what the functional paradigm is in Python. You’ll also learn about list comprehensions. 📌 Functional Paradigm# In an imperative paradigm, we do things by giving the computer a sequence of tasks and then it executes them. While executing them, it can change states. For example, let’s say we set A = 5, then we change the value of A. We have variables in
Python Multiprocessing Tutorial: Run Code in Parallel Using the Multiprocessing Module
In this video, we will be learning how to use multiprocessing in Python. This video is sponsored by Brilliant. Go to https://brilliant.org/cms to sign up for free. Be one of the first 200 people to sign up with this link and get 20% off your premium subscription. In this Python Programming video, we will be learning how to run code in parallel using the multiprocessing module. We will also look
Pythonで日経平均の推移を観察する (with Quandl API) - Qiita
はじめに 以下のコードはすべてGoogle Colab ノートブックで共有していますので、実際に1つ1つ実行して試すことができます 重要なこと 時系列データを取り扱う対象として日経平均株価を用いています。株価をプロットして遊んでみるなどしますが、その図を見て投資しろとか言うつもりは全くありません。投資は自己責任で行ってください。 目的 主にDataCampで学んだことの自分のためのまとめとして、Quandl APIを用いた株価推移の観察をやってみます。なお、僕は株は詳しくありません。 Qiitaアカウントを作ってアウトプットするのが一番の勉強になるって話を聞いたので、アウトプット練習も兼ねてます。やさしい先輩方いろいろ教えて下さい この記事を読んで得られると思われるもの Pythonを用いたAPIの叩き方 時系列データの処理 時系列データの図示 日経平均に対する感覚 参考元 DataCam
python#Multiprocessing - Qiita
Multiprocessing について話ししましょう。 この間threadingのこと書きましたが、ではいつmultiprocessing使うのか、いつthreading を使うのかも前の記事で書いておきました。multiprocessing はあなたのプログラムをspeed up するために使われていて、じゃどうやってspeed up かどういうといろんなタスクを同時に走られるってことです。 threading↓ https://qiita.com/soup01/items/42810b541fc3adc09542 最初またdo_something()を見てみよう。 結果はもちろん1秒まって終わるでしょう。 import time start=time.perf_counter() def do_something(): print('sleeping 1 s..') time.sle
AWS Data Wranglerを使って、簡単にETL処理を実現する | Amazon Web Services
Amazon Web Services ブログ AWS Data Wranglerを使って、簡単にETL処理を実現する 2019年9月、Github上にAWS Data Wrangler(以下、Data Wrangler)が公開されました。Data Wranglerは、各種AWSサービスからデータを取得して、コーディングをサポートしてくれるPythonのモジュールです。 現在、Pythonを用いて、Amazon Athena(以下、Athena)やAmazon Redshift(以下、Redshift)からデータを取得して、ETL処理を行う際、PyAthenaやboto3、Pandasなどを利用して行うことが多いかと思います。その際、本来実施したいETLのコーディングまでに、接続設定を書いたり、各種コーディングが必要でした。Data Wraglerを利用することで、AthenaやAmazo
Plotlyでインタラクティブなグラフを作成する - Qiita
今回の目的：足圧中心点の軌跡を「３次元」で「インタラクティブなグラフ」で表示し，データ流出対策として「オフライン」での提示をおこなう グラフ作成の手順 １．ライブラリのインポート ２．読み込むパスの設定とcsvデータの変数への格納 ３．subplotグラフの作成 ４．表示するグラフの作成(subplotへの格納) ５．表示の大きさの変更 ６．オフラインでの表示 １．ライブラリのインポート # subplotを使用 from _plotly_future_ import v4_subplots from plotly.subplots import make_subplots # 今回はgraph_objsを使用 import plotly.graph_objs as go # csvデータの読み込み import numpy as np import pandas as pd # オフライ
Pipenv と Docker を使った開発環境のベストプラクティス - kawasin73のブログ
イテレーションの速さがあなたの生産性を左右する。どうも、かわしんです。生産性の高いプログラマって１つ１つの試行が素早い（自動化しているかツールを使っている）ためにものすごいスピードで開発できていると思うんですよね。 さて、最近 Python で開発をしているのですが、世の中の Docker と Pipenv の開発環境を調べてもろくなものがなかったので、自分でテンプレートを作りました。いわゆる「俺の考える最強の Pipenv + Docker 開発環境」というやつです。 リポジトリはこちらになります。 github.com 特徴としては、以下の2つが大きいです。 pipenv install をコンテナ起動時に行うため、docker イメージを作り直す必要がない pipenv shell 相当の仮想環境のアクティベートを自動で行う なぜ Docker + Pipenv なのか Docker
AWS Glueをローカル環境で実行してみた | DevelopersIO
環境変数を設定します。MavenとSparkのパスは個人の環境に合わせて変更してください。 echo 'export PATH=$HOME/.apache-maven-3.6.2/bin:$PATH' >> ~/.bash_profile echo 'export SPARK_HOME=$HOME/.spark-2.2.1-bin-hadoop2.7' >> ~/.bash_profile echo 'export JAVA_HOME=`/usr/libexec/java_home -v 1.8`' >> ~/.bash_profile Pythonでローカル開発 AWS Glue Pythonライブラリを取得 GitHubからAWS Glue Pythonライブラリをダウンロードします。以降の作業はAWS Glue Pythonライブラリのルートディレクトリで行います。 https://
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
An In-Depth walkthrough of Djangos Default Middleware
Async Python Tutorial: Foundations for those with no prior async experience
Speeding up Python Code: Fast Filtering and Slow Loops
【Pythonメモ】pandas-profilingが探索的データ解析にめちゃめちゃ便利だった件 - Qiita
Pythonで始めてみよう関数型プログラミング
PyConJP - YouTube
Life with Python
