The Allison Kennedy is coming soonOur site is coming soon We are doing some maintenance on our site. It won't take long, we promise. Come back and visit us again in a few days. Thank you for your patience!
Amazon Personalize使い方まとめ / CloudFormationとPythonでレコメンドアプリケーションを学習・デプロイする - フリーランチ食べたい
今週、Amazon PersonalizeがGAになりました。東京リージョンでも使うことができます。 この記事ではAmazon Personalizeの概要、使い方の解説を行います。PythonのAWS SDKを使ってレコメンドアプリケーションを作成していきます。 また事前準備のS3やIAM Roleの作成で、AWSの公式ドキュメントだと手作業が発生しているのですが、それだと大変なので一発で構築できるCloudFormationも紹介します。 aws.amazon.com 最初に触った感想 少し触ってみたのですが、以下の点で非常に良いと思いました。 学習・予測(レコメンド取得)が全てサーバーレスで行える 事前に準備されているアルゴリズムはDeep Learningベースで多く、それ以外も高度なもの 逆に以下のような不満な点もありました。 用語が機械学習で一般的に使うものとかけ離れていて混乱
Django実践開発入門 - Qiita
この記事について Djangoを使用する際に実践開発に近いフローを簡単に再現します。 「Djangoを勉強しているけど、実務での開発はどうなっているでしょう」という方の参考になれば嬉しいです。 また本記事の内容は最善とは言えませんので、ぐれぐれもご容赦ください。 本記事の環境 python3.7.1 Django 2.1.5 PyCharm 先ずは設計から Explicit is better than implicit. 暗示するより明示するほうがいい。 --pythonの禅 何かを作る前に先ず頭にあるアイディアを具現化しましょう。 いかに簡単そうなものでも設計図があった方がいい。 特に会社のプロジェクト、制作途中、新しくメンバーが入ってくることがよくあります。 設計図があれば、プロジェクトを理解するための時間が短縮されます。 今回のデモは簡単なスクール学生管理システムと設定します モデ
VS CodeによるPython開発環境のテンプレ - Qiita
0. はじめに sublime使いだった僕が（使い込んではいなかったけど）社内のPython開発環境を統一するためにVS Codeの色々を調べたので，そのまとめです． 以下ができるような開発環境の構築を目的としています． 複数人がローカルで開発する時に，環境を揃えたい． ローカルからリモートサーバーにアクセスして開発したい． プロジェクトごとに依存関係を整理したい． コーディングスタイルや型などのチェックを入れたい． Pythonの環境周りはPipenvで管理し，ローカルでdockerを立ち上げてその中で開発するためのテンプレです． 1. install Setting up Visual Studio Code 2. Extension 2.1. 必須 以下は必須． python Remote Development Remote SSH git lens 2.2. オプショナル その他
Python pandas パフォーマンス維持のための 3 つの TIPS - StatsFragments
pandas でそこそこ大きいデータを扱う場合、その処理速度が気になってくる。公式ドキュメントではパフォーマンス向上のために Cython や Numba を使う方法を記載している。 Enhancing Performance — pandas 0.16.2 documentation が、軽く試したいだけなのに わざわざ Cythonや Numba を使うのは手間だし、かといってあまりに遅いのも嫌だ。そんなとき、pandas 本来のパフォーマンスをできるだけ維持するためのポイントを整理したい。 pandas に限らず、パフォーマンス改善の際にはボトルネックの箇所によってとるべき対策は異なる。pandas では速度向上/エッジケース処理のために データの型や条件によって内部で処理を細かく分けており、常にこうすれば速くなる！ という方法を出すのは難しい。以下はこの前提のうえで、内部実装からみ
R ユーザーへの pandas 実践ガイド - Qiita
概要 R で tidyverse (dplyr+tidyr) に使い慣れているが, Python に乗り換えると pandas がどうも使いにくい, と感じている人の視点で, Rの dplyr などとの比較を通して, pandas の効率的な使い方について書いています. そのため, 「R ユーザーへの」と書きましたが, R経験のない pandas ユーザーであってもなんらかの役に立つと思います. また, 自社インターン学生に対する教材も兼ねています. どちらかというと, 初歩を覚えたての初心者向けの記事となっています. データ分析は一発で終わることはまずなく, 集計・前処理を探索的に行う必要があります. よって, プログラムを頻繁に書き直す必要があり, 普段以上に保守性のある書き方, 例えば参照透過性を考慮した書き方をしたほうが便利です. R の tidyverse の強みとして, 再帰代
[python] まだmockで消耗してるの？mockを理解するための3つのポイント
隣の席の人がテスト強化週間とか抜かしていたので自分もちゃんと理解するために なるべくわかりやすく まとめてみようと思います。 この記事は 2015 tech-yuruyuru アドベントカレンダー - 15日目の記事です。 http://connpass.com/event/22759/ モックって何よ？ mockは特定のオブジェクトの代理をしてユニットテストを円滑に進めるためのモジュールです。 python3.3からはビルトインに入りましたが、それ未満のバージョンではインストールが必要です。 以下のようにインストールしてください。 インストールしたmockを使う場合は単に import mock とすればよいのですが ビルトインmockを使う場合は、 from unittest import mock のようにして使うのが一般的です。 以降、この記事では無用な混乱を避けるため、mockの
![[python] まだmockで消耗してるの？mockを理解するための3つのポイント](https://cdn-ak-scissors.b.st-hatena.com/image/square/db125f1ff393117337f2ecbc80cf0fdd7dfa6f80/height=288;version=1;width=512/https%3A%2F%2Fnote.crohaco.net%2Fmedia%2Fpython.png)
Python競プロライブラリの整理をする - 菜
（19/11/22 追記） 一応最新のはgithubに上げてる github.com そのうち整理されるかもしれないので個別のページへのリンクを貼ったりするのはやめといたほうがいいかも この記事は何 PyCharmに常に貼ってたライブラリが長くなりすぎて整理する必要が出てきた 使わなくなったライブラリを消すのが何となくもったいないので公開してから消す ついでに競プロライブラリを共有する 前置き この記事のコードは公開を前提に書いたわけじゃないので、Python競プロライブラリを探しているならまず↓のサイトを見るといいと思う アルゴリズム [いかたこのたこつぼ] DTMでもよくお世話になりました 実装メモ (Python) - yaketake08's 実装メモ ライブラリ整理 拡張ユークリッド互除法・中国剰余定理 拡張ユークリッド互除法 # 拡張ユークリッド互除法 # gcd(a,b)
Understanding the Python Mock Object Library – Real Python
Watch Now This tutorial has a related video course created by the Real Python team. Watch it together with the written tutorial to deepen your understanding: Improve Your Tests With the Python Mock Object Library Mocking in Python with unittest.mock allows you to simulate complex logic or unpredictable dependencies, such as responses from external services. You create mock objects to replace real
An Introduction to Mocking in Python | Toptal®
How to Run Unit Tests in Python Without Testing Your Patience More often than not, the software we write directly interacts with what we would label as “dirty” services. In layman’s terms: services that are crucial to our application, but whose interactions have intended but undesired side-effects—that is, undesired in the context of an autonomous test run. For example: perhaps we’re writing a soc
【Pythonで決定木 & Random Forest】タイタニックの生存者データを分析してみた - Np-Urのデータ分析教室
前回まで、決定木・ランダムフォレストの理論について勉強しました。 www.randpy.tokyo www.randpy.tokyo 今回はPythonで実際に動かしていきたいと思います。扱うのは、タイタニック号の生存者データです。性別や年齢など、どんな要素が生存率に影響を与えていたのか、分析してみます。 なお、Pythonによる決定木・ランダムフォレスト のコード例は、以下の書籍にも記載されてますので、参考にしてみてください。 Pythonと実データで遊んで学ぶ データ分析講座 作者: 梅津雄一,中野貴広出版社/メーカー: シーアンドアール研究所発売日: 2019/08/10メディア: 単行本（ソフトカバー）この商品を含むブログを見る これは、kaggleという世界的なデータ分析コンペティションで提供されているサンプルデータですので、ご存知の方も多く少し面白みには欠けますが、決定木とラン
Practical Data Science with R and Python: 実践的データサイエンス
実践的データサイエンス はじめに データ分析のためにコンピュータを利用する際、RおよびPython言語のいずれかを使うことが多いと思います(Julia言語は高レベル・高パフォーマンスな技術計算のための言語で今後期待が膨らみます）。これらの2つの言語では、データ操作や可視化、データ分析、モデリングに使われるライブラリが豊富にあり、 どれを使うのが良いのか迷うような状況が続いていました。しかしその状態は落ち着きを見せ、成熟期を迎えつつあります。 R言語ではパイプ演算子の登場によりデータフレームに対する操作に大きな変化が生じ、tidyverseによるデータ読み込みからデータ整形、可視化までが可能になりました。またtidyverseのような、機械や人間の双方が扱いやすいパッケージが増えてきました。特にR言語の強力な一面でもあったデータ分析の操作はtidymodelsに代表されるパッケージがユーザの
Python Machine Learning Tutorial: Predicting Airbnb Prices – Dataquest
Machine learning is pretty undeniably the hottest topic in data science right now. It's also the basic concept that underpins some of the most exciting areas in technology, like self-driving cars and predictive analytics. Searches for Machine Learning on Google hit an all-time-high in April of 2019, and they interest hasn't declined much since.But actually learning machine learning can be difficul
単語 ID 列を長さでソートしてミニバッチ内で padding する。 - かえるのプログラミングブログ
こんばんは、kaerururu (@kaeru_nantoka) です。 今回は、kaggle meetup #6 での tks さんの発表にもありました、「 (batch 内で) batch 毎に padding する」の実装にプラスして ID列を長さでソートしたものを batch 内で padding できるようにした実装を公開しようと思います。 誤り、もっと良い実装等ございましたらご指摘いただけると幸いです。m( )m 何が嬉しいの? ID 列の長さでソートしたものを dataloader に渡し、batch 内で padding すると 初めの方は、系列長 0 や 1, 2 などが渡ってくるので padding した後の長さが 1 や 2 になり無駄がなくなるので処理速度が爆速になります。 昨今の kaggle の NLP コンペ (NLPに限った話ではないですが..) では、学習
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pythonの変数スコープの話 - Qiita
The Ultimate Guide To Building Scalable Web Scrapers With Scrapy — Smashing Magazine
Introducing kepler.gl for Jupyter
Adopt-a-pytest
Pythonデータ分析手順のカンニングシート（仮） - Qiita
Avoiding speeding tickets with Python, Mapbox and OverpassQL