Kaggleで使える！Pandasテクニック集 - Qiita
はじめに Kaggleで使えるPandasの使い方を備忘録として残します。 随時更新していく予定です。 更新：2019年1月29日15時 様々なコンペで使える便利な関数を追記しました。 Pandas Basics Cheat Sheet(基本的な使い方) [引用]https://becominghuman.ai/cheat-sheets-for-ai-neural-networks-machine-learning-deep-learning-big-data-678c51b4b463 プログレスバーを表示する df.apply()やdf.map()の進捗を見たい時に、 tqdmというライブラリを使うことでプログレスバーを表示することができます。 import pandas as pd import numpy as np from tqdm._tqdm_notebook import t
pandas 入門 - pandasによるデータ処理の基礎 | yunabe.jp
pandasはpdとしてimportするのが慣習なのでpdとしてimportしましょう。ついでに他の数値ライブラリと一緒にimportしておきましょう。 import math import numpy as np import pandas as pd import matplotlib.pyplot as plt # Jupyter notebookでグラフを出す場合 %matplotlib inline pandasの基礎: DataFrame と Series pandas の基本的なデータ構造に DataFrame と Serries があります。この2つが何を表すのかを始めに理解しましょう。 DataFrame DataFrame が pandasのメインとなるデータ構造で二次元のテーブルを表します。図のような二次元のテーブルがDataFrameです。 DataFrameは単な
データ分析で頻出のPandas基本操作 - Qiita
はじめに 機械学習や深層学習が人気の昨今ですが、それらのモデルの精度に最もクリティカルに影響するのはインプットするデータの質です。データの質は、データを適切に把握し、不要なデータを取り除いたり、必要なデータを精査する前処理を行うことで高めることができます。 本頁では、データ処理の基本ツールとしてPandasの使い方を紹介します。Pandasには便利な機能がたくさんありますが、特に分析業務で頻出のPandas関数・メソッドを重点的に取り上げました。 Pandasに便利なメソッドがたくさんあることは知っている、でもワイが知りたいのは分析に最低限必要なやつだけなんや…！、という人のためのPandasマニュアルです。 また、単に機能を説明するだけでは実際の処理動作がわかりにくいため、ここではSIGNATE(旧DeepAnalytics)のお弁当の需要予想を行うコンペのデータを拝借し、このデータに対
Build a Python REST API with Serverless, Lambda, and DynamoDB
Build a Python REST API with Serverless, Lambda, and DynamoDB Your existing web framework tooling can work seamlessly with the Serverless Framework. Let’s go over how to use the Python web framework Flask to deploy a Serverless REST API. In this walk-through, we will: Deploy a simple API endpoint Add a DynamoDB table and two endpoints to create and retrieve a User object Set up path-specific routi
word2vecを使って、日本語wikipediaのデータを学習する - Qiita
環境 OS X El Capitan 10.11.5 MacBook Pro (Retina 13-inch、Early 2015) [2016/8/1現在] MeCab, mecab-ipadic-NEologd のインストール MeCabはオープンソースの日本語形態素解析ソフトです。 mecab-ipadic-neologdは、Web上のリソースから新しい言葉を登録したMecab用の辞書のことです。さらに、定期的に新しい言葉をアップデートするので、最新の言葉を正しく形態素解析をすることができます。 必要なライブラリをインストール brew install mecab mecab-ipadic git curl xz git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git cd mecab-ipadi
TensorFlowによるももクロメンバー顔認識（前編） - Qiita
二番煎じ感が半端ないですが、やっちゃったものは仕方ないので書きます。 機械学習やディープラーニングについては全く初心者のソフトウェアエンジニアが、畳込みニューラルネットワークを用いて「ももいろクローバーZ」のメンバーの顔識別を行うアプリを作った話です。 作ったもの ec2上で稼働してます。ただしt2.microなので重いです。 ももクロ画像分類器 http://momomind.kenmaz.net コード https://github.com/kenmaz/momo_mind 背景 私（@kenmaz)は、仕事ではここ数年はiOSアプリ(objc/swift)ばっかり書いています。その前はJava/Ruby/PHPでWebアプリ、サーバーアプリ、開発ツール等を書いていたりもしました。ということで機械学習や人工知能に関する知識はほぼゼロでした。 自分語り＆参考図書 そんな私がなぜ、題記のよ
Heroku + OpenCVで簡易顔検出API - すぎゃーんメモ
Docker Image of Python with OpenCV 3.0 for Heroku - すぎゃーんメモ の続き的なかんじで。 OpenCVでよく使われるObject Detection機能で、画像から顔を検出するAPIを作ってみた。 Heroku app https://face-detector.herokuapp.com/ Github repository https://github.com/sugyan/face-detector 顔検出 基礎 一番簡単なオブジェクト検出の手法が、Haar-like特徴に基づくカスケード型分類器(Haar Feature-based Cascade Classifiers)というのを用いるやつ。 OpenCV: Face Detection using Haar Cascades OpenCVには顔や目などに関して学習済みのデータ
集合とかベクトルの類似度の計算のメモ - 唯物是真 @Scaled_Wurm
Pythonで実装する類似度計算 - Screaming Loud #1283. 共起性の計算法 ↑この辺りの記事を見て、集合とかベクトルの類似度の計算の記事を下書きのまま放置していたことを思い出したので書き上げた。 類似度の計算のコードを書いたのでそれを載せるだけにしようかと思ったのですが、知っている人にしか伝わりそうにないので自然言語処理でよく使う話の概要だけでも書いときます。 導入 自然言語処理の分野では単語の意味を比較するときに、ある単語の周り(文脈)に出てきた単語のベクトル(文脈ベクトル)の類似度を計算することがある。 これは「ある単語の意味はその周囲に出現する単語によって特徴づけられている」という仮説に基づいていて、文脈ベクトルが似ていれば似たような意味、似たような状況で使われる単語が多いということが言えるからである。 Distributional semantics - Wi
Adafruit RGB Matrix + Real Time Clock HAT for Raspberry Pi
Please sign in to subscribe to this guide. You will be redirected back to this guide once you sign in, and can then subscribe to this guide. OK we're onto the fun part now! Be sure you have completed the Assembly step before continuing, the soldering is not optional. Before connecting any cables, however, it makes sense to get the soldering out of the way if needed. If you're using a 64x64 RGB mat
GAE/Python で JSONP « Stop Making Sense
はじめに Google App Engine/Python 上に JSONPのサービスを実装してみます。 また、クライアントからサーバへののJSONP呼び出しは jQueryを使用します。 サンプルを作ってみる JSONPの概要説明はネットで検索すればいろいろ見つかるので省略し、さっさと実装していきます。 簡単な実装 まずは、固定値を返す最小限の実装を試します。 サーバー側(GAE/Python) # -*- coding: utf-8 -*- import simplejson import datetime from google.appengine.ext import webapp from google.appengine.ext.webapp.util import run_wsgi_app class JSONPHandler(webapp.RequestHandler):
Google App Engine / Python 上での開発で最初から知ってればよかった、ってことをいくつか - Masatomo Nakano Blog
ここ数ヶ月、Google App Engine/Pythonを使い、初めてちょっとしたものを作ってみているのだけど、開発初期から知っておけばよかったなー、と思うノウハウ/tips的なものをずらずらと書いてみる。 基本的な環境設定は、 以前書いた まま。 0. 公式ドキュメントを良く読む 言うまでもなく、だけど、 マニュアル はもちろん、 この辺 の下の読み物も、流し読みだけでもしておいたほうがいい。 datastoreとmodel的なところ 1. key nameを使いこなす key nameは、レコードの作成時に指定できる(RDBでいう)primary keyの別名みたいなもの。primary key自体は自動的で作成されるので開発者が指定できるのはkey nameだけ。 key nameをうまく使うことで、datastoreを使いやすくすることができる。特にdatastore上で"un
Python 3 で has_key 相当のことをする - とくにあぶなくないRiSKのブログ
Python 2 まであった dict.has_key(key) が Python 3 から消え，互換性がなくなりました。 # Python2 RiSK = {'blog': 'http://d.hatena.ne.jp/RiSK/'} RiSK.has_key('blog') # True これを Python 3 で実現するには key in dict を使います。 # Python3 RiSK = {'blog': 'http://d.hatena.ne.jp/RiSK/'} 'blog' in RiSK # True その他の方法 →Python3.Xで辞書型のhas_key()が使えなくなる件 Fraxinus/ウェブリブログ
Django 開発初心者に送る 10 の Tips (超訳？) - SPEAKER BREAKA
実践的な DJango テクニック集として、凄くいい記事だったので、勝手に超訳してみました。 http://zeroandone.posterous.com/top-10-tips-to-a-new-django-developer 1. import にプロジェクト名を書かないこと 例えば "project3" というプロジェクトに "xyz" アプリケーションがある場合、次のようにはしないこと。 from project3.xyz.models import Author これではプロジェクトとアプリケーションの結びつきが強すぎて、以下の弊害がおこる。 アプリケーションの再利用がしづらい 将来プロジェクト名を変えたくなっても変更が難しい なので、このようにしよう。 from xyz.models import Author python パス上にある django プロジェクトならば、
PythonのUnicodeEncodeErrorを知る - HDEラボ
Pythonにはじめて触って、いつのまにか1年が過ぎたのですが、一番はまったのは、やっぱりunicodeの扱いだったと思います。 特に、 UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-12: ordinal not in range(128) のようなエラーにはさんざん悩まされました。ここがたとえばrubyなど他の言語と比べてわかりにくいために、Pythonが取っつきにくい言語になっているのではないか、と個人的には思います。 そこで、このエラーに関係するはまりどころとTipsをいくつか列挙してみました。これからPythonに触れられる方の参考になればと思います。 なお、環境はUNIX上のPython 2.4, 2.5を想定しています。 u1はunicode型で、s1はstr型です。s1にどのよ
mod_wsgiでDjangoを動かすまでを淡々と記録する - スコトプリゴニエフスク通信
kuma8さんが簡潔かつ的確なまとめを書いてくださっているが、とりあえず記録しておく。今回試した環境は、CentOS 5.2Python 2.6 Django 1.0.1-beta 必要なライブラリをインストールするServer版のCentOSを普通にインストールしたらApache2は入っているはずなので、この点は省略。今回はCentOS標準のPythonではなく、独自にインストールしたPythonを使うという前提で話を進めるので、python-develは必要ではない。 $ sudo yum install apr-devel apr-util-devel mod_wsgiをビルドするmod_wsgiの最新版2.3をダウンロードしてビルドする。使用するPythonのパスは、/usr/local/bin/python-2.6であるとする。 $ http://modwsgi.googleco
jQuery + PythonのJSONでのデータのやり取り
jQueryとPython CGIのデータのやり取りをJSONでおこないたい。 構成は、 index.html sample.js sample.py (lib/jquery/jquery-1.3.2.js) index.html<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd"> <html xmlns="http://www.w3.org/1999/xhtml"> <head> <meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> <title>jQuery + Python</title> </head> <body> <h1>jQuery + Py
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Benjamin Peterson: Garbage Collection in Python - PyCon 2014
KNN algorithm: Introduction to K-Nearest Neighbors Algorithm for Regression
Google App Engine でシンプルな画面遷移 | すぐに忘れる脳みそのためのメモ
UnicodeDecodeError: 'utf8' codec can't decode byte 0x82 in position 0: unexpected code byte - peroon's diary
