Kaggleで使える！Pandasテクニック集 - Qiita
はじめに Kaggleで使えるPandasの使い方を備忘録として残します。 随時更新していく予定です。 更新：2019年1月29日15時 様々なコンペで使える便利な関数を追記しました。 Pandas Basics Cheat Sheet(基本的な使い方) [引用]https://becominghuman.ai/cheat-sheets-for-ai-neural-networks-machine-learning-deep-learning-big-data-678c51b4b463 プログレスバーを表示する df.apply()やdf.map()の進捗を見たい時に、 tqdmというライブラリを使うことでプログレスバーを表示することができます。 import pandas as pd import numpy as np from tqdm._tqdm_notebook import t
24時間生放送をし続ける人工知能youtuberを作る その1 - ニートの言葉
こんにちは、あんどう（@t_andou）です。 少し前ですが、こんなニュースが話題になっていました。 詳細は深追いしていませんが、ニュースキャスターの人物モデルをコンピューターで再現して音声も読み上げさせているようです。 japan.cnet.com また、政治やエロ方面で問題になっていましたが、deepfakesと言う「顔をすごくリアルに入れ替えることができる技術」も話題になっています。 japanese.engadget.com 去年は3Dモデルを使った『Vtuber』が流行りましたが、今後はこう言ったリアルなアバター？がいろんな方面で出てくるんでしょうね。 と言うことで、今回からその基礎になるようなものを作ってみたいと思います。*1 とは言え、ただリアルな見た目・リアルな声のYoutuberだとしたら、実写で良いのでは？と突っ込まれそうですので、 生身だと出来ないこと…具体的には『2
How to build your own AlphaZero AI using Python and Keras
There are two amazing things about this achievement: 1. AlphaZero requires zero human expertise as input It cannot be overstated how important this is. This means that the underlying methodology of AlphaGo Zero can be applied to ANY game with perfect information (the game state is fully known to both players at all times) because no prior expertise is required beyond the rules of the game. This is
Pythonで少なくメモリを使用する方法 - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。私は元気です。 今日はPythonにおけるメモリ少なく使う方法を紹介したいと思います。 なぜ、そんな方法を書くに至ったか。それは、こんなエラーをしょっちゅう見ているからですね。 Traceback (most recent call last): File "lasagne_wheal.py", line 48, in <module> prediction = model.predict_proba(np.array(X_test)) MemoryError 画像処理を行っている人間ならよくやりがちかもしれませんが、 要はint8で持っている情報をfloatに変換してデータが膨れ上がったことによってメモリが 不足していることから発生しています。 Convolutional Neural Networkを大きな画像で実施しようとするとよく発生するのではないで
開発者がビッグデータ分析にPythonを使う時によくやる間違い | POSTD
システムの構築、新しい技術の習得、PythonやDevOpsなどに情熱を注ぐソフトウェア開発者です。現在はチューリッヒを拠点とするビッグデータのスタートアップで働いており、データ分析およびデータ管理ソリューションのためのPythonの技術を磨いています。 1 はじめに Python は開発時間を短縮できるという点で一般的に評価の高い言語です。しかし、Pythonを使って効率よくデータ分析をするには、思わぬ落とし穴があります。動的かつオープンソースのシステムであるという特徴は、初めは開発を容易にしてくれますが、大規模システムの破綻の原因になり得ます。ライブラリが複雑で実行時間が遅く、データの完全性を考慮した設計になっていないので、開発時間の短縮どころか、すぐに時間を使い果たしてしまう可能性があるのです。 この記事ではPythonやビッグデータで作業をする時に、最も時間を無駄にしがちな事柄につ
dlibを用いたselective search - kivantium活動日記
ディープラーニングを使ったイメージの切り抜きで紹介されていたselective searchをやってみました。 selective searchは画像中の似たような領域を一つの物体として認識して、物体の候補を提案するアルゴリズムです。 良さそうなスライドを見つけたので紹介しておきます。 KantoCV/Selective Search for Object Recoginition from belltailjp www.slideshare.net Selective SearchのPython実装にはdlibの他にも belltailjp/selective_search_py · GitHub AlpacaDB/selectivesearch · GitHub があるようです。これ以外にもあったら教えて欲しいです。 dlibのインストール 記事ではMatlab実装を使っていましたが、
標準python、numpy、pandasを行ったり来たりするために① - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? # !/usr/bin/env python # -*- coding: utf-8 -*- # インポート import numpy as np import scipy as py import pandas as pd import itertools as it ''' 作成 ''' # リスト作成 list_value = [10,11,12] list_value Out[374]: [10, 11, 12] # タプル作成 tuple_value = (10,11,12) tuple_value Out[375]: (10
【GISとPython】pandasで気象庁の震度データベースをスクレイピングして震源をマップにプロットする - GIS奮闘記
さて、本日はpandasでHTMLの表をスクレイピングしてみようと思います。スクレイピングだったらBeautifulSoupやlxmlなどが有名ですが、HTMLの表をスクレイピングするのは割と面倒くさい作業です。「気象庁の震度データベース」というちょうどいいサンプルがあったので、今回はpandasを使ってみようと思います。←これがとっても便利なんです ここで過去10年間で起きた震度5強以上の地震を検索してみたいと思います。 52件もあることがわかりました。やはり日本は地震大国ですね。そして、地震の検索結果が表になっていることがわかります。ここから緯度経度を取得して地震のポイントをマップにプロットしようと思います。 このページでもポイントをプロットしています。地震の深さでポイントの大きさを変えていますね。 このページをいったんHTMLとしてローカルに保存します（動的に作られているページなので
【Python】自然言語処理でラーメン屋を分類してみる - Qiita
はじめに こんにちは、コピペデータサイエンティストです。 3年ぐらい前に「ラーメンと自然言語処理」というおちゃらけLTをしたのですが、今見ると恥ずかしいぐらいショボいので、Pythonで作りなおしてみました。 長くなったので3行でまとめると Web上に転がっている口コミとか紹介文を Pythonのライブラリを用いて解析することで 好きなラーメン屋に似たラーメン屋を見つける手法を構築した 方法 統計的潜在意味解析という手法を用います。ざっくり言うと、文書がどんなトピックを持っているか、何に関する文書なのか、を推定してくれるものです。 以下の様なイメージで各トピックに割り振られる割合を算出できるため、以下の例ではAとBが近い、ということを計算することが可能です。 ラーメン屋A： [0.75, 0.15, 0.10] ラーメン屋B： [0.60, 0.15, 0.15] ラーメン屋C： [0.0
Pythonで学ぶwebアプリケーションの作り方by Flask — study flask 1 ドキュメント
予定と実績¶ Flaskを使う準備 20分 -> 60分 Flaskチュートリアル 40分 -> 60分 休憩 15分 Flaskを使いこなす1 40分 -> 60分 アプリを公開する 20分 -> 20分 休憩 15分 Flaskを使いこなす2 30分 -> 30分 プラグイン、情報源紹介、Q/A、予備 -> 10分
KerasをTensorFlowバックエンドで試してみた：「もっと多くの人に機械学習とDeep Learningを」という時代の幕開け - 渋谷駅前で働くデータサイエンティストのブログ
（左：Keras、右：MXnet） Kaggle Masterの間ではMXnetよりさらに人気なDeep Learningフレームワークというかラッパーが、@fchollet氏の手によるKeras。 Keras Documentation 結構苦心したのですが、ようやく手元のPython環境で走るようになったので、試してみました。なおKerasの概要と全体像についてはid:aidiaryさんが詳細な解説を書いて下さっているので、そちらの方を是非お読み下さい。 追記 Kerasは人気のフレームワークなので、僕なんぞがこんなブログ記事を書く前から素晴らしい紹介記事・スクリプトが幾つもあります。こちらでは参考までに以下のお二方のものをご紹介させていただきます。 Kerasはレゴブロックを組み合わせるかのようにして、簡単にディープラーニングのモデルを作成できる便利なライブラリです。これを使って楽し
MongoDB PyMongo 2.7.1 よく使う機能のまとめ
MongoDBへPythonからPyMongoを使用して接続。 PyMongoのチュートリアルを試してみました。 PyMongo 2.7.1のインストールと使い方(チュートリアル) チュートリアルに登場していない、よく使うことになりそうな機能を試してみます。 MongoClient MongoDBに接続するためのオブジェクトです。 ドキュメントはこちら。 mongo_client – Tools for connecting to MongoDB database_names()で、データベースの一覧表示。 drop_database(name_or_database)で、データベースの削除が行えます。 「mongo_test」というデータベースを作成して、名前を表示。 その後、データベースを削除するサンプルはこんな感じになりました。 # -*- coding:utf-8 -*-impor
PythonとMongoDBの勉強がてらにTweetを保存してみた | お絵描きするプログラマ
MongoDBにちょっと興味があったのでMongoDBイン・アクションを買って読んでます この本でTwitterからツイートをためて出力する例があるですが この本rubyで例題が書かれてるんです.. まえがきに例題はrubyで示しますが基本的な機能しか使わないので他の言語でもできるでしょうと書いてあるんだけどSinatraモジュールさらっと使っててえっ!!てなった PHPで作っても面白くないな〜と思ったのでPythonの勉強も兼ねてPythonでその例題を書いてみました 使用したもの MongoDB 2.4.9 Python2.7.5 pymongo twitter 1.10.2 Juno 0.1.2 jinja2 2.7.2 MongoDBはHomebrewで, モジュールはpipでインストールしました。 ファイル構成 . ├── config.py ├── templates │
CentOS6でLet's Encryptを使おうとするとpython2.7が入らずに詰まる - PCがあれば何でもできる！
無料でSSL証明書が発行できると話題のLet's Encrypt。 先日、CentOS6のサーバに試しに入れてみようとしたところ、python2.7が入らずに詰まってしまいました。 最初に OSはCentOS 6.7で、gcc, git, nginx以外ほとんど入っていない状態。 導入の参考にしたのはこちらのサイト。 nginxの設定など細かく書いてくださっているので、非常に参考になります。 光の速さのWEBサーバー(nginx)をlet's encryptでSSL化及びHTTP/2化。ついでにセキュリティ評価をA＋にする。 - Qiita 現象 Gitでclone後、letsencrypt-autoを叩くと、必要なものが自動でインストールされるわけなのですが、virtualenvがなくて止まります。 $ git clone https://github.com/letsencrypt/l
初心者におすすめ！Python3を習得できる4つの学習法と11のコンテンツ - paiza開発日誌
Photo by Kathleen Franklin こんにちは。谷口です。 先日、プログラミング言語別エンジニアの平均年収ランキングにて、Pythonが651万円で1位になったことが話題になりました。 www.itmedia.co.jp Pythonは機械学習、人工知能分野、計算系の研究に適したライブラリが非常に多く、各分野の研究の盛り上がりとともにニーズが増えています。また、もちろんそういった研究分野だけでなくYouTubeやInstagram、Dropbox等といったメジャーなWebサービスでも多く使用されています。 Pythonは他のプログラミング言語に比べても、構文がシンプルで、一つの処理について誰がコードを書いても同じ書き方になりやすいという特徴があります。そのおかげで初心者でも比較的コードが書きやすく、また他人が書いたコードを読む際も読みやすい言語となっています。プログラミン
機械学習初心者が、素早く学べるコンテンツとライブラリ19選（Python編） -
Photo by Horia Pernea こんにちは。谷口です。 最近「機械学習に興味がある」「いつかやろうと思ってるんだよね……」と言うエンジニアの方をよく目にします。また、その倍ぐらい「機械学習難しすぎて挫折した」という方も見ます。 弊社のITエンジニアにも機械学習を勉強中という人がいますが、特に最初は難しすぎて何から手を付けたらいいのかよく分からず、とても悩んだと言っていました。そこで同じような悩みを抱えている方の参考になればと思い、初心者の頃に参考になった機械学習入門者の方に役立ちそうな記事やスライドを聞いてきました。 また、Pythonには機械学習のためにデータを処理するライブラリ（数値演算をするためのライブラリや図を作成するためのライブラリなど……）がそろっていて、呼び出したり組み合わせて処理したり……といったことがしやすいため、多くの人が機械学習で使っています。コードも短く
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fashion-MNIST を docker+keras+jupyter で 動かしてみた - Qiita
TA-Lib と pandas によるテクニカル指標の算出 - Qiita
Mining Twitter Data with Python (Part 1: Collecting data) – Marco Bonzanini
長文日記