numpy for python によるニューラルネットワーク学習 - end0tknr's kipple - web写経開発
GitHub - oreilly-japan/deep-learning-from-scratch: 『ゼロから作る Deep Learning』(O'Reilly Japan, 2016) 「ゼロから作るDeep Learning ① (Pythonで学ぶディープラーニングの理論と実装)」 p.112～121 の写経です。 また、以下のキカガクのページも分かりやすいかと思います。 https://free.kikagaku.ai/tutorial/basic_of_deep_learning/learn/neural_network_basic_backward 目次 python 実行結果 python # coding: utf-8 import gzip import matplotlib.pyplot as plt import numpy as np import os imp
Pythonで省メモリに大量の文字列を扱う工夫 - MNTSQ Techブログ
たくさんの文字列（や離散的な符号列）をメモリに載せないといけないんだけど、いろんな制約があって通常のList[str]では載らない…ということありませんか？（まぁあんまりなさそうですね） たまたまそういうことがあったので、その際に検討した内容をまとめておきます TL;DR メモリをもっと増やしましょう 富豪的に解決できるならいつでもそれが最高です しかし、世の中それでなんとかならんこともたくさんあります 用途があうのであれば専用のデータ構造を採用する 例えばもし共通のprefixやsuffixが存在し、順序に興味がなければtrie treeなどが使えます 例えば、弊社であれば、法人名をメモリに持ちたいなんてときもあります。そういうときに法人名の辞書をtrieで持ったりすることがあります 「株式会社」「一般財団法人」や「銀行」といった共通語がたくさんでてくるのでtrie treeでごりごり削
numpy が pip 経由なら入るのに poetry 経由だと入らない時の一解決案 - Qiita
TL;DR 想定する状況 numpy がシステムの pip3 経由だと pip3 install numpy で問題なく入るのに poetry 経由で poetry add numpy するとエラーが出てしまう 解決案 poetry run pip install numpy を叩いて、poetry の作った仮想環境の中で pip3 経由で numpy を半ば無理矢理放り込む poetry add numpy を叩いて、poetry に numpy を認識させ、pyproject.toml と poetry.lock を更新する 補足：手元の環境でこのステップを実行したのは2021年1月20日です。 解決案その2（2021年2月18日追記） どうも poetry のコンフィグの1つ experimental.new-installer が悪さをしているらしく、 として、並列にパッケージをイ
(修正版) NumPy/pandas使いのためのテスト自動化入門 / PyConJP2020
PyCon JP 2020での発表スライドです。 --------------------------- (2020/08/30) 誤字を修正しました。 場所: p15 誤: assert_array_close() 正: assert_allclose() ---------------…
だから僕はpandasを辞めた【データサイエンス100本ノック（構造化データ加工編）篇 #1】 - Qiita
データサイエンス100本ノック（構造化データ加工編）のPythonの問題を解いていきます。この問題群は、模範解答ではpandasを使ってデータ加工を行っていますが、私達は勉強がてらにNumPyの構造化配列を用いて処理していきます。 次回記事（#2） はじめに Pythonでデータサイエンス的なことをする人の多くはpandas大好き人間かもしれませんが、実はpandasを使わなくても、NumPyで同じことができます。そしてNumPyの方がたいてい高速です。 pandas大好き人間だった僕もNumPyの操作には依然として慣れていないので、今回この『データサイエンス100本ノック』をNumPyで操作することでpandasからの卒業を試みて行きたいと思います。 今回は８問目までをやっていきます。 今回使うのはreceipt.csvだけみたいです。初期データは以下のようにして読み込みました（データ型
[Python] Joblibのキャッシュを使って同じ計算を省略する
本エントリではPythonのJoblibがもつキャッシュ機能によって同じ計算を省略し、処理を高速化するための方法を説明する。このエントリを読むことで、関数をキャッシュ可能にする方法、numpyのarrayをメモリーマップを使って読み込む方法、参照を使ってデータにアクセスする方法がわかる。 目次: Joblibとは 1. 計算結果のキャッシュが可能 2. 並列化が容易 3. 高速、高圧縮な永続化 環境 Joblibのインストール Memoryを使って計算結果をキャッシュする キャッシュの簡単な例 NumPyのデータを扱う関数をキャッシュ可能にする メモリーマップを使った高速なキャッシュの参照 キャッシュされた結果の参照を取得する。 Joblibを使ってテキストを単語のIDに変換する処理を高速化する まとめ Joblibとは JoblibはPythonにおけるパイプライン処理の効率化をするため
データ分析のための並列処理ライブラリDask - Qiita
この記事は、Brainpad Advent Calender 15日目の記事です。 本記事では、メモリに乗らないようなデータもPandasやNumPyライクに操作を行い、スケールアップ・スケールアウトにも対応できるライブラリ、Daskについて、簡単に紹介をします。 はじめに Pythonでデータ分析や機械学習をする際、PandasやNumPyを用いる場面が非常に多くなってきました。 しかし、PandasやNumPyではメモリに乗らないデータの扱いが難しかったり、基本的にシングルコアでの処理を行うため、速度が遅い、といった問題があります。例えば、サーバー上で実行する際、CPUの論理コアが32個あっても、1個のCPUしか使用していない、といった感じです。 近年、データ分析関連のライブラリは非常に多様化しており、派閥（?）が沢山あるようです。 個人的には、Pandas作者であるWes McKin
pythonでのデータ分析時、死ぬほど調べるTipsをまとめておく。 - プロクラシスト
こんにちは、ほけきよです。 pythonでデータを取り扱っているとき「あれ、これどうやるんだっけ？？」 ってなること、ありませんか？僕は10分に1回程度なります。 いや、覚えろと自分でも思うんですが、覚えられないんですよね。100回くらい同じコマンドを調べてたりする。 物覚えが良くないので、ココを見れば絶対大丈夫なようにしておこうと思い、まとめてみました。 jupyterで最初に開くときに読み込むモジュールたち datetime 日付⇔文字列の変換 datetimeの足し算引き算 json dict型⇔json jsonファイルの入出力 datetimeをjsonにする時、エラーが出る pandas ～以外を表すやつ andとor inf弾く リストをdfにサクッと変換 datetimeとして読み込み 読み込み時にcodecのエラーが出る DataFrameのfor文 numpy lins
Pythonのfor文は遅い？ - atsuoishimoto's diary
bicycle1885.hatenablog.com こちらの記事を拝見していて、ちょっと気になったので注釈。 PythonやRを使っている人で、ある程度重い計算をする人達には半ば常識になっていることとして、いわゆる「for文を使ってはいけない。ベクトル化*1しろ。」という助言があります。 これは、PythonやRのようなインタープリター方式の処理系をもつ言語では、極めてfor文が遅いため、C言語やFortranで実装されたベクトル化計算を使うほうが速いという意味です。 昔からよくこういう言い方がよくされるが、本当にPythonのfor文は遅いのだろうか。 聞くところによるとRのfor文はガチで遅いそうだが、Pythonの計算が遅いのはインタープリタ方式だからでも、for文が遅いからでもない。もちろん、Pythonはインタープリタなので遅いし、for文だって極めて遅い。しかし、これはPyt
Data Pre-Processing in Python: How I learned to love parallelized applies with Dask and Numba | by Ernest Kim | Towards Data Science
Data Pre-Processing in Python: How I learned to love parallelized applies with Dask and Numba If you’re comfortable with using Pandas to transform data, create features, and perform cleaning, you can easily parallelize your workflow with Dask and Numba.In pure speed: Dask beats Python, Numba beats Dask, Numba+Dask beats ’em allInstead of using a Pandas apply, separate out numerical calculations in
numpyオブジェクトをjson.dumpできるようにエンコーダーを拡張する方法 - 微忘録
最近、友人の運営する大学講義の検索サイトを、機械学習で良い感じにしてます。 地味に悩んだのが「JSON形式でのデータ入出力」の部分。具体的には、「JSON形式で渡されたデータに、推定結果の一部numpyオブジェクトを加えたJSONデータを返す」作業。 Pythonなど動的言語はデータ型をよしなに判断してくれますが、少し例外に触れた時には指定してあげる必要があります。 今回はその例外のためにクラスを自作して指定する方法を備忘録。 問題 解決策 最後に 参考記事 問題 何も引数に指定せず、ただ以下の様にjson.dumps()メソッドにnumpy.int64などを渡すと、以下の様なエラーに遭遇する。 json.dumps(numpy.int64(111)) ---------------------------------------------------------------------
どうすればPythonをJuliaと同じくらい速く動かせるのか？ : 様々なやり方で計算の高速化を図る | POSTD
どうすればPythonをJuliaと同じくらい速く動かせるのか？ : 様々なやり方で計算の高速化を図る Julia対Python 科学技術計算には、Pythonなどの言語よりもJuliaを使った方がいいのでしょうか？ http://julialang.org/ に載っているベンチマークを見ると、どうしてもそんな風に思ってしまいます。というのも、Pythonなどの高水準言語は、スピード面で大幅に劣っているのです。けれども、これは私が最初に感じた疑問ではありません。私が気になったのは、「Juliaのチームが書いたPythonのベンチマークは、Pythonに最適なものだったのか？」ということです。 こういった多言語の比較について、私の考えを述べましょう。まずベンチマークというのは、実行するタスクによって定義されるものです。よって、そのタスクを実行するための最適なコードを、各言語に精通した人々が最
Pythonで見つけたヤフオクの闇、１円スタートのからくり - sakapunのブログ
スノーボードを少しでも安く買いたかった そこで目を付けたのがヤフオクで開催されている１円スタートのスノボである 終了直前までの価格をみていると結構お得に買える！と、思っていた 少しの間、１円商品のスタートを見ていると入札されている価格帯が同じだということに気づいた だとすれば自分もその価格帯付近で入札すれば買えるんじゃないかと思い、価格帯を調べることにした 最近スクレイピングではPythonを使う NodeJSだと非同期を少しでも考えるのが嫌なので、できるだけ使いたくない 実行環境はColaboratoryを用いた スクレイピングして表形式で出力したいだけだからだ 簡単にPythonの実行環境にできるのでスゴイおすすめである colab.research.google.com スクレイピングには定番のBeautiful Soupを使って集計するコードを書き始め、できた結果が下記のようなコー
Pandas の練習がてら、勉強会のトレンドを探ってみた - 技術をかじる猫
この辺の続きです。 white-azalea.hatenablog.jp ４月の勉強会の開催状況と、事前申し込みの状況を眺めてみたが正解。 勉強会情報を拾ってくる 前回の流れですが、２サイト以上でやるので、少しだけ汎用化を考えてみた。 調べてみたら、ATND と COMPASS のAPI仕様がほぼ同一だった。 まずは共通の定義を用意して import requests import sys class ClassRoom: def __init__(self, title, limit, accepted, waiting): def or_zero(v): if isinstance(v, int): return v return 0 self.title = title self.limit = or_zero(limit) self.joins = or_zero(accepted
自然言語処理でベストセラーのタイトルを分析してみた - Aidemy Blog
環境 Python 3.6.4 jupyter notebook 4.4.0 windows 10 スクレイピング 東洋経済ONLINEのサイトでAmazonのビジネス書売り上げランキングが 毎週1位~200位まで発表されているので 今回はそれをスクレイピングで自動収集していきます toyokeizai.net 本のタイトルの取得と同時に順位に応じてポイントをつけていきます データについて import pandas as pd import urllib.request from bs4 import BeautifulSoup import json import time import numpy as np #スクレイピングしてタイトルとポイントをjson形式で出力 #リンク一覧ページからランキングサイトのリンクを取得 link_list=[] for i in range(1,1
機械学習を使って東京23区のお買い得賃貸物件を探してみた 〜前処理編〜 - データで見る世界
さて、前回のブログで足立区の賃貸物件を取得しました。 www.analyze-world.com 同様にして、東京都23区の物件も取得してしまいましょう。今回僕が取得したところ、合計で200,060件になりました。csvファイルで70MBほどですので、Excelだと重すぎて処理スピートがかなり遅いです。いい感じにビッグなデータが手に入ったんじゃないでしょうか。 物件情報を取得したはいいものの、このままだと分析をまわせないので、前処理を施します。今回の最終目標はお買い得物件を探すことなので、応答変数は賃料が主な指標になりそうです。賃料に対して、それぞれのカラムがどのように効いてくるかを考慮しながら処理していきます。 今回使うライブラリはpandasとnumpyだけです。それぞれ区別に保存しておいたファイルを結合して一つのファイルを形成します。 #必要なライブラリをインポート import p
Python製ハイパーパラメータ学習ライブラリoptunaを使って様々な言語のコードを最適化する方法 - MyEnigma
Pythonではじめる機械学習 ―scikit-learnで学ぶ特徴量エンジニアリングと機械学習の基礎 posted with カエレバ Amazon 目次 目次 はじめに ハイパーパラメータ学習ライブラリoptuna Pythonのコードをoptunaでパラメータ最適化してみる。 C++のコードをoptunaでパラメータ最適化してみる Juliaのコードをoptunaでパラメータ最適化してみる 今後optunaに期待すること create_studyとstudyの関数の統合 他の言語との統合方法のexampleの拡充 GitHubリポジトリ 参考資料 MyEnigma Supporters はじめに 最近、最適化技術の勉強の一貫として、 ベイズ統計・最適化を勉強しようと思っています。 そこで、以前PFNが公開した ベイズ最適化による、ハイパーパラメータ自動最適化ツールである optuna
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
how to ignore index comparison for pandas assert frame equal
Using functools.lru_cache on functions with constant but non-hashable objects
pytestで、csvファイルからテストデータを読み込んで流し込んで実施してみた - Qiita