開発者がビッグデータ分析にPythonを使う時によくやる間違い | POSTD
システムの構築、新しい技術の習得、PythonやDevOpsなどに情熱を注ぐソフトウェア開発者です。現在はチューリッヒを拠点とするビッグデータのスタートアップで働いており、データ分析およびデータ管理ソリューションのためのPythonの技術を磨いています。 1 はじめに Python は開発時間を短縮できるという点で一般的に評価の高い言語です。しかし、Pythonを使って効率よくデータ分析をするには、思わぬ落とし穴があります。動的かつオープンソースのシステムであるという特徴は、初めは開発を容易にしてくれますが、大規模システムの破綻の原因になり得ます。ライブラリが複雑で実行時間が遅く、データの完全性を考慮した設計になっていないので、開発時間の短縮どころか、すぐに時間を使い果たしてしまう可能性があるのです。 この記事ではPythonやビッグデータで作業をする時に、最も時間を無駄にしがちな事柄につ
データ分析を便利にするJupyter notebookとPandas | DevelopersIO
こんにちは、小澤です。 今回は、Jupyter notebookとPandasの導入的な話をしようと思います。 とは？の話 Jupyter notebookもPandasもすでに「とは？」を書く必要がないくらい有名どころかもしれませんが一応書いておきます。 とはいえ、今回はこんなものがあるよというご紹介程度の内容となるので、この「とは？」がメインコンテンツとなります。 どちらもpipからインストール可能ですが、Anacondaを利用すると、グラフ描画用のmatplotlibも別途インストールする必要がなくなるため、 今回はAnaconda3-4.2.0を利用しているものとします。 Jupyter notebookとは ブラウザ上で、REPLのようなインタラクティブにプログラムを実行するためのものです。 Jupyter notebookを立ち上げるとブラウザから画像のような環境にアクセスでき
pandas.DataFrame のforループをゆるふわ△改良して300倍高速化する - くないらぼ
主張：高速化は最後のおたのしみにしましょう。 無駄にいじいじして高速化させて満足し、結局その後はほとんど使わなかったなあ、、、が私の日常です。 えらい人も言っていますが、高速化なんてホント最後でいいんです・・・。 今まで何十回後悔したことか。。。（これからもまたやりますが。） pythonであれば numba,cython,swig など、コンパイルしちゃう系の力（パワー）を借りることで、 全く同じアルゴリズムでもざっくり100倍単位で簡単に高速化できます。 しかし、このやり方ではpythonのインタープリターなゆるふわ△言語の良さを（該当コード部分において）捨ててしまいます。結局C/C++に魂を売っているだけです。 私は魂を売ることそれ自体が好きなので良いですが、この行為はpythonの持つ別の面での高速性、つまり "生産性の高さ" を犠牲にしています。 コードの実行スピードが速くなって
Python使いで『今後はデータビジネスの現場かも』って人、NimData/Arraymancerをさわってみておこう。 - Qiita
# はじめに 本エントリーは、主には、python使いな人でデータビジネス界隈でのバッチ処理/ストリーム処理やIoTのエッジ端末側のことが気になっている人の流し読み向けポエムかと。 ##前提とする近未来像 IoT+AIな開発案件で、サーバー（クラウド）側での学習済モデルを迅速にフィールド展開（モバイル端末やIoTエッジ端末へのデプロイ）することがしばしば求められるようになっている状況。 #参考[TensorFlow Liteのliteな話] (https://qiita.com/hnakagawa/items/300e50134b03fb3e0350) IBM QやMS Q#など量子コンピューティングな界隈がざわついている年の瀬に地味な話だろうけど 、通信速度に制約ある限り、必要な話。今後の展開先としては、『自律的にふるまうドローン、自動運転車、作業ロボット（警備、運送、農作業）』などなど
データ分析で頻出のPandas基本操作 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 機械学習や深層学習が人気の昨今ですが、それらのモデルの精度に最もクリティカルに影響するのはインプットするデータの質です。データの質は、データを適切に把握し、不要なデータを取り除いたり、必要なデータを精査する前処理を行うことで高めることができます。 本頁では、データ処理の基本ツールとしてPandasの使い方を紹介します。Pandasには便利な機能がたくさんありますが、特に分析業務で頻出のPandas関数・メソッドを重点的に取り上げました。 Pandasに便利なメソッドがたくさんあることは知っている、でもワイが知りたいのは分析に最
Python: pandas の DataFrameGroupBy#agg() には関数も渡せる - CUBE SUGAR CONTAINER
今回は pandas で DataFrame#groupby() したときに得られるオブジェクト DataFrameGroupBy が持つメソッド agg() について。 これまであんまり使ってこなかったけど、関数が渡せることを知って色々と便利に使えそうだなと感じた。 ちょっと前置きが長くなるので知っているところに関しては飛ばしながら読むと良いかも。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.13.4 BuildVersion: 17E199 $ python -V Python 3.6.5 下準備 ひとまず pandas` をインストールしておく。 $ pip install pandas $ pip list --format=columns | grep pandas pandas 0.22.0 Py
Python デコレータ再入門 ~デコレータは種類別に覚えよう~ - Qiita
Pythonのアットマーク(@)を使った記法であるデコレータについてまとめる。難しいと思われているかもしれないデコレータだが、デコレータの種類(パターン)を意識することが理解の近道だと思ったので今回は種類別にデコレータの簡単な実装例をあげて解説をしていこうと思う。 対象者 Python のデコレータを学んだことがあるがたまに分からなくなる デコレータを自作しろと言われたらスラスラかけるか不安 知っていると良いこと 関数のスコープ 第一級関数 *args , **kwargs のような記法 デコレータ関数の種類分け 以下2つの要因でデコレータ関数の種類分けが可能だと思われる。 引数を取るか否か ラッパー関数を返すか否か よって組み合わせから計4つのパターンが考えられるが、今回は "引数を取らずラッパー関数を返さないデコレータ"を除いた３つを紹介する。1つ除外する理由は簡単すぎて意味がなさそう
pythonで小さなツールを作る時のtips - Qiita
自分で小さいツールを作る時に心に留めているtipsです． 書き始めたときは「どうせ書捨てだし」と思って書き始めると意外と長い間，もしくはいろんなところで使うことになったりするので，気をつけておくと後から楽になるというような小技です．大規模なソフトウェアの開発ではまた違った流儀があると思います． メインルーチンを関数にする 関数名はなんでもいいのですが，自分は趣味で main() という名前の関数を用意し，メインルーチンは全てそこに書くようにしています． pythonの小さなサンプルコードを見たりすると関数外の部分にベタで実行コードが書かれていたりします．もちろんそれでも動くのですが，以下の2点で後々面倒になることがあります． グローバル変数だらけになり管理が追いつかなくなる：「どうせ小さなスクリプトだし」ではじめると最初は見通しが良くてもだんだんどこでどの変数名を使っているか分からなくなっ
「結構便利だからみんな使った方がいいぞ！」という7つのPythonライブラリ - None is None is None
一部で最強と呼ばれているPythonには, virtualenvやipythonのような絶対入れる超定番以外にも, あると便利なライブラリというものがあります. ここではラッキーセブン, 7つご紹介しましょう. なお, furl以外は3.xに対応しています. requests 覚えやすいWebリクエスト(urllib.request.urlopenの代替) furl URLの扱いをもっとシンプルに(urllib.parse.urlparseの代替) PyQuery jQueryのスクレイピング力をPythonに(html.parser.HTTPParser, lxml, BeautifulSoupの代替) Send2Trash/Send2Trash3k クロスプラットフォームな「ごみ箱へ送る」 Windows向けPythonランチャー 2.xと3.xを切り替える PySide/PyQt4
Pythonで書ける便利な書き方を紹介します。 - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。私は元気です。 今日はPythonにおける便利記法を書いてみます。 他の言語しか使ったこと無い人もぜひ ※1/25間違いかと思われる箇所の加筆修正を実施 リストに関するイテレーション enumerate（インデックスとオブジェクトのループ） zip（同時に２つのオブジェクトでループ） yield（途中で一旦返す） for-else（forで途中で停止しない場合の条件） リスト内包表記 Collections Counter default dict（辞書のデフォルト値設定） Sort（ソート） sorted if文の書き方 Fileに関する処理（with） in（オブジェクトに存在しているかどうか） 関数について 返り値を複数返す。 関数のオブジェクト化 参考文献 リストに関するイテレーション enumerate（インデックスとオブジェクトのループ） enu
Pythonメモ : あまり知られていない（かもしれない）テクニック集 その2 - もた日記
listtocommaseparated.py : リストをカンマ区切りで出力 minmaxindex.py : リスト内の最小値、最大値のインデックスを取得 removeduplicatefromlist.py : リストから重複要素を削除 reverselist.py : リストを逆順にする reversestring.py : 文字列を逆順にする flattenlist.py : ネストされたリストの平坦化（flatten） sortlistkeepindices.py : ソート前のインデックスを保持 transpose.py : 転置 copylist.py : リストの浅いコピー、深いコピー merge_dict.py : 辞書をマージ dictionaryget.py : 辞書にキーが存在しない場合にgetメソッドを使用 dictdefaultvalue.py : 辞書のデフ
覚えておくと便利！Python標準ライブラリ10選 - Qiita
Pythonで，知っておくとちょっと便利になる組み込み関数や標準ライブラリを紹介してみようと思います！ そこそこメジャーなものからニッチなものまでいろいろありますが，知らないものはぜひチェックしてみて下さい． 組み込み関数 allとany all( )は引数の要素が全てTrueならばTrue，any( )は引数の要素のいずれか1つでもTrueならTrueを返す． In [1]: all(_ % 2 == 0 for _ in [1, 2, 3]) # 全て偶数 or not Out[1]: False In [2]: any(_ % 2 == 0 for _ in [1, 2, 3]) # いずれか1つでも偶数 or not Out[2]: True
Pythonでデータ分析するのに必要なツールのまとめ - Qiita
この記事について Pythonでデータ分析を行う際に役立つセットアップを紹介します。 データ分析に興味がある方はこちらも合わせてどうぞ データサイエンティストに興味があるならまずこの辺りを見ておきな、って文献・動画のまとめ（随時追加） - Qiita 実行環境 Jupyter(旧iPython Notebook) http://jupyter.org/ インタラクティブ（対話的）なコード実行のための環境 データ分析に非常に適していて、慣れると他のIDEなどでは分析ができなくなる。 任意に分けたコードブロックごとに実行し、結果を都度表示出来るほか、 ・グラフのインライン表示 ・数式の記述（Latex） ・マークダウン方式の文章記載 などの機能を備えており、模索しながらの分析作業や、結果の共有・保管などに非常に適する。 iPythonで文章と図表を描くことで論文のような形式で書くことも出来るた
初心者がPythonを覚える為の本の選び方を体系化してみた(2017版) - Lean Baseball
【2020/1/9更新】2020年版もあります, こちらもよろしくおねがいします！ 【2018/12/24追記】最新版を公開しました！「Python本まとめ・2019年版 - Webとデータ分析を初心者が仕事にするまで - Lean Baseball」 ※2017/12/24 最新版をこちらに上げました、この内容は古いのでこちらを見ていただけると幸いです🙇♂️ Pythonの学び方と,読むべき本を体系化しました2018〜初心者から上級者まで こんにちは.野球(とグルメ)の人です. 会社と仕事はメッチャ楽しいのですが,今日はそれと関係なくPythonの話題を久々に.*1 昨年から,「AI（えーあい）」だの「でぃーぷらーにんぐ」だの「機械学習」といったワードとともにPythonを覚えようとしている方が多いらしく, 何から学ぶべきか 何の本がオススメか 簡単に覚えて僕もいっちょ前に「えーあい
【Python入門】いまさらだけどパイソニスタとして必要な文法を網羅してみた - Qiita
はじめに Pythonの対象バージョンは3系です。（2系でも通じるものは多いはず） 対象読者レベルは他言語を軽くでも触ったことある人です。「あー、Pythonだとこれはこう書くのねー」が網羅的に分かるようにまとめたつもりです。 ここではWEBアプリケーションフレームワーク(DjangoとかFlaskとか)に関してはほぼ触れません。 @shiracamus 多くの有益なコメントと編集リクエストありがとうございます。 Python開発環境構築 下記（私の記事ですが）はWindowsでの構築となっていますが、Macでもほぼ同じ通りにできます。 今からWindowsでベストなPython開発環境を構築する手順 Pythonについて 今最も勢いに乗っているプログラミング言語。 オブジェクト指向。Pythonでは全てがオブジェクト。 動的言語（スクリプト言語）のため、変数宣言時に型を明示的に定義しない
【講演】『大人が数学を学び直すには』 - 永野裕之のBlog
講演のご依頼をお受けします。 小・中・高の同級生が経営する株式会社Tスポットの社員さんに向けて、『大人が数学を学び直すには』というテーマで講演をさせていただきました。 講演で使ったスライドの一部をご紹介します。 料理に喩えるなら、「数学者になる」というのは一流店のコックになるようなものです。このレベルに達するには才能が必要でしょう。対して、「大学入試を突破する」や「仕事や生活に（数学を）活かす」というのは、冷蔵庫の残り物でパッと美味しいものを作ってしまうというレベルです。これは、最初から簡単にできることではないかもしれませんが、素材についての確かな知識を持ち、調理法についてその意味が分かりさえすれば、誰にでも到達できるレベルです。 《参考》 日本数学検定協会の会長やNHK高校講座「数学基礎」の講師も務められた秋山仁先生の著作『数学に恋したくなる話 』の中から「理系大学進学に必要な４つの能力
機械学習エンジニアが知るべき10のアルゴリズム
前回の投稿から大分時間が空いてしまいましたが、現在マーケティング部では、データサイエンスに関する知識を深めるために海外のデータサイエンス記事を翻訳するという取り組みを行っています。主に、KDnuggetsというサイトで紹介されている記事で人気のあるものを中心に選び、原著者より翻訳の許諾をいただけた記事を公開しております。不定期ですが、データサイエンスに関心のある皆様により良い情報を日本語でお届けできるように取り組んで参ります。 初回に取り上げたい記事はJames Le氏の「The 10 Algorithms Machine Learning Engineers Need to Know」です。機械学習の手法が網羅的に紹介されており、実用例も示されています。初めて機械学習に取り組む方のご参考になれば幸いです。 SOURCE https://gab41.lab41.org/the-10-alg
深層学習はガウス過程 - 作って遊ぶ機械学習。
おつかれさまです． 僕はあまり深層学習に関して記事を書くことはないのですが，ちょっと気になった論文があったので紹介します． [1711.00165] Deep Neural Networks as Gaussian Processes 論文はGoogle Brainの研究者らによるもので，NIPS2017 Bayesian Deep Learning WorkshopICLR2018にacceptされています．実は深層学習をガウス過程（Gaussian process）で構築するのはこの論文が初出ではないのですが，論文ではベイズ学習，深層学習，カーネル法を簡略かつ包括的に説明している内容になっているので非常に参考になります． さて，「深層学習はガウス過程」というのはちょっぴり宣伝的なタイトルにし過ぎてしまったのですが，もう少しだけ正確に論文の要点をまとめると次のようになります． 背景 単一
スマホ買ったら入れるべきおすすめ神アプリ・暇つぶし対応 | iPhone・Android対応のスマホアプリ探すなら.Apps
あなたのスマホが地図替わり！Google マップ あなたのスマホが便利な地図に変身！ 渋滞情報もまるわかり！到着予測時間も簡単計算！
Excelはもう古い？ビジネスマン必見のデータ分析最強ツールとは（Lab-On）
近頃、ビジネスシーンでも話題の「データ分析」。手近なExcelでも多彩な分析が可能だが、ビッグデータを含めた複雑な分析となると、何かとあたまが痛いのも本音。そんな本格志向のビジネスパーソンも納得の機能を備えた、無料の統計プログラムがあるのをご存じだろうか？ 理系研究者の間で長年、愛用され、いまではプロのデータサイエンティストから金融アナリストまで幅広い分野の人々に注目されている「R」の世界を解説する（文・深澤祐援）。 「データ分析」大変ですよね… データ分析の話題、よく耳にする機会ありませんか。 あなたが何らかのビジネスに関わっていることを前提としましょう。 ビジネスには常に商品と、それを必要とする顧客が存在しています。同時に、商品と顧客に関するデータが発生します。 ビジネスが大きくなっていくとどうなるでしょうか。当然扱うデータもどんどん増えていき、その規模も大きくなっていきます。ビジネス
はてなウェブ検索（はてなブックマーク）
キーボードショートカット一覧 j次のブックマーク k前のブックマーク lあとで読む eコメント一覧を開く oページを開く ✕
機械学習をやる上で必要な数学とは、どの分野のどのレベルの話なのか（数学が大の苦手な人間バージョン） - 渋谷駅前で働くデータサイエンティストのブログ
しばらく前にこんな記事が出ていたのをお見かけしました。 明らかにこれは僕が某所（笑）で適当に放言したことがきっかけで巻き起こった議論の一旦なのではないかと思うのですが、個人的にはこちらの@yohei_kikutaさんの仰る通りで大体良いのではないかと考えております。 なのですが、言い出しっぺらしき身としてはもうちょっと何か具体的な話を書いた方が良いのかな？とも思いましたので、常々公言しているように数学が大の苦手な身ながらどの分野のどのレベルの数学が機械学習をやっていく上で必要なのかという点について戯言だらけの駄文を書いてみることにします。 深層学習 (機械学習プロフェッショナルシリーズ) 作者: 岡谷貴之出版社/メーカー: 講談社発売日: 2015/04/08メディア: 単行本（ソフトカバー）この商品を含むブログ (13件) を見るちなみに、以下に並べる戯言は深層学習青本から得られた知識を
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
