ちゃんと運用するときのuWSGI設定メモ - Qiita某アプリのバックエンドをFlask+uWSGI+Nginxでつくったのでやったことまとめました。 Nginxとの連携 wsgiプロトコルで繋げる方法
Python初心者が1時間以内にjanomeで形態素解析できた方法 - Qiita
Python初心者（プログラミング未経験者含む）が1時間以内に何らかの文章（複数可）をPythonのjanomeで形態素解析する方法、解析した語彙の出現頻度を調べる方法を紹介します。 準備するもの： パソコン、形態素解析したい文章・語彙の出現頻度を調べたい文章 環境： windows7,Python3.6.2, janome0.3.3 mac等でできなかったらすいません。 活用例: メルマガやブログのタイトル・本文に含まれるワードの出現頻度調査(効果が高い・低いメルマガ・ブログはどんなワードが多く含まれているか) ※今回、エクセルから文章を読み取って形態素解析します。エクセルは1列目しか使用しませんが、複数行の登録も可能です。文章の量にもよりますが、2万行くらいいけます。（1列目にばーっと下へ文章が並ぶイメージ。一文でも可） 1列目(1行目から文章をいれてください) Pythonインストー
Python で並列計算 (multiprocessing モジュール) | 複数の引数を取る関数を map() メソッドで並列に走らせる - Out of the loop, into the blank
いまやノートブックでもデュアルコアやクアッドコアが当たり前になってきたので、似たような処理を延々と繰り返すようなデータ解析のプログラムなどは並列化するとかなりの恩恵が得られる。Python ではバージョン2.6から multiprocessing モジュールというのが標準ライブラリに入っており、比較的簡単に並列計算のスクリプトが書けてしまう。 個人的に並列化できると一番うれしいのは、統計量の有意性の検定のためにサロゲートデータを大量に作って、そこから(帰無仮説に基づいた)統計量の分布を推定するときの、それぞれのサロゲートごとの統計量の計算だ。この場合、個々の計算は完全に独立なので、プロセス間の通信などは考える必要がなく、非常に単純に並列化できる。ということで早速スクリプトを書いてみたが、まあ書くだけならすぐ書けるのだが、使い勝手や汎用性を求めると、ちょっとややこしいことを考えなければならな
pythonでmultiprocessingを使って並列処理をする時に引数を複数取る方法 - Qiita
#!/usr/bin/env python # -*- coding: utf-8 -*- from multiprocessing import Pool from collections import Counter # ここを並列処理する def func(n, argument1, argument2): # 2倍して5を足す処理 return n * argument1 + argument2 def wrapper(args): # argsは(i, 2, 5)となっている return func(*args) def multi_process(sampleList): # プロセス数:8(8個のcpuで並列処理) p = Pool(8) output = p.map(wrapper, sampleList) # プロセスの終了 p.close() return output
【保存版】エンジニアが機械学習を学ぶために読むべき厳選書籍4冊【機械学習 入門書】
機械学習を含む人工知能を扱えるITエンジニアの人材不足は深刻で、GoogleやAppleなどのIT大手の会社は挙って人材獲得競争を行なっています。 米大手人材サービスのglassdoorによると、アメリカでの機械学習エンジニアの平均年収は$120,931（約1350万円）となっています。未経験者〜1年までの機械学習エンジニアの年収でも、$100,551（約1121万円）と非常に高額です。 対して、日本のリクルートTech総研が実施した30代前半のエンジニアの年収調査では、システム開発（Web・オープン系）の平均年収で512万円というデータがあります。 冒頭でも触れた通り、これから機械学習エンジニアの不足は明らかであり、より一層、給料の高騰が期待できるわけです！現在、ソフトウェアエンジニアとして活躍されている方々も、キャリアップを目指して機械学習を勉強されている方も多いはずです。 そこで、本
Pythonでスクレイピングをする最初の一歩、Webページを丸ごと取得する方法 | 隣IT
みなさん、こんにちは！ タカハシ(@ntakahashi0505)です。 Windowsユーザーかつプログラミング初心者向けに、便利ツールを作りながらPythonを勉強していくという趣旨で記事を書いております。 さて、Pythonは本当にいろいろな方面で活躍するポテンシャルがあるプログラミング言語なのですが、書店など行くとよく「Webスクレイピング」というキーワードが目に入ると思います。 スクレイピングとはすなわち、Webサイトから情報を集めてくる技術のことです。 決まりきっているものであれば、わざわざ人の手で情報を集めてこなくても、プログラムに任せちゃえばラクチンできますもんね。 そして、Pythonはスクレイピングが得意というわけです。 ということで、今回からWebスクレイピングをテーマに便利ツールを作るという内容で連載をしていきたいと思います。 初回の今回は、Pythonでスクレイピ
Python Webスクレイピング 実践入門 - Qiita
PythonによるWebスクレイピングの実践入門を書きたいと思います。 概論的なところは除いて、フィーリングで理解していくスタイルで行きたいと思います。 ※追記 本記事は少し難しいやり方をとっていますが、学習すると言う意味ではとても価値あるものだと思います。 本記事を読み終えた後はこちらのテクニック編をご覧になるとサクッと出来たりします。 Python Webスクレイピング テクニック集「取得できない値は無い」JavaScript対応 やること 最終的には「1時間ごとに日本経済新聞にアクセスを行いその時の日経平均株価をcsvに記録する」 プログラムを組んでみたいと思います。 注意 注意事項です。よく読みましょう。 岡崎市立中央図書館事件(Librahack事件) - Wikipedia Webスクレイピングの注意事項一覧 何を使うの？ 言語:Python 2.7.12 ライブラリ:urll
Python で ¥ (円マーク)を直接指定して置換するには - luggage baggage
こんにちは。吉田弁二郎です。 Python で文字列を扱うのにはちょっとした工夫がいることが多いです。私がこの前つまずいたのは、¥ (円マーク)をある文字列の中で置換するにはどうしたらよいか、ということでした。 例えば、 s = '¥hoge' という文字列があった時、¥ を適当な文字列で置き換えたいのですが、これは安直に s = s.replace('¥', 'foo') とすると SyntaxError となってしまいます。replace 関数に入っている ¥ より後が ¥ 自身によってエスケープされた結果、関数の括弧が閉じていないと判定されてしまうからですね。 解消法は Python のバージョンによって異なり、 import six if six.PY2: # python2 s = s.decode('utf-8').replace (unichr(165), 'foo') el
データ分析初心者向け、Pythonでデータ取得＆グラフ描画する方法 - paiza times
秋山です。 サービスを運営していると、いろいろなデータから必要な情報だけを取得して分析するような機会もたくさんあるかと思います。 分析に使えるツールは世の中にたくさんあるので、どれが使いやすいかは人それぞれですが、今回は「分析を始めたばかりで何をどうすればいいのかわからない…！」という方のために、Pythonを使って初心者向けのデータ分析のやり方を紹介します。 ■使用する環境 paizaでは、Pythonを使ってスキルチェック問題の回答データや、ユーザーの情報等の分析をしています。（R言語を使っていたときもありましたが、私がPythonのライブラリにある便利機能を使いたかったのと、R言語があまり得意ではなかったので移行しました） 今回は、Python3がインストール済みの環境を想定しています。これから出てくるコードもPython3を推奨しています。 下記のライブラリを使用します。 Jupy
Pythonをやるときに参考になりそうな情報 - のんびりSEの議事録
最近あんまり触っていなかったので、久々にPythonをやろうと思ったときにいろいろ忘れてたり、新しく知ったりしたこともあったので、Pythonやるときに参考になりそうな情報をまとめました (但し、今回はデータ分析系のライブラリ関連は除いています) Pythonの言語仕様や基本等 概要 — Python 3.5.2 ドキュメントdocs.python.jp qiita.com www.python-izm.com 2系と3系の違い postd.cc qiita.com コーディング規約 はじめに — pep8-ja 1.0 ドキュメント ドキュメント生成 azunobu.hatenablog.com ドックストリング """ 3重ダブルクォートを使用して記載する。 ドックストリングに記述したテキストは関数やクラスオブジェクトの__doc__に保存される def hello(): """Out
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
python - 追加 - pandas 要素 カウント
�PythonでJSONファイルを読み込む方法
http://gakuseibiz.com/?p=905