CentOS7で機械学習の環境をさくっと作る手順 - Qiita
はじめに 中古パソコンを使って機械学習の環境を整備するということを始めたので、備忘のために手順をメモしておきます。 主な手順 CentOSのダウンロードとインストール yumにてPython3関連のソフトウェア取得 pip3にてPython3のライブラリ取得 Jupyter Notebookの設定 CentOSのダウンロードとインストール 以下のリンク先でisoファイルを入手できます。 Download CentOS isoファイルのデータをDVDまたはUSBメモリに書き込み、パソコンへインストールします。 インストールが終われば、再起動してログイン。 IPアドレスを確認するために以下のコマンドを実行。
Pythonで大量データ処理！�PySparkを用いたデータ処理と分析のきほん
PyConJP2017の資料 Python Spark PySpark PyConJP 2017 Apache Spark
Python の依存パッケージ管理/環境切り分けツール pipenv の紹介 - 私が歌川です
この記事は 2017/9 に書かれたものであり、2019/11/26 現在とは状況が変わっています。公式ドキュメント(日本語訳)を参照してください。 時代は pipenv や— うたがわきき🔰💊 (@utgwkk) September 5, 2017 もう誰も，requirements.txt や，source ENV/bin/activate に頭を悩まされる時代は終わった！ というわけで virtualenv の時代は終わり*1，pipenv の時代になりました． この記事は Python を書く人間が全員 pipenv を使うべきだという思いを込めて書きました．日本語で書かれた記事がまだぜんぜんないという事情もあります． pipenv とは Python のパッケージ管理ツールの pip と，環境切り分けツールの virtualenv を融合させたツールです．Ruby でいうとこ
pythonで小さなツールを作る時のtips - Qiita
自分で小さいツールを作る時に心に留めているtipsです． 書き始めたときは「どうせ書捨てだし」と思って書き始めると意外と長い間，もしくはいろんなところで使うことになったりするので，気をつけておくと後から楽になるというような小技です．大規模なソフトウェアの開発ではまた違った流儀があると思います． メインルーチンを関数にする 関数名はなんでもいいのですが，自分は趣味で main() という名前の関数を用意し，メインルーチンは全てそこに書くようにしています． pythonの小さなサンプルコードを見たりすると関数外の部分にベタで実行コードが書かれていたりします．もちろんそれでも動くのですが，以下の2点で後々面倒になることがあります． グローバル変数だらけになり管理が追いつかなくなる：「どうせ小さなスクリプトだし」ではじめると最初は見通しが良くてもだんだんどこでどの変数名を使っているか分からなくなっ
【随時更新】pyenv + Anaconda (Ubuntu 16.04 LTS) で機械学習のPython開発環境をオールインワンで整える | ALGO GEEKS
【随時更新】pyenv + Anaconda (Ubuntu 16.04 LTS) で機械学習のPython開発環境をオールインワンで整える 筆者の機械学習系のPython開発環境は、Vagrant を用いた Ubuntu (16.04 LTS) 上に構築しています。 ここでは、画像認識、音声認識、自然言語処理などに必要な環境をオールインワンで構築する手順をまとめます。 (最終更新日: 2016/11/14) OSバージョン OSバージョンは下記の通りです。 $ cat /etc/lsb-release DISTRIB_ID=Ubuntu DISTRIB_RELEASE=16.04 DISTRIB_CODENAME=xenial DISTRIB_DESCRIPTION="Ubuntu 16.04.1 LTS" $ uname -a Linux vagrant 4.4.0-31-generi
UbuntuでPythonの開発環境を整える - Qiita
概要 python未経験者の自分ですが、機械学習を扱うためにpythonを学習する必要がありました。 しかし、pythonの勝手がわからないせいか、デフォルトだとグローバルにインストールされてキモいのでちゃんと設定しようとして色々ハマリました。 なので一応メモっておきます。 （今だとanacondaを使うのが一般的かもしれませんが、あえて自分でやってみました。） # 最初の状態を確認 python -V -> 2.7.6 sudo apt-get install git gcc make openssl libssl-dev libbz2-dev libreadline-dev libsqlite3-dev # http://qiita.com/sobeit@github/items/eb24bbcc02822223d8eb # 描画系ライブラリを使うのに必要 sudo apt-get i
中学一年生がPythonの知識ゼロからAIを作るまで - Qiita
こんにちは、zenboですm( _ _ )m これからPythonの知識ゼロから学習していきたいと思います!(^_^) #そもそもなぜPythonをやろうと思ったの？ 近年、AIの注目度が格段に上がりました、それが、機械学習やディープクラーニングの技術の発展です。 この中で、今後ITの世界でやっていくには、今ぐらいから、AIについて学んでおくべきだと思ったのです。 そんな時、あるネット記事を読みました、そこには、AIの作成にはPythonが勧められていました！ここで、Pythonに興味を持ち始めました #今の所Pythonってマイナーな感じがするけど... 確かに今の所日本では、そこまで有名じゃありませんが 海外では、とても使われていて、 YouTube Dropbox Instagram などがあります。 この情報を見て、Pythonの学習を決心しました。 では次から実際に学習を始めてい
Pythonヒッチハイクガイドを読んで学んだこと - MyEnigma
退屈なことはPythonにやらせよう ―ノンプログラマーにもできる自動化処理プログラミングposted with カエレバAl Sweigart オライリージャパン 2017-06-03 Amazonで検索楽天市場で検索Yahooショッピングで検索 目次 目次 はじめに Can I use python3でライブラリがpython3で利用できるか確認できる pythonのリポジトリの構成 with構文をうまく使う コードのデバッグをするときはテストファイルを作る。 tkinterはバージョン8.0から外見が洗練された ロギングが print より優れている理由 PythonのテストフレームワークにはNoseを使う Python製のCIサーバ Buildbot Pythonの並列処理にはconcurrent.futuresを使う 参考資料 MyEnigma Supporters はじめに P
Pythonの環境構築を自分なりに整理してみる
機械学習ブームなどにより、 Python を触り始める Rubyist が増えてきたと思います。その際に問題になりやすいのが環境構築です。Rubyだと rbenv がデファクトスタンダードになっているのに、なぜか Python に… 私の立ち位置もともとは、数年前まで 年に一回Python3でNLTKやらscikit-learnやら機械学習や自然言語処理の環境を作ろうと試みては失敗してPython使うものかと思っていた人でした。それが、Anacondaで環境導入すると、面倒なことは何も考えずに済むということを知り、CookpadではAnacondaを前提に環境構築を勧めていました。 今は、ymotongpooに「郷に入っては郷に従え」と言われたため、pip+virtualenv/venvで全てをこなしていますが、これで困ったことは特にありません。macOS, Windows, Linuxそ
Anacondaの利用は是か非か？（またはそれでも私がAnacondaを“今“使う理由） - DEVGRU
先日の投稿で、少しフィードバックをいただけた（ありがとうございます！）ので、それに対する反応です。 team-6.hatenablog.jp フィードバックその1 コメント欄より。 引用されていたので反応しておきますと、こういう理由からAnacondaもいまは問題があると思っています。 http://ymotongpoo.hatenablog.com/entry/2017/02/02/182647 一次情報含め非常に詳しく書かれていますが、 要約すると、パッケージングにデフォルトのwheelではなく、独自のcondaを用いているAnacondaはデフォルトに歩み寄って欲しい、というお話です。 これについてはおっしゃるとおりで、wheelでできることをわざわざ別のパッケージシステムを構築してしまっているのはエネルギーの無駄ですね。 wheel一本になれば嬉しい人は多いはず。 フィードバックそ
スクレイピング初心者がpythonでかわいい猫ちゃん画像をコマンド一発でネットから収集してみた - karaage. [からあげ]
注：この猫ちゃん画像は昔私が撮影した猫ちゃんで、ネットから落とした画像ではありません 追記：現在このスクリプトは使用できないようです Yahoo画像検索の仕様が変わったらしく、2018/08/12 の時点でこのスクリプトは使用できないようです。仕様が変わると適用できなくなるのは、スクレイピングのスクリプトの宿命ですね。今のところ対応の予定はありません。申し訳ございません。 ネットから画像収集しようとしたら意外に大変だった 最近、以下で書いているように機械学習に興味津々だったりします。 機械学習やディープラーニングを試していると、やっぱり試したくなるのが、チュートリアルで使用しているデータセット以外のデータにも同じ手法が適用できるかどうかですね。 とりあえず画像をネットから収集しようかなと思い、googleの画像検索の結果を一つ一つ右クリックで落とし始めたのですが、どう考えても非人間的過ぎま
![スクレイピング初心者がpythonでかわいい猫ちゃん画像をコマンド一発でネットから収集してみた - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/88b3ab0ae7260a995e891c9fc5a5235380cfbe18/height=288;version=1;width=512/https%3A%2F%2Fcdn.image.st-hatena.com%2Fimage%2Fscale%2Fbca7581dbd1b34e803379129b7b9865ba356f463%2Fbackend%3Dimagemagick%3Bheight%3D1300%3Bversion%3D1%3Bwidth%3D1300%2Fhttps%253A%252F%252Fcdn-ak.f.st-hatena.com%252Fimages%252Ffotolife%252Fk%252Fkaraage%252F20170814%252F20170814144955.jpg)
ネットサーフィンの壺
はじめてFirebaseを学んだときは良さがまったくわかりませんでした。 それはいまいちメリットがわかりづらか […]
機械学習を勉強するときはDockerを使うと便利 - あさのひとりごと
いまお仕事の関係で、機械学習の教科書的な書籍を読んだりオンライン講座を受講したりしながらサンプルやチュートリアルを動かして勉強しています。 機械学習を勉強するときは、Pythonの環境を構築し、JupyterNotebookを使って、実際に手と頭を動かしながら行うのが効率的です。が、アルゴリズムの理論そのものの理解がすでにしんどい上、過学習対策のための正則化、汎化性能の評価、クロスバリデーション、不均衡データや少ないデータはどうすればいいか、などなどいちいち難しいことを数多く勉強しなければなりません。 その上、、、、機械学習での学習は、1度やれば終わり！ではなく、パラメータチューニングしたり、データを増やしたり加工したりしながら、繰り返しなんども行う必要があります。一見ビジネス寄り＆アカデミックな雰囲気を醸し出していますが、実際のところは、非常に泥臭い作業のオンパレードです。 が、、、、、
「いちばんやさしいPythonの教本」は、Pythonicなプログラミング入門書 - ビープラウド社長のブログ
8月10日に「いちばんやさしいPythonの教本」が出版されました。 書籍は、ビープラウドのメンバー、鈴木たかのり（@takanory）、杉谷弥月の２人で執筆しました。 レビューには、私も含めて以下のメンバーが参加しています。 社内レビュアー @shimizukawa @hirokiky @okusama27 @haru860 ヘルプコラミスト @hirokiky 読者対象者 以下の方々が対象です。 プログラミングを始めたい Pythonを学びたい 内容構成 書籍は10章構成です。 内容は、以下のように大きく５つに分かれています。 【1】プログラミング入門 プログラミングを始める方向けの内容です。プログラミングとは何か、どのように動作しているのかをPythonを使って丁寧に説明しています。 1章 Pythonを学ぶ準備をしよう 2章 コマンドプロンプトに慣れよう 3章 基礎を学びながらプロ
Cloud Dataflow PythonSDKによるビッグデータ処理実装応用 - オールアバウトTech Blog
Cloud Dataflow オールアバウトシステム部開発Gの@tajima_tasoです。 前々回、Cloud Dataflow PythonSDKによるビッグデータ処理実装入門の記事にてPythonのSDKを使用したDataflowの基礎についてご紹介しましたが、今回はGCPの他のサービスとも連携した応用方法をご紹介します。 GCPの中でも、GCSについては既に基礎編でご紹介したので、応用編ではBigQuery、Datastore、そしてそれらのデータを処理するのに便利な機能についてご紹介します。 情報量が多くて途中混乱するかもしれませんが、最も大事なことはデータの入力、変換、結果の出力と保存にフォーカスすることです。手段に気を取られて目的を見失わないようにすることが何事も大事です。 SDKのアップデート方法 本題に入る前にSDKのアップデートを行いましょう。前回の記事執筆時の最新のS
Pythonメモ : pygorithmで探索、ソートのアルゴリズムを学ぶ - もた日記
pygorithm インストール 使い方 その他のアルゴリズムまとめリポジトリ pygorithm github.com pygorithmという探索、ソートなどのアルゴリズムを学ぶためのモジュールがあったので試してみる。 インストール pipでインストールできるので下記コマンドを実行。 $ pip install pygorithmが、少し試したところ最新バージョンではなかったのでGitHubのリポジトリをインストールした。 $ pip install git+https://github.com/OmkarPathak/pygorithm 使い方 バブルソートを例に試してみる。 まずはbubble_sortをインポートして実際にソートする。 from pygorithm.sorting import bubble_sort myList = [12, 4, 3, 5, 13, 1, 1
pythonによる画像処理入門 - webエンジニアの日常
はじめに 今回はpythonによる画像処理のお話です。 普段仕事ではRubyメインなのですが、最近趣味でpythonを勉強しはじめ、画像を加工するのが意外と簡単だと分かったので、簡単な画像処理について書いてみました。 pythonについてはまだまだ勉強中なので、python的にはこうは書かない、これだと処理が遅い、コードが汚いなどなどありましたら、コメントで教えていただけると幸いです。 また、以下のコードではpythonのライブラリ、numpy, pillowを使用しています。 著者の環境ではwindows10上でAnaconda3を使用しているため別途インストールは不要でしたが、実行する際は必要に応じてインストールをお願いします。 画像処理の概要 画像の加工は単純に各ピクセルの色を画像の端から端まで順番に変更することで実現しています。 そこで、まずは画像ファイルを読み込み、操作しやすいよ
Raspberry PiとTensorFlowを使ったディープラーニングの開発環境構築 - karaage. [からあげ]
Raspberry Pi4へのディープラーニング環境セットアップに関して 最新のラズパイ4でのディープラーニングの開発環境構築に関して、以下記事でまとめています。今から、ラズパイ4で最速で環境構築したい方は、以下記事参照下さい。ラズパイ3にも対応しています（同じ要領でセットアップ可能です）。 これ以降は、古い情報が含まれていることご了承ください。 Raspberry PiとTensorFlowでディープラーニング 最近、人工知能とかディープラーニングに関して興味を持っていて、以下のような記事でまとめたりしました。 ただ、本やネットの記事を見ただけだと、あまり頭の良くない自分には全然ピンとこないというのが正直なところです。そこで、今までChainerという日本製のディープラーニングのフレームワークを使って色々実験してみたのですが、サンプルを動かすことはできても、それ以上のことが何もできなくて
![Raspberry PiとTensorFlowを使ったディープラーニングの開発環境構築 - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/10adf88ff1495f3fbce26be21cda9215a10d1a47/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20170726%2F20170726015040.jpg)
PythonでCSVを高速＆省メモリに読みたい - tkm2261's blog
今日はPython (Pandas)で高速にCSVを読むことに挑戦したいと思います。 Kaggleに参加するたびに、イライラしていたので各実装の白黒はっきりさせようと思います。 R使いが羨ましいなぁと思う第一位がCSV読込が簡単に並列出来て速いことなので、 なんとかGILのあるPythonでも高速に読み込みたいと思います。 ただ、この検証ではコーディング量が多いものは検証しません。 CSV読込は頻出するので、フットワークの軽さが重要です。（オレオレライブラリ嫌い） Pickleは早いけど。。。 結論はDask使おう！ 検証環境 データ 速度検証 pandas.read_csv() pandas.read_csv() (dtype指定) pandas.read_csv() (gzip圧縮) numpy.genfromtxt() pandas.read_csv() (chunksize指定 +
データサイエンティスト・データエンジニアのための Python ライブラリ一覧 - Qiita
データ分析やデータ加工、機械学習などを行うのに便利な Python ライブラリを紹介する。 なぜ Python なのか 統計や機械学習をするなら、 R という選択肢もある。 R のデータの加工や集計、統計処理に優れた言語であり、言語標準の機能だけでかなりのことができる。機械学習のライブラリも充実しており、有力な選択肢であることは間違いない。 R と比較して Python が優れている点は、周辺エコシステムの充実にある。 Python エコシステムはデータサイエンスの分野に留まらない。 NumPy や Pands で加工したデータを Django を使った本格的な Web アプリケーションで利用することも可能だ。 ライブラリ群のインストール ここで挙げているライブラリのほとんどは Anaconda で一括でインストールできる。 データ加工 NumPy NumPy は数値計算を効率的に行うため
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
