M1搭載Macの環境を汚さずにDeep Learningしたい！（Docker, PyTorch, TensorFlow, VSCode, Jupyter） - Qiita
M1搭載Macの環境を汚さずにDeep Learningしたい！（Docker, PyTorch, TensorFlow, VSCode, Jupyter）MacDeepLearningDockerVSCodeM1 DockerでDeep Learningしたいが、、、 せっかく新しく買ったM1搭載Macなのだから、環境はできるだけ汚さずに開発したいなぁ、という方は少なくないと思われます。 環境をクリーンに保つ方法の一つがDockerですけれども、 Deep Learningに必要なPyTorchとTensorFlowを両方利用できるいいarm64用Dockerイメージが見つからなかったので、なければ作れということで、作ってみました。 （PyTorchのビルドは何の苦労もなくできましたが、TensorFlowのビルドが辛いこと辛いこと、、、ビルドを開始して数時間経過後にエラーやらOut o
Pythonを学ぶときに読むべき本2020年版 - 初心者からプロになるために - Lean Baseball
※最新版（2021年バージョン）がこちらにありますので合わせてご覧ください！ 毎年恒例, Python本と学び方の総まとめです！*1 プログラミング, エンジニアリングに機械学習と今年（2019年）もPythonにとって賑やかな一年となりました. 今年もたくさん出てきたPythonの書籍や事例などを元に, 初心者向けの書籍・学び方 仕事にする方（中級者）へのオススメ書籍 プロを目指す・もうプロな人でキャリアチェンジを考えている方へのオススメ を余す所無くご紹介します. 来年（2020年）に向けての準備の参考になれば幸いです. ※ちなみに過去に2019, 2018, 2017と3回ほどやってます*2. このエントリーの著者&免責事項 Shinichi Nakagawa（@shinyorke） 株式会社JX通信社 シニア・エンジニア, 主にデータ基盤・分析を担当. Python歴はおおよそ9年
レトロゲームエンジン Pyxel でプログラミングを始めよう！ - kitao's blog
Pyxelの開発が一区切りしたので、改めて紹介記事を書いてみました。 [2020.4.4追記：最新版の紹介記事はこちらです] Pyxelって何？ Pyxel（ピクセル）は、昔ながらのドット絵タイプのゲームを簡単に作れる「レトロゲームエンジン」です。 2018年7月30日にリリースされた、非常に新しいゲームエンジンなのですが、海外を中心に急速にユーザーが増えています。 github.com プロジェクトはGitHubでオープンソースとして公開されており、公開４日でGitHubのデイリーランキングで全１億のプロジェクト中１位を獲得。ついでに作者である私もGoogle、Facebook、Microsoft等の企業アカウントを含む3100万人の開発者ランキングで１位になっています。（１位の座は48時間持ちませんでしたが…） GitHub上ではその後もスター数が増え続けており、現在は4000スターを
Pythonでこんなことできちゃうんです＊随時更新＊
はじめに 日々、StackOverflow や Qiita や Medium らで pythonについてググっている私がこれ使えるな、面白いなと思った tips や tricks, ハックを載せていくよ。 簡単な例文だけ載せてくスタイル。新しいの発見次第、じゃんじゃん頻繁に追加していくよ。 これも知っとけ！これ間違ってる！ってのがあったら、コメント下さい。 このモジュルやライブラリーの関数とか基本/応用的な使い方を知りたいけど、自分で探すの面倒、英語意味不ってのがありましたらそれもコメントにどうぞ。私が代わりに調査 • 解析を努力致します。 簡単な例文を心がけてはいますが、なにせ読むな！見て感じろ！なくらい説明不十分なので、初歩的な関数の使い方などのpython知識を所有しているとすんなり理解しやすいかと思います。多分。 注:リンク先は全て英語です。PEP8をいつかは読みましょう。良いスタ
Deep Learning with Python を読んだ
TL;DR Deep Learning with Python を読んだ よく書かれている本で、特に初学者〜中級者が Keras を使ってモデル構築ができるようになるには最適 扱っているトピック自体は他の本と比べてそこまで変わっていないが、一つ一つの質は高い 個人的には Keras の実装の話などをもっとして欲しかった Keras 作者の Chollet 氏が書いた deep learning 本ということで、どんな内容なんだろうと思って読んでみた。 結論から言うととてもよく書けている本で、対象読者は Keras を使って deep learning を始めたい（始めてみた）という人かと思う。 どんな経緯で出した本かとかそういうのは全然知らないが、deep learning が使えるようになるための getting started となる決定版を書いたぞ、という印象を受けた。 自分としては
3月1日、Homebrew のデフォルトの Python が Python 3 になります。 - methaneのブログ
以前からアナウンスされていた 通り、 3/1 （日本時間では 3/2 になるかも）にデフォルトの Python が Python 3 に切り替わる予定です。 現在そのプルリクエストがレビュー中です。 github.com 具体的には、今まで "python" という formula は Python2.7 でしたが Python 3.6 になります。 Python 2 をインストールするには brew install python2 もしくは brew install python@2 とします。（これまで使えていた python3 という Formula は python への alias になります。） 何らかの理由で意図的に Python 2 を選択しているユーザー以外は、 brew install python で（推奨される）Python 3をインストールできるようになるので、こ
（翻訳）Apache Arrowと「pandasの10項目の課題」 - Qiita
始めに：pandasの作者であるWes McKinneyさんがPythonのデータツール関連でとても興味深いblogを書かれているので、翻訳して日本のPyDataコミュニティに公開してもいいでしょうか、とお聞きしたところ、快諾をいただきましたので少しずつ訳して公開していこうと思っています。 2017/9/21（木） Apache Arrow、pandas、pandas2、そして最近の私の作業の大まかな方向性と視界が開けてきている未来に関して、これから一連のポストを書いていきます。このポストはその第一弾です。少々量があり、全体に技術的な色合いが濃くなっていますが、興味を持たれたなら読み進めていってください。 このポストでは、pandasの内部構造に関する主要な問題のいくつかと、それらに対して私が着実に進めてきた現実的な解決策の計画と構築について、できる限り簡潔に説明しようと思います。外から見
pythonで小さなツールを作る時のtips - Qiita
自分で小さいツールを作る時に心に留めているtipsです． 書き始めたときは「どうせ書捨てだし」と思って書き始めると意外と長い間，もしくはいろんなところで使うことになったりするので，気をつけておくと後から楽になるというような小技です．大規模なソフトウェアの開発ではまた違った流儀があると思います． メインルーチンを関数にする 関数名はなんでもいいのですが，自分は趣味で main() という名前の関数を用意し，メインルーチンは全てそこに書くようにしています． #!/usr/bin/env python def main(): print('hello, hello, hello!') if __name__ == '__main__': main() pythonの小さなサンプルコードを見たりすると関数外の部分にベタで実行コードが書かれていたりします．もちろんそれでも動くのですが，以下の2点で後
Pythonの環境構築を自分なりに整理してみる
機械学習ブームなどにより、 Python を触り始める Rubyist が増えてきたと思います。その際に問題になりやすいのが環境構築です。Rubyだと rbenv がデファクトスタンダードになっているのに、なぜか Python に… 私の立ち位置もともとは、数年前まで 年に一回Python3でNLTKやらscikit-learnやら機械学習や自然言語処理の環境を作ろうと試みては失敗してPython使うものかと思っていた人でした。それが、Anacondaで環境導入すると、面倒なことは何も考えずに済むということを知り、CookpadではAnacondaを前提に環境構築を勧めていました。 今は、ymotongpooに「郷に入っては郷に従え」と言われたため、pip+virtualenv/venvで全てをこなしていますが、これで困ったことは特にありません。macOS, Windows, Linuxそ
PRMLのアルゴリズムをPython(ほぼNumpyだけ)で実装 - Qiita
自分の勉強（機械学習のアルゴリズムやPythonの勉強）のためにPRMLに掲載されている手法をPythonで実装していきます。 原則としては、アルゴリズムの部分ではPythonの標準ライブラリに加えてNumpyだけ使用可能としていきます。scikit-learnやtensorflowなどの機械学習パッケージは使いません。matplotlibなどの結果を図示するパッケージはアルゴリズムの実装と関係がない限りは使っていきます。また、必要になったらscipyなどの他のパッケージもたまに使っていきます（すでにディガンマ関数などに使用）。ただし、最適化ツール（例えばscipy.optimizeやtensorflowの自動微分機能）などの実装を著しく簡単にするものは使いません。 基本的には、章ごとに一つの手法を実装していきます。一通り終われば二周目に入るかもしれません。自分の勉強のためのものなので、な
PythonでMacの濁音・半濁音のファイルを扱う - Perl日記
MacはNFD形式で日本語のファイルとかディレクトリを作るので、スクリプト内の日本語でひっかけられない。 import os os.mkdir("はっぴー") os.path.exists("はっぴー") #=> True これは引っかかる for file in os.listdir("."): if file == "はっぴー": #=> これは引っかからない print("はっぴー") この場合unicodedataモジュールを使って、MacのNFDからNFCに変換すればよい。 あるいは比較対象をNFDにする。 import unicodedata for file in os.listdir("."): if unicodedata.normalize("NFC", file) == "はっぴー": print("はっぴー") # or for file in os.listdir
日経平均が日中どのくらい変動するかをTensorFlowで予測する （今までのまとめ） - 今日も窓辺でプログラム
この記事について 少し時間が空いてしましましたが、日経平均予測シリーズの続編です。 ニューラルネットワークを用いて、ある日の日経平均の終値が当日の始値と比べて「上がる」か「下がる」か「ほぼ変わらない」かを予測します。 今まで数回の記事で日経平均に関する予測を行ってきましたが、実装にバグがあり数値が正しくないことが判明しました。 これまでやってきた層数の調整や評価をもう一度やり直すことになったので、せっかくなのでその全過程を1記事にまとめなおしておこう、という記事です。 目次 この記事について 目次 ソースコード 何を予測するのか 何を入力とするか 隠れ層の数を調整する 使用した 学習過程 モデルの評価 Precision バックテスト 今後の方針 関連記事 ソースコード 初めに、今回の記事中で使うソースコードを置いておきます。 github.com 何を予測するのか 日経平均株価の終値が、
金融データのPythonでの扱い方 - 今日も窓辺でプログラム
はじめに Udacityというネット上のビデオを視聴する形で受講できる講義を提供しているサイトがあります。 Learn the Latest Tech Skills; Advance Your Career | Udacity サイトや講義は英語なのですが、その中で Machine Learning for Tradingという講義を見つけました。 この講義は主に3つのパートに分かれています 金融データをPythonで操作する コンピュータを使った投資 取引に使う機械学習アルゴリズム 1つ目のパートを視聴したので、Pythonの基本的な知識の部分で知らなかった点を、実際のデータを操作する中で紹介しようと思います。 2つ目と3つ目はまた後日にでも。。 目次 はじめに 目次 今回使用するデータとJupyter Notebook データの読み込み 移動平均の計算 pandasのrollingを使
PythonでさくっとWebスクレイピングする (JavaScript読み込みにも対応しつつ) - Qiita
はじめに Webページから特定の要素を抽出してごにょごにょしたいときってよくありますよね。 （あるECサイトのある商品の在庫や価格を5分毎にウォッチしていたいとか、文書分類のために本文を正確に抽出したいだとか、などなど...） そういう要素抽出をWebスクレイピングと呼んだりしますが、そんなときにもPythonは便利です。 ところでそういう目的ぴったりの、クローラー／スクレイピング Advent Calendar 2014というのがあって、以下の記事がよくまとまっています。（ちょっと前にその存在に気づいた） http://orangain.hatenablog.com/entry/scraping-in-python まずはやってみよう 前述の記事の最後にある通りPythonでスクレイピングするときにはrequestsとlxmlでだいたい事足ります。 ではさっそくテレ朝ニュースの以下のペー
Pythonの環境設定でむかついてる人はとりあえずこれをコピペで実行してください 2017.01 - YAMAGUCHI::weblog
はじめに こんにちは、最近Pythonをまた書き始めたマンです。なんか古い記事が参照されててだいぶ害があるので現状にあったやつにします。 Pythonの環境設定でむかついてる人はとりあえずこれをコピペで実行してください - YAMAGUCHI::weblog 要点 これからPythonを使い始める人、という前提に立っているので今更Python2系を使い始める意味はない。*1ということでPython3系（現時点最新安定版のPython3.6.0）を使いましょう。 標準を使うのがよい（venv + pip） 自分がよく分かってないツールは使わないほうがいい Python2系を使う人は、上にリンクしてある記事にあるとおりなんですが、Python2.7を使うのであれば pip + virtualenv 一択だと思います。やり方は下にある内容と変わりません。 以下コピペ macOS Homebrew
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「位置データもPythonで！！！」というタイトルで「PyConJP 2021」で発表しました！ - Pythonと本と子供と雑談と
OpenCVが使えるiOS用のPython環境、Pytoを使ってみた。
Pythex: a Python regular expression editor
バグだらけのWebアプリケーションをDjango 2（Python 3）で実装してみました - Qiita
Pythonの処理系はどのように実装され，どのように動いているのか？ 我々はその実態を調査すべくアマゾンへと飛んだ．
