深層学習モデルの実装を爆速にするVSCodeの設定メモ - May the Neural Networks be with you
こんにちは。@shunk031です。 新型コロナウイルスが猛威を奮っていますね。 不要不急の外出は控えるのが大切そうです。 こういう時は引きこもって論文を読むのが一番です。 今回はコードエディタであるVSCodeで、深層学習モデルの実装を爆速にするための設定についてメモします。 深層学習モデルの実装をする際にはリモート上にあるGPUを搭載したサーバで実装をしたりデバッグすることが非常に多いです。 VSCodeはこうしたリモートでのコード編集およびデバッグを簡単に行える仕組みを多数揃えています。 本記事では、深層学習モデルの実装に頻繁に利用されるPythonを対象に、以下の観点からモデルの実装を爆速にする設定や機能について紹介します: Pythonの開発環境の構築 リモートのGPUサーバに接続するための設定 深層学習モデルの実装・デバッグを簡単にする機能 おすすめのショートカットキー・拡張機
［Python入門］Beautiful Soup 4によるスクレイピングの基礎
連載目次 前回は、urllib.requestモジュールを利用して、Webからファイルを取得する方法の基本を見た。今回は、このモジュールを使って得たHTMLファイルからBeautiful Soup 4というライブラリを使って必要なデータを抜き出す方法を見てみよう。 スクレイピングとは スクレイピング（scraping）とは、Webサイトに表示されたHTMLページ（あるいはXMLなど、その他のリソース）から自分が必要とする情報を抽出する（抜き出す）ことだ。特に近年では、機械学習などで大量のデータを取得する必要が出てきていて、それを手作業で行うことは現実的ではないことから、プログラムを使ってそれを自動化（半自動化）することが多くなっている。 Pythonにもスクレイピングを行うためのフレームワークやライブラリといったものが幾つもある。今回はそれらの中でBeautiful Soup 4というライ
あなたのPythonを爆速にする７つの方法
最近プロコン（プログラミング・コンテスト）をはじめました。 基本的にはアルゴリズム勝負なのですが、とにかく速度を競うプロコンです。 小手先の速度チューニングもバカにできません。 何が速くて何が遅いのかはっきりさせるため、ボトルネックになりそうな操作のベンチマークを取りました。 実行環境は下記のとおりです。 python2.7.5 OS: MacOSX 11 CPU: Core i7 2GHz (4core) MEM: 16GB その1. 配列の初期化を高速化する まずはプロコンの基本中の基本、配列の初期化です。 下記７つの初期化方法を比較してみます。 空配列へappendして配列をつくる for内包表記で配列をつくる サイズ1(None)の配列を乗算してから値を代入する サイズ1(None)の配列を乗算する サイズ1(ゼロ)の配列を乗算する すべてゼロのarrayをつくる 0〜nのarra
チュートリアル基礎編 — Cython 0.17.1 documentation
Cython の基礎¶ Cython の本質を一言で表すなら、「Cython とは C のデータ型を持った Python である」といったところでしょう。 Cython は、まるで Python のように動作します。Python のコードは、ほとん どが Cython のコードとして使えます (いくつか Cython の制約 はありますが、現時点では、ほぼ同じといえます)。 Cython のコンパイラは Python のコードを C のコードに変換し、等価な Python/C APIへの呼び出し に変えます。 しかし、 Cython のできることはそれだけではありません。パラメタや変数に C のデータ型を持たせられるのです。 Python の値と C の値を操作するコー ドを自在に組み合わせることができ、それらの間に互換性があれば、自動的に 変換を行います。Python における参照カウン
深入りしないCython入門 - Qiita
Cythonとは？ Pythonは処理速度は決して早くない、むしろ遅い部類である。 そこで、C/C++に変換することにより高速化しようというのがCythonである。 低級言語のC/C++（昔は高級言語だったが、現在は低級言語といって良いだろう）に変換してネイティブコンパイルするのだから、速いに決まっている。 この記事の目的 「Cythonは難しい」、「CythonはC/C++の知識が必要」という印象があるだろう。答えは「Yes」である。 しかし、その答えはCythonをフルに使いこなす事が前提である。 実はCythonは、C/C++をそんなに知らなくても、ちょっとした高速化には充分な恩恵を得られるように設計されているのだ。 しかし、無闇にCythonを使っても「あまり高速化されない」、「移行がすごく大変」と散々な結果になるだろう。そこら辺のポイントを踏まえ、C/C++をあまり知らない初心者
NumPyのリファレンス - TEXT/YUBASCRIPT
NumPyとは Pythonの数値計算ライブラリ。中身がCで書かれているため、適切に使えばすごく速い計算ができる。 統計処理の関数（および日本語リファレンス）はRのほうが充実してる気がする。 インストール Ubuntuの場合 $ sudo apt-get install python-numpy WindowsとかMacとかで使いたい場合はこのサイトが参考になる。 モジュール名がnumpyなので、Pythonコード内で import numpy とすれば使えるが、いちいち5文字も書くの面倒なので import numpy as np と省略するか、もっと割りきって from numpy import * とする。以下この最後のやり方でインポートしたつもりで書く。 データ型 NumPyで使うデータ型は以下のとおり。 bool inti int8 int16 int32 int64 unit8
python のPILで画像処理を試してみる（インストール編） - "Diary" インターネットさんへの恩返し
Raspberry piのWebカメラで取得した情報を色分析とかしていろんなものの、判定できないかなぁと。 夕方になった～、朝になった～、花が咲いた～、花が散った～など。 でぐぐったらこんなありがたいページが。 ライブラリ：PIL Pythonの「PIL」というライブラリについてご紹介します。 ということで、Raspberry piに実装する前にWindows PCでテストした。環境は windows 7(x64) / python 2.7を使用しています。 以下 インストール履歴 (遠回りもしているのでスムーズに入れたい場合は、1,2,6をやってください。 1.パッケージインストーラの実装（一般的なところなの読飛し可） こちらのページを参考に setuptool と pip をインストールします。 setuptoolのインストール。こちらの「windows」の箇所から ez_setup.
Windows + Python 64bit版でPython Imaging Library (PIL)を使用する
Windows 7 64bitな環境に、Python 2.7の64bit版をインストールして使用してます。 ちょっと画像加工をするプログラムを書かなくてはいけなかったので、 Python Imaging Library (PIL)を http://www.pythonware.com/products/pil/ ここからダウンロードしてインストールしようとすると・・・ こんなエラーメッセージが表示され、インストールできません。困った。 Windows7, 64bitのPythonでPIL.Image.showを使えるようにする http://d.hatena.ne.jp/yatt/20110403/1301812432 Unofficial Windows Binaries for Python Extension Packagesというサイトがあるそうです。 Unofficial Win
機械学習はじめの一歩に役立つ記事のまとめ - Qiita
「機械学習」というワードになんとなく惹かれつつも、具体的にやりたいことがあるわけでもないので、手を動かすことなくただひたすら「いつかやる」ために解説記事やチュートリアル記事を集める日々を過ごしていたのですが、このままじゃイカン！と Machine Learning Advent Calendar に参加登録してみました。 が、やはり何もしないまま当日を迎えてしまったので、お茶濁しではありますが、せめて「機械学習ってどんな手法やライブラリがあって、どんな応用先があるのか？」というあたりをざっくり把握して最初に何をやるのか方向付けをするためにも、たまりにたまった機械学習系の記事をいったん整理してみようと思います。 機械学習の概要 特定のライブラリや手法の話ではなく、機械学習全般に関する解説。 機械学習チュートリアル@Jubatus Casual Talks 冒頭に、 初めて機械学習を聞いた⼈人
PythonでWeb開発入門 みんなのPython Webアプリ編 HTML版(無料) | TRIVIAL TECHNOLOGIES 4 @ats のイクメン日記
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー 一部読者から高い評価をいただき，絶版となりながら中古市場でプレミア価格がついていた拙著「みんなのPython Webアプリ編」のHTML版をお送りします。Pythonを使って，Webアプリを開発するための方法を，基本的な事柄から積み重ね式に解説した書籍をHTMLにしたのが本コンテンツです。 編集部のご厚意で作ってもらった配布用PDFをベースに作っています(PDF作成だけでなく，出版契約の解除など必要な手続きを快く受けて頂いた担当様にはとても感謝しております)。構成などは著書をベースにしていますが，HTML化する過程で少し手直ししてあります。特にPython 2.7で動かないサンプルコー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Mac に MacPorts で Python をインストールする。 -
Cython ドキュメント（和訳） — Cython 0.17.1 documentation