なぜ機械学習にPythonが強いのか、Pythonで並行処理をするコツを伝授【PyData.tokyo】
Pythonにおける並行処理の行い方 ここからはPythonのパフォーマンスチューニングに話題を移そう。最近では「Pythonが遅いのでマルチスレッドやマルチプロセスにしたい」という問い合わせが増えてきていると言う。 石本氏は「近年のパソコンはマルチCPUなので気持ちは分からなくない」と同情しつつも、「ぶっちゃけ、マルチスレッドやマルチプロセスにしただけではそう速くならない。ある程度は工夫できるが、成果はあまり期待しないこと。数倍速くなることはない。せいぜい数割。処理を速くしたければ、計算量やデータ量を削減するのが基本」と断じる。 一般的には並行処理にはthreadingモジュールやmultiprocessingモジュールを思い浮かべるかもしれないが、石本氏はPython 3.2で追加されたconcurrent.futuresのほうが「より便利なので、できるだけこれを使ってほしい」とおすす
Deep Learningの学習の様子を可視化する、fastprogressがすごく良さげ - Qiita
from fastprogress import master_bar, progress_bar n_epochs = 20 # エポック数 b_batches = 10 # 1エポックあたりのバッチ数 x_bounds = [0, n_epochs] # 表示させる学習曲線の図のx軸の範囲 y_bounds = [0, 1] # 表示させる学習曲線の図のy軸の範囲 mb = master_bar(range(n_epochs)) for i in mb: # エポックに関するイテレーション for j in progress_bar(range(n_batches), parent=mb): # バッチに関するイテレーション # バッチごとの学習処理を記述 train(x_batch, y_batch) graphs = ... # グラフに関する設定 mb.update_graph(
エンジニアアルバイト氏受け入れテクニック - hitode909の日記
いま社員エンジニアが何人かに加えてエンジニアアルバイト2人、くらいのチームで働いていて、その中でアルバイト氏のメンターもやっている。 前のチームでも何年かアルバイトの面倒を見たり、何回かインターンのメンターをやったりしていた。 手癖でいろんなことをやってしまっていて、属人性が高まってしまっていると感じたので、どんなことをやっているか書いておく。 1日に何回か口頭で会話する 実装ができててから方針がまずかった、となると時間がもったいない 方針書いたくらいでレビュー依頼に出してね、とお願いしてもやってもらうの難しいので、こちらから聞きに行くほうがうまくいきやすい レビュー依頼になったらすぐに見る 社員は明日も要るけど、アルバイト氏は週に数回しか来ないので、その日帰るまでにレビュー完了して打ち返しもしてもらえるように動けると良い レビュー依頼になってなくてもPull Request見に行く 方針
AlphaGoの衝撃再び — タンパク質構造予測でAlphaFoldが今までのモデルに圧勝｜Zhubo.JP
原文記事: [阿尔法狗再下一城 | 蛋白结构预测AlphaFold大胜传统人类模型] (2018/12/03公開) 「研究したいタンパク質があるのだが、その構造と機能がわからない」 — これは分子細胞生物学の研究者が日々直面する最大の難題の一つである*a。アミノ酸配列測定技術が発展する中で、多くのタンパク質の配列がハイスループット*1に解析されているが、この配列決定の段階から実際に3次元構造を決定するまでの間には、未だに大きな距離がある。 生物の基本単位が細胞だとして、細胞の基本的な機能単位こそが、複雑多岐なタンパク質の1つ1つである。そしてまさにタンパク質の機能の本質を決定しているのが、タンパク質の構造である。タンパク質の機能を研究したり、それをターゲットとする薬剤を開発したいというとき、タンパク質の構造はとても重要な要素の一つになる。だからこそ、生物学には、構造生物学という学問領域まで
カメラはもう｢脳｣なしじゃ語れない：コンピュテーショナル・フォトグラフィーって知ってる？
カメラはもう｢脳｣なしじゃ語れない：コンピュテーショナル・フォトグラフィーって知ってる？2019.01.11 21:3020,617 西谷茂リチャード 賢いカメラに未来あり。 気まぐれから始まったデジタルカメラ時代は、これまでに人工衛星、手持ちカメラ、胃カメラというように様々な進化を遂げてきました。もうそろそろ限界かなー、と思いきや、どうやらそのフルポテンシャルはまだまだ先。 次なる進化は｢加工力｣のようです。 通常、カメラの性能の話をするときはセンサーサイズやレンズの明るさなどのスペックが槍玉に上がりますが、これからはカメラどれほど気が利くかが大事になるでしょう。その根幹にある｢コンピュテーショナル・フォトグラフィー｣という技術は、いまは主にスマホカメラを語るときに使われていますます。Googleに続きAppleも2018年の9月に使い始めた言葉なので、2019年は｢ノッチ｣並に連発され
Pythonのパッケージ周りのベストプラクティスを理解する - エムスリーテックブログ
砲撃する自走砲（PzH2000自走榴弾砲）。自走砲は戦車によく似ていますが、戦車ではありません。＊本編とは関係ありません。 こんにちは、エムスリー基盤開発チーム小本です。 Pythonのパッケージ管理周りでは、 「setup.pyでrequirements.txtを読み込むのが普通なんですよね？」 「pipenv があれば venv はオワコンなんですね？」 「pyenvは要らないんですよね！？」 「Pythonは歴史が古い分、Rubyなどに比べてカオス」 みたいな混乱をよく目にします。 実際、複数のツールがあって（一見）複雑です。また「なぜこうした状況にあるのか」がドキュメント化されているわけでもありません。 なので、私なりに整理してみることにしました。 ※「追伸」を追加しました。この記事では汎用プログラミング言語としてPythonを使うケース（Webアプリとか、CLIツールとか、ライブ
本当の問題は量よりも質…IT人材白書「エンジニア不足」の真相 - paiza times
Photo by Tim Regan こんにちは。倉内です。 経済産業省のIT人材の最新動向と将来推計に関する調査によると、2019年をピークに人材供給は減少に転じ、今後ますますIT人材の不足数は拡大していくと言われています。 同調査の概要をまとめた資料では、「IT人材」の不足は（高位シナリオの場合で）2020年に約37万人、2030年には約79万人と予測されていますが、「本当にそんなに不足するのだろうか…？」と疑問に思っている方もいるのではないでしょうか。 そこで今回はデータをひもときながらIT人材不足の本質、特に不足が懸念されている分野、さらにIT人材として今後のキャリアをどのように考えていけばよいのかについて考察していきたいと思います。 「IT人材」の定義 特にIT人材が不足する分野 企業が求めるIT人材の「質」の変化 IT企業自体の変化 IT人材に求められる「質」とは 「IT人材」
AWS CLI のコマンドを自動生成してくれる「AWS CLI Builder」 - 継続は力なり
タダです。 Jeff Barrさんのツイートを見ていたら、「AWS CLI Builder」というサイトが紹介されていました。 Really cool - #AWS CLI Builder - https://t.co/WbagWpfJCx - "Build your own AWS CLI commands..." pic.twitter.com/Kj4NM0x9pd— Jeff Barr ☁️ (@jeffbarr) 2019年1月2日 サイトはこちらです。 AWS CLI Builder By Prasad Domala こちらのサイトでは、AWS サービスごとの AWS CLI コマンド実行支援がされています。 Let me help you BUILD YOUR AWS CLI COMMANDS GET STARTED by choosing a service. AWSマネジメ
LICENSEファイルを生成するコマンドラインツールを書いた
$ license-generator --author <name> [LICENSE_TYPE] [LICENSE_TYPE]: - AGPL - Apache - CC0 - GPL - LGPL - MIT - MPL - Unlicense Options: --author input author name おわりに The Rust Programming Language読みながらRust勉強してる感じだとそんなに難しくは感じないけど、実際にアプリを書くとハマる系の言語だと思ったので、とりあえず何か書くためにlicense-generatorを書いてみた。 元々Rubyで書かれてたlicense-generatorを使ってたのだけど、ランタイム言語がいらないものに書き換えたくてライセンスジェネレータを選んだ。 でもバイナリの配布方法とインストール方法(curl | shみ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
