Jupyter(Python)とBigQueryによるデータ分析基盤のDevOps #pyconjp // Speaker DeckPyCon JP 2017 の発表資料です。ジャンルは「業務利用事例」となります。 追記1. PyCon JP 2017 ベストトークアワード優秀賞を受賞しました！ 追記2. http://yuzutas0.hatenablog.com/entry/2017/09/12/203000 に補足を掲載しています！
Pythonの環境構築を自分なりに整理してみる
機械学習ブームなどにより、 Python を触り始める Rubyist が増えてきたと思います。その際に問題になりやすいのが環境構築です。Rubyだと rbenv がデファクトスタンダードになっているのに、なぜか Python に… 私の立ち位置もともとは、数年前まで 年に一回Python3でNLTKやらscikit-learnやら機械学習や自然言語処理の環境を作ろうと試みては失敗してPython使うものかと思っていた人でした。それが、Anacondaで環境導入すると、面倒なことは何も考えずに済むということを知り、CookpadではAnacondaを前提に環境構築を勧めていました。 今は、ymotongpooに「郷に入っては郷に従え」と言われたため、pip+virtualenv/venvで全てをこなしていますが、これで困ったことは特にありません。macOS, Windows, Linuxそ
【悲報】Googleエンジニア「日本人は海外の発明を無視し、メイドインジャパンとしてパクりを展開する」 : IT速報
Kerasの開発者であるFrançois Chollet氏の発言が話題に。またも、日本語で日本について苦言を呈しています。 Kerasは機械学習の分野で人気のライブラリ。しかし、日本ではChainerという国産ライブラリの方が人気であり、過去にはこれについてキレたことも。 関連：【悲報】Googleエンジニア、日本人に困惑する ちなみに、2chの機械学習スレでも、Keras厨とChainer厨が日々喧嘩を繰り広げています。先日はRebuildでも言及されていました。 https://rebuild.fm/181/ 今回のFrançois Chollet氏のツイートも、発端はChainerへの怒りと思われますが、その他にも同様の傾向がみられるんだとか。 西洋で新しい物が発明されると、最初日本はそれを無視する。数ヶ月後、made in japanのクローンの出現や、既存の日本製品が西洋の発明を
Rebuild: 181: UNK Reply Bot (higepon)
Taro Minowa さんをゲストに迎えて、ボット、機械学習、AI などについて話しました。 Show Notes seq2seq の chatbot を日本語で動かしてみた - Higepon’s blog ひげみbot (@higepon_bot) Convolutional neural network Sequence-to-Sequence Models ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 TensorFlow Keras Theano Chainer 意味分からない。最初からKeras使った方が良くない？流石日本人。Chainer好きすぎでしょ。 MeCab: Yet Another Part-of-Speech and Morphological Analyzer りんな Twitter taught Microsof
マイクロソフト、次期SQL Serverとなる「SQL Server 2017」発表。DBMS内でTensorFlowやCNTKなどのディープラーニングを実行可能に
SQL Server 2017ではグラフオブジェクト対応、過去の処理から学んで自己チューニングするAdaptive Query Processing、SQLクエリにPythonやRを組み込めるなどの新機能を備えています。Windows版とDocker対応を含むLinux版が同時にリリース予定です。リリース時期は未定。 グラフオブジェクトとクエリに対応したことで、ソーシャルネットワークの分析やIoTネットワークのモデリングなど、これまでのリレーショナルデータベースでは困難だった処理が容易になります。 ストアドプロシージャでディープラーニングを実行可能に 新機能のなかでも最大の特徴は、SQLクエリにPythonを組み込むことが可能になり、ストアドプロシージャのなかでTensorFlowやCNTKといったディープラーニングライブラリが実行可能になったことです。 マイクロソフトはSQL Serve
Rebuild: 176: Garbage Collection Police (naoya)
Naoya Ito さんをゲストに迎えて、ディープワーク、データサイエンス、Python, GC, マネジメント、Google Apps などについて話しました。 Show Notes Deep Work: 大事なことに集中する けものフレンズプロジェクト WEB+DB PRESS Vol.97 私たちはいかにして環状線で”悪さをする列車”を捕まえたか Rebuild: 171: Psychologically Safe Podcast (naoya) scikit-learn: machine learning in Python pandas Matplotlib 優良AIスタートアップの見分け方 Apple Rebuilds Siri Backend Services Using Apache Mesos 集合知プログラミング データサイエンスにおけるRubyの現在の位置づけと可能性
なぜ機械学習にPythonが選ばれるのか - Qiita
教育言語として Pythonは「同じインデントレベルの文は同じ塊」というルールを採用しており、見掛け上のPythonプログラムの最大の特徴となっています。 Python作者のGuido van Rossum氏(オランダ人でアムステルダム大学卒)はPythonを開発する以前に、オランダで教育向けの「ABC言語」の開発に関わっており、Python自体はRAD(迅速なアプリケーション開発)がメインで教育用を念頭に開発してはいなかったものの、ルーツとなったABC言語では文法に関してさまざまな研究が行われ、インデントを使うのが初心者にとってもっとも間違いにくいブロックの表現として採用していたのです。(Donald Knuth氏が推進していた。) Rubyist のための他言語探訪 【第 1 回】 Python Pythonがプログラミングの学習に向いているたった一つの理由 From ABC to P
wheelのありがたさとAnacondaへの要望 - YAMAGUCHI::weblog
はじめに こんにちは、Python界のラファエル・ナダルです。全豪オープンテニス、盛り上がりましたね。さて、先日次のようなエントリーを立て続けに書いたんですが、「なぜAnacondaに関しての記述がないのか」という突っ込みをもらったので、参照用にメモを残しておきます。 Pythonの仮想環境構築 2017.01版 - YAMAGUCHI::weblog Pythonの環境設定でむかついてる人はとりあえずこれをコピペで実行してください 2017.01 - YAMAGUCHI::weblog なおこの記事の作成にあたっては @aodag に数多くのアドバイスをいただきました。この場を借りて感謝。 TL;DR condaの開発者はPyPAともっとコミュニケーションとってほしい。 前提 この記事はPythonを触り始めたばかりだけど、パッケージ管理ツール等々のスタンダードがどのようになっているかな
Rebuild: 166: Self-Confident Neural Network (naoya)
Naoya Ito さんをゲストに迎えて、Macbook Pro, Karabiner, Linux, Microsoft, ディープラーニング、Google 翻訳 などについて話しました。 Show Notes Apple’s Thunderbolt 3 to Thunderbolt 2 adapter doesn’t support your Mini DisplayPort displays Thunderbolt 3（USB-C）- Thunderbolt 2アダプタはDisplayPortの接続でディスプレイを表示できないから注意 A Week with the new Macbook Pro with Touch Bar The new MacBook Pro is kind of great for hackers Karabiner Hammerspoon Karabine
［速報］Google、クラウドで高速にディープラーニングを行う「Cloud Machine Learning」発表、TensorFlowベース。GCP Next 2016
［速報］Google、クラウドで高速にディープラーニングを行う「Cloud Machine Learning」発表、TensorFlowベース。GCP Next 2016 Googleは同社のクラウドに関するイベント「GCP Next 2016」を3月23日、24日の2日間にわたり米サンフランシスコで開催しています。 初日の基調講演で、最後の話題は機械学習（Machine Learning）でした。Googleはクラウドサービスの1つとして機械学習機能にも注力することを表明しています。Google Senior FellowのJeff Dean氏は、機械学習はコンピュータの歴史のなかで最も重要な出来事の1つだと説明。 Googleは2012年以来機械学習をさまざまなサービスに利用し、いま社内ではより使いやすくなった第二世代を機械学習を利用しているとのこと。 トレーニング済みの機械学習サービ
Pythonによる機械学習の最前線
2016/2/4 「ソフトウェアジャパン ビッグデータ活用実務フォーラム」でのプレゼン資料です。 主にPythonで書いたコードの高速化の話です。タイトルと中身がマッチしない感じがするのは自覚しています。
RubyKaigi 2015(3日目) - ただのにっき(2015-12-13)
■ RubyKaigi 2015(3日目) 昼休みにグラコロにかぶりついていたら、何人かのrubyistが続々とマクドに入ってきた。みんな寿司食べてるんだと思ってたよ(笑)。そういえばゆうべのパーティでみんなグラコロ同盟や宅配トラッカーの話題を振ってくれていたので、最近作ったサービスもけっこう知名度あるのねと思ったり。 朝イチ(といってもゆうべのパーティの影響を考慮して遅めの開始)のRuby Committers vs the World、一番のニュースはリリースマネージメントから開放されて燃え尽きていたyuguiさんの復活宣言ではないだろうか。もちろんいつもの面白(?)コミット紹介も楽しめた。 ところで今回のRubyKaigiで「あ、これはまずいな」と思ったことに「機械学習系の発表がひとつもなかった」点がある。昨日のパーティでも話題にあげてみたところ、危機感を抱いている人は少なからずいた
科学計算における均質化、あるいはなぜPythonが着実に他言語のシェアを奪っているか - once upon a time,
最近、何故科学計算でPythonがほぼ一人勝ちなのか気になっていたのですが、TAL YARKONI氏による、THE HOMOGENIZATION OF SCIENTIFIC COMPUTING, OR WHY PYTHON IS STEADILY EATING OTHER LANGUAGES’ LUNCHという記事が、その答えに近づける鍵なのかもしれないと思い、試訳をしてみました。 彼は心理学とニューロイメージングを専門とする研究者であり、元々Rを中心に様々な言語を利用していたのですが、最近ではPythonばかり使うようになってきたとのことです。 (更なる議論としては、redditでの議論も興味深いです。) 訳すこと自体が初めてで拙い訳だとは思いますが、間違い等がありましたらコメント等で指摘ください。 翻訳の公開を快諾していただいたYARKONI氏、翻訳のアドバイスをいただいたmrkn氏に
Pythonや機械学習、そして言語の競争について – 極めて主観的な見地から | POSTD
(訳注：2016/1/5、いただいた翻訳フィードバックを元に記事を修正いたしました。) よくある主観的で痛烈な意見を題名に付けたクリックベイト（クリック誘導）記事だろうと思われた方、そのとおりです。以前指導してくれた教授から教わったある洞察/処世術は、些細でありながら私の人生を変えるマントラとなったのですが、私がこの記事を書いたのはそれによるものです。「同じタスクを3回以上繰り返す必要があるなら、スクリプトを書いて自動化せよ」 そろそろ、このブログはなんだろうと思い始めているのではないでしょうか。半年振りに記事を書いたのですから。ツイッターで書いた Musings on social network platforms（ソーシャル・ネットワークプラットフォームについてじっくり考える） はさておき、この半年の間書き物をしていないというのはうそです。正確には、400ページの 本 を書きました。
Welcome — Theano 0.9.0 documentation
Welcome¶ Theano is a Python library that allows you to define, optimize, and evaluate mathematical expressions involving multi-dimensional arrays efficiently. Theano features: tight integration with NumPy – Use numpy.ndarray in Theano-compiled functions. transparent use of a GPU – Perform data-intensive computations much faster than on a CPU. efficient symbolic differentiation – Theano does your d
「Azure Machine Learning」が正式版に、PythonやRのライブラリにも対応。誰でも機械学習を利用可能に
Azure Machine Learningを用いることで、利用者は機械学習のための大量の仮想マシンやHadoopのようなソフトウェアを用意する必要がなくなり、容易に機械学習による推論や予測、分析といったサービスを実現できるようになります。クライアントとしてExcelを利用することも可能。 モデルの作成には、Webブラウザからグラフィカルな操作が可能な「Azure Machine Learning Studio」が用意され、プログラミング不要で分析モデルを作成可能。そのモデルの中で行う計算や学習のためのライブラリとしてPythonとRにも対応ました。 あらかじめ機械学習を利用して構築されたレコメンデーション、アノマリー検出、テキスト分析などのサービスも「Azure Store」で提供され、すぐに利用可能です。コミュニティによるギャラリーも用意されています。いま見たところ「飛行機のエンジンの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
