確率的プログラミングライブラリ「Edward」まとめ – かものはしの分析ブログ
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト Edwardで何ができるのか知らなかったので、忘備録として残しておきます。 目次 ・Edwardとは ・Edwardでできること ・参考スライド ・参考文献 Edwardとは ・LDAで有名なコロンビア大のBlei先生の研究室で、2016年より開発されている確率的プログラミング(( プログラミング言語の変数をモデルの構成要素として使うプログラミング))のPythonライブラリ。 ・積み木のように明快な形で確率的モデリングを行うことができる。（モデル→推論→評価 を一括
TensorFlowのデータフォーマットTFRecordの書き込みと読み込み方法
TFRecordを使用する理由 TFRecordの作り方 ExampleレコードとSequenceExampleレコード Fashion MNISTをTFRecord化してみる TFRecordの中身を確認する方法 TFRecordの読み込み方 実際に実装してみる TFRecordを使用する まとめ 参考 TensorFlowが推奨しているTFRecordというデータセットのフォーマットがあります。 TFRecordを使いこなせるようになると、大規模なデータを効率的に学習できるようになることがあります。 本記事では、TFRecordの使い方をマスターできるように読み書きする方法を解説し、実際にQueueRunnerを使った実装をしてみます。 TFRecordを使用する理由 TFRecordの中身はProtocol Bufferというバイナリフォーマットです。一度TFRecordを作成するこ
VSCodeでのPythonのデバッグと、Dockerコンテナ環境に接続してリモートデバッグする方法 - Qiita
経緯 この記事はPyCon JP 2017 Development Sprintsでの取り組みと、 その後の勉強会(Nagoya.Swift+ 9月度勉強会 - connpass)での取り組みをまとめたものです。 注記 下記の内容は2017年当時のものであり、現在ではよりよい方法があります。下記の内容に従って環境構築を行うのは、次の観点でおすすめできません。 pyenv が必要になるケースはかなり限定される一方、環境の構成に与える影響が大きいので導入には慎重になるべき Docker Container への接続を行った後のデバッグ手法については Remote Development でより容易に実現できる 例えば次に従うことで、Docker Container を開発環境として利用できます。 下記の内容は 2017 年当時の環境を知るための資料として残しますが、現在でもこの手順に従うことを
DeepLearningで アイドルグループの歌詞を自動生成してみる - Qiita
はじめに DeepLearningで好きなアイドルグループの歌詞を自動生成してみました。 所要時間は、学習データ１万行ぐらい（文字数78815文字）で30分~1時間程かかりました。 使用ツール OS:Windows 言語：Python2 Pythonの環境：Anaconda 4.4.0(Windows)Python 2.7 version 64bit 歌詞取得ツール：Lyrics Master 2.4.8.1 他：コマンドプロンプト 学習データの取得 Lyrics Master 2.4.8.1を使いました。 黄緑色で囲まれた Lyrics Master 2.4.8.1 for Windows (ZIP)を選択 http://www.kenichimaehashi.com/lyricsmaster/ ここで好きなアイドルの歌詞を取得してきます。 ZIPで落とせたら、LyricsMaster.
機械学習、深層学習のプラットフォームの整理 - Qiita
PaaSサービスの簡単な説明 各ベンダーの提供サービスには予め学習されたモデルの翻訳や画像・動画認識などが用意されています。 Google Cloud Platform Google社が提供する機械学習プラットフォームになります。 サイズを問わず、あらゆるデータの機械学習モデルを簡単に構築できるマネージド サービスです。 クラウド上に用意されたTensorFlowも使えます。 ※サイトより抜粋 機械学習の内容 ・Cloud Machine Learning Engine 教師ありの回帰・分類、教師なしのクラスタリングなどさまざまなデータから学習ができます。 使用アルゴリズムは非公開。 Azure Machine Learning Azure Machine Learning は、クラウドの予測分析サービスであり、分析ソリューションとして予測モデルを迅速に作成し、デプロイできるようにします。
データサイエンティストもしくは機械学習エンジニアになるためのスキル要件とは（2017年夏版） - 渋谷駅前で働くデータサイエンティストのブログ
この記事は2年前の以下の記事のアップデートです。 前回はとりあえずデータサイエンティストというかデータ分析職一般としてのスキル要件として、「みどりぼん程度の統計学の知識」「はじパタ程度の機械学習の知識」「RかPythonでコードが組める」「SQLが書ける」という4点を挙げたのでした。 で、2年経ったらいよいよ統計分析メインのデータサイエンティスト（本物：及びその他の統計分析職）vs. 機械学習システム実装メインの機械学習エンジニアというキャリアの分岐が如実になってきた上に、各方面で技術革新・普及が進んで来たので、上記の過去記事のスキル要件のままでは対応できない状況になってきたように見受けられます。 そこで、今回の記事では「データサイエンティスト」*1「機械学習エンジニア」のそれぞれについて、現段階で僕が個人的に考える「最低限のスキル要件」をさっくり書いてみようかと思います。最初にそれらを書
pythonでデータ分析を初めたばかりの人へのリンク集 - Qiita
pythonでデータ分析を初めたばかりの人へのリンク集です。 （＊研究室後輩のために書いているので研究ってキーワードがちょくちょく出て来ます。） 対象：python使ってデータ分析始めたばかりの人 目的：この分野は全くの初学者にはハードルが高い（環境の設定がめんどくさい、調べることが多すぎて何から始めていいかわからなくなる、など）ため、調べるヒントとなるキーワードを与えることが目的。 はじめに データ分析で使うスキルは３つに分かれるとか言われています。（データサイエンティスト協会プレスリリースより） ここではとりあえずこの３つに基づき、研究ではサポート的な意味合いの強い「データエンジニアリング」と「ビジネス」の参考になりそうな記事やキーワードをうすーくさらいます。（もちろんこれができないとそもそも研究できないので超大事！）スタートダッシュのために参考になれば◎！ リンクリスト 「データエン
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
『ゼロから作る Deep Learning』の代わりになりそうな情報 - Qiita