Design solusion forum2016での発表資料. http://www.dsforum.jp/2016/timetable.html Read less
![画像処理ライブラリ OpenCV で 出来ること・出来ないこと](https://cdn-ak-scissors.b.st-hatena.com/image/square/5f84143438286f7e8ed1ad2abfe238d5b37e6d2d/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fdesignsolusionforum-161015121717-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
こんにちは。SPEEDA開発チームの鈴木です。 調べてみるとなかなか興味深い技術であるマルチホストでのDocker Conainer間通信。 これをどのように実現しているのか説明したいと思います。 が、その前に今回の投稿では、まず基礎知識的な話としてDockerのネットワークについて順を追って説明をします。 Dockerのネットワーク docker0 docker0に接続されているネットワーク・インタフェース veth ネットワーク名前空間 Docker Containerのネットワーク名前空間を参照する ルーティング シリーズ Dockerのネットワーク docker0 Dockerをインストールしたあと、ifconfigやip addr showするとdocker0なるものが表示されるようになるので、気になっていた人もいるかと思います。 これは一体何者なのでしょうか。 [kenji@a
皆さんこんにちは お元気ですか。私は元気です。 分析は基本的にPythonを使って行います。(大体Pandasですが・・・) Pandasを利用すると色々できます。が、ふとどうするんだっけ処理が増えていきました。 自分のメモがてらカテゴリを分けて記録に残したいと思います。 最後のほうは特徴量の作り方集になっています。 Kaggleで実際に使ったことがある処理も数多く掲載しました。 思いついたら随時、追加しようと思います。 準備 ファイル操作 読み込み 書き込み テーブル操作 1行ごとに処理をする。 複数列を取得する。 選択操作 テーブル条件の指定 複数条件の指定 NaNを埋める。 カラム、テーブルの統計情報を取得する。 完全一致の列を発見し、除去する。 日付操作 日付から日などの情報を取得する。 2つ以上のDataFrameの結合操作 内部結合 外部結合 2つの結合処理 集計操作を使った特
やっとchainerでCNNを動作させるところまで辿り着きました。かたりぃなです。 何がやりたいのか? ARというかHololensのMRで現実世界のオブジェクトを識別して追加の情報をユーザーに提示できれば楽しいだろうなと思っています。 HololensのAPIを軽く見たところ、深度マップなどの面倒は見てくれるようですが、画像からの物体検出などは見当たりませんでした。 画像処理といえばOpenCVなんかが有名で、最近はdnnモジュールが追加されているのでこいつを使って公開されている学習済みモデルを取り込めば一般物体認識はできそうですが、学習済みモデルを持ってくるだけでは私のやりたいことに届かなさそうです。 手作業で前処理や特徴抽出を記述していくのもアリかもしれませんが、そういう試行錯誤に時間を費やすのは勿体ないと思います。 なら自前でモデルを作ってDeepLearningのフレームワークを
こんにちは。代表の島田です。 最近はDeepLearningがホットなキーワードになっていますが、トピックモデルという自然言語処理における手法も、少し前に注目を集めました。聞いたことはあるけど何なのかわからない、という方のために、今回はトピックモデルに関して説明します。 Pythonなどの言語ではライブラリが利用できますが、トピックモデルなどの原理を知っておくことでパラメータチューニングが思いのままにできるようになります。 LDAやトピックモデルについては最新の技術!というわけではないので他にも解説記事があると思いますが、今回は「流行りの単語がとりあえず何なのか知る」ということを目的に、前半は機械学習エンジニアではない方にもわかりやすく解説しようと思います。 モチベーション 単語をベクトルで表したい! 自然言語データを使ったレコメンドエンジンの構築やテキストの分類などで、単語をクラスタリン
1. はじめに データ解析には解析するターゲットごとにいくつかパターン↓があります。 データの型 eg. 画像、言語、数値、時系列 学習用データの形態 eg. 単純な瞬時データ、ユーザーidに紐づいた過去の履歴、大量の欠損値 スコアリング指標 eg. Accuracy、Fn measure, Matthews correlation coefficient こういったパターンごとの、解析のファーストステップや細かいノウハウをkaggleで調べられれば良いなと思い、過去2年分のKaggleコンペをリスト化しました。(ひとまず元々のデータ形式別で分類しています) *1 コンペ自体は5年以上前から開催されていますが、「Kernels」へアップロードされているコードをすぐに見ることができるのはここ2年分のみとなります。人によってはGithubへ素晴らしいコードをアップし、Discussionでリン
buildersconとは 4日 初めてのMySQLチューニング -データベースは怖くない! ランチセッション 横山三国志に「うむ」は何コマある?〜マンガ全文検索システムの構築 Goで実装する軽量マークアップ言語パーサー RDBアンチパターン リファクタリング LT 5日 ここまで出来るmruby Ionic 3+ではじめる次世代アプリ開発(HTMLでiPhoneアプリをつくろう!) ランチセッション OSS の引き継ぎ方 WEB+DB PRESS 100号記念 特別企画 1部:WEB+DBの過去を振り返る(1〜100 2部:編集部に対しての質問 汎用CMSから新規開発の自社サービスへ移行した事例のご紹介 所感 buildersconとは buildersconは「知らなかった、を聞く」をテーマとした技術を愛する全てのギーク達のお祭りです。buildersconではトークに関して技術的な制
はじめに 前回 ハミルトニアンモンテカルロ法の実装をやった. 今回は No U-Turn Sampler (NUTS)の実装をやる. 論文を参考にした. コードはここにもある github.com NUTS ハミルトニアンモンテカルロ (HMC)はパラメータの勾配を利用して, 効率的にMCMCサンプリングを行うことができる手法だった. HMCの問題点は2つ. 更新ステップ数 を適切に指定しなければいけない. 更新の大きさ を適切に指定しなければいけない. NUTSは更新ステップ数を自動的に決定する手法である. 論文内でははdual-averaging (Nesterov 2009)を用いて決定するが,今回は決め打ちにする. 更新ステップ数L ハミルトニアンモンテカルロでは,正規分布によって発生させた運動量を与えて, ステップの間,点を動かす. 予め決められたステップの間,点を動かすので,例
はじめに 今までなんとなくStanなどを使ってMCMCをやっていた。 ギブスサンプリングぐらいなら昔勉強したけど、ハミルトニアンモンテカルロや、ましてやNUTSなどは何をやっているのかあまり理解していなかった。 基礎からのベイズ統計学という本を読んで、ハミルトニアンモンテカルロまではなんとなくわかったので、プログラムを書いて理解する。 NUTSはまだわかってないので、 独立MH ランダムウォークMH ハミルトニアンモンテカルロ を実装する。 理論は他の方のブログや本を参考にしてほしい。 自分の理解で適当に書いているので、間違ってたらごめんなさい。 データ なんでもいいけど、平均3標準偏差1の1次元の正規分布に従うデータから、その平均と分散を推定することにする。 import numpy as np from numpy import random from copy import deep
2つrepositoryがあり後者の方がmelpaで入るもの。どうやら後者は前者のforkらしい。 tkf/emacs-ipython-notebook: IPython notebook client in Emacs millejoh/emacs-ipython-notebook: Jupyter and IPython 2.x/3.x notebook client in Emacs install package-installで入れる。 M-x package-install ein 注意点としてemacsのversionを上げないとうまくいかない模様。25に上げる必要があった。結構アグレッシブ。 Unknown method kind :around · Issue #219 · millejoh/emacs-ipython-notebook how to use 使い方は以下
multiversionの基礎 自分用のMulti Version Concurrency Controlのまとめ MVCCの基礎理論をまとめておく。今後はここを参照する。 基本的にTX本とCC本から必要な部分をまとめている。 (一回まとめてるけど、Multi-version Conflict Serializability - 急がば回れ、選ぶなら近道 前回はそもそもCSRとの混線を防ぐという意味だったので、今回はもっと基本的なところからさらに。今回はCSRとの関係はガン無視。) 前置き:自分の考えを記録的に 基本的にMulti Version Concurrency Control (以下MVCC)は理論先行だった。これはMVCCのオーバへードがsingle-versionのパフォーマンスを凌駕できなかったことによる。以下の理由によりMVCCが今後は伸張すると考えている。 1.メモリー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く