Data Version Control(DVC)でデータ分析のモデル作成を再現可能にする - Qiita
Data Version Control(DVC)とは？ データ分析や機械学習のコードを書いているときに遭遇する以下のような問題を解決してくれるツールです。 データセットの管理がつらい 例えば、Gitのリポジトリで大きい容量のデータセットを管理することは不便になりがち Githubには1ファイルのサイズ上限100MBで、それ以上はpushできない(https://help.github.com/articles/what-is-my-disk-quota/) 実験条件が微妙に異なるときのバージョン管理 ハイパパラメータ、前処理、データセットが異なるときバージョン管理は煩雑になりがち 実験を再現できるようにする工夫が必要 データセット、スクリプト、各種パラメータなどがそろっていないとモデル作成が再現できない 中間生成ファイルが階層的にあり、最終的にモデルが生成されるといった時の再現性の担保
BuildManifestでUnity Cloud Buildのビルド情報を上手に管理しよう！ - Qiita
この物語はフィクションです。 非プログラマー 「なんかバグってる！直して！」 プログラマー 「どれどれ？バージョンは？」 非プログラマー 「えーっと、ちょっと前のやつ！」 プログラマー （ちょっと前っていつのだよ？何回ビルドしたと思ってんだよ！？） はじめに 先ほどの物語はフィクションではありますが、モバイルゲームアプリの開発現場において、このような不幸な経験がある方も多いのではないでしょうか？ 解決策の一つはバージョンをゲームアプリ内に表記して、それを報告してもらうことです。（もちろん端末のアプリ管理機能を使って調べてもらうのもありですね。） しかし、これはビルドごとにバージョンを適切に更新している必要があります。 また、もし製品版やデバック版、ステージング版など複数のビルド設定がある場合、不具合が発生したのがどのビルド版なのかを把握する必要もあります。 前述のフィクションの物語が起
Unity 設定情報(Config値)をスマートに管理する - Qiita
「設定情報」とは 本記事で使う「設定情報」とは、ビルド時または起動時に設定値が決定し、アプリケーション中で動的に変更しないパラメータを指しています。 具体例 ゲームのバージョン情報 通信先サーバのホストやポート設定 外部アプリケーション連携用のAccessTokenやKey 目標 1.staticクラス経由で簡単に設定値を参照できるようにする 2.InspectorViewから簡単に設定を切り替えられるようにする 設定は環境ごとにまとめて管理して、それを選択するだけで済むようにしたい 3.設定は一度ロードしたらオンメモリでキャッシュさせる 毎回ロードするのは無駄なのでロードしたタイミングでキャッシュし、シーンをまたいでも揮発しないようにします。 実装 1.ScriptableObjectを継承した設定クラスを用意する [Serializable] public class Applicat
自然言語処理における前処理の種類とその威力 - Qiita
自然言語処理に前処理は不可欠です。テキストは文字の羅列であり構造化されていないため、そのままでは処理するのが難しいです。特にWebテキストの中には HTMLタグ や JavaScript のコードといったノイズが含まれています。このようなノイズは前処理して取り除かなければ期待する結果は得られないでしょう。 出典: Deep learning for computational biology 本記事では自然言語処理における前処理の種類とその威力について説明します。説明順序としては、はじめに前処理の種類を説明します。各前処理については、1.どんな処理なのか、2.なぜその処理をするのか、3.実装方法(なるべく) という観点から説明します。種類について説明した後、前処理の威力を測るために前処理をした場合としなかった場合での文書分類の結果を比較します。 前処理の種類と実装 この節では以下に示す5つ
Deep Forest :Deep Neural Networkの代替へ向けて - Qiita
技術動向についていくことは多くの労力を必要とする。次々に新しい論文が発表されるためだ。 一方で最新論文さえも長年の地道な積み重ねの上にあることを、その引用文献から気付かされる。 ディープラーニングブームの流れも変わるのだろうか？ 勉強のため、2017年2月28日付けでarXivに投稿されたZhi-Hua Zhou, Ji Feng「Deep Forest: Towards An Alternative to Deep Neural Networks」を翻訳した。 訳には誤りがないよう注意を払いましたが、完全であることを保証できないため、実装等の際には元論文を参照願います。 原文： Deep Forest: Towards An Alternative to Deep Neural Networks https://arxiv.org/abs/1702.08835 https://arxiv
UniRxについて書いた記事をまとめてみた - Qiita
概要 過去に自分が書いたUniRx（Rx含む）の記事を一覧にまとめてみました 皆様の参考になればいいなぁと思います。 記事を書いた当時と比べると現時点ではもっと良い実装方法がある記事もあったりするかも。 UniRx入門シリーズ UniRx入門もくじ 過去に作ったスライド 未来のプログラミング技術をUnityで -UniRx- はじめてのUniRx 逆引き UniRx オペレータ逆引き Rxの基礎について Hot/Coldについて HotとColdについて Hot変換はどういう時に必要なのか？ Multicastの使いドコロ Rxのややこしい性質の1つ、ObservableのHot/Coldについてまとめたものです。 UniRxを中核においた設計を行う場合はこの性質の理解は必須です。 その他Rxの説明 Repeatとは何なのか? ストリームのメッセージ同士を比較する PaerWise/Buf
FPGAでDeep Learningしてみる - Qiita
はじめに XilinxがBNN-PYNQというプロジェクトを公開したことにより、FPGA初心者でも簡単にDeep LearningをFPGA実行することができるようになりました。早速ボードを購入してデモ実行まで試してみました。 事前説明 PYNQ Xilinxのオープンソースプロジェクトで、XilinxのZynqに実装したFPGAロジックを、Pythonから簡単に使えるようにするためのもののようです。 通常、Zynqでプログラムを実行する際は、CPUで実行するPS(Processing System)と、FPGAで実行するPL(Programmable Logic)に分かれています。Deep Learningでは、Deep Learningを利用するアプリケーションをPSに実装し、並列化による高速化が見込める畳み込み処理やニューラルネットワークの各層の計算処理などをPLに実装するイメージで
（ 論文調査 ）deep neural network の ハイパーパラメータ チューニング知見資料 - Qiita
論文 は いくつかあるのでしょう が、まず は 大御所 Bengio先生 の 以下の論文 が 参考 に なります。 （ 論文 ） Yoshua Bengio Practical Recommendations for Gradient-Based Training of Deep Architectures 以下 の やりとり の中 で 言及されています。 Google group Chainer Japanese User Group 「LSTMにおける中間層のユニット数」 yukinoji お世話になっております。 chainerを利用してLSTMモデルを構築しているのですが、中間層のユニット数の設定が上手くいかず困っております。 現在およそ15000次元の数値ベクトルを入力として与え、それが0,1の2つのクラスのどちらに所属しているかを教師データとして与え、学習を行うよう実装している
NIPS 2016参加報告 - Qiita
先週スペインのバルセロナで開催された機械学習のトップ会議NIPS 2016に参加してきました。論文はWebで公開されているので誰でも読むことができますが、口頭発表を聞いたりポスター発表のディスカッションに参加したり休憩時間中の会話などからも学びがあるため、最先端の研究を知るために参加する意義は失われていないように思います。 NIPSの参加者は指数的に増加していると言われており、今年は5000人（！）の参加者がいました。当然論文の査読も厳しく、採択率は20％前後と言われています。分野のトレンドとしてはディープラーニングのブームが続いていますが、認識系はかなり成熟してきたのでGANなどの生成系と強化学習や外部記憶との組み合わせに中心が移ってきているようです。特に強化学習は会議中にシミュレーション環境のOpen AI UniverseとDeepMind Labが公開され、熱気を感じました。 50
そろそろプログラマーもFPGAを触ってみよう！ - Qiita
これはbuilderscon tokyo 2016の発表スライドです。 自己紹介 @kazunori_279 クラウドのデベロッパー・アドボケイト エバンジェリストみたいなお仕事 コミュニティ支援：GCPUG、bq_sushi、TensorFlow User Group etc 趣味のFPGA 2013年くらいからいじり始め FPGAエクストリーム・コンピューティング主宰：合計8回 これまでに書いたFPGA記事 はてなブックマークでバズった記事たち マイクロソフトはどうやってBingをFPGAで実装したか: 952 users ハード素人が32bit CPUをFPGAで自作して動かすまで読んだ本のまとめ: 576 users 文字通り「ネットワークがコンピューター」な金融HFTでのFPGAの使われ方: 517 users JP Morgan Chaseがデリバティブ専用スパコンをFPGAで
実践UniversalJS 繰り返し処理の分離 - Qiita
ブラウザAPIに依存した複雑なJSの処理から、ロジックを抽出し分離する方法を、事例を通して紹介します。 今回の事例は、繰り返し処理を伴うロジックの分離にgeneratorが有効であった例になります。 はじめに少し Universal ≠ SSR について Universal JSの興味関心は、SSR(サーバーサイドレンダリング)に限りません。 より汎用なロジックの移植可能性がテーマです。例えば markdown文字列の構文解析 deep copy テスト http client ランダムに文字列を出力 と、プラットフォームに依存しないべきロジックすべてが守備範囲になります。 しかし、Universal JSへの関心が薄い層がライブラリを作ると、 たとえばmarkdown"ファイル"の構文解析ライブラリができあがります。「ファイル」は物質世界の登場人物で、この時点でNodeJSでしか利用でき
新入社員が来てメンターになれって言われたけど、どうすればいいのかという対話テクニック - Qiita
エンジニア組織を強くするための本を出版しました Qiitaでエンジニアリングをめぐる様々なコミュニケーションの問題とその解決策や考え方を書いてきた。それらの背後にあるエッセンスをこの度書籍として出版するに至りました。 エンジニアリング組織論への招待 ～不確実性に向き合う思考と組織のリファクタリング この書籍は、エンジニアリングを「不確実性を削減する」という第一原理で捉え直し、様々なエンジニアリングとその間のコミュニケーションをめぐる現象を説明していくものです。 はじめに 最近、メンター制度として新入社員や若手のメンバーに対して、先輩をつけて相談事に乗ってあげたり、仕事のサポートをしたりといったような教育プログラムを組む企業が増えています。このメンターという役割は、ちょっとした訓練が必要だったりするのですが、このあたりの研修や訓練をせずにいきなり明日からメンターね！なんてことがままあります。
Distributed TensorFlowの話 - Qiita
Hadoop Conference Japan 2016 もともとは2月8日に開催されるHadoop Conference Japan 2016のセッションとしてこの話を応募したのですが、あえなく落選しました……（;_;) しかし、ありがたいことに復活戦のLightning Talkの投票では5位に選んでいただき、ランチタイムA会場でお話することになりました。ありがとうございます！ 今回のスライドはここで公開しています。 とはいえ、5分のLTではこの内容をしっかりと伝えられる自信がないので、以下でスライド内容の詳しい解説をしたいと思います。また、2/13にGoogle東京オフィスで開かれるRejected HCJ 2016では、以下の内容をゆっくり普通のセッションとして発表する予定ですので、ご興味ある方はぜひどうぞ。 引用元 今回の元ネタはこちら。より詳しく知りたい方はこちらをごらんくださ
Bigquery上で実行するバッチ処理のテストコードを書く (Ruby編) - Qiita
bigquery上でデータを加工して集計する時、このSQLが本当に合ってんのかテストコードで検証したくなる。 しかし、こういう外部サービスを使った処理のテストコードを書くのはとても面倒臭い。 とはいえ、書かんわけにもいかんし、実際に動かしてみないと分からないこともあるので、実際にbigqueryで処理を実行してテストする方法をまとめてみる。 テストデータのロード bigqueryにデータを突っ込む方法はバルクロードするかStreaming Insertの二つ。 しかし、バルクロードはテストコードを書く時に困るのが、データ量に関わらず処理に一定時間かかること。 どれだけ小さいデータでも最低1分前後は待たされる上に、時々謎の刺さり方をして最悪数分かかる場合がある。 一方でStreaming Insertはまずテーブルを作っておかなければいけないし、Streaming Insertのレスポンスが
2016年版 Node.jsで幸せになれる10の習慣 - Qiita
はじめに Herokuのブロク記事10 Habits of a Happy Node Hacker (2016)を、「洋の東西を問わず、みんな『10のなんとか』って好きなんだな」と思いながら眺めていたら、結構面白かったので内容をピックアップしてみます。 以前、Go言語で幸せになれる10のテクニックというのをあるブログ記事を元にして書いた時には、原題の "Ten Useful Techniques in Go"を意訳して「幸せになれる」としたのだが、今回は原題にシッカリ"Happy"が入っているというおまけ付き。 なお、「2016年版」と言っているのは2013(2014？)年版があるから。これらを読み比べてみるのもまた面白いが、とりあえず今回は最新の2016年版のご紹介。 1. 新しいプロジェクトは npm init で始めろ 新しいプロジェクトはこう始めようよ、と言っている。
TensorFlow 畳み込みニューラルネットワークで手書き認識率99.2%の分類器を構築 - Qiita
TensorFlowとは2015/11/9にオープンソース化されたGoogleの機械学習ライブラリです。この記事ではディープラーニングと言われる多層構造のニューラルネットワークをTensorFlowを利用して構築しています。 TensorFlowはPythonから操作できますがバックエンドではC++で高速に計算しています。macのPython2.7系環境でTensorFlowの上級者用チュートリアルを行い、手書き認識率99.2%の多層構造の畳み込みニューラルネットワークモデルの分類器を構築したときの作業メモです。特別な設定なしにCPU使用率270%メモリ600MByteとちゃんと並列計算してくれました。MNISTランキングを見ると認識率99.2%は上位のモデルとなるようです。 TensorFlowチュートリアル TensorFlowの初心者用と上級者用チュートリアル2つに取り組んでみました
YAPC Asia 2015「Google Cloud Platformの謎テクノロジーを掘り下げる」のまとめ - Qiita
YAPC::Asia Tokyo 2015、ロゴのとおりに熱いイベントでした...今年で最後なのはほんとに惜しいです。最初にして最後の参加となった私は、「Google Cloud Platformの謎テクノロジーを掘り下げる」というタイトルでトークをさせていただきました。 スライドはここに上げてありますが、これだけ見ても意味不明と思われるので、話した内容の要約をまとめブログ代わりに書こうかな、と思ったらかなり長文となってしまいました。基本ポジショントークですが、しかしGoogleに入る前からGoogleクラウドに対して持ち続けている気持ちでもあるし、ここはイケてないなーと思った部分は素直にそう書くようにしました。 しかし謎は謎のまま... Twitter上の反応まとめを見ますと、「謎が謎のまま終わった」とのご指摘も多く、これはほんとに私の不徳の致すところです、申し訳ありません……。スライド
Unity勉強会で体験したオススメ有料Asset - Qiita
金沢Unity勉強会 第5回で体験させて頂いたAssetを紹介します。 気になってるけど、有料なので気軽に使えなかったAssetが体験できる、良いイベントでした。 Editor拡張とスクリプト系を中心に紹介します。 Playmaker Playmaker - Asset Store コードを書かずにロジックを組むことができる。UnrealEngineでいうBlueprintsみたいな感じです。 とても人気の高いAssetで、他の多くのツールと連携がサポートされているようです。 基本的にコードを書かず、全部Playmekerでゲーム開発を完結できるぐらい自由度が高いですが、 管理が大変そうなので、プロトタイピングや一部の機能を実装するときに使うと良さそうです。 参考 ノンコーディングでゲーム開発：PlayMaker概要編｜1 pixel｜サイバーエージェント公式クリエイターズブログ 宴 宴
docker-machine を使って boot2docker から脱却する - Qiita
結論 ローカルで docker 環境をいじりたいけど、ローカルのリソースを使いたくない人には docker-machine が便利です。 さらに、複数の docker ホストを仕事で使ってる人とかは、切り替えも簡単なので、とてもお薦め。 概要 自分は Mac で開発してるのですが結構な頻度で docker build で image を作っては試しの繰り返しをしたりしています。 MBA だとマシンパワーが残念な感じなので、docker-machine を使って Digital Ocean に docker 環境を用意してしまいます。 あたかもローカルで docker run しているけど、実は Digital Ocean に繋いでいるという感じを構築します。 注意 別に boot2docker が嫌いとかではないです。単にローカルのマシンパワーを吸い取られるのがイヤなだけです。 環境 Ma
Docker + Google Container Engine でドカドカ負荷テスト - Qiita
まずは結論 こんな環境が Google Container Engine 上に一発で作れるスクリプトとDocker Imageを作った。 要素技術 Locust Python製OSSの負荷テストツール。分散テストモードがあって、簡単に複数台から負荷をかけるクラスタを構築することができる。今回は、環境変数で master, slave を切り替えられる Docker Image をベースにしている。 Docker Private Registry Google Container Engine で private repository を利用する方法を参照してください。 使い方 事前準備 ビルドサーバに gcloud SDK をインストールし、認証が終わっていること gcloud コマンドでデフォルトの GCP の PROJECT_ID が設定してあること（下記のコマンドでは --proje
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
