「金融予測アルゴリズムを評価するときに、あまり一般的ではないけども自分としては皆に気にかけてほしいこと」を伝えたいと思い MarketTech Meetup #01 (https://alpaca.connpass.com/event/108066/) で話したときのスライドです
為替と株の予測の話
「金融予測アルゴリズムを評価するときに、あまり一般的ではないけども自分としては皆に気にかけてほしいこと」を伝えたいと思い MarketTech Meetup #01 (https://alpaca.connpass.com/event/108066/) で話したときのスライドです
ポエム判別器 - Qiita
ポエム判別器 Qiita初投稿です。よろしくお願いします。 Qiitaは主に読む方で使わせていただいているんですが、統計ヤクザとか見たことがあるので、正直コメント貰っても返すの怖いし（twitterで受けつけます）、Qiitaはいいかなって思っていました。 しかし、今回はQiitaそのものを評価の対象とするので、Qiitaに投稿したいと思います。 Qiitaでは、主観や感情が入り乱れる投稿は嫌われる傾向があり、負のイメージを持ってポエムと言われることがあります。 それを機械学習で分類していれければいいね、ということで、やってきます。 手法選択 考えられるメソッド Bag of Wordsなどでlogistic-regression Bag of wordsなどでsvm Bag of wordsなどでxgboost doc2vec, fasttextなどのエンベッディングでテキスト分類 Re
LOOPY!
In a world filled with ever-more-complex technological, sociological, ecological, political & economic systems... a tool to make interactive simulations may not be that much help. But it can certainly try. It's the ancient, time-honored way of learning: messing around and seeing what happens. Play with simulations to ask "what if" questions, and get an intuition for how the system works!
効率的にゲームを更新する | POSTD
先日、 Things that can go wrong when downloading（ダウンロード時に上手くいかないものごと） についての記事を書きました。その記事に、ネットワークの問題から妥当でないコンテンツ、不完全なハードウェアに至るまで、ゲームを最初にインストールする際に発生することがある一連の原因をリストアップしました。 今回の記事では、ゲームの前バージョンが正常にインストールされているときに、そのゲームを新しいバージョンにアップグレードするのにどんな方法が使えるかについて考えます。 圧縮 あるユーザが利用できる帯域の量は、通常、一定です。ユーザのインターネットアクセスの論理的な最大速度は20mbps、100mbps、1gbps、または、国によってはそれよりずっと低いものです。 私の自宅にはまだ光ファイバが引かれていないので、アクセスは20mbpsという遅さですが、インターネ
RNNで「てにをは」を校正する - にほんごのれんしゅう
RNNで「てにをは」を校正する 余談 2017/3/19に、どの深層学習フレームワークがこれから深層学習を始める人におすすめなのかというアンケートをtwitterで取らせていただきました。 五位 Theano(個別カウント) はじめに RNNによる文章校正がリクルートによって提案されて以来、調査タスクとして私のものとに来たりして、「できるんでしょう？」とか軽く言われるけど、実際には簡単にはできません。 RNNによる文章生成ができるから、校正もできるというのが人間の自然な発想なのかもしれませんが、英語と日本語の違いに着目した場合、英語がアルファベットのみで構築されるのに比べて日本語は、漢字・ひらがな・カタカナと非常に多く、同じように問題を適応すると、すごい高次元の問題を解くこととなり、理想的なパフォーマンスになかなかなりません。 まぁ、あんまり完成してるわけでない技術を完成したようにプレスリ
機械学習エンジニアが知るべき10のアルゴリズム
前回の投稿から大分時間が空いてしまいましたが、現在マーケティング部では、データサイエンスに関する知識を深めるために海外のデータサイエンス記事を翻訳するという取り組みを行っています。主に、KDnuggetsというサイトで紹介されている記事で人気のあるものを中心に選び、原著者より翻訳の許諾をいただけた記事を公開しております。不定期ですが、データサイエンスに関心のある皆様により良い情報を日本語でお届けできるように取り組んで参ります。 初回に取り上げたい記事はJames Le氏の「The 10 Algorithms Machine Learning Engineers Need to Know」です。機械学習の手法が網羅的に紹介されており、実用例も示されています。初めて機械学習に取り組む方のご参考になれば幸いです。 SOURCE https://gab41.lab41.org/the-10-alg
外れ値検出のアルゴリズム、Google Apps Scriptの話他「LT Thursday」Vol.15 | CyberAgent Developers Blog
外れ値検出のアルゴリズム、Google Apps Scriptの話他「LT Thursday」Vol.15 こんにちは、メディア広告部門(MDH)の大江です。 花粉症の方にはつらい季節となってまいりました。 今日は花粉症がしんどいなーと思いきや風邪だったというサイクルを毎年経験しています。 さて隔週で開催している技術者のスキルや知識共有のための勉強会「LT Thursday」ですが、今回で15回目を迎えました。 各プロジェクトから5名のエンジニアが直近のリリースや学生時代の研究に関してプレゼンしました。 1. 外れ値検出のアルゴリズム (大澤) 1人目は外れ値検出アルゴリズムに関して、大澤が発表しました。 外れ値検出とは、他の値と比べて大きく外れた値を検出するものです。 記事広告の読了率を調べる際、滞在時間等のログから異常なものを弾きたいため外れ値検知に関して色々調査したとのことです。 今
円周率の16進数表現100億桁目を求めてみた！ ― 円周率の世界記録をどのように検証するか ― - プログラムモグモグ
あなたは円周率を何桁言えますか。3.14159…という、あの数字です。 円周率の小数部分は無限に続き、循環することもありません。 古来より、数学者は円周率の値を様々な幾何学的な近似や公式を用いて計算してきました。 その桁数は計算機の発明により飛躍的に伸び、収束の速い公式の発見や効率の良いアルゴリズムの発明などによって加速してきました *1。 5年前、私がまだ学生だった頃、円周率1億桁の計算に挑んだことがありました。 私にとって高精度計算の初めての挑戦で、様々な試行錯誤で苦労したのをよく覚えています。 itchyny.hatenablog.com 2017年現在、円周率計算の世界記録は22兆桁です。 円周率計算の歴史をご覧いただくとよく分かると思いますが、近年の円周率計算の世界記録からは次のような特徴が読み取れます。 2002年に1兆を超え、最新の記録 (2016年) は22兆桁 (10進数
中置記法の数式文字列から計算結果を求める操車場アルゴリズム - $shibayu36->blog;
最近 Algorithms, Part I | Coursera の社内勉強会を開いている。そこで「Stacks and Queues」という章をみんなで学習し、議論したところ、中置記法の数式文字列から計算結果を求める操車場アルゴリズム(Shunting-yard algorithm)というものがあるということを知った。 操車場アルゴリズムというのは、中置記法の数式文字列から計算結果を求めるというようなことができるアルゴリズム。オペレータスタックと値スタックの二つがあるだけでトークンを一つずつ読みつつその都度計算するだけで計算結果を求めることができる。パースして構文木を作るというフローを取ることなく計算ができるというのが面白い。このアルゴリズムの説明は Wikipediaの操車場アルゴリズム - Wikipedia の説明が非常に分かりやすい。 このアルゴリズムを使うことで、例えば以下のよ
Learning Modern 3D Graphics Programming
List of Figures 1. Position Vectors2. Direction Vectors3. Vector Addition4. Vector Addition Head-to-Tail5. Vector Negation6. Vector Subtraction7. Vector Scaling8. An Image9. Normalized Device Coordinate Space10. Scan Converted Triangle11. Shared Edge Scan Conversion1.1. Data Flow to Vertex Shader1.2. Data Flow to Rasterizer2.1. Fragment Position2.2. Vertex Array Memory Map2.3. Multiple Vertex Attr
[stan][R] RFM分析と階層ベイズ法 (解決編) - ill-identified diary
概要 前回の『[python] [stan] 潜在変数と階層ベイズ法と RFM 分析 [未完成] - ill-identified diary』の完成版. 忙しくて1年近く放置していた…… パラメータを推定し顧客ごとの生涯顧客価値 (CLV) の計算まで実行できた. stan は 2.14.0 を利用. 前回のは 2.9 で, 2.10 以降は構文が大きく変わっているので注意. 前回の「プログラム」以外のセクションを読んでからこちらを読むことをおすすめする. 文章量は4ページ (画像とプログラム除く) 反省点実は, こちらですでに RF 分析についての stan の一部正解コードが書かれている.abrahamcow.hatenablog.com 前回の一番の問題点は, 原理上離散的なパラメータを扱えないハミルトニアンモンテカルロ (以下, HMC) 法で を無理やり離散パラメータとして扱お
![[stan][R] RFM分析と階層ベイズ法 (解決編) - ill-identified diary](https://cdn-ak-scissors.b.st-hatena.com/image/square/df6efc137dd95bf66160ed813274630d235f8446/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fi%2Fill-identified%2F20170226%2F20170226230448.png)
私たちはいかにして環状線で”悪さをする列車”を捕まえたか | プログラミング | POSTD
文：Daniel Sim 分析：Lee Shangqian、Daniel Sim、Clarence Ng ここ数ヶ月、シンガポールのMRT環状線では列車が何度も止まるものの、その原因が分からないため、通勤客の大きな混乱や心配の種となっていました。 私も多くの同僚と同じように環状線を使ってワンノースのオフィスに通っています。そのため、11月5日に列車が止まる原因を調査する依頼がチームに来た時は、ためらうことなく業務に携わることを志願しました。 鉄道運営会社SMRTと陸上交通庁（LTA）による事前調査から、いくつかの電車の信号を消失させる信号の干渉があり、それがインシデントを引き起こすことが既に分かっていました。信号が消失すると列車の安全機能である緊急ブレーキが作動するため、不規則に電車が止まる原因となります。 しかし8月に初めて発生した今回のインシデントは、不規則に起こっているように見えるた
一から学ぶベジェ曲線 | POSTD
(編注：SVGアニメーションを元記事にならい追加しました。リクエストありがとうございました。) 皆さんは線分のことをどう表現しますか？ 線分は、端点によって考えられるかもしれません。その端点を P0 、 P1 と呼ぶことにしましょう。 線分を厳密に定義するならば、「 P0 と P1 を結ぶ直線において、 P0 と P1 の間にある全ての点の集合」と言えるかもしれません。これは以下のように表せるでしょう。 便利なことに、上記の定義から、その線分上のどこにある点の座標でも簡単に求めることができます。例えば、中点は L(0.5) にあります。 実は、2点間のどんな値でも、任意の精度で 線形補間する ことが可能です。そのため、時間関数 L(t) の t で線をたどるといった、より複雑なことができるのです。 ここまで来ると、「それが曲線と何の関係があるのか？」と不思議に思うかもしれません。2つの点だ
不定期ML&NLP報#4 - yasuhisa's blog
最近の機械学習&自然言語処理に関する情報をまとめるコーナーです。前回はこちら。このエントリ忘れてるよというのがありましたら、たれこみフォームから教えてもらえるとうれしいです。 論文 ブログ/勉強会資料 ビジネス 学会/勉強会 NIPS読み会 Kaggle Tokyo Meetup #2 全脳アーキテクチャ若手の会 AAAI2017 その他 論文 [1701.07875] Wasserstein GAN GANを含む生成系のタスクは難しいことが知られているが、学習時に使う距離をWasserstein距離というものを使うと学習が安定したという話 ブログ/勉強会資料 論文メモ: Linguistic Benchmarks of Online News Article Quality - skozawa's blog オンラインニュースの質を測れるかを検討した論文のメモ Using Machine
BM法による文字列マッチング学習メモ - $shibayu36->blog;
grepで文字列マッチングしている時の仕組みを学ぶために、BM法などの文字列マッチングについて調べていた。調べたことをメモしておく。特にまとまってはいない。 参考になった文献は以下。 文字列の中から効率良くキーワードを探し出せ：コーディングに役立つ！ アルゴリズムの基本（7）（3/4 ページ） - ＠IT BM法をJSで実装している とりあえずイメージ掴むのには分かりやすい サービス終了のお知らせ BM法や、その亜種のHorspool のアルゴリズムとQuick-Searchを解説している ちょっとわかりづらいけど、一番ちゃんと書かれている すごく雑にイメージすると、 パターンの方に前処理を加えて、ある文字がパターンの中のどの位置にあるかを保存しておく パターンマッチングしていきマッチしなかった場合に、前処理で作った位置情報を使っていい感じにスキップする という感じ。雑すぎる。 BM法関連
Deep Learning with FPGA – Amund Tveit's Blog
This chapter presents recent papers for using FPGAs (Field Programmable Gate Arrays) for Deep Learning. FPGAs can roughly be seen as a Software-configurable Hardware, i.e you in some cases get close to dedicated hardware speed (although typically at lower clock frequency than chips, but typically with strong on-FPGA parallelism), this can be a potential good fit for e.g. Convolutional Neural Netwo
数値最適化のインタラクティブ・チュートリアル | POSTD
「数値最適化」は機械学習における中心的手法の1つです。多くの問題では、最適解を直接突き止めることは難しいものですが、ある解がどれほど適しているかを測定する損失関数を設定し、解を見つけるためにその関数のパラメータを最小化することは比較的容易です。 かつてJavaScriptを初めて学ぼうとしていた時 、結果的に数値最適化ルーチンを多数書きました。そのコードを特に使うこともなく置いていたので、それらのアルゴリズムの動作をインタラクティブな形で可視化したら面白いのではないかと考えました。 本記事の良い点は、コードが全てブラウザで実行できることです。つまり、アルゴリズムの動作をより把握するために、各アルゴリズムのハイパーパラメータをインタラクティブにセットしたり、初期位置を変更したり、どの関数が呼び出されるかを変更したりすることができるのです。 (編注：本記事ではスクリーンショットのみ公開しており
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
調整さんと整数線形計画 - Qiita
アルゴリズムの計算量見積もりの基礎 - Qiita
GitHub - skarupke/flat_hash_map: A very fast hashtable
