This is a follow up post to How Hacker News ranking algorithm works. This time around I will examine how Reddit’s story and comment rankings work. The first part of this post will focus on how are Reddit stories ranked? The second part of this post will focus on comment ranking, which does not use the same ranking as stories (unlike Hacker News). Reddit’s comment ranking algorithm is quite interes

前回、株式の時系列データを分析する話で、後半にちょっとだけ機械学習の話をしました。今日は機械学習ライブラリ scikit-learn に触れます。 scikit-learn といえば以前にも簡単なクラスタリングの例をあげたり、サポートベクトルマシンやクラスタリングで問題を解く、 TF-IDF を計算する、回帰モデルの可視化、 DBSCAN によるクラスタリングといったことをしてきましたが、あらためてライブラリの機能を整理します。 機械学習と言うと難しい数学を駆使するイメージがつきまといますが、完成度の高いライブラリを使えば利用者が機械学習の手法そのものを実装しなくても利用することはできます。もちろん手法の内容に対する理解は必要ですが、せっかく scikit-learn という事実上デファクトとも言えるライブラリが存在するのですから、これを使うところから入門していくのが良いかと思います。 以

この記事は2年前の以下の記事のアップデートです。 前回はとりあえずデータサイエンティストというかデータ分析職一般としてのスキル要件として、「みどりぼん程度の統計学の知識」「はじパタ程度の機械学習の知識」「RかPythonでコードが組める」「SQLが書ける」という4点を挙げたのでした。 で、2年経ったらいよいよ統計分析メインのデータサイエンティスト（本物：及びその他の統計分析職）vs. 機械学習システム実装メインの機械学習エンジニアというキャリアの分岐が如実になってきた上に、各方面で技術革新・普及が進んで来たので、上記の過去記事のスキル要件のままでは対応できない状況になってきたように見受けられます。 そこで、今回の記事では「データサイエンティスト」*1「機械学習エンジニア」のそれぞれについて、現段階で僕が個人的に考える「最低限のスキル要件」をさっくり書いてみようかと思います。最初にそれらを書

Summary. Companies are just beginning to discover the many different ways that AI technologies can potentially reinvent businesses. But how can companies tell if they are really ready for these advanced technologies? First, managers should ask themselves if they have automated processes in problem areas that cost significant money and slow down operations. Next, they should ensure they have struct

生涯愛し続けられる人を見つけられるかどうかは運次第、と思ってはいないだろうか。相手をどれほど激しく愛せたとしても、結婚生活を続けることは決して簡単ではない。 恋の炎を燃やし続けるには、セックスや信頼関係、そして思いやりがとても大切だということをすでにわかっていたとしても、これから紹介する秘訣については、まだ知らないかもしれない。これらの秘訣は、意外だと感じるものもあるかもしれないが、すべて科学的な研究で明らかになったものだ。

こんにちは。新卒エンジニアのtohhyとpotato4dです。 今回の記事では、新卒研修の一環として行っている、Pawooのデータ解析基盤の整備業務について紹介します。 Pawooのデータとマストドンの思想について Pawooの開発で社として特に意識している事柄として、マストドン本家の思想の尊重があります。 マストドンは成り立ちとして、SNSというもののあり方に対する問題意識からスタートしたOSSであり、設計の根底には開発者の思想があります。 マストドンのランディングページの最下部に特徴として列挙されている項目が、そうした思想の一端を表しています。 この「マストドンの特徴」の中に、トラッキングに関する言及があります。「広告もトラッキングもありません」という記述がそれです。 Pawooは本家マストドンからフォークして実装されており、独自の機能を持ってこそいますが、本家に対して変更を提案したり

Get equipment you can rely on at an affordable price. Shop IBM refurbished servers, storage and parts.

日本アイ・ビー・エム（以下、日本IBM）の「IBM dashDB Local」は、プライベートクラウド/ハイブリッドクラウドに最適な構成を持つデータウェアハウス（DWH）向けの製品である。Dockerコンテナとしてデプロイ、スケールアウト（規模拡大）でき、データ量や処理負荷の急増に柔軟に対応できる。インメモリの列指向データベースと並列処理により検索処理を高速に実行する。システムの成長に柔軟に対応できるライセンス体系を備えている。 構成はITジャーナリストの星 暁雄です。記事の最後にはプレゼントのお知らせもあります。 （※この記事は、日本アイ・ビー・エム株式会社提供によるPR記事です） ▽ IBM dashDB Local - ハイブリッド・データウェアハウスを実現する Software-Defined DWH - Japan プライベートクラウド上でソフトウェアで定義されたスケーラブルなデ

総務省はこのほど、国勢調査や経済センサスなど国勢に関する統計データを｢統計ダッシュボード｣というウェブサイトにまとめ、公開をはじめた。総務省がもつ統計データを、表示する数値やグラフを動的に切り替えられるグラフィカルなシステムと組み合わせることで、広く活用してもらうことが目的だ。これが非常によくできているのだ。 ｢統計ダッシュボード｣では、約5000の統計データを｢人口・世帯｣｢労働・賃金｣など17の分野に整理して収録。グラフは全部で55種類あり、サイト上で関連データの追加や削除、時系列比較や地域間比較などが可能となっている。 総務省のリリースによれば、特にビジネス（民間）での利用について｢オープン化された公的データを地域やビジネスの視点から活用し新たなアイデアを創出｣することを狙いとしている。

DMM.comラボとIDCフロンティアは、オンラインゲームの画像などエンターテインメントコンテンツのレコメンド機能の精度向上や高速・自動化に向けて、共同検証を実施したことを発表した。 今回の共同検証では、DMM.comを訪れるユーザーの嗜好を推察し最適なコンテンツを届けることを目的としている。サイトの利用履歴やページ閲覧などのサイトアクセス動向のデータと、コンテンツとして保有する大量の画像データの特徴を解析し、ユーザーの好みに合ったコンテンツを即時に表示するレコメンド機能として提供することで、サイト上でこれまで以上に質の高い体験が期待できる。今後は、解析の対象を動画データにも広げていく予定だ。 大量の画像や音声を解析しパターンを抽出するには、機械学習（マシンラーニング）などの手法と膨大な計算を処理する高性能な計算基盤が必要となる。本検証ではNVIDIA社のGPUアクセラレータ「NVIDIA

ディープラーニングで畳込みニューラルネットに並ぶ重要な要素のであるLong Short-Term Memoryについて、その基本を解説します。 LSTMとは リカレントニューラルネットワーク LSTMの役割 LSTMの計算 Output Gate Input GateとForget Gate Forget Gate Input Gate LSTMの肝であるMemory Cell周辺 Forget Gate側の出来事 Input Gate側での出来事 Cellの手前での出来事 出力付近の話 LSTMの役割 セル付近の役割 Forget Gateが過去の情報をどれだけ保持するか決める 全体を通しての役割 最後に LSTMとは LSTMとはLong Short-Term Memoryの略です。 short-term memoryとは短期記憶のことであり、短期記憶を長期に渡って活用することを可能に

サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。

こんにちは。ぼへみあです。 こんな記事を読みました。 japan.zdnet.com よくあることだと思いますが、上から降ってきた機械学習プロジェクトは99%失敗し、導入したとしても技術的負債という形でエンジニアを苦しめることになるので、やらないほうがいいと思います。 僕は普段から、ディープラーニング面白しれー、機械学習サイコーと世に広めてしまっているのですが、 こちらの講演を聞き、機械学習をシステムに組み込んで運用する際に、普通のシステム以上に技術的負債が発生しやすく、どの企業でも気軽に導入を進めるべきでないと思いましたので、今の考えをまとめてみました。 ディープラーニング、実サービスへの導入の実際 〜niconicoにおけるレコメンド、コメント解析、画像解析〜 | Peatix 機械学習は技術的負債の高利子クレジットカード 近年高い成果を上げ、ブームになっている機械学習を導入したいと考

これからの時代、一番お金に直結する力は「因果推論力」かもしれない。 そんな気持ちにさせられるほど、因果推論力の重要性を認識できるのが、今バカ売れしている「原因と結果」の経済学です。 因果推論力とは 「２つの変数の関係が、本当に因果関係に寄るものなのか」を見抜く力 つまり、因果推論力があるということは、現象の原因を見抜く力を持ち合わせているということなのです。 今の時代、IT技術の革新により、誰でも多くの情報が簡単に入手できるようになりました。 情報が簡単に大量に収入できるということは、様々な恩恵を享受できるようになった反面、情報量が膨大になりすぎてしまったことで、何と何が結びついて目の前の現象が生じているのかを読み解きにくくしています。 こうした情報過多の時代において、原因と結果を結びつける力はますます重要度を増し、これからまさに錬金術となっていくことが予想されるわけです。 なぜこの商品が

ちまたでは、機械学習がブームのようです。 が、、まったく時代についていけていません。 しかし、機械学習、特に自然言語処理に精通した人の採用にかかわる仕事をしている、、、 にもかかわらず、自然言語処理どころか機械学習が全く分からない。 これでは、いけない。ということで 「機械学習をたしなむ学生の皆さんと、ふわっと雑談ができるレベル」 を目指して、2017年正月明けから勉強を始めました。 ちなみに、どんなにキリが悪くても1日3時間まで！と決めています。 そもそも機械学習に興味関心があるわけではない やらなければならない他の仕事がある 家事育児が優先 なので、すこしでも無理すると続かないためです。 「AIで世界を変えられる！」 「人工知能で想像もできない未来が、、、」 みたいなご時世の中、ありえないほどの低テンションで淡々と勉強しているわけで 逆に、そういう意識低い系人間はそんなに多くないでしょ

TensorFlowを勉強するにはスタンフォードのこの講義資料が良く出来ているぜ、と言われた。 http://web.stanford.edu/class/cs20si/syllabus.html へー、と思って読んでいたら、4日目の所のword2vecのスライドが良く分からない。 word2vecは以前深層学習の本で一通り読んだのだけどあんまりしっかり理解出来た気がしていなかったので、いい機会だ、とちょっとぐぐって解説でも読もうと思った。 これがさっぱり分からんのばかりひっかかる。 仕方ない、と元論文を読むと、大分理解は進んだが、幾つか分からない所がある。 うーん、どうしたもんかなぁ、と思っていた所、上記講義には参照として、別のコースへのリンクがあった。 そこのスライドが素晴らしい。 http://web.stanford.edu/class/cs224n/lectures/cs224n

Teradata Magazine Japan Special Edition online データウェアハウスやアナリティクスの最新情報はこちら データウェアハウスと単純にデータを集めただけのデータベースの違いはどこにあるのでしょうか？ 企業内の色々な業務システムからデータを丸ごとコピーして集めればデータウェアハウスになるものではありません。単にデータを寄せ集めただけではデータが増えれば増えるほどデータの整合性の維持やメンテナンス、使い勝手など様々な面で混乱や不都合を来たすばかりです。 そこで業界にはデータウェアハウスとして成り立たせるために備えるべき定義といわれているものがあります。 データウェアハウスの定義　「4つの特性」 1．サブジェクト指向 データをサブジェクト（主題）ごとに分解、整理して格納します。目的別に格納しないのがポイントです。これはちょうど図書館での資料整理の方法に似て