Spiderの作成 次にコンポーネントの一つであるSpiderを作成します。 Spiderにはクロールの処理を開始するためのURLのエンドポイントと、 URLの抽出するための処理を記述します。 # -*- coding: utf-8 -*- import scrapy class QiitaSpider(scrapy.Spider): name = 'qiita_spider' # エンドポイント（クローリングを開始するURLを記載する） start_urls = ['http://qiita.com/advent-calendar/2015/categories/programming_languages'] custom_settings = { "DOWNLOAD_DELAY": 1, } # URLの抽出処理を記載 def parse(self, response): for hr

機械学習・データマイニング全般 変わりゆく機械学習と変わらない機械学習 [物理学会誌 2019]：機械学習・データマイニングについての専門家以外に向けた解説記事 機械学習・データマイニング分野の概要：分野全体の概要と国際会議動向まとめ資料 ML, DM, and AI Conference Map：人工知能，機械学習，およびデータマイニング関係の国際会議関連マップ データマイニング：4種類の主要分析タスクとデータマイニングによる知識発見プロセスについての学部前半レベルの説明資料 社会における機械学習 機械学習・データマイニングにおける公平性 [人工知能学会誌 2019]：アルゴリズム決定の公平性に関する議論 Fairness-Aware Machine Learning and Data Mining: Tutorial on data analysis considering pot

そう言えばこのシリーズ長らく放置してました（汗）。いよいよこのブログもネタ切れが著しくなってきたので、今更そんな古いネタやるのかよと怒られるのを承知で「単に自分がやってみたかったから」というだけの理由で今更感のあるネタをやることにします。ということで、今回のネタはLSTM-RNN (Long short-term memory Recurrent neural network)です。いつも通り完全に自分専用の備忘録としてしか書いていませんので、ちゃんと勉強したい人は他のもっときちんとした資料*1や書籍*2やソース*3を当たってください。。。 超絶大ざっぱなLSTM-RNNの説明 ぶっちゃけ以下のQiitaの記事と人工知能学会の深層学習本あたりを読めば十分という気もしますが*4、我が家には色々LSTM-RNNについて解説した書籍があるのでそちらも読みながら超絶大ざっぱかつ適当に説明しておきま

Our regular readers are probably familiar with Kaggle and its machine learning contests (f you're new to Kaggle, you can read this blog post to get started). In the past, we entered Kaggle competitions to polish our skills and test our product in a challenging environment. This time, as we are about to kick off the first official Dataiku DSS product release, we thought it would be nice to team up

協調フィルタリング、コンテンツベース以外の、第3の推薦方式である知識ベース型推薦についてのまとめと解説。 参照：情報推薦システム入門の第4章 知識ベース型推薦

With new neural network architectures popping up every now and then, it’s hard to keep track of them all. Knowing all the abbreviations being thrown around (DCIGN, BiLSTM, DCGAN, anyone?) can be a bit overwhelming at first. So I decided to compose a cheat sheet containing many of those architectures. Most of these are neural networks, some are completely different beasts. Though all of these archi

Kaggle BlogOfficial Kaggle Blog ft. interviews from top data science competitors and more!

Kaggle BlogOfficial Kaggle Blog ft. interviews from top data science competitors and more!

200 lines of python code to demonstrate DQN with Keras Overview This project demonstrates how to use the Deep-Q Learning algorithm with Keras together to play FlappyBird. This article is intended to target newcomers who are interested in Reinforcement Learning. Installation Dependencies: (Update : 13 March 2017, code and weight file has been updated to support latest version of tensorflow and kera

I come from the Cambridge machine learning group. More than once I heard people referring to us as "the most Bayesian machine learning group in the world". I mean, we do work with probabilistic models and uncertainty on a daily basis. Maybe that's why it felt so weird playing with those deep learning models (I know, joining the party very late). You see, I spent the last several years working most

Give your ideas room to run wild online with your own domain. Find Your Domain

この記事が想定する読者層 もしあなたが「プログラマー」ならば、この記事はまるで不要かもしれません。 ここで言うプログラマーとは、たとえば以下のような習慣を持っている人です。 ほとんど同じ処理をソースコード中に2回以上書いていたら違和感を感じる 出力結果が変わらなくても、実行速度や理解しやすさのためにソースコードを書き直すことがある Gitなどのバージョン管理システムを使うことができ、過去のソースコードを「日付の含まれたファイル名でバージョンごとに別ファイルとして保存しておけばよい」とは考えない 動作テストを自動化し、ソースコードを書き換えてもそれぞれの関数の挙動が意図したものになっているかを確認できる この記事は、ひょんなことからRに出会い、コードをコピペで動かせるようになり、 「いつかコピペじゃないコードが書けるようになりたい」 「他のプログラミング言語もできるようになりたい」 とぼんや

In this new era of deep learning, a number of software libraries have cropped up, each promising users speed, ease of use, and compatibility with state-of-the-art models and techniques. The go-to library in the Caltech vision lab has been Caffe, an open-source library developed by Yangquing Jia and maintained by the Berkeley Vision and Learning Center (BVLC). It has been the gold standard in terms

Combining CNN and RNN for spoken language identification 26 Jun 2016 By Hrayr Harutyunyan and Hrant Khachatrian Last year Hrayr used convolutional networks to identify spoken language from short audio recordings for a TopCoder contest and got 95% accuracy. After the end of the contest we decided to try recurrent neural networks and their combinations with CNNs on the same task. The best combinatio