最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング
本スライドは、弊社の梅本により弊社内の技術勉強会で使用されたものです。 近年注目を集めるアーキテクチャーである「Transformer」の解説スライドとなっております。 "Arithmer Seminar" is weekly held, where professionals from within and outside our company give lectures on their respective expertise. The slides are made by the lecturer from outside our company, and shared here with his/her permission. Arithmer株式会社は東京大学大学院数理科学研究科発の数学の会社です。私達は現代数学を応用して、様々な分野のソリューションに、新しい高度AIシステム
PythonでWebスクレイピングする時の知見をまとめておく - Stimulator
- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ
昨日までJavaJavaしてた人がいきなりExcelのVBAを実装する羽目になったときのためのメモ - Qiita
Excel は滅びぬ！ Excel の力こそ日本企業の夢だからだ！ VBA 実装してて学んだこととかのメモ。 JavaJava してたかはあまり関係ないかも。 エディタの使い方 エディタを表示する Alt + F11 で VB エディタを表示できる。 環境設定 背景色・フォントを調整する デフォルトの白背景とか気が狂うので、暗い色にする。 「ツール」→「オプション」を選択し、「エディターの設定」タブを開く。 「コードの表示色」を選択して、「背景」の色を選択する。 ついでにフォントも見やすいやつに変更する。 これだけで開発効率が５割増しになる。 イミディエイトウィンドウ イミディエイトウィンドウを表示する いわゆるコンソールに当たるのが、イミディエイトウィンドウと呼ばれるウィンドウ。 Ctrl + G で表示される。 イミディエイトウィンドウに出力する ↓イミディエイトウィンドウに実行するプ
10年のツケを支払ったフロント界隈におけるJavaScript開発環境（2016年4月現在）。 - 日々、とんは語る。
2015年はCSSが普及した以来となる10年に1度のフロントエンド大変革期で、それまでのツケが一気に回ってきたと個人的に感じていました。目まぐるしく状況が変化していきましたが、2016年になり、個人的にだいぶ落ち着いてきたと感じているので、ここらへんでまとめておきたい思います。 最初に結論を書いておくと、 『React + Redux + react-router + material-ui + axios + ES2015 + Babel + webpack + ESLint + Airbnb JavaScript Style Guide』 という組み合わせが、いま僕の採用しているJavaScriptの環境です。 主要ライブラリは React A JavaScript library for building user interfaces | React 去年、一気に普及したReact
偶然にも500万個のSSH公開鍵を手に入れた俺たちは - slideshare
DeClang 誕生！Clang ベースのハッキング対策コンパイラ【DeNA TechCon 2020 ライブ配信】DeNA
Webサービスのプログラミングに必要なことのだいたいは、スクレイピングに学んだ - Line 1: Error: Invalid Blog('by Esehara' )
この記事を読み始める前に Rubyでやるんだったら、ちょうどそういう本が出ているから、その本買えばいいのではないでしょうか。 Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例 作者: るびきち,佐々木拓郎出版社/メーカー: SBクリエイティブ発売日: 2014/08/25メディア: 大型本この商品を含むブログ (1件) を見る はじめに プログラミングを勉強し始めて、だいたい基礎的な文法を覚えたあとに、次に何をしようかな、と悩む人も結構多いみたいで、明確に「これを作りたい」という場合は、それを作ればいいとは思うんですけど、場合によっては、別段作りたいものが無く、漠然としたプログラミングをしたい、という熱意によって勉強しているという人もいるのではないかと思います。 で、もちろん「作りたいものがないのに、プログラミング勉強してどうするの」という意見もあるかとは思いますが、往
初音ミクV3、インストール最適化テクニック｜DTMステーション
9月26日に、いよいよ発売された初音ミクV3。すでに予約購入して手元に届いたという方も少なくないと思います。私も初音ミクV3 ENGLISHバンドル版を注文していたので、当日の朝に届きました。パッケージを開けてみると初音ミクのWIN版、MAC版、ENGLISH版と3枚のDVD-ROMに加え(通常の初音ミクV3にはENGLISH版が入っていません)、DAWであるStudio One 2 Artist Piapro EdtionのDVD-ROMも入っています。 このStudio Oneがバンドルされたことにより、初めてDTMにチャレンジするという人にとって、初音ミクV3を購入するだけでDTMをスタートできるソフトウェア環境が整うことになります。ただマニュアル通りにインストールしたのでは、最適な環境にならない可能性が高いので、自分のPCにとって快適に使えるようにするための方法を紹介してみましょう
Oculus Rift MMD
How to play MMD with your Oculus Rift 以下は、Oculus Riftを持っている方でMiku Miku Dance(MMD)をOculus Riftで楽しむための手順です。 既にOculus Riftでサンプルデモが動いている事を前提にしています。Windowsが対象です。 1. Get / Trial Unity Pro Oculus RiftをUnityで使うにはUnity4 Proが必要です。まずはUnity Proを入手しましょう。 (トライアルが可能です） http://unity3d.com/ 2. MikuMikuDance for Unity 以下のサイトで、MMD for Unityをゲットしましょう。 http://sourceforge.jp/projects/mmd-for-unity/ ここでは、リビジョン r125 を使って
画像認識の初歩、SIFT,SURF特徴量
SSII2020TS: Event-Based Camera の基礎と ニューラルネットワークによる信号処理 〜 生き物のように「変化」を捉えるビジョンセ...SSII
ゲームROMの吸出しの歴史 - やねうらおブログ(移転しました)
日本のゲーム史はインベーダーゲームを嚆矢とする。インベーダーゲームがゲームセンターから消えて10年ぐらい経ったのちも、中学校の校則には「インベーダーゲーム店への入店を禁ずる」とか書かれていたケースも少なくはない。それほどインベーダーゲームの影響は絶大だった。 「インベーダーゲーム」とはタイトーが1978年に出した「スペースインベーダー」とこの類似ゲームおよびクローン(模倣品)に対する総称である。タイトーがスペースインベーダーを発表すると同時に一大ムーブメントが巻き起こり、各社一斉にシューティングゲームを作りはじめた。 例えばナムコ(現ナムコバンダイ)は翌年(1979年)にギャラクシアンを発表し、その2年後(1981年)にギャラガ、1984年にギャプラスを発表している。 このころの著名な作品のROMを吸出し競合他社がリバースアセンブルして研究するのは普通であった。 えー、要出典？ うーん。そ
アプリをiPhone5に対応する場合の地雷ポイント一覧 | fladdict
地雷キャッチャーとして定評のあるfladdictですが、今回も大量の地雷を踏み歩いております。 とりあえず、解決方法を知らないとハマるポイントを色々とピックアップ。自分では直ったけど一般化できてない現象もあるので、間違い勘違い等ありましたら、コメント欄でビシバシご指摘ください。 iPhone5対応すると、iOS4.3以前では動かなくなる 最新のXCodeがarmv6のコンパイルをしてくれないので、ご臨終となります。 公式じゃないほうほうで無理矢理バイナリをビルドすればhogehoge。 サードの静的ライブラリが入ってると、コンパイルできない場合が 最新XCodeからコンパイルに、armv7sという新アーキテクチャが必須となってますが、ビルド済み静的ライブラリにはむろん入っていないのでコンパイルできません。対策は2つあって、ひとつは対応ライブラリが出るまでリリースを見送ること、もう片方はXC
NoSQLとしてMySQLを使うDeNAが、memcachedよりも高速な75万クエリ／秒を実現
モバゲーで知られるDeNAは、バックエンドデータベースにNoSQLを使っていません。なぜか？ それはMySQL/InnoDB 5.1の環境で秒間75万クエリという、多くのNoSQLでも実現できないような高性能を実現しているから。DeNAの松信嘉範（まつのぶよしのり）氏は、自身のブログにこんな内容のエントリ「Using MySQL as a NoSQL - A story for exceeding 750,000 qps on a commodity server」（英語）をボストしています。 Yoshinori Matsunobu's blog: Using MySQL as a NoSQL - A story for exceeding 750,000 qps on a commodity server 松信氏が指摘するように、大規模なネットサービスを提供している企業の多くは分散環境で
プログラミングが速く組めるようになる初歩的な3つの心掛け - 遥か彼方の彼方から
プログラム雑用兼プログラマーとしてアルバイトしていた頃のこと。僕の最初の悩みは、どうすればもっと速くプログラミングできるか、でした。訳あって3時間ほどしかバイト時間を確保できなかったうえ、雑用もしていたので、気付くとほとんどコードを書かずに一日が終わるなんてこともよくりました。急がなくてもいいとは言われてはいたものの、プログラミング能力が低くて、要領も悪い僕としては、せめて時間内に終わらせられる程度にはプログラミングが速くなる必要があったのです。とはいえ、すぐにプログラミングが上手くなることなんて出来無い。だからせめて、プログラムで詰っている時間を減らせさえすれば、今よりもよくなるんじゃないか、とそう考えるようにしました。そう意識してからの作業は徐々に速くなり、最終的になんとか仕事についていけるようになっていたかなと思います。ということで、前置きが長くなりましたが「プログラミングが速く組め
仕事でコードを書いていますがどうしても同期と比べて仕事が遅いです。早くコードを書くコツや短くまとめるコツなどがあれば教えてほしいです。あと普段どんなことを意識してコー��
私は昔、趣味で作っていたアプリに機能を「追加」する度に、アプリケーション(実行ファイル)の総サイズを「減らす」、というのを繰り返していたよ。速度も同様に。 これによって「あるパターンはこう簡潔に直せる」というパターン知識が積み上がっていった気がするな。 さらに、それを実現する過程で、限界に見えた状況を打開するために色んな既存アルゴリズムを勉強して実際に使って身につけていくことになった。 ある問題があるときに、的確に適合するアルゴリズムや構成が発見(選択)できると、劇的に簡潔になることがある。そこにたどり着けるかどうか考えるのが楽しい。 あと、同じコードを何年も「育てる」という経験をすると、保守性の低いコードがどう困るかが身に染みるようになるよね。ソースコードは「人が読む物」でもあり、読みやすいというのも保守するなら重要なパラメータになる。これはコメントを書けという意味じゃない。コメ
ニート社長のブログ - アイマス動画「3A07 -Memories are here-」から考えるプロジェクト運営（前編）
※今日のブログは思考過程をダラダラと記述しているため、とても長いです。 ブログ後半の最後に、「まとめ」を書きますので、暇でない方はそちらをどうぞ。昨年末から、「3A07」の制作について、ずっと考察したいと思っていましたが、なんだかんだで後回しにしてしまい、やっと今になって書いています。昨年、11月23日に「3A07」という動画が投稿されました。http://www.nicovideo.jp/watch/sm8893602かなり話題になりましたので、ご存知の方も多いかと思います。超面白かったので、見てない方は「初回コメ無し最大化必須」で、見てみてください。で、動画内容も素晴らしいのですが、それと合わせて 「超高品質アニメーションを、たった3人で半年間で作り上げた」という、制作過程自体でも、にわかに信じがたい程のプロジェクト運営をしています。この事例を、システム開発のプロジェクト運営にも活か
PHPでTwitter APIのOAuthを使う方法まとめ
この記事以降 Twitter API の仕様が変わっており、このままでは正しく機能しない場合があると思います。近いうちに今のやり方を書くので、それまで参考程度にご覧ください。 Twitter API の OAuth でひととおりやってみた。 忘れないようにメモ。 大雑把な流れ Twitter にアプリケーションを登録する。 Consumer Key と Consumer secret を取得する。 リクエストトークンを取得する。 認証用 URL を取得する。 ユーザーから承認を受ける（bot の場合は自分でやる）。 アクセストークンを取得する。 API にアクセスする。 以下、やった作業の手順です。 事前準備 HTTP_OAuth を使えるようにする OAuth の通信部分そのものは PEAR の HTTP_OAuth を使うことにしたので これをインストールする。 一番めんどくさい部分を
rerofumiのつぶやき » 月読アイを 64bit Windows に住まわせる方法
VOICEROIDという紛らわしい愛称のAI-Talkエンジン使用文章読み上げソフト、月読ショウタ/アイが発売となった。 かつては種類があった文章読み上げソフトもすっかり数が減り、動画やコンテンツ作成といったホビー用といった需要が高まりつつある様に見えるなか選択子が妙に少ないといった世界になっている。AquesTalkの独壇場にもなるわけだ。 さてそんな前振りはともかく、月読兄妹が届いたので早速インストールをした。ところが「DBが存在しません」と出て利用ができない状態となる。 まあ、それだけでなんとなく原因がわかったのでトラブルシュート。これは 64bit の Windows7/Vista 環境で起こる現象。 結論としては、インストール後 C:/Program Files (x86)/AHS/Voiceroid/dbpath.dat にインストールされる設定ファイルを編集すれば良い。 上記
Tsukuba.R#5お疲れ様でした - 糞ネット弁慶
Tsukuba.R#5 - Tsukuba.R - livedoor Wiki（ウィキ） そんな感じでTsukuba.R#5でした。皆さんお疲れ様でした。 僕のスライドを上げました。 大した時間をかけずともさっと分析できて可視化できるのでRは素晴らしいし、連続変数を扱わない場合はtable関数が神がかっているので積極的に使いましょう。あと破滅的に時間を潰した挙げ句「Rのgrepにperl互換あるじゃん」とか言われて泣きそうになったのは内緒。時刻変換の部分はid:Rion778に教えてもらって助かりました。ここに感謝します。 id:yag_yas 回帰分析をやる話 1分もかかりません lmとupdateを使えば見事に重回帰分析もできる nlsを使うと非線形回帰も使えるようになるとか 年齢推定や！！ id:bonohu DBCLSの話 ライフサイエンスデータの「上水処理場＋下水処理場」 データ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
自分でWEBサービスを作りたいと思っている人へ
XPath 教程