Rで何らかの解析作業をおこなうとき、データフレームクラスのオブジェクトを使うことが多いと思う。その際、どういう名称のオブジェクトを作っているのか。自分はdf派だが、パイセンがdatにしていたり先日slack上で見た @hoxo_m さんのコードでもdatが使われていたりで、以外とマイナーなのか？と興味が出てきたので調べてみることにした。 データフレームのオブジェクト名を何にするかでその人が最初に読んだR本がわかる気がする。df派とかdat派とかdata派とかがいる。— \x48\x65\x6c\x6c\x6f (@u_ribo) August 14, 2015 GitHubでの検索結果 GitHubにあげられている拡張子.rあるいは.Rmdのファイルを対象に次のオブジェクト名を検索してみた。なお関数内での定義や余計なファイルも含まれているので正確ではないのでご注意。 name hits u

— そーだい＠初代ALF (@soudai1025) 2015, 8月 24 とブーメラン投げて見事に刺さってるので今から記事書く。 両サイドにはかなり厳しい話もするが俺の本音を聴いておけ（関白宣言） まぁ歴史の長いRDBなのでお互いの比較記事は沢山ある。 なのでマルチスレッド(MySQL)とマルチプロセス(PostgreSQL)だとかVACUUMだって話はしない。 むしろ実際に使ってみた際の違いをにフォーカスする。 1. SQLの違い 基本的にMySQLでやっていたことはPostgreSQL出来る。 しかし関数の挙動の違いは幾つかある。 例えば時間から曜日に該当する数字に変換した場合に MySQL　→　date_format(time,"%w")　0から始まり、日曜日に該当する PostgreSQL　→　to_char(time,'D')　1から始まり、日曜日に該当する など挙動に互換性

この記事では、Webアプリケーション（特にバックエンド部分）を構築するときにハイレベルなパフォーマンスを達成しようとするなら考慮するべき、最も一般的な原則のいくつかを取り上げたいと思います。私は、自分自身の経験から、主にPHPの世界で使われるいくつかの例、設計パターン、慣例やツールについて書きますが、ここで説明する概念は、どんな言語やフレームワークにも必ず当てはまると思います。 手短に言うと、基本ルールは次の6つです。 ルール1 . 時期尚早な最適化を回避する ルール2 . 最小限の作業で問題を解決する ルール3 . 今すぐやらなくてもいい作業は延期する ルール4 . 使えるときはキャッシュを使う ルール5 . リレーショナルデータベースのN+1問題を理解し、回避する ルール6 . 可能ならアプリケーションに水平スケーラビリティをもたせる ルール1: 時期尚早な最適化を回避する Donal

(訳注：2016/3/2、頂いた翻訳フィードバックをもとに記事を修正いたしました。) Railsアプリでのキャッシングは、「たまに夕食を一緒にするけれど、本当はもっと頻繁に一緒にいるべき友達」に少し似ています。パフォーマンスをまじめに考えるRailsアプリのほぼ全てで、もっとキャッシングを使えるはずですが、ほとんどのRailsアプリでは、完全にキャッシングを避けています。それでも普通は、Railsで高速なサーバ応答を達成するための唯一の道は、キャッシングの知的な利用なのです。約250msの応答時間を、簡単に50～100msに高速化できます。 定義についての注意　―　この記事は、アプリケーション層のキャッシングのみを対象としています。HTTPキャッシング（これは全く別の難物で、あなたのアプリケーションに実装する必要はありません）は、別の機会で扱いましょう。 するべきキャッシングをしない理由

10. Webアプリケーションの スケール戦略 期 スケール戦略 ハードウェア/その他 Blog スケールアウト 32bit CPU SCSI または ATA HDD SNS スケールアウトしたサーバを スケールアップし台数を抑える 64bit CPU SAS または SATA HDD KVS の活用 ソーシャルゲーム スケールアップ SSD、PCIE接続の フラッシュデバイス スマートフォン アドテク スケールアップしたサーバを スケールアウト SSD、PCIE接続の フラッシュデバイス NoSQL、クラウド

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? #はじめに ※）「目標関数」をより一般的な名称である「損失関数（Loss Function）」表記に改めました．(2015Oct19) 誤差逆伝播法（以下，Backprop）は多層パーセプトロンを使う人にとってお馴染みのアルゴリズムですよね． いや，これだけ有名なアルゴリズムなのでちょっとネットで探してみれば沢山解説を見つけることが出来るのですが，Backpropを予測誤差の最小化に適用する場合の説明しかみつからないんです．（とはいえ，PRMLをちゃんと読めば全部載ってるんですが）. Backpropでできることは何なのか？ ということ

第5回『トピックモデルによる統計的潜在意味解析』読書会で、教科書 3.5 節の「逐次ベイズ学習 - サンプリング近似法の場合 -」を担当しました。発表資料を公開します。 逐次ベイズ学習 - サンプリング近似法の場合 - from y-uti www.slideshare.net スライドの前半では、復習として周辺化ギブスサンプリングの動きをアニメーションで説明してみました。その後に逐次学習のイメージとして説明しているものは、教科書 3.5.2 で説明されている「LDA の粒子フィルタ」で粒子数を 1, リサンプリングなし (R = 0) とした場合の動きに相当します*1。スライドの後半は、教科書に沿って数式を追っていますが、省略してしまった数式などもあり、むしろ教科書をそのまま読む方が分かりやすかったかもしれません。 教科書にも書かれているように、3.5.2 の内容は Canini らの以

Canini らの論文*1を読んでみました。LDA の逐次学習について述べた論文で、『トピックモデルによる統計的潜在意味解析』の 3.5.2 節は、この論文の方法を説明したものになっています。下記のウェブページで論文の PDF ファイルをダウンロードできます。 JMLR W&CP: Volume 5: AISTATS 2009 まず LDA の粒子フィルタでのリサンプリングについて、教科書には以下のように書かれていますが、これは論文の内容と異なっているように思われます。 さて、リサンプリングであるが、LDA では復元抽出による粒子の生成消滅を行わない。この理由として、各粒子は z(d,i)(s) なので、数十万の文書を扱う場合に実装が複雑になりコストもかかることが挙げられる。ケニニ (Canini) らは、過去のサンプルの活性化 (若返り) という方法によりリサンプリングを行っている。 論

【CEDEC2015】「運営無能杉」…非難轟々な状況下も様々な施策で解決へ 「売上3万円」から始まった『ドリフトスピリッツ』ヒットまでの軌跡 2015年8月26日（水）～28日（金）に、パシフィコ横浜（神奈川県横浜市）で国内最大のゲーム開発者向けカンファレンス「コンピュータ・エンターテインメント・デベロッパーズ・カンファレンス 2015」（以下、CEDEC 2015）が開催。 本稿では、3日目（8月28日）に実施されたセッション「『ドリフトスピリッツ』 ～加速進化する運営の秘密～」を取材。今や大人気ゲームアプリの『ドリフトスピリッツ』（通称：『ドリスピ』）だが、ヒットの陰には様々な試行錯誤と苦悩があったようだ。本稿では、赤裸々に語られた『ドリスピ』におけるこれまでの軌跡、もといタイヤ痕についてレポートしていこう。 ■「最初の1ヵ月は売上が芳しくなかった」 本セッションで登壇した『ドリスピ』

ある日、 PR の内容を見ずにマージすることを岡島（ピッチャーの）というらしい　笑った— いのうえ (@a_know) 2015, 9月 10 ということで、脳天気に笑っていたら、 @a_know むしろイキナリmasterリポジトリに直接pushするパターンですね！— そーだい＠初代ALF (@soudai1025) 2015, 9月 10 という話になり、そしてなぜだか、 @a_know push -fと同様、Gitの運用アンチパターンとかどこかに纏めがほしいですねー。　#ブログ待ってます— そーだい＠初代ALF (@soudai1025) 2015, 9月 10 というはなしになったので、本当に必要として頂いているのかどうかはともかく、 Git / GitHub でぼくやぼくの職場で気をつけていそうなことをまとめてみる。 もくじ もくじ GitHub Flow に沿って開発する 基本

2. 自己紹介 湖山 翔平 / @sion_cojp 元FPSプロゲーマーでアジアチャンピオン qiitaをよく書いてます (http://qiita.com/sion_cojp) インフラエンジニアとしてよく使うコマンド集 インフラエンジニア 株式会社リブセンス

PuTTY では認証に使う秘密鍵の保存に独自の形式(PPK形式)を使いますが、これはなぜか、 あと関連して ssh の公開鍵認証のやりとりと OpenSSH の ssh クライアントの挙動に ついての話です。 結局のところはここに書いてあるように PPK 形式の方が優れている (OpenSSH の秘密鍵の形式には欠点がある)という事なんですが。 ssh での公開鍵認証のやりとりは以下のような流れです。 1. クライアントが「公開鍵認証だけどこの公開鍵は使える?」と公開鍵を送る 2. サーバが「その鍵は使えるよ/使えないよ」と答える 3a. 「使えないよ」と返ってきた場合、1 に戻って他の公開鍵を試したり、別の認証方式を試す 3b. 「使えるよ」と返ってきた場合、「この公開鍵で認証するよ、署名はこれね」と公開鍵と、 認証用のデータを秘密鍵で署名してその署名を送る。 4. サーバは公開鍵と署名

CNNは画像認識の分野で驚異的な精度を誇るディープラーニングのアルゴリズムのひとつであるものの、ぱっと見がとても複雑な構造をしているため、実装するのも大変そうです。 実際、ネットや文献上で見られる多くのCNNの実装は、Theano (pythonのライブラリ)の自動微分機能を使っていたり、MATLABの組み込み関数を使っているものがほとんどです。 そのためか、きちんと forward propagation & backpropagation を数式で書き下している文献はないように思いました。（もちろん、楽に実装できるならばそれはそれで素晴らしいことです。） そこで、どうすれば CNN を実装するための数式を書き下せるのか、レイヤーごとに分けて導出していきたいと思います。 まず、CNN がどんな層に分解できるのかについて。これは、下記の３つで表せるでしょう。 Convolution Lay

Storytellingアルゴリズムの紹介と擬似実装(word2vecの応用) - もくもくディープラーニング・ハッカソン入賞作品（@ドワンゴ） （名づけて、word2vec2word） - NLPStudy #4 での発表Read less

Handling a tremendous amount of images with Fastly / Yamagoya Traverse 2020

広告が邪魔なのでspeakderdeckにも上げました https://speakerdeck.com/brtriver/ying-ye-yun-yong-wozhi-eru-qi-fu-keru-guan-li-hua-mian 動画: https://youtu.be/CqMILKp3Ens?t=3h53m39s PHPカンファレンス2015での講演資料。 データを管理するだけが管理画面じゃない。サービスの質を向上させていくことができる最強の管理画面を開発運用していて意識していることを4つの工夫を軸にまとめています joind.in: https://joind.in/15322Read less

2. 2 • 欠損データ処理に関する資料紹介 • 欠損データのメカニズム • 伝統的な欠損データの扱い方と問題点 • 完全情報最尤推定法の実態 • 欠損値のベイズ推定～多重代入法の実態 • Rによる完全情報最尤推定法の実践 • Mplusによる完全情報最尤推定法の実践 • Rによる多重代入法の実践 • Mplusによる多重代入法の実践  資料紹介 • 欠損データのメカニズム • 伝統的な欠損値分析 • 完全情報最尤推定法 • 多重代入法 • Reporting Guidline 発表の概要 3. 3 Enders, C. K. (2010). Applied missing data analysis. New York, Guilford. • 欠損値の扱い方について詳しく書いてある本 • 以下のサイトに，Enders（2010）で扱っているデータ，Mplusのコード，SPSSの マク

追記: このエントリを投稿してから3日後に Google から AMP が発表されました。AMP は 既存の HTML/CSS/JavaScript の機能を制限することで、ページの表示パフォーマンスを改善するものです。AMP で書かれたページは Google 検索ランキングにおける特典が受けられるといった情報もあります。AMPの実装方法

タイトルは釣りです。すみません。Ruby 3.0 はかなり先の将来の話なので、最終的にどうなるかはわかりません。でも Ruby 3.0 に重大な変更が予定されているのは事実なので、一緒に考えて欲しいと思います。 immutable string literal Ruby 3.0 では文字列リテラルをデフォルトで immutable （破壊的変更不可） にする、という方針が『決定』しました。(Feature #11473: Immutable String literal in Ruby 3) つまり、次のようなプログラムが動かなくなります。(当チケットから少し改変して引用） sql = "SELECT #{sec_id}, pt.path, st.doc_count " sql << "FROM #{stats_tablename} AS st " #### ←ここで例外: can't m

2017/10/25追記 ＤＸライブラリ置き場 Androidアプリ開発の注意点など 公式でAndroid版が出たようなので、そちらを使用すべきです。 僕が作った以下で紹介するライブラリはもうメンテナンスされておらず、 今後もするかどうかも未定である点からも公式のものを使うべきです。 しかしながら、cocos2dxでラップした以下の版を使いたい方も いるやもしれませんのでこの記事はこのまま残しておきます。 リポジトリ github.com これは何？ Cocos2dxの機能でDxLibの関数群(現在72個)をラップしたものです。 何が出来るの？ DxLibは通常Windowsでしかビルド出来ません。 しかしこれを使えば、同じC++で書かれているcocos2dxを利用して、 DxLibのコードを殆どそのままでスマホ向け等にゲームをビルド出来ます！ 使用許諾などはいらないので、好きに使ってくだ

2. アジェンダ • SQLインジェクション対策もれの責任を開発会社に 問う判決 • PHP入門書のSQLインジェクション脆弱性の状況 • O/RマッパやSQLジェネレーターのSQLインジェク ションの話題 – Rails SQL Injection Examplesの紹介 – Zend FrameworkのSQLインジェクション – JSON SQL Injection – Drupageddon(CVE-2014-3704) Copyright © 2008-2015 HASH Consulting Corp. 2 3. 徳丸浩の自己紹介 • 経歴 – 1985年 京セラ株式会社入社 – 1995年 京セラコミュニケーションシステム株式会社(KCCS)に出向・転籍 – 2008年 KCCS退職、HASHコンサルティング株式会社設立 • 経験したこと – 京セラ入社当時はCAD、計算幾何

out of surviceさんの3+3=6動画(sm27235148)を見てすっかり影響され、とうとう動画作成に踏み切るなお動画作成に一番時間がかかったもよう個人的にはかなり小型化出来たと思っていますでももっと頭の回る人が更なる方式、更なる小型化を実現しそう論理回路の解説はリスペクト先の動画やウィキペディアを見てください論理回路はマイクラで少しかじった程度なのでもし間違ったところがあっても生暖かい目で見守ってやってください普段はマリオメーカーで難易度低めのステージ作ってますID:9D1A-0000-0051-3F77ID:C77C-0000-004E-2DE9

一部 こちらの続き。その後 いくつかプルリクを送り、XGBoost と pandas を連携させて使えるようになってきたため、その内容を書きたい。 sinhrks.hatenablog.com できるようになったことは 以下 3 点。 DMatrix でのラベルと型の指定 pd.DataFrame からの DMatrix の作成 xgb.cv の結果を pd.DataFrame として取得 補足 XGBoost では PyPI の更新をスクリプトで不定期にやっているようで、同一バージョンに見えても枝番が振られていたりして見分けにくい。記載は本日時点のこのコミットの情報。 %matplotlib inline import numpy as np import xgboost as xgb from sklearn import datasets import matplotlib.pypl

SVGをサポートする環境がほとんどになってきた。それでもなんとか8であったり、かんとか2.3であったりのことを考慮せざるをえないという状況はありうる。それにはonerror属性を使った対応が有力だが、srcset属性でSVGファイルを指定するだけというハックのことを知った。将来的に使えなくなるわけではないが、やりたいことと実装に食い違いが少なからずあるのでハックと言って良いだろう。 <img src="foo.png" srcset="foo.svg"> 表示したいSVGをsrcset属性で、フォールバックに使いたいPNGをsrc属性で指定するだけだ。これでsrcset属性をサポートしているブラウザーではSVGが、そうでないブラウザーではPNGが表示される。srcset属性のサポートに対して、より多くのブラウザーがSVGをサポートしていることから成立する。もちろん食い違いがあるのでSVGを