今さら人に聞けない「重回帰分析の各手法の使い分け」 - 渋谷駅前で働くデータサイエンティストのブログ
（※※※続編記事書きました→「使い分け」ではなく「妥当かどうか」が大事：重回帰分析＆一般化線形モデル選択まわりの再まとめ） 今ちょうどadtech tokyo 2013の会期中で、職場からも近い＆会社から行ってこいという指示が出たということで僕も色々セッションを聞いたり企業ブースのお話を聞いたりしてる*1ところです。 ところで、いくつかのセッションの中でキーワードとして「重回帰分析」という言葉が出てきてました。ま、それ自体はこのブログでもRによるデータ分析絡みで頻出だし、ぶっちゃけありふれた手法と言って良いでしょう。やりようによっては普通にExcelでもできますし、それだけ人口に膾炙していると言って良いのかもですね。 ただし。意外にも内部のパラメータというか細かい手法の分岐というか、それこそ普通の線形モデルvs.一般化線形モデル（バリエーション多数）があることを無視して漫然と重回帰分析をや
やる夫で学ぶ応用数学 -フーリエ解析-
■掲示板に戻る■ ■過去ログ倉庫一覧■ やる夫で学ぶ応用数学 -フーリエ解析-1 ： ◆zmN9XuyND6：2011/12/24(土) 20:28:30 ID:QzQ2AiG6 / :..:..:.:.:.:.:.:.:.:.: : : : : : .ﾉ : : : : : : : : : .ハ. /..:..:..:..:..:. :.:.: : : : : : ／: : ／:.}. . . . ／: : : .､ はろー /:..:..:..:..:.. :.: : : : : : ／: : ／ ,勹. . .／.: : : : }:.:.: /:..:..:..:.:.: rt ､/: : ／/ｰ ´ ｀メ､:.:.／.:.／: : :/: : i 今日はフーリエ解析と、その周辺の科学について /:..:..:.:..／∧ /: ／: / { 笊ﾐ彡
プログラミングコンテストでの乱択アルゴリズム
前編 (平衡二分探索木編) はこちら http://www.slideshare.net/iwiwi/2-12188757
第12回 データマイニング+WEB ＠東京 ( #TokyoWebmining 12th)−機械学習MapReduce・大規模R解析 祭り− に参加してきた - yokkunsの日記
第12回 データマイニング+WEB ＠東京 ( #TokyoWebmining 12th)−機械学習MapReduce・大規模R解析 祭り− に参加してきました。 http://tokyowebmining12.eventbrite.com/ 以下、メモです。 1.「MapReduce〜入門編：仕組みの理解とアルゴリズムデザイン〜」 (講師：@doryokujin ） (発表30分+ 議論30分) Map Reduce 〜入門編：仕組みの理解とアルゴリズムデザイン〜 View more presentations from Takahiro Inoue ランダムアクセスを避け、シーケンシャルアクセス。シーケンシャルな読み取りに限定して高速化 MAP ReduceにSSDはあまり効果なし？ SSDだと早くなるけど、如何せん高い Splitフェーズ 複数のmap処理を可能にするためデータを分割
全て使える！Twitter解析ツール１５種比較レビュー(2011年版） - リアルアクセス解析
前回書いたレビューから1年半。多くのツールが出現し、紹介していたツールで無くなったり、有料化したりしてしまったものもあります。そこで改めて、2011年版のレビュー記事を書かせていただきました。前回からのエントリーは5個、新規に10個のツールをレビューしています。これらのツールは、私自身がビジネスあるいは個人で定期的に使っているツール群です。 最初に 前回は点数をつけてレビューをしましたが、今回は便利なツールを15個ピックアップしているため、試しに点数をつけてみましたが差がほとんど出ませんでした。そこで、今回は点数無しで、ツールの魅力を紹介していきたいと思います。用途によって使いやすいツールを選んでください！ 注意点： ・テストは2011年5月1日〜20日に行っており、その時点での機能情報になります。 ・ここで取り上げていないオススメツールなどありましたら、私のTwitter経由でご連絡くだ
簡単！たった１３行のコードでHTML取得＆解析をするPerlスクリプト - DQNEO起業日記
１３行のコードで、Yahoo!Japanのトピックス一覧を取得する！ PerlでHTML取得・解析したいときはLWP::UserAgentとHTML::TreeBuilderというのを使うと簡単にできます。 LWP::UserAgentを使うと、Webページの取得ができます。 HTML::TreeBuilderを使うと、HTMLのDOM解析ができます。 この２つのモジュールを使って、Yahoo!Japanのトピックス一覧を取得してみましょう。 コメント行と空行を除くとたったの１３行です。 use strict; use warnings; use LWP::UserAgent; use HTML::TreeBuilder; # urlを指定する my $url = 'http://www.yahoo.co.jp'; # IE8のフリをする my $user_agent = "Mozilla
ExtractUniqueBlock - コンテンツ抽出（本文抽出） Perl モジュール
コンテンツ抽出（本文抽出） Perl モジュール ExtractUniqueBlock の配布ページです。追加した方がよい機能、修正した方がよい機能などがありましたら、お気軽にご連絡ください。最終的には CPAN での配布を予定しております。 ダウンロード 最新版（0.01） ExtractUniqueBlock_beta_0.01.zip ExtractUniqueBlock_beta_0.01.zip に含まれるファイルは以下の通りです。 ExtractUniqueBlock.pm コンテンツ抽出（本文抽出） Perl モジュール ExtractUniqueBlock 本体 asahi_rss.pl asahi.com の RSS を取得してコンテンツ抽出（本文抽出）を行うサンプル local_directory.pl ローカルの HTML 群からコンテンツ抽出（本文抽出）を行うサンプ
Windows プログラマなら読んでおきたい「Windowsデバッグの極意」 - てっく煮ブログ
bookちょろちょろと色んなところで紹介されていた Windowsデバッグの極意 ツールを使いこなして、バグハント! を軽く読んでみたが、この本は Windows 開発をやってる人なら一読したほうがよさそうだ。Windowsデバッグの極意 ツールを使いこなして、バグハント!作者: Mario Hewardt, Daniel Pravat, 長尾高弘出版社/メーカー: アスキー・メディアワークス発売日: 2009/04/28メディア: 大型本前書きの売り文句前書きには次のような逸話が紹介されている。MS のエンジニアが4〜5日に1回クラッシュする問題を数週間かかっても解決できなかったが、gflags の使い方に詳しい人に教えてもらってから再現させると、そこから1時間で原因が分かった。どこの通販番組だよ、と思ってしまったが、１章を読んでみて確かにこの本はすごいと思った。オススメのデバッグツール
統計的に正しいランキングを行う方法 - Hello, world! - s21g
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 ポジティブ／ネガティブ投票による正しいランキング方法が以下の記事で紹介されています。 How Not To Sort By Average Rating この計算方法では、投票数が少ない場合には分散が大きく不正確な評価で、 投票数が多くなるにつれて分散が小さく正確な評価が得られているという事を考慮しています。以下数式 これはScoreの信頼区間を表しています。 この信頼区間の下界をランキングのスコアにすれば良い事になります。 ここで、は、 です。全体に占めるポジティブ投票数の割合ですね。 は標準正規分布上の 信頼区間の有意確率です。 さて、五段階評価によるRatingに同様のテクニックを適用する場合はどうしたらいいでしょうか
本文抽出ライブラリWebstemmerのblog本文抽出用特化スクリプト「blogstemmer」を書いてみた - FutureInsight.info
以前のエントリーで本文抽出ライブラリWebstemmerを使ってみました。 Webstemmerによるブログの本文抽出 - FutureInsight.info Webstemmerは非常に興味深い本文抽出ライブラリなのですが、ニュースサイトなどの複雑な階層構造を持っているサイトの本文抽出に特化しているため、逆にblogのようなシンプルなケースでの本文抽出に用いるには、ちょっとオーバースペックです。 Webstemmer Webstemmer はニュースサイトから記事本文と記事のタイトルをプレインテキスト形式で自動的に抽出するソフトウェアです。サイトのトップページの URL さえ与えれば全自動で解析するため、人手の介入はほとんど必要ありません。 そのあたりのことを考慮して、本文抽出ライブラリWebstemmerのblog本文抽出用特化スクリプト「blogstemmer」を作成してみました。
Windowsで動作可能な無料の無線LANパケットキャプチャ「Omnipeek Personal」
いわゆる無線LANパケットアナライザとして有名なソフトでWildPackets社の「OmniPeek」（有線LAN用「EtherPeek」と無線LAN用「AiroPeek」を統合したLANアナライザソフトウェア）というのがあります。一番安いバージョンでも21万8000円というお値段なわけですが、驚くべきことに個人用途目的限定の無料版「Omnipeek Personal」が存在します。 Windows Vista/XP/2000、Windows Server 2003にインストール可能で、動作する無線LANドライバはAtheros製かIntel Centrino 3945ですが、別途ドライバをダウンロードすることによって、その他の無線LANであっても対応可能。802.11a/b/gだけでなく802.11nにも対応しており、WEPなどで暗号化している場合でもきちんとキーを入力すればアナライズ可
パスワード・ポリシーについて――“長さ”か“複雑さ”か
米マカフィーの教育プログラム「Essentials of Hacking」および「Ultimate Hacking」で筆者が講義する際に詳しく取り上げたい話題の一つは，パスワードのブルート・フォース（総当たり）攻撃（関連記事：Networkキーワード「ブルート・フォース攻撃」とは）とクラック（関連記事：情報セキュリティ入門「パスワード・クラック」）である。筆者は通常，まず生徒たちに「強靱なパスワード・ポリシー」について考えてもらい，その後これらのポリシーに共通する実装や攻撃について分析することにしている。必然的に，生徒が考え出すパスワード・ポリシーは，おおむね以下のようなものとなる。 ・最低1文字の大文字 ・最低1文字の小文字 ・最低1文字の数字 ・最低1文字の記号 ・長さは最低7文字 このパスワード・ポリシーを簡単に解析してみると，以下のようなものとなる。 ・文字セットの数は，おおまかに
tips - ApacheのLogフォーマットの方を変えて高速化 : 404 Blog Not Found
2007年10月05日00:00 カテゴリTipsLightweight Languages tips - ApacheのLogフォーマットの方を変えて高速化 というより、高負荷サーバーの場合、ApacheのLog Formatを変更しちゃった方がいいでしょう。 ? （高速に）Apache の log を解析する正規表現 : a++ My RSS 管理人ブログ こんなの広めちゃいかん と思いついついエントリ。具体的には、 LogFormat "%h\t%l\t%u\t%t\t\"%r\"\t%>s\t%b\t\"%{Referer}i\"\t\"%{User-Agent}i\"" combined_tsv ないし、さらに LogFormat "%h\t%l\t%u\t%t\t%r\t%>s\t%b\t%{Referer}i\t%{User-Agent}i" combined_tsv として
MarkeZine：◎携帯電話のアクセスの解析で理解しておきたいこと（前編）
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
セキュアなLinux環境への近道――Damn Vulnerable Linuxの無防備さを極めろ！ | OSDN Magazine
Damn Vulnerable Linux（DVL）には、セキュアなLinuxディストリビューションであれば備えていては“いけない”あらゆる要素が取りそろえられている。DVLの開発陣は、セキュリティホールの原因となる穴だらけの旧式ソフトウェアを意図的に寄せ集めることで、外部からの攻撃に対して無防備極まるLinuxディストリビューションをわざわざ生み出したのだ。もっともこのディストリビューション、一般ユーザのデスクトップ環境で使われることを前提としている訳ではなく、コンピュータセキュリティ用の教材として作られたのであるが。 DVLは、1枚のライブCDに収められた容量150MBのISO形式で配布されている。その母体とされたのは、コンパクトなLinuxディストリビューションとして人気の高いDamn Small Linux（DSL）であるが、その選定理由はこうしたサイズの小ささだけではなく、2.6
Vulnerability Security Testing & DAST | Fortra's Beyond Security
Beyond Security simplifies network and application security testing. BeSTORM is a black box fuzzer, a method of dynamic application security testing, that uncovers unknown security weaknesses during the product development stage, so fixes can be made before a product is launched. This chaos testing style requires no source code to run and offers more than 250 pre-built protocols and modules or the
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
情報抽出入門 〜非構造化データを構造化させる技術〜
Vulnerability Security Testing & DAST | Fortra's Beyond Security