終了 2015/10/15(木) 19:00〜 ログ分析勉強会 vol.1 セキュリティの陣 kenji kobayashi 他 東京都千代田区平河町2-16-1 平河町森タワー2F
終了 2015/10/15(木) 19:00〜 ログ分析勉強会 vol.1 セキュリティの陣 kenji kobayashi 他 東京都千代田区平河町2-16-1 平河町森タワー2F
はじめに Hadoopを使って大規模データを蓄積し分析するのは、もはや当たり前になってきた昨今ですが、大規模データ分析の環境を試すのは、なかなか難しいというのが現状です。確かに、Hadoop単体やSQLエンジン単体なら、Amazon EMRやGoogle BigQueryなどを使うことで体験することは可能でしょう。しかし、大規模データの分析基盤では以下のようなことを行っていく必要があります。 RDBMSからデータをHadoopにインポートする SQLを使って、大規模データを高速に分析する アクセスログなどの大量の非構造化データを分析する 大量のデータに対し、リコメンドに利用するための高度な分析処理を行う 大量のデータを全文検索できるようにする これらすべてを試す環境を構築するのは、たとえクラウド環境を使ったとしても困難です。また、(検証環境としては)意外と高額な費用がかかってしまい、永続化
なぜDMMがweb3に参入したのか。Seamoon Protocolが目指す新たなエンタメ体験の未来とは
2. データサイエンティスト 2 今世紀でもっともセクシーな職業 ハーバード・ビジネス・レビュー 2013年年2⽉月号 2018年年までに⽶米国で14〜~19万⼈人不不⾜足 マッキンゼー 2011年年5⽉月 求められるスキル ビジネススキル,機械学習/ビッグデータ, 数学/OR,プログラミング,統計 Analyzing the Analyzers, O’reilly 2013 4. 本⽇日お話すること 4 1. データのこと Keywords: ダミー変数,⽋欠損値,正規化,次元の呪い 2. 機械学習のこと Keywords: 機械学習の分類,アルゴリズム,注意点 3. 評価のこと Keywords: 混同⾏行行列列,適合率率率,再現率率率,F値,ROC曲線 4. 分析のこと Keywords: 過学習,交差検証,学習曲線,バイアス・バリアンス 教師あり学習(後述)寄りの内容が多いです
(2021-8-28追記) この記事の改訂版を書いてみました。改訂版の方が易しい内容になっているので、プログラミング初心者の方はこちらを参考にしてみてください。 はじめに:「引数があるよりは、ない方が良い」? 先日、同僚の西見さん(@mah_lab)がこんな技術ブログを書いていました。 インスタンスメソッドとクラスメソッドはどのようにして使い分けるべきか?(Rubyの場合) 同じ内容を僕だったらどういうふうに書くかな~?と思って、ちょっと書き始めてみたんですが、わかりやすく実践的な説明をするのは意外と難しく、内容も西見さんのブログとほぼ同じになりそうだったので、途中で断念しました。 というわけで、インスタンスメソッドとクラスメソッドの使い分けが未だにあやふやだという方は、ぜひ西見さんのブログを読んでみてください! ・・・なんですが、1点だけ気になる点がありました。 それはインスタンスメソッ
日立製作所と京都大学工学部(三浦清貴研究室)は10月20日、石英ガラス内部に、Blu-ray Disc並みの記録密度となる100層デジタルデータを記録・再生することに成功したと発表した。石英ガラスは耐熱性・耐水性に優れ、3億年を超えるデータ保存にも耐えられるという。 11月に打ち上げ予定の小惑星探査機「はやぶさ2」相乗り小型副ペイロード「しんえん2」(九州工業大学と鹿児島大学が共同開発)に、3億年後へのメッセージを込めた画像・文字列を描画した石英ガラスを搭載する。 石英ガラス内部にフェムト秒パルスレーザー(数兆~数百兆分の1秒にまで短パルス化したレーザー)を照射してドットを形成。ドットを1、ドットがない部分を0としてデジタルデータを記録する技術。再生に光学顕微鏡を用いる手法を2012年に開発し、4層記録でCD並みの記録密度を実現、13年には26層記録でDVD並みの記録密度を達成してきた。
現代の若者は絶望しているのだろうか。どうなんだろう。というのは、昨日のエントリーへのツイッターのコメントでこういうのを見かけた。晒しとか、反論というかいう意味ではない。基本的には「ふーん、どうなんだろうか」と思っただけ。なのでコメント部分だけ引用。 ないのはお金だけじゃないよ。将来に対して絶望感以外なんにもない国で、落ちていくしかないんやから、恋愛みたいな長期的なことより、刹那的なものに流れるにきまってるやん。 現代の若者が恋愛できないのは、お金がないこと論に加えて、この「国」の将来に対して絶望感以外ない、という意見があるらしい。 若い人が絶望を抱くことについては、20歳までに自殺すると思っていた私としては、特に違和感はない。違和感があるとすれば、私がそうであったように、小学生だった1960年代から、青少年期だった1970年代、若い人の絶望というのは凡庸なことだった。 特に60年代から70
日々、いろんな海外メディアの情報を追っているのですが、改めて日本におけるメディア関連データで気になるものを足下から整理しようと思い、調べてみました。 1. スマートフォンの所有率 (出典:ビデオリサーチインタラクティブ | プレスリリース) 昨年の時点でガラケーの所有率をスマホが上回っていたようですが、今年はさらに差が広がっていますね。特に女子学生(85.2%)、男子学生(78.3%)のスマートフォン所有率が高いとのことです。タブレットもじわじわ増えています。 2. スマートフォン加入者数 総務省によれば、日本にはインターネット利用者数が9652万人いるようです。また、IDC Japanの2013年~2017年の国内スマートフォン加入者数予測によれば、2014年には6277万人に、2015年には約7000万人がスマホを持つことになりそうです。 3. スマートフォンの利用場所とシーン ヤフー
2014-08-31 横浜市のオープンデータで人口ピラミッドを作ってみた R できそうなことをやってみよう。 Rの勉強をするにあたり、この本を注文しました。手を動かしながら学ぶ ビジネスに活かすデータマイニング作者: 尾崎隆出版社/メーカー: 技術評論社発売日: 2014/08/22メディア: 単行本(ソフトカバー)この商品を含むブログ (1件) を見る が、まだ来てません。 しかしながら、今日は今流行のデータサイエンティストたる夫が在宅している休日であります。そこで何かデータを触るべく、オープンデータを探していたら、横浜市の「よこはまオープンデータカタログ」というサイトに出会いました。 横浜市政策局 政策課 オープンデータの推進 よこはまオープンデータカタログ(試行版) 集計済みデータのため、簡単にできることは限られていそうでしたが、「人口データがあるなら人口ピラミッドできるじ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く