WireSharkを使ってダンプを解析するためのキャプチャファイルをtcpdumpで保存するためのオプションを毎回忘れてしまうのでメモ。 tcpdump -n -i en0 -s 0 -w dumpfile.cap [filter] tcpdump -w filenameだけでも、キャプチャファイルは作れるが、デフォルトではキャプチャ用のバッファ(snaplen)が 68バイトと小さく(TCP のヘッダー分のサイズらしい)、あふれたデータを取りこぼしてしまいます。tcpdump で見ている分には必要の無いデータですが、WireShark で「Follow TCP Stream」を見ようとした時に壊れていたりします。 そこでオプション ‘-s’ を指定して snaplen のサイズを大きく設定しています。(0は無制限、と言っても65535バイトくらいしか見た事ない) (Open)Solari
【注目技術その7】拡張現実:リアル世界にジオタグを貼り付ける 機器のディスプレイに映し出されるライブ映像の上に、付加情報を重ね描きして見せる「拡張現実(Augmented Reality:AR)」技術。すでに戦闘機のフロントガラスに情報を投影するヘッドアップディスプレイ(HUD)などの軍事用途で実用化され、有用性が証明されている。そして現在、民生機器の分野でもAR技術が普及しつつある。その代表格が、GPS機能を搭載したカメラ付き携帯電話機である。 2011年には、アップルやグーグルのほか、十数社あまりの新興企業が、AR技術を利用して商業情報を流すアプリケーションやシステムを投入する計画だ。例えば、ショッピングモールでどの店にどんなセール品があるのかを消費者の端末に表示するといった具合である。インテルのベンチャー投資部門であるインテルキャピタルも、ARプラットフォームを専門として開発者コミュ
印刷産業のトレンドを捉える印刷業界専門紙【印刷ジャーナル】のニュース配信サイト:PJ web news|印刷時報株式会社 会社概要|お問い合わせ|サイトマップ 非接触で微小液滴を正確に着地させることができ、電子写真方式のような加熱定着処理が不要であることから、回路基板製造やDNAチップ、ディスプレイ装置の生産に応用されているインクジェット技術。言うまでもなく印刷産業にとっても多くの可能性を秘めた魅力的な技術である。「インクジェットdrupa」と称されたdrupa2008以降、ワイドフォーマットの高解像度化やUVによる用途拡大が進む一方、印刷用紙への柔軟な対応や枚葉タイプの登場、さらに高速機が続々と市場投入されるなど、インクジェット技術は着実に商業印刷をはじめとした幅広い印刷関連ビジネスへの適応能力を備えつつある。印刷機械メーカーが相次いでインクジェット印刷機の開発に着手する背景にも、印刷産
Linux 3.3 has been released (official announcement) on 18 Mar 2012. Summary: This release features as the most important change the merge of kernel code from the Android project. But there is more, it also includes support for a new architecture (TI C6X), much improved balancing and the ability to restripe between different RAID profiles in Btrfs, and several network improvements: a virtual switch
12月にさくさくテキストマイニングで発表したpure Rubyによる形態素解析エンジンをgem化しました。 まだ発展途上で機能が少なかったりパフォーマンスが悪かったりしますが、いちおう動くレベル*1になったので公開します。 注意事項 バージョン0.0.xのうちは、インタフェースや辞書フォーマットは頻繁に変更される予定です。 ある程度安定したら0.1.0出します。 今のところ、Ruby1.9系専用です。 取得 gem install okuraでインストールできます。 ソースは https://github.com/todesking/okura 使い方 MeCabフォーマットの辞書データを使用します。 動作確認はMeCab用NAIST辞書で行いました。 最初にokura compileコマンドで辞書をコンパイルします $ okura compile mecab-naist-jdic-0.6
markdown2impressってのを書きました。 https://github.com/yoshiki/markdown2impress これはmarkdownで書いた文章をimpress.jsに対応したHTMLに変換するものです。impress.jsっていうのは、CSS3をつかって文字とかをぎゅんぎゅん動かすことのできるプレゼンフレームワークです(prezi.comにインスパイアされて作ったらしい)。 impress.jsを使ってプレゼンをゼロから作ってもいいんですが、HTMLをいちいち書くのめんどかったのでmarkdown形式で書いたものをそれ用に変換してくれたらいいなと思って書いてみました。基本的にはmarkdownで書いた文章の1つのセクションが1つのスライドになるようになっていて、githubのリポジトリのREADME.mdをこのプログラムで変換するとプレゼンに変換されます。
科学技術研究 悪用のリスクは軽視できない(3月19日付・読売社説) 最先端の科学研究がテロなどに悪用される恐れはないか――。 日米欧の研究者によるインフルエンザウイルス研究を契機に、科学技術の負の側面について、国際的な論議が広がっている。 こうした安全保障上の問題について、日本の科学界はこれまで鈍感だった。政府と専門家が、本格的に議論する機会としたい。 問題となった研究は、強毒性の鳥インフルエンザウイルスに関するものだ。通常は鳥同士で感染するが、日米、欧の研究グループが昨年、それぞれウイルスの遺伝子を操作して、人を含む哺乳類にも感染しやすい新型を作った。 今の鳥インフルエンザでも、2003年以降、世界で約600人が感染し、うち6割が死亡している。これが人同士で感染する新型に変われば被害は甚大だ。その監視に役立てるのが目的だった。 ワクチンや治療薬の開発に結びつく、重要な研究でもある。 研究
NECは、M2Mネットワークを構築するセンサなどに組み込む近距離無線モジュールに搭載可能な小型アンテナを開発した(ニュースリリース)。大きさは9.0mm×3.5mmで、NECによれば「世界最小クラス」という。 開発したアンテナは、人工材料「メタマテリアル」の構成要素の一種であるスプリットリング共振器(Sprit Ring Resonator:SRR)を、アンテナの素子として採用した。SRRは、金属リングの一部を切断したCの字型の共振器で、磁性体としての性質を示す。NECは今回、プリント基板に形成したSRRを複数積層する新構造を開発した。これにより、単層の共振器に比べてアンテナの容量成分を増やすことができ、電波の放射効率を高く保てたとする。
Programming Language Challenges in Systems Codes システムコードにおけるプログラミング言語の挑戦、あるいは、なぜいまだにシステムプログラミングはCなのか。 著者がJonathan Shapiroであることが興味深い。Jonathan ShapiroはD&Eに頻出する名前である。Bjarne Stroustrupの記述からして、初期のC++の設計に多大な影響を与えた人物である。それに、最初にC++を使って本格的で大規模なプロジェクトを始めたのも、Jonathan Shapiroだ。しかし、今日、Jonathan Shapiroの名前はC++界では、あまり有名ではない。私はMLとかHaskellなどの言語には疎いので、この方面の話は知らなかった。 なぜシステム・プログラミングは、いまだに1970年代に開発された大昔の高級アセンブリ言語で書かれてい
次の段階、次のつながり、次の時代、次の世代・・・、さまざなま『次』のために、NPO/NGO や web で何ができるのかを考えます。 検索 さて、ちょっと遅くなりましたが、前回の続きです。 4.3 友人関係グラフの作成 ここでは、これまでに作成してきたデータを可視化させる方向に話が進みます。可視化することによってわかってくることがあるので、といったことですね。その可視化したものをソーシャルグラフ、と呼んでいます。 じゃあ例4-10をコピって…と思ったら本にファイル名が書いてない!あらソースなし?と思って著者のgithubを見たら、なんだ、ちゃんとありました(friends_followers__redis_to_networkx.py)。 このソースは、前節の例4-8のクロールのソースを用いて対象としたいtwitterアカウントのデータをRedisに入れてあることを前提として、特定のtwi
2018年のSpace Apps Challenge Tokyoは Input Day:2018年10月8日(祝) 13:00〜18:30 場所:「Startup Hub Tokyo」 定員:50名 Hackathon:2018年10月20日(土) 10:00〜21:00 / 21日(日) 09:30〜20:00(予定) 場所: ヤフー株式会社「LODGE」 定員:60名 という日程にて行います。申込はこちらから Space Apps Challenge Tokyo 2018 Input Day 参加用ページ(終了) Space Apps Challenge Tokyo 2018 Hackathon 参加用ページ(connpass) Input Day 参加申込は先着順になっておりますので、お早めにお申し込みください。 Hackathon 参加申込はエントリー後運営側で選考する予定です。ご
以前(http://d.hatena.ne.jp/stog/20100531/1275317576)作成したコレクションをmap/reduceを使って"type"別に集計してみる。 コレクションの中身はこんな感じ。 $ mongo mytest MongoDB shell version: 1.4.4 url: mytest connecting to: mytest type "help" for help > > db.members2.find() { "_id" : ObjectId("4c03c632b4742d2998000000"), "birthday" : 342057600, "type" : "human", "name" : "おがわ", "sex" : "M" } { "_id" : ObjectId("4c03c632b4742d2998000001"), "b
わたし的棚ぼた一万円選書 急に千葉さんに手渡された封筒、開けてみたら1万円札が1枚。何ごとかと思えば、同期の出張を代わったお礼をもらったらしい。 「葵はワンオペで育児してくれたから」と半分わけてくれました。 泡銭の1万円 これはもう、わたし的1万円選書をしろという思し召しなのでは……
MongoDBで検索するときの条件として日時を使ってみたのだが、意図した結果が得られない。 前回(http://d.hatena.ne.jp/stog/20100525/1274890034)作ったデータベースに対して以下のように検索してみる。 mongodb_find_date.py #!/usr/bin/env python # -*- coding:utf-8 -*- import pymongo import datetime conn = pymongo.Connection() db = conn["mytest"] coll = db["members"] # 誕生日が2000-01-01以降のものを検索したい print "find({'birthday': {'$gte': datetime.datetime(2000, 1, 1)}})" print "--------
前回(http://d.hatena.ne.jp/stog/20100526/1274899622)の続き。 MongoDBで日時を使った検索をするとき、1970-01-01より前の日付がうまく扱えない件について、自分が使い方を間違っているのか、そういう仕様なのか未だに分かっていない。。 なので、以下のように日付をタイムスタンプとして扱えば良いのかも。 テストデータ dummy.tsv name type sex birthday おがわ human M 1980/11/03 たかはし human F 1974/02/20 たなか human M 2003/01/15 さとう human F 1960/10/05 ポチ dog F 2005/06/07 タロ dog M 1995/08/08 タマ cat F 2008/12/24 ミケ cat M 1998/12/25 John huma
CRND NEWS DIG 立憲主義・法治主義・法の支配・民主主義と熟議を重んずる政党(政治家)を応援します。無党派。国民益優先。基本的人権の尊重。リベラル正常化。反緊縮。政治・経済・時事問題など様々な「ニュース」を国民目線で考える論説ブログです。愛国主義、ラディカル・フェミニズム、共産主義、社会主義、マルクス主義、全体主義、パターナリズム、ファシズム、優生思想、純潔教育、新自由主義、グローバリズム、自己責任論、表現規制、ポリティカル・コレクトネスに「反対」です。個人の尊厳を基礎に「ジェンダー平等」を求めます。 ■メールで頂いた情報です。 こんばんわ。○○です。 さて、DL犯罪化の件で、瑞慶覧長敏議員から「民主が自公案に合意したというのは誤報だ」というメールが来てます。 (以下転載) お心にかけてくださいましたことに、まず、感謝申し上げます。 さて、お尋ねの「民主党が自公案に同意」との東京
数学において、有限加法族(ゆうげんかほうぞく、finitely additive class)あるいは集合体(しゅうごうたい、field of sets)、集合代数(しゅうごうだいすう、英: algebra of sets, algebra over a set)とは、冪集合が集合演算について成すブール代数の部分代数のことである。つまり、集合 S 上の有限加法族 (S, F ⊂ 2S) は、F の任意の二つの集合 A, B の結び A ∪ B, 交わり A ∩ B および任意の集合 M の全体集合 S に対する補集合 Mc = S − M を取る操作について閉じている。有限加法族は任意のブール代数を表現することができるという意味においてブール代数の表現論にとって本質的な対象である。S 上の集合体 (S, F) に対して、S の元を集合体の点、F の元を集合体の複体(complex; 叢)と
引き続き、Redisのチュートリアルです(※前回)。 A case study: Design and implementation of a simple Twitter clone using only the Redis key-value store as database and PHP Google Codeを見ていると、既に各種スクリプト言語で扱えるようなモジュールがあるようです。 盛り上がっていることでしょうか。 さて、作るのは、RetwisというTwitterクローンです。 Twitterクローンといっても、Twitterと何か連携する、というわけではなく、TwitterのようなシンプルなミニブログサービスをRDBMSを使わず、データベース(ストレージ)としてRedisのみを使って、作るという内容です。なお、PHPを使っての実装です。 登録時の内容は、ユーザID
Note 英語の本家のページは、 PHPを使って説明 説明していますが、このページではPythonと Tornado を使ったチュートリアルに変えてあります。 Bitbucketの リポジトリ に、このチュートリアルのファイル一式が含まれています。 tutorial/retwis/ フォルダを自分の作業フォルダにおいて、 retwis_start.py に、これから説明する内容を追加で実装していってください。なお、実力に自信のある方は、PHPやRubyの参考実装だけを見ながら、 RegisterHandler や、 FollowHandler クラスもPythonに移植してみてください。 また、 @yssk22 氏がnode.js版を実装してくれました。これもリポジトリの中に入っていますので、興味のある方はこちらのファイルの内容に読み替えてください。 RedisとPythonを使ったシンプ
2/10(金)に開催された、第4回「入門 ソーシャルデータ」真面目に勉強する会 に参加してきました 勉強会のメインとなる本「入門 ソーシャルデータ」 イベント詳細は以下にて。 第4回「入門 ソーシャルデータ」真面目に勉強する会 @神泉(渋谷) : ATND ◎本日、最多人数の参加です。 会の最初に全員30秒程度の自己紹介がありました。 その際に思ったのが以下の二つ ・学生さん多い感じ(主催の方も大学院生) ・意外とみんな・・・していない(自分もしてこれなかった) ■スライド発表 @HOSONO_Junyaさんによる 入門ソーシャルデータ 第4章の要点について説明 4章自体が40ページにわたる内容だったのですが 1時間程度で説明ができるぐらいに集約されておりました。 振り返り ・今までの発表振り返り ・twitterについてのおさらい →主要なソーシャルメディア 今日のスライドの特徴 ・ソー
はじめに 株式会社ドワンゴで「ニコニコ生放送」の開発を担当している、小野と申します。本特集では、いわゆる「NoSQL」の一種であるRedisの概要と基本操作、そしてWebアプリケーションでの応用例までを、ニコニコ生放送での事例を交えながら紹介していきます。 Redisとは? Redisは、Salvatore Sanfilippo氏によって2009年に公開されたインメモリベースのキー・バリュー・ストアです。2010年3月にはVMWareが同氏を雇入れ、同社の支援のもと、コントリビューターのPieter Noordhuis氏と共にフルタイムで開発が進められています。 本記事執筆時点での最新stableはバージョン2.0となり、新しいデータ型の追加やトランザクションのサポート、VM(仮想メモリ)の実装などが追加されました。 また、メモリ効率の向上やスループットの改善が図られたバージョン2.2が間
TwitterがTweetDeckを買収したものの、これまで大幅なアップデートも行わずまさに買い殺しの状態となっていましたが、Twitterでは次世代TweetDeckのアプリを開発するエンジニアを募集しているようです。 情報元:TweetDeck “next generation” app coming soon – SlashGear 2011年5月に4000万ドルでTweetDeckを買収したものの、その後大きなアップデートを行うこともなく実質放置状態になっていましたが、ようやくアプリのアップデートを行うようです。 AndroidのTwitterクライアントはTweetDeckを常用しています。次世代アプリの開発ということで刷新されるのも楽しみですが、現行のアプリにおいてもAndroid 4.0ではツイート画面で画像を添付したり、URLの短縮化を行うことができなくてかなり不便していま
画像認識によって歩行者や障害物、前方の車を検出して追突しない車をつくるわけだが、運転している人間の状態のモニターも研究の歴史が長い。 フォードが心拍数をモニターして運転手の健康状態を把握。心臓発作などによる不測の事故を未然に検出したい、ということ。 http://response.jp/article/2011/05/25/156894.html 人間工学の分野でも自動車関連機関の研究は歴史がある。 心拍時系列解析で人間の精神状態をモニターする例 http://pioneer.jp/crdl/rd/pdf/14-3-3.pdf まずは、眠気の事前検出。眠らないように。 そして、加速する時の緊張、高速運転時の緊張、などの精神ストレスのモニター、心地よい快適な運転環境をつくるという目的。 ちなみに、心電図はハンドルを握る左右の手から取れる。足にも電極があると、3点測量で医療目的に使われる心電図
いくつかのセンサーの出力から、状態の推定、異常検出、パターン識別をする例題を見繕ってみたメモ たまたま見た研究会資料から (1)多センサの多次元表現と部分空間識別器に基づく異常検知 http://jglobal.jst.go.jp/public/20090422/201102278182361273 (2)尤度ヒストグラムに基づく異常検出 http://ci.nii.ac.jp/naid/40018763233 をざっと見た いずれも、東京農工大と日立製作所の何かのシステムにつけている19個のセンサから正常稼働日と異常稼働日を識別する2クラス識別器をつくる問題。 センサの時系列データをどのように表現、特徴量にするか、したほうが識別しやすいか。 (1)多センサの多次元表現と部分空間識別器に基づく異常検知 では、出力された順にそのままデータを並べて特徴ベクトルにする。19個のセンサーなので、1
ちなみに、ScipyはNumpyに依存していて、NumpyはN次元配列を効率的にあつかえる機能が実装されている、らしい。 Scipyのとっかかりとしては、「科学技術計算のために Python を始めよう」のリソースがOK http://www.ike-dyn.ritsumei.ac.jp/~uchida/scipy-lecture-notes/index.html roscipy 2010 のチュートリアルからの講義和訳らしい。 scipyのTutorialも必須だろう。 http://docs.scipy.org/doc/scipy/reference/tutorial/index.html scipyで各種ファイルを読み込む http://docs.scipy.org/doc/scipy/reference/tutorial/io.html matlabのmatファイル、wekaのar
次の段階、次のつながり、次の時代、次の世代・・・、さまざなま『次』のために、NPO/NGO や web で何ができるのかを考えます。 検索 今週金曜日(2012/2/10)、こちらのイベントでプレゼンを担当します。 第4回「入門 ソーシャルデータ」真面目に勉強する会 @神泉(渋谷) このイベントは、オライリーの『入門ソーシャルデータ』を参加者同士で一章ずつ担当して読み進めていこう、という連続勉強会で、この日ではそのうちの第4章を担当することになっています。 それに先立って、事前にこの章をひと通り読み進めてみましたので、その過程を書き留めていきます。参考になれば幸いです。書いてみたら長くなったので2回に分けます。これはその1回目。 まず、この本では記載されているソースはすべてpythonという言語で書かれていますので、python環境もOSなどにあわせて用意しておきましょう。なるべくバージョ
前回紹介したRedisのLIST型に続き、今回はSET型とSORTED SET型について、その構造とWebアプリケーション開発への応用を紹介します。 SET型の構造 RedisのSET型は、重複のない文字列要素の集合を保持するデータ型です。Javaのコレクションフレームワークをご存知の方には、「HashSet」のようなもの、と想像していただくと分かりやすいかと思います。 LIST型のPUSHやPOPと同様、SET型への追加/削除の時間計算量はO(1)となり、理論上はサイズに関係なく一定時間で操作できることになります。実際、ニコニコ生放送のシステムでは、要素数にして数万規模のSET型に対して、分間数千~数万回の追加操作を行っています。 一見、SET型のデータ構造は単純すぎて、アプリケーションで活用する機会が想像しにくいかもれません。RedisにはHash型という連想配列のように使えるデータ
ある人材紹介会社に登録されている就業希望者と、その仕事のスキルの組み合わせを表現したものです。本当は、スキルコードも「01102」とかコードで表すのがよりリアリティがありますが、わかりやすさのためスキルの名前をそのまま使うことにします。このテーブルによれば、たとえば100番の人は会計、在庫整理、製造という3つの分野の技術を持っており、300番の人は製造のみの技術を持つ、ということになります。 さて、この会社にはいつもひっきりなしにクライアント企業から人材についての問い合わせが入ります。みなさん、この会社の対応オペレータになったつもりで、クライアントからの問い合わせ条件に合致する人材がいるかどうか、検索してみてください。 ①クライアントAからの問い合わせ 次のような条件であるとします。 条件:「製造」スキルを持っている人材 これは簡単ですね。スキルが1つだけであれば、WHERE句で条件を記述
* wiki(Tech Note)のページ追加 このエントリーの内容を整理してwikiにもRedis関連のページを追加しました。 Redis – Tech Note Redis is an open source, advanced key-value store. It is often referred to as a data structure server since keys can contain strings, hashes, lists, sets and sorted sets. インメモリKVSのRedisを少し触ってみました。 さくらVPS(CentOS 5.6)にインストールしようと思ったのですが、yumのレポジトリだと今は古いバージョンしか入れられないようなのでソースからビルドしました。手順は公式の通りに。(参照: Download – Redis) また、/
主にfacebookにつぶやきまくる毎日。 noteとかzenn.devにも書いてるので、こっちはあんまり更新してません。 最近あんまりmongodb触ってません。 以前の案件でのmongodbは近日停止しちゃうし、現在従事してる案件はredisです。 なんでredis?っと思いましたが、半年も前から決めちゃってる話で、 性能で選んだらしい。色々調べてみるとそれなりには納得。 http://blog.brandonc.me/2011/11/memcached-vs-redis.html 色々まとまってるのは上記ですね。中国語ですが。 #自分で測定する時間と元気は今はありません。済みません。 性能測定上は、redisはmongodbより3倍速いってことなのでしょう。 実際そうなのでしょう。 ただしmongodb経験者からみると、redisは機能が低すぎてビビります。 「データベース番号」とか
近年,リアルタイム性の高いCGMであるマイクロブログの利用が増加している.マイクロブログは,実世界とWebをリアルタイムに結び付けることができるため,位置情報サービスの分野で注目されている.しかし,マイクロブログに投稿される情報は膨大な量であり,特定の地域における話題のみを抽出することが困難である.そこで,マイクロブログから場所に関する単語のバーストを検出し,話題性が高い地域を抽出する研究が行われている.しかし,バーストのみに着目した解析では,日常的な地名の出現傾向の違いを考慮できない問題がある.そこで,本研究では,地域における話題を類型化することで,マイクロブログから地域の話題を適切に抽出する手法を提案する.
Tokyo.R勉強会に行ってきました。 内容盛り沢山で、刺激的ですね。 個人的には時系列分析を行うxtsパッケージとgoogleVisとの連携が実践的に使えそうに思いました。 xts(zoo)のローリング機能はリサーチ(POS等の小売データなど)では有用ですし、googlevisとの連携は顧客によってはレポートとして魅力的ですね。 ===============(以下メモ)=============== ○生存時間分析 -2種類の打ち切り(censered data) -ハザード関数 -ノンパラ、セミノンパラ、パラメト(共変量、分布の過程) -ノンパラ:確率分布を仮定しない(共変量、分布仮定しない) -経験分布(カプランマイヤー)、ハザード関数 -survival -surv,survfit -信頼区間推定→群間差分の検討?なのか? -セミノンパラ:コックス比例ハザード -複数共変量の検討
はじめに こんにちは。Hadoop連載 第4回は太田さんに代わって大倉が担当します。 これまでの連載で、Hadoopによるデータ処理の概略については理解されていると思います。今回はHadoopを利用したシステムの実例ということで、ブログ分析を行う「blogeye」システムの概略と、その中でのHadoop利用法を紹介します。 また、blogeyeはAmazonが提供しているEC2(レンタルサーバ)、S3(ストレージ)をHadoopと組み合わせて利用しているので、その辺りの導入方法についても紹介します。 これまでの連載 Hadoop、hBaseで構築する大規模分散データ処理システム Hadoopのインストールとサンプルプログラムの実行 複数マシンへHadoopをインストールする blogeyeとは 「blogeye」(ブログアイ)は日本語のブログをクロール、リアルタイムに分析して、流行語と思わ
ブロガーの性別や年齢、地域ごとに、ブログで話題になっているキーワードをランキング形式で紹介するサイト「blogeye」が12月13日オープンした。 400万以上のブログを対象に、話題になっている言葉を抽出。ブログを統計的に分析したデータベースを元に、記事に含まれる特徴から、ブロガーの性別や年齢、居住地を推定する。 トップページには、24時間以内にブログで急に話題になったキーワードをランキング表示。ブロガーの性別や地域ごとのランキングに切り替えることもできる。ランキングは5分ごとに更新する。 キーワードをクリックすると、そのキーワードに関連するブログの一覧、ブロガーの男女比や年齢構成のグラフを表示。そのキーワードが過去10日にどれくらい使われたかを表したグラフも確認できる。 東京大学大学院の大倉務さんが開設した。情報処理推進機構(IPA)の「未踏ソフトウェア創造事業」の一環。 関連記事 ブロ
overlasting.net 2019 Copyright. All Rights Reserved. The Sponsored Listings displayed above are served automatically by a third party. Neither the service provider nor the domain owner maintain any relationship with the advertisers. In case of trademark issues please contact the domain owner directly (contact information can be found in whois). Privacy Policy
3. AGENDA ● 自己紹介 ● 異常行動検出 ● サイバー犯罪の検出 ● ナイーブベイズによる異常行動検出 ● 異常行動検出エンジン AccessTracer ● 応用例 ● 最後に
12. 自己紹介 ● 名前 : 里 洋平 ● ID : yokkuns ● 職業 : データマイニングエンジニア
全体:Mann-WhitneyのU検定 zo = 2.052 * (p = 0.0402) 改善率(軽度改善以上を改善とした時):χ2検定(2x2) χo2 = 4.010 * (p = 0.0452) この表を度数分布図にすると次のようになります。 第1節で説明したように、レベルの高い尺度のデータをレベルの低い尺度のデータに変換することを尺度合わせといいます。 表2.6.1の改善率は順序分類尺度である改善度を改善と非改善に2分類して名義尺度に変換したもので、尺度合わせの典型的な例です。 軽度改善以上を改善にしたということは、著明改善も中等度改善も軽度改善も医学的な意義は全て同じで、ひっくるめて改善と考えられ、同様に不変も悪化も医学的な意義は全て同じで、ひっくるめて非改善と考えられるという判断をしたことに他なりません。 (→2.1 データの種類と統計手法) 確かにそのように考えた方が良い時
実験はギャンブルのようなもので、 どんな結果が出るかはわからないが、 実験計画を立てる。 「2群に差がない!」という帰無仮説を立てる。 群間のサンプルの選択は公平にしなければならないが、 勝率が高くなるような実験計画をデザインも必要である。 生物実験では、物理科学実験とは異なり、 得られるデータは必然的にばらつきを伴う。 測定者による誤差 ---実験技術の向上に伴い、 データの信頼度は上がる! 測定装置、あるいは測定方法による誤差 測定されるものの性質による個体差
マンガを描くとき、シナリオを先に書く人もいるかと思います(私は、そうしています)。 また、原作付きマンガを描いている人で、シナリオをテキストファイルやワープロソフトのファイルで受け取る人もいるでしょう。 いまマンガを描く人は、ほとんどがClipStudioを使っているはずです。そのようなマンガ家なら、シナリオからネーム部分(セリフとナレーション)だけ抜き出せたら便利だと思いませんか? そこで自作シナリオのネーム部分だけを抜き出し、句読点や「!・!!・?・!?・空白」が来ると、そこで改行するプログラムを作ってみました。 元のシナリオを「input.txt」という名前で保存し、同じフォルダにこのプログラムを置いてください。Pythonのインストールがすんでいれば、あとはこのプログラムのアイコンをダブルクリックするだけで、改行されたネームだけになったファイルが「output.txt」という名前で
ひところよりもデータモデル(ER図)を作成することの重要性が理解されるようになったが、それでも形だけ整えられて納品されてしまうことがある。「納品しろと言われたからしかたなく作った」ようなモデルはヤバい。素人のイラストにもとづいて高層ビルを建てるような無茶を避けるために、危ういモデルを事前に見破るコツを知っておこう。 ただし、データモデルの「意味的な正しさ」は個別の問題なので立ち入らない。ここではその「見かけ」から危ういモデルを見破るための3つのポイントを紹介しよう。「キー設計が甘い」、「多対多を含んでいる」、「他の設計要素を支えない」といった兆候があれば注意したほうがいい。それぞれを説明しよう。 1.キー設計が甘い データモデルはデータ項目間の「関数従属性」と「ドメイン制約」を示すための図面である。それゆえに、キー属性がいい加減に設計されたモデルは役にたたない。キーはテーブルの存在証明のよ
電気自動車(EV)にコネクテッド(つながる)、自動運転――。新技術を搭載するクルマが続々と登場しているが、大ヒットを記録しているものは少ない。どうすれば普及期に突入できるのか。 「…続き エコカーに「無関心の壁」 米自動車市場の現実 [有料会員限定] EV時代はまだ来ない 現実解は「マイルドHV」
サンワサプライが「Android対応カードリーダー 400-GADR002W」を発売した。同社直販サイト「サンワダイレクト」での販売価格は3280円。同製品では、USBホストに対応したスマートフォンやタブレットPCで、SDカードやUSBメモリの読み込み、マウスやキーボードなどを接続できる。PCを使用せず、デジタルカメラ/スキャナーからの画像転送や外付けHDDのデータ確認などができる。 サイズは54.5(幅)×11.7(高さ)×31.6(厚さ)ミリ、重さはケーブルを含めて約30グラム。65ミリのMicro USB延長ケーブルと、600ミリの給電用Micro USBケーブルが付属している。インタフェースはUSB Ver. 2.0準拠。対応OSはAndroid 2.3/3.1以降。対応メディアは32GバイトまでのSDHCメモリカードClass2/4/6/10。 対応機種はUSBホスト機能およびマ
厚生労働省のWebサイトをご覧いただき有難うございます。 この度、厚生労働省のWebサイトは、皆様の利便性向上を図るため、リニューアルいたしました。 また、リニューアルに伴いサイトURLの変更をいたしましたのでお知らせいたします。 誠に恐れ入りますが、「お気に入り」「ブックマーク」等にご登録いただいております皆様は、 新しいアドレスで登録し直していただけますようお願いいたします。
ビッグデータの活用で名前が挙がる企業は、国内外を問わず、Web系の企業が多い。海外であれば、米グーグル、米アマゾン、米フェイスブック。国内であれば、ヤフー、リクルート、楽天、クックパッド、あるいはグリー、ディー・エヌ・エー(DeNA)といったソーシャルゲーム会社だ。 Web系企業が多いのには、もちろん理由がある。まず、こうした業態ではクリック・ストリーム・データ(訪問者のアクセスログ)や検索ログ、購買履歴など、分析対象となるデータ取得が容易だ。また、HadoopやNoSQLデータベースなど、ビッグデータ処理に向くオープンソースソフトウエア(OSS)を高度に扱えるエンジニアを多く雇っていることも見逃せない。 そもそもWeb系企業は「ビッグデータ」という言葉がブームとなるはるか前から、ビッグデータの活用に真正面から取り組んできた。Hadoopの骨格となったMapReduceというフレームワーク
2011年7月からアギレルゴコンサルティング株式会社に転職し、フルタイムで海外講師のアジャイルの研修や社内研修などのお手伝いをして参りましたが、2012年4月より、楽天株式会社さんにお世話になることにいたしました。アギレルゴコンサルティングからは退職いたしますが、引き続きボランティアとして可能な限り研修のお手伝いをさせていただくつもりです。 転職のきっかけ 今回、楽天株式会社に入社するきっかけは、藤原大 ( @daipresents ) さんからお誘いを受けたことです。藤原さんは楽天でアジャイル化を推進しており*1、チームに一つ一つ入り、アジャイル適用していくスタイルをとっているそうです。より多くのプロジェクトを支援したいのだけれど、手が足りない、というお話をいただきました。 過去に藤原さんが支援したチームの及部さんがDevLoveで発表した際にも、お話をお伺いすることができました。また、
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 日本テラデータ主催のイベント「Teradata Universe Tokyo 2012」のために来日していた、eBayの分析プラットフォーム担当ディレクター Liang Hu氏にインタビューしました(なお、同氏の講演は私自身の講演が同じ時間帯で入っていたため聞けていません)。 eBayは日本ですとほとんど存在感がないですが、世界最大のネットオークション会社であり、登録ユーザー数4億5000万人、1日の新規出品数1000万件以上という目もくらむような規模のネット企業です。同社のデータウェアハウスは、商用ではおそらく世界最大、Hadoopも活用しており、まさに「ビッグデータ」の典型と言えるシステムを活用しています。 栗原:まずは、Huさんの
Editor’s note: This guest post is written by Uzi Shmilovici, CEO and founder of Future Simple, the company behind Base—a simple CRM for small businesses. Welcome to 1889. The field of photography was just changed forever. Up until recently, the process of taking and developing photos was expensive and cumbersome. As a result photography was available only to professional photographers or rich peop
1971年東京都生まれ。慶応義塾大学卒業後、ジョージワシントン大学大学院に進学(パブリックマネジメント専攻)。ワシントンDC市政府、アンダーセン・コンサルティング(現アクセンチュア)を経て、NPO法人ETIC.に参画。 2001年より日本初のソーシャルベンチャー向けビジネスコンテスト「STYLE」を開催するなど、国内の社会起業家育成・輩出に取り組む。2005年、北米を中心に展開する社会起業向け投資機関「ソーシャルベンチャー・パートナーズ(SVP)」東京版を設立。2009年、世界経済フォーラム(ダボス会議)「Young Global Leader」に選出。2010年鳩山政権時、内閣府「新しい公共」円卓会議委員。2011年より、東京都文京区新しい公共の担い手専門家会議委員、など。現在、慶應義塾大学大学院 政策・メディア研究科特別招聘准教授。2012年秋より、日本財団国際フェローとして、米国スタ
07« 12345678910111213141516171819202122232425262728293031»09 標題はまんま権丈先生のパクリです。あらかじめお詫び申し上げます。 政策に密着した研究、そうした問題意識それ自体は悪いことではないと思うが、いつの頃からか、研究者が研究したら、それがすぐに政策に使えるものと勘違いする風潮が生まれてきているように――最近の、いわゆる自称経済学者さんたちの論をみていたりすると、そうした風潮が広まっているように思える次第。 (略) 医療行為の効果は将来にわたって出てくるわけだから、その際、将来の価値を現在価値に割り引くための割引率をどう設定するかという難問をはじめ――ある1人の患者に対して、ある手術の実施は、低い割引率だと容認され、高い割引率だと容認しないと判断されたりもする――、同じ医療行為でも、患者の年齢をどのように考慮するべきかという問や
プロセス監視について 出社してサーバーを見たらプロセスが落ちてた!?こんな経験ありませんでしょうか。24時間365日の安定運用が当たり前に求められる現在、サーバー担当者が張り付きで監視をするにはコスト的にもリソース的にも限界があります。そこで、ある程度作業を自動化しようというのが今回の試みです。 monitとは monitは、プロセス/プログラム/ファイル/ディレクトリ/ファイルシステムを管理/監視するためのユーティリティです。monitは、エラーの状況に合わせて自動メンテナンスや修復を行い、意味あるアクションを実行することができます。例えば、実行されない場合、多くのリソースを使用している場合、プロセスが応答せずに停止しない場合等に、プロセスを再起動/開始することができます。他にも、ディレクトリ/ファイル/ファイルシステムにおける、タイムスタンプの変更、チェックサムの変更、サイズ変更等を監
Opening the iTunes Store.If iTunes doesn't open, click the iTunes application icon in your Dock or on your Windows desktop.Progress Indicator iTunes is the world's easiest way to organize and add to your digital media collection. We are unable to find iTunes on your computer. To download the free app Toneconnect by Takeshi Kabata, get iTunes now.
[読了時間:2分] オースティンの街中が会場となるSXSWでは、ブース展示だけがアピールの仕方ではない。interactive部門の各社も趣向を凝らした「路上ライブ」を行なっていた。その中、日本から参戦したToneconnectはユニークなパフォーマンスで聴衆の目と耳を惹きつけていた。パフォーマンスの合間に、株式会社トーンコネクトCEO加畑健志(Takeshi Kabata)氏と、CMO吉田尚記(Hisanori Yoshida)氏に話を伺った。 Toneconnectとは吉田さんの言葉を借りると、「音のQRコード」と説明するのが一番分かりやすい。音でURLを送る事が出来るサービスだ。使われている技術は、DTMF(Dual-Tone Multi-Frequency)、つまり「ピ・ポ・パ・ポ」というあの電話のプッシュ音。DTMFが奏でる16音色の中から独自のIDに変換し、8-10音を組み合わ
perlKyoto.pm TECH TALKS #01 の LT で飛び入り発表してきました。 最近つかった Perl の話発表するのが 2 年ぶりぐらいで、Perl 詳しくなくてアウェイ感があって、だいぶ緊張しました。しかも、他人のふんどしで相撲をとった感じの内容だったので、いろいろ酷いのですが、まあまあうけた気がするのでよかったことにします。Google Docs のプレゼン機能を使ってみた参加と発表を決めたのが当日で、スライドを作る環境も時間もなかったので、Google Docs のプレゼンテーション作成機能を使ってみました。ブラウザー上でプレゼン資料を作成できるのが便利だったのですが、プレゼン モードでの日本語フォントが変ブログに埋め込む手順が分からない(ヘルプには1つ古い UI での手順が書いてある)共有の URL を開いても閲覧用の全画面表示にならない (推測で URL 末尾の
ガチャとは心の所作 View more presentations from AntiBayesian http://partake.in/events/ac0fcc7d-a289-4e2a-bb8e-1965aab8b17b Pythonの数値計算系モジュールNumpyを用いてガチャコンプに関する正しい確率認識をしましょうというスライドを作りました。 ソースを置いておきます。宜しければご覧下さい。 import numpy as np import pylab as plt def gachaMain(weight, trialNum): length = len(weight) sumWeight = sum(weight) return [gachaDo(weight, length, sumWeight) for i in range(trialNum)] def gachaDo(
・超常現象の科学 なぜ人は幽霊が見えるのか 幽霊、占い師、幽体離脱、念力と超能力、予知夢と予言者。ニュースになった"超常現象"を最先端科学で解き明かす。著者は超常現象は全部嘘というスタンス。科学でトリックを説明できるという本。そして、各章でトリックを解き明かすと同時に、「あなたにもできるスプーン投げ」のように、誰にでも実際にできるやり方を示している。 驚くようなトリックというのはほとんどなくて、たとえばスプーン投げは折れる寸前まで曲げた「応力のかかったスプーン」を用意して隠し持っておく。いかに観客にこれを意識させないかがすべてのポイントになる。 ほとんどの超常現象に共通するのは錯覚だ。脳は環境の中で最も重要と思われる事柄を選び集中する。その他の事柄にはほとんど注意が払われない。詐欺師たちはこの脳の性質を利用して、見るものを欺く。 人間の脳のはたらきを知っていると思考さえ操ることができる。こ
ちょっと面白いプラグインだったので 備忘録。曲線に沿ってテキストを折り 返せるようにするjQueryプラグインで す。新聞のようなレイアウトも組めそ うです。用途はあまり無さそうですけ ど、珍しいので覚えておきたい。 Bacon!(ベーコン)です。名前の経緯は分かりませんが、ペジェ曲線にそったテキストの折り返しが可能です。 こんな感じ。結構前に同じようなライブラリありましたね。こちらはペジェ曲線と同じような感覚でラインを作る事が出来ます。 こういうのとか こういうのも作れる。 IEでもなんとか動く。 コード<script src="http://ajax.googleapis.com/ajax/libs/jquery/1.7.1/jquery.min.js"></script> <script src="bacon.jquery.js"></script>jQueryとプラグインを読み込む
まだまだ人気の根強いギークな黒縁メガネですけど。 元祖といえばバディ・ホリー(Buddy Holly)かも!? 彼はあの頃既にコンタクトレンズを使ってみたこともあるけど、開発されたばかりのコンタクトレンズは、10分で外したくなっちゃうほど痛いので、メガネをかけることにしたんです。でも、この時はフレームの上が太いプラスチックで下半分が細いメタルで出来たものでした。 その後、バディ・ホリーを担当しているテキサスの検眼士J・デイビッドアルミステア(J. David Armistea)さんがメキシコに旅行に行った時に、Faiosaの太い黒ぶちメガネと出会い、バディ・ホリーは、あのトレードマークとも言えるメガネをかけることになったんだそうです。 メガネをかけてても、バディ・ホリーはホットなセレブでしたけど、多分10年ぐらい前までは、メガネをかけた人は知的だけど運動はあまり得意じゃなく、いじられキャラ
2012年03月18日22:00 by tkfire85 24のジャック・バウアー使用のロスコ社製バックのCP(コストパフォーマンス)が抜群すぎる件! カテゴリ管理人 雑談 tkfire85 今まで使っていたカバンがリュックタイプで割りと長期間使っているので、外出の時に気軽に使えるバッグを探していたら、24のジャック・バウアーがドラマ内で使用したというロスコ社製のバッグに行き着きました。と言うのも、最近、24をシーズン1から8まで観る作業中でして、シーズン5で実際にジャック・バウアーが使用していたもの。ドラマでかっこいい!と思っていて、楽天で「ジャック・バウアー バッグ」と検索したらヒットしました。このバッグは軍需用品生産のロスコ社というメーカーで使っているもの。このCP(コストパフォーマンス)が最強すぎます。値段はなんと1890円(送料別)。ニセモノなのかな?小さいのかな?と心配していま
いよいよ発売された新しいiPad(第三世代)。 ちまたにはオススメのiPadアプリやケースやスタンドの記事も続々と増えています。 私ちょっと書いてみます。もちろんマニアックな方向で。 なにか1つでも「へぇ、iPadってこんなこともできるんだぁ。」と思って頂けたら幸いです。 前置き 新しいiPad(第三世代)+ iOS5.1で動作確認しています。 製品及びアプリの価格は記事執筆時点で取得したものです。最新情報はリンク先にてご確認ください。 一部を除き、製品及びアプリのリンクにはアフェリエイト(Amazonアソシエイト/LinkShareアフェリエイトなど)を利用しています。 アフェリエイトに賛同頂けない場合は、製品名をGoogle検索するなど、当サイト内のリンクを回避してください。 目次 長文入力ならBluetoothキーボード。JIS配列とUS配列の違いに注意しよう。 帰省時の写真/動画鑑
matttさんが作成されたObjective-Cのライブラリ、TTTAttributedLabelを使ってみました。 どんなもの? NSAttributedStringを使って書式の混在したUILabelを作成できるライブラリです。 太字・斜体だけじゃなく、文中にリンクの設定もできちゃいます。すごい! 対象OSは3.2〜。 わたしはTableViewCellのLabelをカスタムするのに使いました。 つかいかた ほぼREADME.mdそのままですが、使いかたはこんな感じ。 setTextの引数に、Labelに表示したい文(すべて)を、装飾したい文字はブロックの中でNSRangeとして指定。 IBは使えないので、適宜プロパティをセットして使います。 太字+ふつうの文字を生成: TTTAttributedLabel* label = [[[TTTAttributedLabel alloc] i
こんにちは。プログラマ定年を迎えたのであとは悠々自適に日々過ごそうと思ってるはせがわです。 JavaScriptで記号プログラミングを行う基本的な取り組を説明します。 jjencodeなどで使っているテクニックです。 まず最初は数字の作り方。 +[] // 空の配列にプラス演算子で数値の 0 ~[] // 空の配列にビット反転で -1 ~{} // 空のオブジェクトにビット反転で -1 -~[] // 空の配列にビット反転で-1、-1に単項マイナスで +1 -~-~[] // +1 にビット反転で -2、-2 に単項マイナスで +2 このように、空の配列や空のオブジェクトに数値用の演算子を適用することで、任意の数値を記号だけで生成することができます。 次に文字の作り方。 ![] // 空の配列に論理否定で false !![] // 空の配列に論理否定を2回で true (![]+"")
・非属の才能 私は人から「橋本さんって本当に変わった人ですね」と言われるのが好きだ。そのために生きているといってもいいくらい快感だ。だから学生や後輩を褒めるのにも「君は変わってるねえ」とか「お前は変人だからなあ」という言葉遣いをする。私としては最上級の賛辞のつもりなのだが、ときどき真意が伝わらず、困った顔をされてしまうことがある。みんなもっと変わっていることに自信を持てばいいのに、と思う。 自他共に認める変人指向の人は、この本をすぐ読むべきだと思う(そうではない人は読まない方が良い)。変わり者であることに自信のない人は勇気づけられるし、うまくいっていない人はどうすべきかのヒントを学ぶことができる。 世の中のマジョリティはいかに良い群れに属するかを競っている。高学歴、高収入、良い家柄、「みんなが認めるタグには価値がある」という画一的価値観に染まっているから行列に並ぶ。非属の才能を持つ人間は行
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く