SQLライクにHadoop Hiveを使い倒す!
パーティションを利用する 今回は少し凝ったテーブルを定義をしてみましょう。 郵便番号データは毎月更新されるので、テーブル指定時にバージョンも指定できるようにします。このような場合、Hiveではパーティションを使います。 以下に郵便番号を保存するテーブル「zip」を定義しますが、日付型DATEのパーティションverを設定するようにします。 hive> CREATE TABLE zip (zip STRING, pref INT, city STRING, town STRING) > PARTITIONED BY (ver DATE) > ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' > LINES TERMINATED BY '\n'; OK Time taken: 0.128 seconds
単純ベイズ分類器 - Wikipedia
単純ベイズ分類器（たんじゅんベイズぶんるいき、英: Naive Bayes classifier）は、単純な確率的分類器である。 単純ベイズ分類器の元となる確率モデルは強い（単純な）独立性仮定と共にベイズの定理を適用することに基づいており、より正確に言えば「独立特徴モデル; independent feature model」と呼ぶべきものである。 確率モデルの性質に基づいて、単純ベイズ分類器は教師あり学習の設定で効率的に訓練可能である。多くの実用例では、単純ベイズ分類器のパラメータ推定には最尤法が使われる。つまり、単純ベイズ分類器を使用するにあたって、ベイズ確率やその他のベイズ的手法を使う必要はない。 設計も仮定も非常に単純であるにもかかわらず、単純ベイズ分類器は複雑な実世界の状況において、期待よりもずっとうまく働く。近頃、ベイズ分類問題の注意深い解析によって、単純ベイズ分類器の効率性に
auスマートパス／auスマートパスプレミアム
auスマートパスプレミアムリニューアルに関して 平素よりauスマートパスプレミアムをご利用いただき、ありがとうございます。 auスマートパスプレミアムは今まで以上にお客様に喜んでいただけるサービスになるべく、リニューアルを行う予定です。 詳細内容ならびに日程については改めてご案内いたします。
auスマートパスの個人情報利用範囲がとんでもない件 - shao's diary
えらべる自由な au が今日 3 月 1 日から "au スマートパス" というサービスを開始しています。 auスマートパス サービスの内容は、月額390円のサブスクリプションでAndroidアプリケーションの利用や写真クラウドの保存ができるサービスなんですが、その中に「スタンプカード」なるサービスがあります。 対象のアプリなどを使い回ることで au のポイントと引き替えられるみたいなサービスですが、その規約をみて仰天しました。 大切なことなので二度いいます 1．取得する情報 スタンプカードのご利用にあたっては、以下の情報をお客様からご提供頂きます。なお、当社は、通話内容・通信内容を取得することはありません。 （1）Web利用履歴（IS-NET等接続先） ご利用のau端末から行ったデータ通信（Webブラウザ、アプリケーションからの通信など、auスマートパス以外の通信も含むIS-NET、au
ロジスティック回帰 - Wikipedia
ロジスティック回帰（ロジスティックかいき、英: Logistic regression）は、ベルヌーイ分布に従う変数の統計的回帰モデルの一種である。連結関数としてロジットを使用する一般化線形モデル (GLM) の一種でもある。1958年にデイヴィッド・コックス（英語版）が発表した[1]。確率の回帰であり、統計学の分類に主に使われる。医学や社会科学でもよく使われる[要出典]。 モデルは同じく1958年に発表された単純パーセプトロンと等価であるが、scikit-learnなどでは、パラメータを決める最適化問題で確率的勾配降下法を使用する物をパーセプトロンと呼び、座標降下法や準ニュートン法などを使用する物をロジスティック回帰と呼んでいる。 概要[編集] ロジスティック回帰モデルは以下のような形式である。x が入力で、pが確率（出力）、αとβがパラメータ。
クラスタリングの定番アルゴリズム「K-means法」をビジュアライズしてみた - てっく煮ブログ
集合知プログラミング を読んでいたら、K-means 法（K平均法）の説明が出てきました。K-means 法はクラスタリングを行うための定番のアルゴリズムらしいです。存在は知っていたんだけどいまいちピンときていなかったので、動作を理解するためにサンプルを作ってみました。クリックすると１ステップずつ動かすことができます。クラスタの数や点の数を変更して、RESET を押すと好きなパラメータで試すことができます。こうやって１ステップずつ確認しながら動かしてみると、意外に単純な仕組みなのが実感できました。K-means 法とはK平均法 - Wikipedia に詳しく書いてあるけど、もうすこしザックリと書くとこんなイメージになります。各点にランダムにクラスタを割り当てるクラスタの重心を計算する。点のクラスタを、一番近い重心のクラスタに変更する変化がなければ終了。変化がある限りは 2. に戻る。これ
パスモ サービスの一部を停止 NHKニュース
首都圏の鉄道やバスで利用できるＩＣカード型の乗車券の「パスモ」で、カード番号や名前などの個人情報が他人に知られると、鉄道やバスを利用した日付や場所などの情報がインターネットを通じて他人に見られるおそれがあることが分かりました。 専門家の指摘を受けてパスモを運営する協議会では、インターネットを通じたサービスの一部を１日夕方から停止しました。 「パスモ」は、首都圏の鉄道やバスなどで利用できるＩＣカード型の乗車券で、これまでにおよそ１９００万枚が発行されています。 パスモには、インターネットの専用のサイトに自分のカードの番号や名前などの個人情報とパスワードを入力すると、自分がいつ、どこで鉄道やバスを利用したかという「乗車履歴」を確認できるサービスがあります。 ところが、このサービスではカード番号や名前などの個人の情報が知られると、パスワードがなくても他人に「乗車履歴」を見られるおそれがあることが
話の流れで AKB48(), AKB48.decode() をガーッて。30分でガーッて作ってみたよ - latest log
(ε・◇・)з AKB48 って Base64 の亜種かなんかでしょ? (ε・◇・)з でもちょっと余るんだな… 何個か抜かなきゃ… (ε・◇・)з じゃあ A, K, B, 4, 8 と、恋愛禁止らしいので L, O, V, E も抜いちゃいますか! Base64: ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/ ↓↓ AKB48: CD FGHIJ MN PQRSTU WXYZ cd fghij mn pqrstu wxyz0123 567 9+/ (ε・◇・)з ガーッて書いてみたよ // Usage: // var encoded = AKB48("おしめん"); // // console.log(encoded); // -> "pUCiQpUCjhpUDNDpUDPc" // // AKB48.
駅員、女子大生の髪引っ張る…領収書依頼に激怒 : 社会 : YOMIURI ONLINE（読売新聞）
京都市営地下鉄今出川駅（京都市上京区）の男性駅員（３７）が先月２８日、乗客の女子大生（２１）に領収書の作成を依頼されたのを面倒に思って腹を立て、髪をつかんで引っ張ったとして、京都府警上京署に暴行容疑で事情聴取されていることがわかった。駅員は容疑を認めており、同署は暴行容疑で書類送検する方針。 捜査関係者によると、駅員は先月２８日午後５時３０分頃、同駅の改札で、私立大学３年の女子大生の髪を窓越しにつかむなどした疑い。 女子大生は友人ら４人と同駅で下車し、全員分の領収書の作成を依頼したところ、駅員が作成途中に「もう帰れ」「警察を呼ぶぞ」などと突然怒りだしたという。駅員は調べに「５枚も必要なのかと、イライラしてきた」と言っている。 京都市交通局運輸課によると、駅員は同局から駅員業務の委託を受けている大阪市の会社の社員だった。
リクルート式Hadoopの使い方
リクルート式Hadoopの使い方 - Presentation Transcript リクルート式Hadoopの使い方 株式会社リクルートMIT システム基盤推進室インフラソリューショングループ石川 信行 はじめに・・・ □名前 石川 信行 （ ground_beetle） □出身 福島県 いわき市 □経歴 ・2009年リクルート新卒入社 ・営業支援システムのコーダー（java）、DBAとして参加。 ・JavascriptのLibであるSenchaを用いたスマホサイト開発 ・現Hadoop推進担当 □趣味 ・外国産カブト虫飼育 ・スキューバダイビング ・海水魚飼育 リクルートの組織体制について 旅行C 営業 企画 自動車C 営業 企画 住宅C 営業 企画 MIT United 事業担当MIT 事業担当MIT 事業担当MIT ・マーケティング・分析チーム ・インフラ基盤チーム
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: Hadoop徹底入門: 太田一樹 (著), 下垣徹 (著), 山下真一 (著), 猿田浩輔 (著), 藤井達朗 (著), 濱野賢一朗 (監修): 本
保護者にとっての重要な情報は、「入試制度」から「進学費用」「卒業後の進路」へ 「第5回 高校生と保護者の進路に関する意識調査2011」より | RECRUIT－リクルート－