HDPメモ(Hishidama's Hortonworks Data Platform for Windows Memo)
しばらく待って、インストールに失敗する(爆) ログに出ているエラーメッセージは以下のような感じ。 HADOOP: Install of Hadoop Core, HDFS, MapRed completed successfully Write-Log : HADOOP FAILURE: 引数が空の文字列であるため、パラメーター 'services' に バインドできません。 発生場所 D:\HadoopInstallFiles\HadoopPackages\hdp-1.1.0-winpkg\resources\hadoop-1.1.0-SNAPSHOT.winpkg\scripts\install.ps1:192 文字:11 よく分からないけど、直前に「Hadoop Core/HDFS/MapRedのインストールが成功した」って出てるし、 D:\hdp\hadoopの下にhadoop-1
Hadoop分散環境試行錯誤メモ(Hishidama's Hadoop distributed Memo)
S-JIS[2011-11-03] 変更履歴 Hadoop（仮想）分散環境作成 試行錯誤 VMware Player上の仮想マシンを使ってHadoopの完全分散環境を構築した際の経過。 CentOSへのインストール CDH3版Hadoop本体がCentOSへインストールされている前提で、そのCentOSをNameNodeとし、VMイメージをコピーしてDataNodeを作る。[2011-09-25] VMware上のCentOSを起動し、rootユーザーでログインする。 NameNodeやDataNode用のデーモンを起動する為のシェルをインストールする。# yum install -y hadoop-0.20-namenode # yum install -y hadoop-0.20-datanode # yum install -y hadoop-0.20-secondarynameno
Hadoop CDH4メモ(Hishidama's Hadoop2.0 CDH4 Memo)
CDH4（Cloudera's Distribution including Apache Hadoop v4）のインストールについて。 CDH4の概要 CDH（Cloudera's Distribution including Apache Hadoop）は、Hadoopのディストリビューション。 CDH4はHadoop2.0（旧Hadoop0.23）がベースとなっている。 CDH4のHadoopはMapReduce v1（MRv1）とYARN（MRv2）の二種類ある。 MRv1は従来と同じくJobTrackerやTaskTrackerを使用して動作する。 YARNは新しい方式で、ResourceManager・NodeManager（やApplicationMaster/Container）を使用して動作する。 （Hadoop0.23ではインストールは一種類で、パラメーターmapred
Apache Sparkメモ(Hishidama's Apache Spark Memo)
概要 [/2017-01-14] Hadoopとの比較 [/2014-09-12] サンプル [/2017-01-22] インストール 開発環境の構築 [2017-01-22] インストール [/2017-01-14] Sparkシェル [/2014-09-19] 実行方法 [/2017-01-18] API（RDD系） SparkContext [/2014-09-15] RDD [/2017-07-26] パーティション [2014-09-07] Kryo（シリアライズ） [/2015-01-15] Spark SQL [/2014-09-02] Hive操作 [2014-09-01] Streaming [2014-09-02] API（Dataset系） SparkSession [2017-01-14] Dataset [/2020-10-08] Encoder [2017-01
Pig ユーザー定義関数メモ(Hishidama's Apache Pig UDF Memo)
S-JIS[2011-08-14/2011-09-22] 変更履歴 Pigユーザー定義関数 Pigのユーザー定義関数（User Defined Function：UDF）の作り方のメモ。 クラス作成 Pigで使う関数を作るには、org.apache.pig.EvalFuncを継承したクラスを作成し、exec()メソッドをオーバーライドする。 EvalFuncの型引数にはexec()の戻り型を指定する。 package pigudf; import java.io.IOException; import org.apache.pig.EvalFunc; import org.apache.pig.data.Tuple; public class SampleUDF extends EvalFunc<String> { @Override public String exec(Tuple in
変化点検出エンジンを利用したインシデント検知システムの構築
All rights are reserved and copyright of this manuscript belongs to the authors. This manuscript has been published without reviewing and editing as received from the authors: posting the manuscript to SCIS 2006 does not prevent future submissions to any journals or conferences with proceedings. SCIS 2006 The 2006 Symposium on Cryptography and Information Security Hiroshima, Japan, Jan. 17-20, 2
Hadoop HBase操作サンプル(Hishidama's Hadoop HBase sample Memo)
HBaseのテーブルは、qualifierの中はデータ追加で自動的に増やせるが、family（列）はテーブルを一旦使用不可にして項目追加を行わないと増やせない。 したがって変化の無いものを列（family）にする方がいいんじゃないかと思う。 （試験名の方を可変にしておけば、模試とか補習(苦笑)とかにも対応できるし） 準備：テーブルの作成 今回のサンプル用に、HBase Shellからcreateコマンドを実行するか、HBaseのテーブル作成APIを使ってテーブルを作成しておく。 HBase Shellの場合 hbase(main):001:0> create 'student','personal','suugaku','kokugo','rika','shakai','eigo','total5' HBase APIの場合 package jp.hishidama.hadoop.hbas
http://www.ne.jp/asahi/yamashita/programming/dot_net/xml_serialize.html
インスタンスのXMLシリアライズ化 System.Xml.Serializationを使って インスタンスのXMLシリアライズ化が驚くほど簡単に できる。 複数の従業員インスタンスを持つ会社クラスのインスタンスをXMLにシリアライズする サンプルプログラム using System; using System.Xml; using System.Xml.Serialization; using System.IO; // 会社クラス public class Company { public Company(){} public Company(string name) { name_ = name; } // 会社名 private string name_; public string name { get { return name_; } set { name_ = value;
フロイト 「ブリキがたまたま自分がラッパだったことに気づいたとしても、それはブリキの責任ではありません。
フロイト Sigmund Freud ( 1856-1939 ) 「ブリキがたまたま自分がラッパだったことに気づいたとしても、それはブリキの責任ではありません。 『我思う』なんて、でたらめです。私は一個の他者です。」（ランボー） マルクスとフロイトは、カントにおいて頂点に達する、個人の自律（自由＝自己決定）という人間観に根底から疑問を投げかけた。 マルクスによれば、物質的条件が私の思考を決定する。（更に「私」という存在の実体性は、交換のシステムのなかで解体する。） フロイトによれば、「私」を動かしているのは、「私」の意識の中には無い何ものかである。 １）無意識という現象 『精神分析入門』のなかで、フロイトは、次の三つの現象を取り上げている。これらは、「私」の気づかない「私の欲望」を語るものである。 「無意識的動機 定義 精神分析理論によると、無意識的動機とは、超自我によって禁止された動機で
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
