Hadoopを使いこなす(1)
まず、 1 の入力ファイルを分割する方法は、InputFormatクラスの、getSplits関数を上書きすることで、カスタマイズできます。 また、 3 のInputSplitから、KeyとValueを抽出する処理も、InputFormatクラスを通じてカスタマイズできます。 InputFormatのgetRecordReader関数を通じて、RecordReaderクラスを生成するのですが、これに任意のRecordReaderクラスを指定すればOKです。 2 のMap処理ですが、ユーザが指定したMapperクラスの処理を実行します。 Mapperクラスは、MapRunnerクラスを通じて、初期化処理、map関数を繰り返す過程、終了処理といった一連の流れを実行します。 MapRunnerクラスをカスタマイズすれば、こうした流れを制御することができます。 0.20.0からの新しいMapRed
ヤフーにおけるWebサービスのアクセスコントロール
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、R＆D統括本部 開発推進室 セキュリティプラットフォーム技術 セキュリティスペシャリストの戸田 薫です。 今回は、ヤフーにおけるWebサービスのアクセスコントロールについてご紹介します。 ヤフーでは、会社組織やWebサービスの運営面でいろいろなアクセスコントロールを行っています。 アクセスコントロールをする目的には、いくつも理由がありますが、たとえば、以下の理由が挙げられます。 お客様やパートナーの情報を守らなければなりません。 サーバの制御を奪われ、攻撃に利用されてはいけません。 システムの不正な利用を予防しなければなりません。 今回は、ヤフーのWebサービスにフォーカスして説明をします。 インターネットからヤフーへ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
