トルコ水紀行 －前編 イスタンブール－ みなさんこんばんは、地図子です！8月は久しぶりに毎月更新にしようと思います。今までずっと名古屋について書いてきましたが、ワープして・・・ トルコについて書きたいと思います。 2024年6月に念願のトルコに行ってきました。いつからトルコに行きたかったかわから…
はてなブログ | 無料ブログを作成しよう
トルコ水紀行 －前編 イスタンブール－ みなさんこんばんは、地図子です！8月は久しぶりに毎月更新にしようと思います。今までずっと名古屋について書いてきましたが、ワープして・・・ トルコについて書きたいと思います。 2024年6月に念願のトルコに行ってきました。いつからトルコに行きたかったかわから…
【尖閣衝突事件】ダライ・ラマ来日 中国が異例の「招聘取り下げ要求」 (1/2ページ) - MSN産経ニュース
１１月予定のチベット仏教最高指導者、ダライ・ラマ１４世の来日に対して、中国政府が日本側の招聘（しょうへい）自体を取りやめるよう要求していることが２２日、分かった。中国政府は従来、ダライ・ラマ来日では日本側に圧力をかけてきたが、会合への出席を止めようとするのは異例。沖縄・尖閣諸島周辺での漁船衝突事件を受け、中国側が強硬姿勢を取っている可能性がある。 ダライ・ラマが出席を予定しているのは、広島市で開催される「ノーベル平和賞受賞者世界サミット」（ローマの同サミット事務局主催）。ダライ・ラマのほかゴルバチョフ元ソ連大統領や、エルバラダイ元国際原子力機関（ＩＡＥＡ）事務局長ら歴代のノーベル平和賞受賞者９人が、「ヒロシマの遺産・核兵器のない世界」をテーマに議論する。 複数の政府関係者によると、中国側は外交ルートを通じ「彼（ダライ・ラマ）はノーベル平和賞を受賞するような人物ではなく、招聘はしないほうがい
メソッド設計で守るべき10個のルール - A Day In The Life
以前メソッド設計の原則に関する記事を書きましたが 質問をすることで答えは変更されない原則 メソッドの引数はオペランドのみにする原則 それ以前にメソッド設計する上で最低限守った方がよいルールをまとめてみました。 プロパティをメソッドの戻り値代わりに使ってはいけない ファンクションメソッドでプロパティの値を変更してはいけない プロパティをリターンしない インスタンス変数やプロパティをメソッドの引数に渡さない 参照渡の引数をリターンしてはいけない 例外処理を GoTo 文の代わりに使ってはいけない 理由なく id 型をメソッドの戻り値にしない 特定メソッドの呼びだしが前提になったメソッドを作ってはいけない パブリックメソッドからパブリックメソッドを呼ばない プライベートメソッドからパブリックメソッドを呼ばない 以下その詳細です。 プロパティをメソッドの戻り値代わりに使ってはいけない メソッドが呼
CassandraとHBaseの比較して入門するNoSQL
第10回Cassandra勉強会にて発表したスライドに、勉強会後のフィードバックを反映させた物です。Read less
HDFSをマウントして利用してみる | kirie.net blog
GFS クローンの Hadoop Distributed File System (HDFS) をfuseを利用することでローカルにマウントし、直接操作できるファイルシステムとして使えるようなので試してみた。 参考はHadoopのサイトよりMounting HDFS。 今回は Ubuntu 9.04 ベースで、Hadoop はすでに別サーバで構築済みの環境で行っています。 Hadoopの構築については Hadoop/Hbase Clusterの構築 このあたりを参考にどうぞ。 １．必要ライブラリのインストール $ sudo apt-get install default-jdk ant $ sudu apt-get install automake autoconf libfuse-dev 完了です。 ２．Hadoopの取得とhdfs用ライブラリのコンパイル HDFSをマウントするためには
MogileFSで構築する高速スケーラブルな分散ファイルシステム - builder by ZDNet Japan
本連載「オープンソースソフトウェアでクリエイターを支援するmoonlinx」の第1回「ウェブメディア「moonlinx」を支えるオープンソースソフトウェア」ではmoonlinxの概要およびシステム構成を、第2回の「openSUSEの管理ツール「YaST」で作業を効率化：moonlinxを支えるOSS」では使用OSであるopenSUSEについて簡単に説明しました。 今回は、moonlinxで取り扱うメディアファイル（画像、音楽、動画）の保管方法について説明したいと思います。 分散ファイルシステム「MogileFS」 moonlinxでは、各種メディアファイルの保管に、オープンソースの分散ファイルシステム「MogileFS」を利用しています。 分散ファイルシステムを用いることにより、ファイルシステムを構成するノード群の一部がダウンしても、データを失うことなくシステムとして機能し続け、かつ自動レ
Hadoopサンプル(Hishidama's Hadoop Java sample Memo)
行毎の合算を行うサンプル 以下のような成績表（試験の点数のCSVファイル）から、各学生ごとの合計点数を算出する例。 #番号,名前, 数学,国語,理科,社会,英語 101,天才, 100, 100, 100, 100, 100 201,無気力, 5, 30, 10, 20, 15 102,ひしだま, 90, 85, 80, 50, 10 202,hoge, 10, 30, 25, 45, 20 103,foo, 60, 60, 60, 60, 25 204,xxx, 80, 77, 90, 40, 44 205,yyy, 65, 90, 55, 80, 65 104,zzz, 40, 60, 60, 70, 20 出力イメージ： 101,天才 500 102,ひしだま 315 103,foo 265 104,zzz 250 201,無気力 80 202,hoge 130 204,xxx 33
企業で使われるHadoop
Copyright © 2004-2024 Impress Corporation. An Impress Group Company. All rights reserved.
Hadoopを使いこなす(3)
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、R&D統括本部の吉田です。 前回と前々回の記事では、Hadoopのカスタマイズポイントを解説しました。 単純な問題に対しては、map関数とreduce関数の組み合わせだけでも、処理を行うことができますが、ある程度複雑な問題に対しては、今までに解説したカスタマイズポイントの活用が重要になるという話でした。 今回は実際のサービスの事例を紹介し、カスタマイズポイントがどう活用されているか紹介したいと思います。 ABYSS ABYSSの事例を紹介しましょう。 ABYSSとは、検索サービスを簡単に構築できる社内プラットフォームのことで、詳しくは以下のTechBlog記事で紹介しています。先日無事に社内リリースされました。 新検索
Hadoopを使いこなす(2)
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、 前回のHadoopの記事 に引き続き、MapReduceのカスタマイズポイントを解説していきます。 前回の記事の図や、表などを参照しながら読み進めていただければと思います。 MapperやReducerの流れの制御 Mapperの実行の流れは、デフォルトでは、初期化処理を行った後、map関数を繰り返し実行し、終了処理を行うようになっていますが、この流れ自体を制御することができます。 古いAPIでは、MapRunnerを通じてこの流れを制御できますが、0.20.0からの新しいAPIでは単純にMapperクラスのrun関数をオーバーライドすることで、行えます。 デフォルトのrun関数は以下の通りです。 public vo
Hadoopを使いこなす(1)
まず、 1 の入力ファイルを分割する方法は、InputFormatクラスの、getSplits関数を上書きすることで、カスタマイズできます。 また、 3 のInputSplitから、KeyとValueを抽出する処理も、InputFormatクラスを通じてカスタマイズできます。 InputFormatのgetRecordReader関数を通じて、RecordReaderクラスを生成するのですが、これに任意のRecordReaderクラスを指定すればOKです。 2 のMap処理ですが、ユーザが指定したMapperクラスの処理を実行します。 Mapperクラスは、MapRunnerクラスを通じて、初期化処理、map関数を繰り返す過程、終了処理といった一連の流れを実行します。 MapRunnerクラスをカスタマイズすれば、こうした流れを制御することができます。 0.20.0からの新しいMapRed
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
