Hadoopのセカンダリソートを避け、より高速に値をソートする方法
HadoopのReduceに渡されるのはキーと値のリストだが、このとき値のリストに含まれる各アイテム（値そのもの）はソートされていない。ソートされていて欲しい場合にはセカンダリソートと呼ばれるテクニックを使うのが定石とされているが、これは実装の面でも概念的な面でもバッドノウハウ的な側面がある。Hadoopには「キーをソートする」機能は実装されている。そこで、値をキーに入れてしまい、このHadoopに備わっている「キーをソートする」機能によって、実質的に値をソートしようというわけだ。 Map/Reduceというのはキーごとにデータを分割して処理する方法なので、「キーに値が入ったら分割がおかしくなるんじゃ？」と思うのは当然である。キーに値が入っていても、分割に影響しないよう、Partitioningクラスを自分で拡張し、分割の基準となる値（本来のキー）には、値の影響が出ないようにするのだ。それ
技術情報（10GBase-Tのすすめ）｜ユニダックス株式会社
10GBase-Tのススメ 今現在、どのようなネットワークをお使いでしょうか？10/100Base-T？GbE？ 既にGbE、すなわち1000Base-Tが安く入手でき一般家庭にまで普及していると思います。 しかし、サーバーやデータセンターといった基幹系のみならず、一般家庭においても動画データなどの増大、ITサービス系においてもクラウドの活用やBig Dataの取扱い、組み込みインテリジェントシステム系においてもサイネージでのコンテンツ配信、セキュリティでの監視カメラ動画の転送、医療機器でのPACS・DICOMといった医用画像の高精細化、三次元化といったようにデータ転送量やそのリアルタイム性が増しており、ネットワークのトラフィックが逼迫しています。 もちろん、TeamingやTrunkingといった技術で複数のネットワークを束ねて帯域を確保するといった努力も行われていますが、5本も10本も
サンプルストーリーで理解するDNSの設定方法と周辺知識(改) - give IT a try
2013.4.20 追記 CNAMEの間違った使い方を書いていたので、「3. DNSレコードでCNAMEやAレコードを設定する」の項を一部修正しました。 というか、実際に痛い目に遭いました・・・(T T)。 詳しくは本文にて。 2014.10.10 追記 結局Herokuでは「Aレコード + ネイキッドドメイン」の設定を使うことはできなくなりました。 ネイキッドドメインを使う場合は、かわりに「CNAME flattening」という仕組みを使います。 詳しくは以下の記事で説明しているので、参考にしてみてください。 妻のパン屋のwebサイトをいろいろ更新した話 ～Rails 4アップデートとかサイトの高速化とか～ - give IT a try はじめに みなさん、DNS、ネームサーバー(NS)、Aレコード、CNAME、と言われて、「ああ、アレね」ってすぐに頭の中にイメージが浮かびますか？
C500k in Action at Urban Airship
Mike Herrick SVP of Product & Engineering Published on 24 Aug 2010 Like the idea of working on large scale problems? We’re always looking for talented engineers, and would love to chat with you – check it out! Building AirMail Push for Android’s Infrastructure We’ve been working to develop AirMail Push for Android, our push platform, along with a supporting server-side infrastructure that can hand
Zansa0802
TwitterをはじめとするマイクロブログはNPO広報にも使われはじめています。その利用状況、利点とリスクなどをご紹介します。 このスライドは、ひょうごんテック主催の第5回テックカフェにおいて発表されました。
bat365旧网址bat365旧网址首页-bat365旧网址首页
2023年4月26日上午，鸿远电子创新中心暨企业总部项目奠基仪式，在丰台科技园东区三期1516-53地块隆重举行。中关村科技园区丰台园工委副书记、管委主任赵春丽，管委办公室主任杨绮伟、规划建设处处长贾岚等领导出席活动；鸿远电子副董事长郑小丹、董事会秘书邢杰、财务总监李永强、副总经理刘利荣、监事会主席陈天畏、董事长助理盛海等公司领导和员工代表，以及项目施工、监理、造价单位的领导及代表等参加了本次奠基仪式。在喜庆热烈的气氛中，公司领导与现场嘉宾一起手握金铲，挥锹培土，共同为项目奠基，见证这一难忘的历史时刻。 鸿远电子创新中心暨企业总部项目，对公司未来发展具有重要意义。项目建成后，将承载公司高端前沿科技创新、人才引进及总部办公等功能，全面提升企业办公环境及企业形象，吸引更多优秀人才，加快推进企业科技创新与成果转化，进一步增强企业发展新动能。未来，鸿远电子将继续秉承“发展企业，有益员工，服
今年のSIGKDDベストペーパーを実装・公開してみました - Preferred Networks Research & Development
毎日暑いですね。比戸です。 ちょうど今週シカゴで開かれていたSIGKDD2013でBest research paperに選ばれたEdo Liberty氏 (Yahoo! Haifa Labs)の”Simple and Deterministic Matrix Sketching”のアルゴリズムを実装して公開してみました。 元論文PDFは著者サイトから、私が書いたPythonコードはGithubからそれぞれ入手できます。 SIGKDD (ACM SIGKDD Conference on Knowledge Discovery and Data Mining)はACM主催で行われる、知識発見＆データマイニングにおけるトップ会議です。最近は機械学習との境目が曖昧になってきましたが、査読時には理論的な新しさだけでなく、実データ（特に大規模データ）を使った実験での評価が必要とされるのが特徴です。
How to get C like performance in Java
Understanding how Core Java really works can help you write simpler, faster applications. OverviewJava has many areas which can be slow. However for every problem there is a solution. Many solutions/hacks require working around Java's protections but if you need low level performance it is still possible. Java makes high level programming simpler and easier at the cost of making low level programm
School - JA-VA Code
Java – the most common programming language, it is not difficult to learn, so it is suitable for those who first approached the study of programming. Introduction Java course is designed for those who are just starting their way in the IT industry and have no idea about the basics of programming. During the course, students will learn to create Java applications and gain an understanding of OOP pr
MaxMind社のGeoLite Cityデータベースを使ってIPアドレスから都道府県を特定する話 - こしごぇ（Ｂ）
GPSではなくIPアドレスから都道府県(地理情報)を特定したい場合、MaxMind社のデータベースを使うのが一般的なんでしょうか？ 地理情報関係はほぼ触れずに今日まで生きてきたのでよく分かりませんが、とりあえずIPアドレスから都道府県を割り出すプログラムでも書いてみようかと思います。 データベースをダウンロードして展開 $ wget http://geolite.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz $ gzip -d GeoLiteCity.dat.gz 実行環境(Ruby)の準備 $ rbenv local 1.9.2-p290 $ echo geoip > .rbenv-gemsets $ cat <<EOF > Gemfile source :rubygems gem 'geoip' EOF $ gem ins
JAnnocessor is a new open-source framework for powerful, flexible, yet easy processing of annotated Java code. - JAnnocessor
Its main purpose is compile-time, annotation-driven source code generation in a declarative and customizable fashion. JAnnocessor is built on top of Javascript APT, encapsulating the Java source code model in a rich and convenient high-level domain model that serves as a good target for expressive matching and transformation. Finally, a template engine is used for customizable template-based sourc
「ガジェット通信」の記事におけるドメインの説明がでたらめすぎる件
※徳丸浩氏が「city.machida.kanagawa.jp」に関するエントリを公開されたので、エントリ内に追記しました。 掲題の通りなのだが、でたらめな解説を人気サイトが記事にしていると、中には信用してしまう人もいるので本ブログで間違いについて言及したい。 件の記事はこちら。 町田市を神奈川県だと主張する “個人のサイト” からドメインについて考える ? ガジェット通信 co.jp、ne.jp、or.jp、ac.jpなどは書類の審査などで国が一応の保証をしています。 なお、同記事の最終確認は「2013年8月15日17時35分」時点で行ったがその時点でまだ間違ったままだ。今後、更新されるかもしれないので、本記事内容がわかるよう魚拓のリンクも掲載しておく。 そもそも「ガジェット通信」の該当記事は以下のサイトが話題になったことを伝えるために書かれたようだ。 町田市は神奈川県固有の領土であるこ
ラウンドロビンの並び換え - どさにっき
2009年7月12日(日) ■ 免許更新 _ 去年事故ったとき(わしゃ悪くないやい、ぶつけられただけだい)、現場検証したおまわりさんにはあとで出頭してもらうからそのつもりでとか言われたけど、何の音沙汰もなくけっきょく青切符なしだったので、違反点数ゼロで無事ゴールド免許。 _ 役所だから平日だけかと思ったらゴールド免許のみ日曜日も更新受付をやってるらしい。どこもそうなのか、千葉だけなのかは知らんが。前回更新は青免許だったので平日だったけど、そんなわけで、今日運転免許の更新にいってきた。 _ が、日曜は混むわ。前回の青免許のときは講習1時間込みで1時間半もかからずに新しい免許証をもらえたけど、今回は優良ドライバーで講習時間が短くなったにもかかわらず2時間。次は平日に来よう。5年後だが。 _ そんなわけで、青免許がゴールド免許に、普通免許が中型免許に、さらに IC チップ入り免許証に、といろいろ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://dnsops.jp/event/20120901/Unbound-higashi-dnsops-2012summerday2-final.pdf
LPM: Local Package Manager