Cloudera Enterprise 5.10でApache Kuduを使う - Qiita
Apacheライセンスなオープンソースの分散ストレージエンジン 低遅延でランダムアクセスできる高速なカラムナストレージ Apache Impala (Incubating)と組み合わせればSQLでもアクセスできる 行の追加、更新、削除ができる Kuduの情報 Kuduのプロジェクトページ： http://kudu.apache.org/ Kudu情報: http://linux.wwing.net/wordpress/?page_id=2573 2015年秋のStrata+Hadoop World 2015で発表された後、プロダクション環境やベータテストなどを経て、ついにCloudera Enterprise 5.10からApache Kuduがサポート対象になりました。 サポート対象にはなっていますが、Kuduはまだ素のCDHには含まれていないため、他のサービス (ImpalaやHDFS
Apache Kafkaを使ったアプリ設計で反省している件を正直ベースで話す
Apache Kafka: Producer, Broker and Consumer2017年は生まれて始めてApache Kafkaを本格的に業務利用（PoCではなく本番運用）した年でした。Apache Kafka的なメッセージングミドルウェアそのもののは、社内的な事情でよく使っていたのでその使い勝手に対して困惑はほとんど無かったですし、ミドルウェアとして非常に安定しているため、Kafkaクラスタそのものでの不具合らしい不具合が発生したことは一度もありませんでした。 しかし、Kafkaのトピック設計などに関してのベストプラクティスは事例ベースでもあまり見かけたことがなく、チームメンバーと悩むことも多かったです。このストーリーでは、主にKafkaを利用したアプリ設計で考えたことや失敗したことを振り返りつつ共有します。なお、パーティション数や各種バッファサイズなどのチューニング要素は今回取
（翻訳）毎秒10GBでArrowからpandasへ - Qiita
始めに：pandasの作者であるWes McKinneyさんがPythonのデータツール関連でとても興味深いblogを書かれているので、翻訳して日本のPyDataコミュニティに公開してもいいでしょうか、とお聞きしたところ、快諾をいただきましたので少しずつ訳して公開していこうと思っています。 （原文：http://wesmckinney.com/blog/high-perf-arrow-to-pandas/ ） 2016/12/27 このポストでは、汎用的なArrowの列指向のメモリを、pandasのオブジェクトに高速に変換できるようにするための最近のApache Arrowでの作業について述べます。 pandasのDataFrameオブジェクトを高速に構築する際の課題 pandasのDataFrameオブジェクトを高速に構築する際に困難なことの1つは、「ネイティブの」内部メモリ構造が辞書や
クエリ文字列(URLパラメタ)があるURLでのmod_rewriteの使い方 - hogehoge foobar Blog Style Beta
mod_rewriteを使用してクエリ文字列(URLパラメタ)があるURLを変換してリダイレクトしようとしたときに少しハマリかけたので、備忘録として書いておきます。 今回リダイレクトしたURL 今回は、以下の旧URLから新URLにリダイレクトさせるケースでやってみました。 内容としては、旧URLのクエリ文字列(URLパラメタ)の「id」「name」に設定された値が、新URLではディレクトリとファイル名として使用できるようにするといったものです。 旧URL 新URL 形式 /foo/index.html?id=数字列&name=文字列 /foo/文字列/数字列.html サンプル /foo/index.html?id=123&name=bar /foo/bar/123.html RewriteRuleで試す まずは「RewriteRule」で正規表現を使ってリダイレクトする設定を書いてみまし
FlexSC: Flexible System Call Scheduling with Exception-Less System Calls
FlexSC: Flexible System Call Scheduling with Exception-Less System Calls Livio Soares University of Toronto Michael Stumm University of Toronto Abstract For the past 30+ years, system calls have been the de facto interface used by applications to request services from the operating system kernel. System calls have almost uni- versally been implemented as a synchronous mechanism, where a special p
やっぱりビジネスパーソンも、おさえておきたい 機械学習やソーシャル分析を支えるビッグデータ基盤Apache Spark
やっぱりビジネスパーソンも、おさえておきたい 機械学習やソーシャル分析を支えるビッグデータ基盤Apache Spark ビジネスや社会活動におけるビッグデータの重要性が益々高まる中で、それを支えるテクノロジーとして、大規模データの分散処理フレームワーク「Apache Hadoop」が注目を集めてきた。一方で、Hadoopを活用したシステム開発の難易度の高さや用途による得意・不得意も浮き彫りになってきた。 そこで関心が高まっているのが、Hadoop環境をベースとしても動作する分散処理フレームワークの「Apache Spark」である。Hadoopと同様に大規模データの分散処理に対応しながら、Hadoopが不得意とする領域での性能を向上させると共に、従来よりも容易に開発できる環境を整えた。2015年6月には、IBMが「今後10年間で最も重要なオープンソースプロジェクト」と位置付けて、大規模なリ
Big Data + Fast Data = ラムダアーキテクチャー！ | NTTデータ先端技術株式会社
はじめに 本コラムでは、ビッグデータ分析とファストデータ分析を組み合わせるための仕組みである「ラムダアーキテクチャー」の紹介をする。私どもは現在、Apache Sparkを最大限に活用したラムダアーキテクチャーの構想を練っており、その実現方式が固まった際は、コラムにてサンプルを紹介しようと考えている。ただ、「ラムダアーキテクチャー」という言葉に耳慣れない人もまだ多いかと思い、まずはラムダアーキテクチャーについての説明から始めることとする。 ビッグデータ、ファストデータ関連の潮流 まずは、ビッグデータとファストデータ（≒リアルタイム、≒ストリーミング）の世間の潮流について復習する。ここでの「世間の潮流」とは、あくまで、筆者の個人的な感覚をもとにして記載している。エンジニア視点で書いているため、経営者支援やマーケッター視点とは異なると思われるが、その点はご容赦頂きたい。 Hadoopの登場によ
Apache Spark Streaming＝大規模準リアルタイムストリーム処理？ - 夢とガラクタの集積場
こんにちは。 Sparkについて調べてみよう企画第２段（？）です。 １回目はまずSparkとは何かの概要資料を確認してみました。 その先はRDDの構造を説明している論文と、後Spark Streamingというストリーム処理基盤の資料がありました。 とりあえず、そんなわけで（？）お手軽に概要がわかりそうなSpark Streamingの方を調べてみました。 まず見てみた資料は「Overview of Spark Streaming」（http://spark.incubator.apache.org/talks/strata_spark_streaming.pdf）です。 というわけで、読んだ結果をまとめてみます。 Spark Streamingとは何か？ 大規模ストリーム処理フレームワーク ・100オーダーのノードにスケールする ・秒単位のレイテンシで処理を実行可能 ・Sparkのバッチ
Apache Kafkaに入門した
Apache kafka 最近仕事でApache Kafkaの導入を進めている．Kafkaとは何か? どこで使われているのか? どのような理由で作られたのか? どのように動作するのか（特にメッセージの読み出しについて）? を簡単にまとめておく（メッセージングはまだまだ勉強中なのでおかしなところがあればツッコミをいただければ幸いです）． バージョンは 0.8.2 を対象に書いている． Apache Kafkaとは? 2011年にLinkedInから公開されたオープンソースの分散メッセージングシステムである．Kafkaはウェブサービスなどから発せられる大容量のデータ（e.g., ログやイベント）を高スループット/低レイテンシに収集/配信することを目的に開発されている．公式のトップページに掲載されているセールスポイントは以下の4つ． Fast とにかく大量のメッセージを扱うことができる Scal
Apache Sparkがスループットとレイテンシを両立させた仕組みと最新動向を、SparkコミッタとなったNTTデータ猿田氏に聞いた（前編）
Apache Sparkがスループットとレイテンシを両立させた仕組みと最新動向を、SparkコミッタとなったNTTデータ猿田氏に聞いた（前編） 最近ビッグデータ処理基盤として急速に注目を集めているのが「Apache Spark」です。 Sparkは、Hadoopと比較されることも多く、Hadoopよりも高速かつ高機能な分散処理基盤だと言われています。Sparkとはいったい、どのようなソフトウェアなのでしょうか？ 今年6月にSparkのコミッタに就任したNTTデータの猿田浩輔氏に聞きました。 以下は猿田氏から伺ったSparkの紹介をまとめたものです。また、後編では猿田氏がコミッタになった経緯などもインタビューしました。 Hadoopでは複雑な処理に時間がかかる Sparkとはなにかの前に、まずはHadoopの話から始めさせてください。 Hadoopとは、ざっくり言うと分散処理フレームワーク「
OpenStreetMapで独自レンダリングをしよう - Qiita
OpenStreetMapのデータを使って自分独自の地図表現をするためのチュートリアルです。 底本となっているのは以下のサイトです。 Switch2OSM 想定している環境 ubuntu 12.04 LTS 日本データだけを扱う場合、ディスク容量はだいたい50Gくらいを見積ってください 全世界データを扱う場合はデータサイズが500G以上になりますので、800Gくらいは見積もっておきたいところです メモリは可能な限り多く割り振ったほうが良いです。仮想環境であっても、最低1G、2Gくらいは見ておきたいところです これから整えるOSM環境 そもそも論ではあるのですが、OSMでは地図画像を生成するためにどのようなアーキテクチャを構築しているのでしょうか。 まずは前提となる環境を説明します。 クライアントからのデータの流れ クライアントが、Apache-A 上に設置されている地図表示アプリ(Open
PHP による hello world 入門 | 東北ギーク
知る者は言わず、言う者は知らず — 老子 世界で最も有名なプログラムの 1 つに、 hello world というものがあります。 <?php echo 'hello, world'; 出力先に対して「hello, world」という 12 字を書き込むだけの単純なプログラムで、プログラミング言語やライブラリの利用例を最小限の形で示すものです。 この記事ではメジャーな Web プログラミング言語の 1 つである PHP 処理系が、hello world をどのように実行するのかについて、簡単に解説します。 以下の 4 節で構成されています。 「PHP スクリプト実行の大体の流れ」は実行時の概略を箇条書きでまとめたものです。 「SAPI」では、PHP 処理系の起動のされ方についての基礎知識を解説します。 「Zend Engine とオペコード」は PHP 公式処理系の仮想マシンの命令と、PH
Cloud Foundryで学ぶ、PaaSのしくみ講座
This session, led by James Hamilton, VP and Distinguished Engineer, gives an insider view of some the innovations that help make the AWS cloud unique. He will show examples of AWS networking innovations from the interregional network backbone, through custom routers and networking protocol stack, all the way down to individual servers. He will show examples from AWS server hardware, storage, and p
Apache Spark ドキュメント和訳 - Quick Start - Qiita
以下のページの日本語訳です。みんなでSpark使いになりましょう。 http://spark.apache.org/docs/latest/quick-start.html AWS EC2でのSpark環境構築ガイドの和訳も下記で作っているのでよろしければご覧ください。 Spark on AWS EC2 http://qiita.com/mychaelstyle/items/b752087a0bee6e41c182 Cluster Mode Overview http://qiita.com/mychaelstyle/items/610b432a1ef1a7e3d2a0 和訳におかしなところがありましたらコメントにてご指摘ください。 This tutorial provides a quick introduction to using Spark. We will first intro
Apache Spark による推薦システム案件例
2015-03-21 #TokyoWebmining 44th の発表資料です。
Apache Hadoop エコシステム を中心とした分散処理の今と未来
Copyright©2015 NTT corp. All Rights Reserved. Apache Hadoop エコシステム を中心とした分散処理の今と未来 小沢 健史 ozawa.tsuyoshi@lab.ntt.co.jp ozawa@apache.org 2 Copyright©2015 NTT corp. All Rights Reserved. • 処理基盤の意義 • MapReduce の動向と進化 • MapReduce の概要 • MapReduce の課題と解法 • 分散処理基盤の動向 • Google の処理基盤スタック • Microsoft の処理基盤スタック • オープンソースの処理基盤スタック • オープンソース開発 • なぜ会社として貢献するか • 活動内容 • 面白かったこと，大変なこと • これからの目標 アジェンダ 3 Copyright©201
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache Kudu - Developing Applications With Apache Kudu
Latest blog insights from the NTT Family | NTT
Cloudera | ハイブリッドデータカンパニー
http://blog.uu59.org/2012-02-18-prefork-mpm-with-php.html