GitHub - gresrun/jesque: An implementation of Resque in Java.You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
FlumeとEsperを用いたSQLライクなクエリによるストリーム処理 | 株式会社サイバーエージェント
JavaベースのオープンソースであるApache Flumeではアクセスログなどのファイルをリアルタイムに転送可能であり、またInterceptorといった機能を実装することで転送するデータを集計・加工することもできる。 このように自分たちで機能を作り込めば自由に集計・加工ができるが、複雑な要件のものとなると1つ1つ実装していくのは工数が大きく効率的ではない。 そこで、本論文ではFlumeによってデータを転送し、複合イベント処理（CEP：Complex Event Processing）が可能なJavaベースのオープンソース Esper のSQLライクなクエリによって柔軟にストリーム処理ができる仕組みを実現した。 パフォーマンスについてもテストを行い、十分に実用性のある性能であることも検証できた。 1-1. Apache Flume Apache Flume[1]は大量のログデータな
UXをみっちり基礎から教わることができた「モバイルUI/UXのキホン」って勉強会のレポート！
10/4に渋谷で開催された「モバイルUI/UXのキホン」 に参加しました。2011年からいろいろなテーマで開催されている歴史のある勉強会なのと、ディスカッションや意見交換を通じた双方向性を大切にしている、学びの多い勉強会でした！ 今回は勉強会の中で特に参考になった点を書いていきます！ 🍣 発表スライド発表の際に使われたスライドです。しっかりとした内容です！ 発表スライドは「prezi」というサービスを使っているそうです。動きのあるカッコイイデザイン！ 🎃 UI/UXは最近のバズWordデジタルガジェットでは特にいえることですが、市場が成熟してきて機能的な差別化が難しくなってくると、ユーザーの体験(UX)が重視されるようになってくるそうです。スマホアプリケーションは特にこういった要素が強く、ココ最近は『UI/UX』がバズWordになっているそうです。 🐹 UI/UX/IAの言葉の定義ま
Big data is like teenage sex(ビッグデータは10代のセックスのようなもの) - dataminer.me
Big data is like teenage sex 検索で引っかかったどこぞやの大学の人の言葉を引用してみました。 Big data is like teenage sex: everyone talks about it, nobody really knows how to do it, everyone thinks everyone... http://t.co/tREI1mRQ— danariely (@danariely) 2013, 1月 6 ざっくりとした訳は「みんながそれについて話し合うけど、実際それをどうやるか知らない。自分以外のみんながそれをやっていると思っているから、みんながやっているといっている。」って感じ。 最近思うこと 「ビッグデータ」はアドテクの業界でも「データマネジメントプラットフォーム」とかDSP/RTBとかに関連して話題になっているし、よくお客さ
グリー技術者が聞いた、fluentdの新機能とTreasure Data古橋氏の野心
fluentdのほかにもバイナリシリアライゼーションフォーマット「MessagePack」の開発などで知られる古橋氏だが、学生時代からその技術力の高さには定評があり、注目され続けてきたスーパーエンジニアでもある。 今回、fluentdのユーザーでもあり、古橋氏とは旧知の仲でもあるグリー 開発本部 リーダーの森田想平氏がインタビュアーとなり、fluentdにまつわるトピックや、トレジャーデータでの開発、オープンソースへの想いなどを訊いている。本稿では、その模様をお伝えしながら、“エンジニア・古橋貞之”の魅力に迫ってみたい。 fluentd v11の注目ポイント 森田 まずは、グリーでも大変お世話になっているfluentdについて、いろいろ聞かせてください。開発中の新バージョン（v11）では、かなり大きな変更や機能追加があると伺っていますが、注目ポイントをいくつか教えてもらえますか。 フィルタ
Yahoo! JAPAN、eコマース事業における新戦略を発表 「Yahoo!ショッピング」「ヤフオク!」のストア出店料を無料に 個人の出店も可能にし、自由なECで新たなビジネスチャンスの創出へ - Yahoo! JAPAN
指定されたURLは存在しません。 URLが正しく入力されていないか、このページが削除された可能性があります。
プログラミング Hive
本書は、Hadoop上でSQLライクなクエリ操作を可能にするHiveについて、基礎から応用までを詳細に解説した書籍です。データ型とファイルフォーマット、またHiveQLのデータ定義、操作などの基礎的な事柄から、関数、ストリーミング、Thriftサービス、さらにAWSやHCatalogなどの応用まで、Hiveについて必要な事柄を豊富なサンプルとともにわかりやすく解説します。 日本語版では、Microsoftの佐藤直生氏による「Windows Azure HDInsight Service」、Clouderaの嶋内翔氏による「Cloudera Impala」、「Hive 0.10 の新機能」、「HiveServer2」を追加。ビッグデータに関心のあるすべてのエンジニア、必携の一冊です。 訳者まえがき はじめに 1章 イントロダクション 1.1 HadoopとMapReduceの概要 1.1.1
Apache Spark on Mesos の環境構築（その１ - 夢とガラクタの集積場
こんにちは。 では、準備も整った（？）ということで、Apache SparkをMesos環境上に構築して動作させる・・・ ということをやっていこうと思います。 http://spark.incubator.apache.org/docs/latest/running-on-mesos.html のページを読んでみると、Mesos上からApache Sparkを実行するには以下の手順が必要だそうです。 Apache Mesosクラスタの構築 Apache SparkをMesosクラスタからアクセス可能なストレージ(例：HDFS、Amazon S3)に配置 Apache Sparkの起動 Mesosがどこまで何を管理するかが微妙なのですが、とりあえずHDFS等のストレージ系の ものについてはMesos管理ではない・・・ということなんでしょう。 クラスタマネージャ、という名前がついている関係上M
Linuxでファイルディスクリプタが足りなくなりサービス停止障害 - モーグルとカバとパウダーの日記
今日、Web/メール等のサービスを稼働させてる自社のLinuxサーバが、突然サービスが停止してしまう障害が発生した。 特にメールでトラブルが広がっており、プロセス見るとdovecot deliverとpop3が多数止まっている状況だった。 ログを見ると、deliverは「still being delivered」というエラー、pop3は「Too many open files in system」等のエラーを吐いていた。 最初はメールだけのトラブルと思い、とりあえずdovecotとpostfixのstopを掛けたのだが、デーモンの親プロセスは死ぬもののdeliverもpop3もSTATが「D」や「Ds」となっていたため「# kill -9」しても死なず。 いくつかログを見たところ、ファイルシステムの障害は考えにくかったため、リブートするしかなかろうということで「# shutdown -r
みそをふりかけ＆粉末状にしてあらゆる食べ物に使える「ミソフル」で卵かけご飯・アイス・野菜炒め・パスタなど作ってみました
国産の10種類の雑穀を使い、天然醸造という手間のかかる製法で普通のみそより旨味が強いみそを生産。具入りラー油のようにカリカリ・サクサクとした食感でも食べられるふりかけ＆粉末タイプのみそが「ミソフル」です。ご飯からパスタ・冷ややっこ・肉のソテー・野菜炒め・アイスクリームまで、とにかくあらゆる食材に使え、これまでみそ味でにできなかったものに対してさえも香ばしく風味あるみそのトッピングが可能になるとのことなので、色んな食材を使って食べてみました。 at homeな食空間 丸秀醤油へようこそ！ http://www.shizen1.com/shop_misoful-arabiki.html at homeな食空間 丸秀醤油へようこそ！ http://www.shizen1.com/shop_misoful-funmatsu.html これがミソフル。カリカリした食感がある粗挽きタイプと、さらっとし
Haskell使いの高頻度取引の会社にお邪魔した
先日、日経コンピュータ特集記事の取材で東京都内の某所にある「Tsuru Capital」という、高頻度取引（HFT、High-Frequency Trading）を手掛ける企業のオフィスにお邪魔した。 HFTというのは、プログラムによって株式などの金融商品を数ms（ミリ秒）から数μs（マイクロ秒）で高速に自動取引すること。自己資金で取引する「プロップファーム（proprietary trading firm）」と呼ばれる企業が中心で、米GETCO（2013年7月に米Knight Capitalと合併）などが有名だ。 HFTを行うプロップファームの多くは、米国など海外に拠点を置いており、Tsuru Capitalのように日本国内に拠点を置く企業は珍しい。株式売買では、海外企業であっても国内の証券会社と契約し、自社の取引プログラムをその証券会社のサーバーに配置すれば日本市場でのHFTは行える。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【やじうまPC Watch】 阪大、世界で初めて進化の機能を持った人工細胞の作成に成功 ～人工細胞でRNAが複製し、突然変異が蓄積、進化
DevOps版 7つの習慣