[Apache Spark]ストリーミング処理で直近の人気ハッシュタグを取得する | DevelopersIO
はじめに Apache Sparkの用途の一つとして、ストリーミング処理があります。今回はその例として、Twitterから直近の人気のハッシュタグを取得する処理を取り上げてみたいと思います。 処理の流れと用語について ソースをお見せする前に、大まかな処理の流れと、用語について説明したいと思います。先ず処理の流れですが、以下のようになります。 Streamの作成 ハッシュタグを持つRDDの取得 DStreamの取得 DStream内のRDDよりハッシュタグを取得 見慣れない用語ばかりかと思いますが、以下で処理の流れに沿って解説したと思います。 1.Streamの作成 データを連続して取得するためのStreamを作成する処理です。今回はTwitterよりデータを取得するストリームを作りますが、他にも Kinesis、Kafka、Flume、ZeroMQ、TCPなどから取得することが出来るようで
![[Apache Spark]ストリーミング処理で直近の人気ハッシュタグを取得する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/976e6989ab538c58fa5b64a03837c916f8d9ba11/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FApache_Spark.png)
任天堂とDeNAの提携について:川上量生 公式ブログ - ブロマガ
はっきりいってぼくはブロマガなんか書いている時間はない。 でも、任天堂とDeNAの昨日の驚くべきニュースとそれにつづくいろいろな ひとの感想。とくに否定的な論調の記事を見るにつけ、どうしてもひとこと 書かなくていけないという衝動にかられた。 なぜか。それは本当にいまぼくがこんなものなど書いている時間なんてないからだ。 4月10日に書き下ろしで発売される予定の本の原稿がまだ半分しかできていないのだ。 そんなとき、ぼくはネットで喧嘩をしたり、余計な文章を書きたいという衝動を 押さえられなくなるのだ。 でも、本当に時間なくてやばいので感想を要点だけ。 ・ 大前提として任天堂岩田社長は一石三鳥以上は狙っているだろう。 ・ 任天堂がネット戦略をすすめるにおいてもっとも不足しているリソースはおそらくウェブエンジニアではないか。それも大量に欲しいはず。一定レベル以上のウェブエンジニアを数百名程度提供でき
ラックの扱われ方に見る脆弱性調査のあり方 | クロスジール
SQLインジェクション判決が広まりを見せています 先日、以下の記事を書きました。 ・SQLインジェクション脆弱性の有無が重過失の判断に影響を与えた判決 http://www.crosszeal.co.jp/blog/20150209_sqlインジェクション脆弱性の有無が重過失の判断に影響を与えた判決.html この記事にも書いたとおり、北海道大学の町村先生、HASHコンサルティングの徳丸先生のエントリでこの件を知りブログを書いたわけですが、同じ方々も多いようで、この判決に関する情報や意見が検索で多くヒットするようになりました。 中には「脆弱性が一つでもあったら損害賠償が認められる」といった誤っている認識であったり、「SQLインジェクション対策をしたら費用が多くかかってしまう」といった首をかしげる意見もありますが、こういった情報が広まるのは良いことだと思います。今後広まっていく中で、正しい認
Azkaban
Azkaban is a batch workflow job scheduler created at LinkedIn to run Hadoop jobs. Azkaban resolves the ordering through job dependencies and provides an easy to use web user interface to maintain and track your workflows. Features Compatible with any version of Hadoop Easy to use web UI Simple web and http workflow uploads Project workspaces Scheduling of workflows Modular and pluginable Authentic
開発するように運用するインフラ JAWS DAYS 2015
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
React 雑感 - Qiita
3/22 (日) の rebuild.fm で React の話をしようと思っているが、その前に頭を整理するために React 雑感。雑感なので殴り書き。 React はこれ一つで複数の課題を解決しようとしている。そのため、人と議論してると話のコンテキストがぶれやすい。ざっくりは フロントエンドのプログラミングパラダイムを、サーバーサイドのような富豪的なスタイルに変える コンポーネント (雑に言うと独自タグ) 指向で UI を組み立てる ステートレスコンポーネントやメッセージパッシングで疎結合性を高めることにより、イベントの依存関係地獄を解消する。また結果的にテスタビリティを高める あたりだろうか。 React というと最初に目につくのは VirtualDOM だけれども、VirtualDOM は 1 や 3 を達成するために障害となった技術的課題を解消するためのテクニックであってそれ以上
ssig33.com - ミノ☆タロー氏の箕星太朗への改名について
【ミノ☆タローから重要なお知らせ3/4】 退職にあたり、「ミノ☆タロー」のペンネームがコナミの著作物となる為、 ３月15日よりフリーとして新しいペンネームで活動させて頂く事になりました。 心機一転、色々新しい挑戦に取り組んで行こうと考えております。 — 箕星 太朗 (@mino_taro) March 16, 2015 この件。 @mino_taro ペンネームがコナミの著作物になる件ですが「著作者人格権」の中の「氏名表示権」の侵害になるのではないでしょうか？「著作者人格権」は著作権が他者に移転された後も著作者が一生保有する権利であり、譲渡も放棄も出来ません。弁護士に相談される事を強くお勧めします。 — acidhead (@acidhead09) March 16, 2015 この人がうまくまとめてくれてるのでまあこれで終わりでいいんですがなんとなく注釈を。 法律とかの話 芸名の使用の可
sbt 0.12.x から導入された binary version について - tototoshi の日記
Play 2.1-RC1 を使おうとしたらいろいろハマったのでまとめました。 scala 2.9系, sbt 0.11系 までの依存管理 scala の異なるバージョンのScala用にビルドされたライブラリは使えないことがあります。 例えば、Scala2.8と2.9ではバイナリ互換性がないので、2.8向けにコンパイルされたライブラリは、2.9のプロダクトで使用することはできません。 使用すると、クラスが見つかりません、メソッドが見つかりません、など、まあなんらかのエラーで死にます。 この問題があるため、ScalaではライブラリのバージョンをScalaのバージョン込みで管理する必要があります。 artifactID の後ろに Scala のバージョンをくっつけるのがスタンダードです。 libraryDependencies += "com.example" % "utility_2.9.1"
ヴェイピング（電子タバコ）のよくある誤解と業界人の常識5つ
この業界に入ったのは1年ぐらい前、友だち2人に田舎のコロラド州ルイスビルでヴェイプショップ（後のeジュース製造会社）手伝ってくれって頼まれたのがきっかけです。業界のわれわれから見たら、ヴェイピングはすごく健康にいい面もあるのに、一般の風当たりは強いですね。FDAや自治体の規制も厳しくなってきたので、ここら辺で声をあげないとなって思い筆をとりました。 ＊編集部注: 本稿はヴェイプ業界の中の人のゲスト寄稿です。そこは割り引いて読まなきゃいけませんけど、記事内容は的を得ていると判断したため掲載に踏み切りました。電子タバコとヴェイピングに対する反論も沢山あります。こちら（日本語）とこちら（英語）で併せてお読みください。 1. 量販電子タバコとは似て非なるもの ｢電子タバコ｣と聞いて大体の人が想像するのは、この一番左の量販電子タバコ。従来の煙草（アナログたばこ）みたいなかたちをしていて、アメリカでは
YouTubeがMySQLをスケールアウトする「Vitess」をオープンソースで公開。Kubernetesに対応
YouTubeがMySQLをスケールアウトする「Vitess」をオープンソースで公開。Kubernetesに対応 Google Cloud Platformのブログに投稿された記事「Scaling MySQL in the cloud with Vitess and Kubernetes」で、Vitessは次のように説明されています。 At YouTube, we went on that journey as we scaled our MySQL deployment, which today handles the metadata for billions of daily video views and 300 hours of new video uploads per minute. To do this, we developed the Vitess platform,
Railsアプリケーション構築ガイド — Railsアプリケーション構築ガイド
Railsアプリケーション構築ガイド¶ 業務でRuby on Railsを利用する人のための、アプリケーション構築ガイド 最終更新日: Feb 03, 2018 Ruby on Railsは、流儀・規則に従うことで効率的なシステム開発が可能となるWebアプリケーションフレームワークです。 レールの上に乗って開発を行っているうちは、 少ないコード量で複雑なアプリケーションを 簡単に実装できる、Railsというフレームワークの強力さ、美しさを体感できるはずです。 しかし、少しでもレールから外れたアプリケーションを実装しようとすると、途端に複雑になるのも事実です。 業務アプリケーション構築の分野では、Railsの流儀とは相容れない実装を強いられる事が多々あります。 レールから外れたアプリケーションをよく考えずに実装すると、 コードが難解になり、システムのメンテナンス性が大きく下がってしまいます。
Apache Spark による推薦システム案件例
2015-03-21 #TokyoWebmining 44th の発表資料です。
人種差別ゲーム『バイオショック インフィニット』が超面白い！ - 破壊屋ブログ
有色人種の前に十戒を携えて登場する神の如きアメリカ白人様。この画像はWikipediaの「論争」の項目でも使われている。 海外ゲームのレベルの高さには常に驚かされてきたけど、これまたとんでもないゲームが存在していた。『バイオショック インフィニット』だ。俺はこのゲームに関する知識が皆無で弟が欲しがっていたのでプレゼントしただけ。弟のプレイをぼんやり見ていたらその凄さに気が付きすぐに弟から奪い返した（俺たち30代）。 以下は俺のプレイ画像。字幕が小さくて読めないと思うので、画像にはそれぞれ解説をつける。 ゲームの舞台は1912年のアメリカ。ゲームが始まってすぐに3人のアメリカのファーザーの彫像に遭遇する。初代大統領のワシントン、アメリカ独立宣言を出したジェファーソン大統領、アメリカ建国の父と呼ばれるベンジャミン・フランクリン（さっきググるまで俺はニューディール政策のほうのフランクリンだと勘違
エレベーターで男性と2人きりのときに
職場とかでエレベーターに乗るときのマナーってどうしてますか。 電話の受け方、とか名刺の貰い方、とかはマナー研修で教えてもらうけど エレベーターでの振る舞い方ってなかなか教えてはもらえない。 でもさ、だいたい感覚でわかるよね？ 私がいま一番許せないのが、 エレベーターに男性と二人きりで乗り込んだ時、 その男がこちらの死角に立つこと。 私はエレベーターに乗った時、 操作盤の前に立つことが多いのだけど、 その時に一緒にエレベーターに乗り込んだ男が 「開閉ボタンを操作するのはお任せします」ていう意思表示なのか エレベーターの後方はじの方に移動する。 いやいや、2人きりなんだからさ。。入り口のとこにいろよ。。 死角にはいってなにしてんの？キモいんだよ。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「激カワ猫耳ダウナー系フリルふりふりツインテールあざと美少女メイド」、クッソ長すぎる
AWS概要からサインアップまで！ 〜アカウント開設 & 仮想サーバを立ててみる〜