米Twitter傘下のGnipは4月10日（現地時間）、公開ツイートデータ「Firehose」の再販業者への直接提供を8月中に打ち切ると発表した。企業や組織へのFirehoseの提供はGnipのみが行うことになる。 Gnipによると、TwitterはGnip買収直後から再販業者へのFirehose提供打ち切りのプロセスを開始し、現在まだFirehoseを扱っているNTTデータと米DataSiftへのFirehose提供を8月半ばには終了する見込みという。 再販業者へのFirehose提供打ち切りの理由は、Firehoseのユーザー企業とダイレクトな関係を築くことが、Firehoseをサポートする最善の方法だと確信するからとしている。 Twitterは2012年に立ち上げた「公認製品プログラム」で、Twitterのデータの価値を高め、利用しやすくするツールの構築をサードパーティーに奨励し、F
GoとKinesis Data Firehoseで非同期の検索基盤を構築─モノリス化した「カオナビ」はアーキテクチャ改善にどう取り組み始めたか - はてなニュース
社員の個性・才能を発掘し、戦略人事を加速させるタレントマネジメントシステム「カオナビ」を提供する株式会社カオナビでは、SaaS移行にあわせてクラウドを全面的に採用し、インフラの自動化などにAWSのマネージドサービスを積極活用しています。とはいえ10年近い運用で、サービス開発におけるシステムのモノリス化が課題となってきました。 こういった全社的な課題は、2020年からCTOを務める松下雅和（@matsukaz）さんを中心にCTO室で対応しています。モノリスなシステムは、全体のモジュラモノリス化を前提に、とくにボトルネックとなる検索処理を非同期の基盤サービスとして切り出しています。 この検索基盤の設計と実装を通して、カオナビはシステムのアーキテクチャ改善をどのように進めようとしているのか。非同期である必要性や、デプロイの工夫、開発組織の文化まで含めて、CTO室の千葉峻秀さんとインフラグループの
ホームニュース 米Twitter社とツイートデータ提供に関するFirehose契約を締結 ～企業の高度なソーシャルメディア活用、ビッグデータ活用を推進するプラットフォームを提供～ 株式会社NTTデータは、精度の高いソーシャルメディア活用サービスの提供に向け、米Twitter社とツイートデータ提供に関するFirehose契約を締結することで合意しました。これにより、NTTデータは米Twitter社が提供するAPI「Firehose」を通じて、日本語のツイートデータおよび日本国内で書き込まれたすべてのツイートデータを取得し、提供することが可能となります。 今後、NTTデータでは、公開APIよりも大量・高精度・高付加価値なツイートデータを提供可能なサービスプラットフォームを開発します。さらに、ソーシャルメディア関連のツールやサービスを提供している企業へ本プラットフォームからツイートデータを提供す
【新機能】Amazon Kinesis FirehoseにAmazon Lambdaを使ったデータ変換機能が追加。Apacheログが簡単にJSON形式に変換可能に！ | DevelopersIO
【新機能】Amazon Kinesis FirehoseにAmazon Lambdaを使ったデータ変換機能が追加。Apacheログが簡単にJSON形式に変換可能に！ こんにちは、せーのです。今日はKinesis Firehoseになかなか強力な機能が追加されたのでご紹介します。 これを待っていた 今回ご紹介するのは「データ変換機能」です。所謂ETL(Extract、Transform、Load）処理と言われるもので、流れてくるデータを使いやすい形に加工した上で対象となるデータベースやデータレイクに書き出すものです。 例えばApacheのログデータをS3に蓄積しておいて、後ほど分析に使いたいとします。Apacheのログってこんな感じですよね。 127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0
The Architecture Twitter Uses to Deal with 150M Active Users, 300K QPS, a 22 MB/S Firehose, and Send Tweets in Under 5 Seconds - High Scalability -
Toy solutions solving Twitter’s “problems” are a favorite scalability trope. Everybody has this idea that Twitter is easy. With a little architectural hand waving we have a scalable Twitter, just that simple. Well, it’s not that simple as Raffi Krikorian, VP of Engineering at Twitter, describes in his superb and very detailed presentation on Timelines at Scale. If you want to know how Twitter work
Amazon Kinesis Data Firehose now supports data delivery to HTTP endpoints
Amazon Kinesis Data Firehose now supports streaming data delivery to a generic HTTP endpoint. This feature enables you to use a fully managed service to stream data to an HTTP endpoint without building custom applications or worrying about operating and managing the data delivery infrastructure. Amazon Kinesis Data Firehose incorporates error handling, auto-scaling, transformation, conversion, agg
Amazon Kinesis StreamsとAmazon Kinesis Firehoseは何が違うのか | DevelopersIO
こんにちは、せーのです。 先日のRe:InventでKinesisの体系が変わりまして、「Kinesis Family」「Kinesis三兄弟」なんて言われるようになりました。 今まではKinesisの一機能として「Kinesis Streams」というのがあったのですが、それがメインのサービスとして昇華し、新たに「Kinesis Firehose」「Kinesis Analytics」が増えて現在の形になりました。 今回はそのうち混同しやすい「Kinesis Firehose」と「Kinesis Streams」の使い分けについてご紹介したいと思います。 やろうと思えば両方できる Kinesis Streamsは次々と送られる大量のデータをリアルタイムに収集、次のサービスに配送するためのサービスです。一方Kinesis Firehoseは同じく次々と送られる大量のデータをRedShift
Building a scalable log solution aggregator with AWS Fargate, Fluentd, and Amazon Kinesis Data Firehose | Amazon Web Services
AWS Compute Blog Building a scalable log solution aggregator with AWS Fargate, Fluentd, and Amazon Kinesis Data Firehose February 12, 2024: Amazon Kinesis Data Firehose has been renamed to Amazon Data Firehose. Read the AWS What’s New post to learn more. September 8, 2021: Amazon Elasticsearch Service has been renamed to Amazon OpenSearch Service. See details. This post is contributed by Wesley Pe
AWS WAFのログをFirehoseでS3に出力しブロックログをS3Selectで確認してみた | DevelopersIO
AWS WAF 包括ログ出力がサポートされたので、WAFのログをFirehose経由でS3に出力、ログの内容についてS3 Selectで確認してみました。 はじめに AWSチームのすずきです。 AWS WAF のアップデートにより、リクエストされたHTTPヘッダーと関連するWAFルール情報が含まれるアクセスログを Amazon Kinesis Data Firehose を利用し S3などに出力する事が可能になりました。 早速、リリースされたAWS WAF の包括的なログ記録機能と、出力されたログをS3 Selectを利用して確認する機会がありましたので、紹介させていただきます。 AWS WAF の包括的なログ記録機能が新たに利用可能に Firehose設定 AWS WAFのログ出力先となる Amazon Kinesis Data Firehoseと、ログ保管場所として利用するS3バケット
Twitterには「収益化」の問題が常につきまとい、決算発表の度に「身売り」の情報があふれるほど、ビジネスとして成立させるのに苦心しています。そのTwitterは、ユーザーの大量のツイートの情報を一括して提供する「Firehose」というサービスを行っており、マネタイズに苦心するTwitterサービスのなかで有望な収入源だと期待されていますが、Firehoseサービスには情報を切り売りすることで、Twitterの情報発信ツールとしての強みを失わせかねないという大きな矛盾を抱えているようです。 How Despots Use Twitter to Hunt Dissidents - Bloomberg https://www.bloomberg.com/news/articles/2016-10-27/twitter-s-firehose-of-tweets-is-incredibly-va
Twitterが、公開ツイートのリアルタイムデータストリームへのアクセス権を提供するパートナー契約をCollectaなど7社と結んだ。既にMicrosoft、Google、Yahoo!がアクセス権を持っている。 米Twitterは3月1日、公開ツイートのリアルタイムデータへのフルアクセス権を7社に提供したと発表した。「Firehose」と呼ばれる（Twitterはこの俗称を正式名称にしたようだ）このデータは、これまで米Microsoft、米Google、米Yahoo!のみが利用できた。 現在、5万以上のサードパーティー製アプリがStreaming APIを通して制限付きのストリームデータを利用している。Twitterは、パートナー企業に対し、より高度なアプリケーションを開発できるよう、企業規模にかかわらずFirehoseへのフルアクセスを提供するべきだと考えているという。 提携先として発表
Slack's First Product Manager on How to Make a Firehose of Feedback Useful
Product Slack's First Product Manager on How to Make a Firehose of Feedback Useful Kenneth Berger joined Slack at the very beginning and made several critical product decisions. Here's how he leveraged the right feedback to make it happen. When Kenneth Berger joined Slack in June 2014, the company was at the beginning of its much-buzzed-about ascent. As its first product manager, he managed the pr
はじめに AWSチームのすずきです。 Amazon CloudWatch Logs (Vended Logs)はサブスクリプションフィルタを利用して、 Lambda、Kinesis Stream、Kinesis Data Firehose、Amazon Elasticsearch Serviceと連携する事が可能です。(2018年7月現在) CloudWatch Logs Subscriptionsを利用したZabbixへのログ転送 今回、サブスクリプションフィルタの連携先としてKinesis Data Firehoseを指定し、 Vended Logs(VPCフローログ)のS3への出力を試す機会がありましたので紹介させて頂きます。 設定 LambdaとElasticsearch以外のサブスクリプションフィルタは、AWS CLIなどを利用して設定します。 例 3: Amazon Kines
CloudWatch LogsのログデータをKinesis Data Firehose経由でS3に出力する | DevelopersIO
CloudWatch Logsのデータを、Kinesis Data Firehose経由でS3に出力する手順です。 Lambda Functionなどで作り込みを行わず、CloudWatch LogsのログデータをS3に出力するには、Kinesis Data Firehoseが利用できます。 本エントリでは、Kinesis Data Firehoseを介して、CloudWatch LogsのデータをS3へ出力する設定を紹介しています。CloudWatch LogsからKinesis Data Firehoseへ出力するには、CloudWatch Logsのサブスクリプションフィルタの設定が必要になりますが、こちらの設定はマネジメントコンソールでは行えないので、関連する作業含めAWS CLIを利用して実施しています。さいごに、AWS CLIで構築した同様の構成を定義するCFnテンプレートも添
FirehoseのHTTP配信機能でMackerelにメトリックを投稿する - 酒日記 はてな支店
先日、Amazon Kinesis Data Firehose が任意の HTTP エンドポイントに対しての配信機能をサポートしました。 aws.amazon.com 従来の S3 / Redshift / Elasticsearch Service などのマネージドなリソースに対してデータを配信する機能に加えて、自分で作った HTTP(s) のエンドポイントに対しても Firehose からデータを投げ込んでくれる機能です。 Amazon Kinesis Data Firehose now supports data delivery to Datadog 既に Datadog や New Relic へもマネージドでデータを配信できていて、それらに送りたいデータはとりあえず Firehose に流しておけば、実際の送信やバッファリングやリトライは Firehose が面倒を見てくれると
LambdaのLogをCloudWatch LogsからKinesis Firehoseを利用しAthena＋QuickSightで可視化する際に知っておくべきこと #aws #jawsug - uchimanajet7のメモ
タイトルでは 知っておくべきこと と書きましたが、簡潔に結論を書くと 仕様のドキュメントをちゃんと読めば問題なし となります。ドキュメント読むの大事ですね。 そして普段からちゃんと読んでる人はハマらないので、なんの気づきもない可能性があります。 実現したいこと みんな大好きLambdaですが、Lambda関数の数が多くなり出力されるLogの量が多くなってくると、CloudWatch Logsのマネジメントコンソール上での検索が大変になってきました。 CloudWatch Logsのマネジメントコンソール上では、ログストリーム間のイベントを横断検索することはできますが、ロググループ間の横断検索や検索結果の直感的な可視化などを行うことができません。 これを構築と運用の手間をなるべくかけずに実現して、Lambda関数から出力されたLogを普通に検索して可視化したいわけです。 Lambda関数をま
Amazon Kinesis Data Firehose で Apache Parquet または ORC フォーマットのデータをリアルタイムでストリーミング
Amazon Kinesis Data Firehose で Apache Parquet と Apache ORC フォーマットが追加サポートされるようになりました。これにより、コスト効率の良いストレージと分析のため Amazon S3 に対しリアルタイムのデータをストリーミングできます。 Apache Parquet と Apache ORC は柱状のデータフォーマットで、データをより効果的に、コスト効率良く保存し、クエリを実行できるようになります。これからは、ご使用の Kinesis Data Firehose のストリーム配信を構成し、S3 バケットにデータを配信する前に、Parquet または ORC フォーマットに自動変換するよう設定できます。コーディングの必要はなく、Amazon Athena および Amazon Redshift Spectrum を使用することで S3
GnipのSocial Media APIを通してTwitterのデータを商用提供するために両社が提携したことが明らかになった。 Gnipは、ソーシャルメディアをリアルタイムにアプリケーションに組み込みたいと考える企業に対してソーシャルメディアデータを提供する企業で、2008年に設立された。 このたびの提携により、Twitterは一般に公開されたツイートへのアクセスに関するサブライセンスをGnipに供与する。これにより、開発者はTwitterストリームを活用するモニタリング／分析ツールを作成することができる。search engine landやRead Write Webによれば、利用者はこれを分析目的にのみ活用でき、表示目的で活用したり、再販したりすることはできないという。 Twitterのfirehoseにアクセスできるメニューは現在、提供されるフィードの量や内容に応じてTwitte
Firehoseに対応したAPI Gatewayのアクセスログ設定を試してみた | DevelopersIO
AWSチームのすずきです。 Amazon Kinesis Data Firehose への アクセスログ出力が可能になった Amazon API Gateway。 その設定を試す機会がありましたので、紹介させていただきます。 Amazon API Gateway が Amazon Kinesis Data Firehose へのアクセスログ記録をサポート開始 設定 API Gatewayのログ出力先とする Kinesis Data Firehoseのストリームを作成します。 ストリームの名称は「amazon-apigateway-」で始まる名称とします。 Firehoseの出力先はS3としました。 API Gateway のログ設定で利用する「Delivery stream ARN」を確認します。 IAM API Gateway のサービスロール「AWSServiceRoleForAPIG
米Yahooは、Twitterの「firehose（消防ホースの意）」へのアクセス権を購入することに同意した。これにより、リアルタイムのTwitterのコンテンツを、検索結果とYahooのプロファイルの両方に加えられるようになる。Yahooのコミュニティー担当バイスプレジデントJim Stoneham氏によると、同社はしばらくTwitterのコンテンツを検索結果に表示させてきたが、今後はTwitterの公開APIを使用したサービスからコンテンツを引き出す必要がなくなり、Twitterから直接コンテンツを受け取れるようになるため、この検索結果を拡大する計画だという。 GoogleとMicrosoftは数カ月前、Web 2.0 Conferenceにおいて同様の計画を発表している。Stoneham氏は、Yahooは今後もTwitterのコンテンツを、「Obama」や「Olympics」など最新
[新機能] Kinesis StreamsのデータをKinesis Firehoseへ直接配信できます | DevelopersIO
こんにちは、菊池です。 2017/8/25追記：Kinesis Firehoseの東京リージョンでの提供が開始されました。 本日（日本時間：2017/8/19）の機能アップデートにより、Kinesis Streamsに配信されたデータを直接Kinesis Firehoseで読み取ることができるようになりました。 Amazon Kinesis Firehose can now read data directly from Amazon Kinesis Streams この機能統合により、Kinesis Streamsへ送信したデータを、S3やRedshiftへ簡単に保存しておくことが可能になります。 試してみた Kinesis StreamsにPUTしたデータを、Firehoseを経由してS3に保存してみます。 Kinesis Streamの作成 まずはストリームの作成です。今回はオレゴン
MicrosoftとTwitter、BingでのFirehose利用契約更新をTwitterで“発表” 米Microsoftと米Twitterが、「Firehose」の利用に関する契約を更新したようだ。両社の公式Twitterでのやりとりがそれを示している。 Firehoseとは、公開ツイートのリアルタイムデータのことで、Microsoftは2年前の2009年10月、このデータへのアクセス権を利用する契約を結んだ。Microsoftはこのデータを検索エンジン「Bing」で利用している。Microsoftの他に、米Yahoo!や米Googleも同様の契約を結んだが、GoogleはTwitterとの契約を更新せず、現在同社の「リアルタイム検索」は一時的に停止している（リアルタイム検索のURL（http://www.google.com/realtime）はGoogle検索のページにリダイレクト
コンサル部＠大阪オフィスのYui(@MayForBlue)です。 最近、CloudWatch Logs から S3 へのログデータの転送に Kinesis Data Firehose を初めて使ってみたので、勉強したことをまとめてみました。 ドキュメントを読んだり概要を学んだだけではなかなか理解しにくかったので、実際に触ってみた内容が中心となります。 Kinesis Data Firehose とは リアルタイムのストリーミングデータをS3やRedShift、Elasticsearchなどのデータストア、分析ツールに配信するAWSのマネージドサービス。 複雑な設定をすることなく、データ送信元から送信先へのデータの転送を実現することができます。 イメージ Kinesis Data Firehose は、Kinesis ストリーミングデータプラットフォームの一部で、他に、Kinesis Dat
Amazon Kinesis Firehose, Amazon Athena, Amazon QuickSightを用いたVPCフローログの分析 | Amazon Web Services
Amazon Web Services ブログ Amazon Kinesis Firehose, Amazon Athena, Amazon QuickSightを用いたVPCフローログの分析 多くの業務や運用において、頻繁に更新される大規模なデータを分析することが求められるようになっています。例えばログ分析においては、振る舞いのパターンを認識したり、アプリケーションのフロー分析をしたり、障害調査をしたりするために大量のログの可視化が必要とされます。 VPCフローログはAmazon VPCサービス内のVPCに属するネットワークインターフェースを行き来するIPトラフィック情報をキャプチャします。このログはVPC内部に潜む脅威やリスクを認識したり、ネットワークのトラフィック・パターンを調査するのに役立ちます。フローログはAmazon CloudWatchログに格納されます。いったんフローログを
Amazon Kinesis Firehoseが東京リージョンで利用可能になりました | DevelopersIO
はじめに AWSチームのすずきです。 Amazon Kinesis Firehose、受け取ったストリームデータをAmazon S3などへの保存を実現する マネージドサービスが、本日(2017/8/25)AWS東京リージョンで利用可能になりましたので紹介させて頂きます。 設定 Firehoseコンソール AWSコンソールのAmazon Kinesisの画面より「Firehose」コンソールを開きます。 東京リージョンでのFirehoseが利用可能となっています。 ストリームの作成 名前とソース設定 Firehoseのストリーム、任意の名称を付与して作成します。 今回は直接Firehoseにデータ投入する指定をおこないました。 「Kinesis streams」連携もサポートされています。 [新機能] Kinesis StreamsのデータをKinesis Firehoseへ直接配信できます
Kinesis Firehose のデータ変換を Rust でやってみて速度向上が見込めた話 - ソモサン
概要 Rust コードを Lambda 上で動かせたーと喜んだんですが、活用どころあるんだろうかと考えてみて検証してみました。 結果として Python 比較で1秒当たりで 15 倍ほど多く処理できました。 以下でつらつらと書いていってます。 前提: Lambda の環境について Python比で起動時間に差がない Rust はそこそこバイナリサイズが大きくなります。 前回書いた Kinesis から S3 へ保存するコードも、Lambda のコンソール上で 1MB という数字になってました。 ライブラリ結構使っているとはいえ、やっぱりでかいです。 当然デバッグ情報の削除やならんやらで小さくはなるのですが、 Python なら500 B 程度。 結果として初期の起動速度の差がでてるのかなーと考えてます。 ので、Rust を使うなら起動してすぐ結果をかえす場面でなく、そこそこじっくりと処理す
Amazon API GatewayでAWS Service Proxyを使ってKinesis Firehoseにアクセスする | DevelopersIO
AWS API Gatewayを使用してAWS サービスプロキシ経由でKinesis Firehoseに接続する方法について説明します。これにより、AWS Lambda 関数を介してではなく直接、AWS サービスを呼び出すことができます。 Lambda関数とAWSサービスプロキシの違い API Gatewayを使用てKinesis Firehoseと連携する場合、Integration type には Lambda関数 AWSサービスプロキシ の2方式が考えられます。 Lambda関数方式 Kinesis FirehoseへのリクエストはLambda関数が行います。 リクエストデータの加工はAPI GatewayのBody Mapping TemplatesやLambda関数が行います。 AWSサービスプロキシ方式 今回はこの方式を採用します。 Kinesis Firehoseへのリクエス
Kinesis Firehose、Athena、QuickSightを利用したデータ集積基盤の構築 - Speee DEVELOPER BLOG
Speee開発基盤部、兼ヌリカエエンジニアの森岡です。 2017年6月2日に行われたJAWS-UG勉強会【AWS Summit Tokyo 2017】にて、弊社Speeeより hatappi と私が発表させて頂きました。 私が発表した内容はKinesis Firehose, Athena, QuickSightを使って、データ集積基盤を作る。というものです。スライドはこちらになります。 speakerdeck.com 今回は、この発表内容について、補足情報を追加してお話をさせて頂きます。 Kinesis Firehose、Athena、QuickSightを利用したデータ可視化ツールの１つの実装例として見て頂ければと思います。 最初に 弊社Speeeでは、ヌリカエという外壁塗装の一括見積もりサービスを運用しています。 外壁塗装を望まれているお客様にヒアリングを行い、お客様の状況に合わせて適
S3 アクセスのニアリアルタイムな異常検出を pandas と Firehose で実装してみる | DevelopersIO
S3 の GuardDuty 的なサービスが本当は欲しいんやけど。無いものは無いので簡易的に異常アクセス数を検出する仕組みを作ってみた。 みなさん、S3 の異常アクセスてどうやって検出していますか？ EC2 への異常アクセスであれば GuardDuty がありますよね。CloudFront, ALB, API Gateway であれば AWS WAF がありますよね。S3 は？ S3 Access Analyzer？ あれは 99% アクセス分析やってくれそうなサービス名ですが、アクセスが来たものを対象に分析するサービスではなく、「アクセスされる危険性があるよー」という分析をしてくれるサービスなので違うんですよ。 AWS CloudTrail Insights？ あー、CloudTrai Insights は API コールのアクティビティを機械学習し、異常な挙動が起きた場合に知らせてくれ
Fluentdから#SORACOM Funnel経由でAmazon Kinesis Firehoseにログを送信する | DevelopersIO
ども、大瀧です。 SORACOMから発表された新サービスFunnelは、IoTデバイスの通信をバックエンドのクラウドサービスに転送します。今回は、IoTデバイスからの通信として、Fluentd(td-agent)からKinesis Firehoseへの転送を試してみます。 Fluentdとは Fluentdは、ログなどのデータ収集ソフトウェアとして広く用いられているOSSです。手軽に導入するために、開発主体のTreasure Data社が提供するtd-agentディストリビューションを利用するのが一般的です。 *1 Kinesis Firehoseとは Kinesis Firehoseは、AWSのマネージドなストリーミング基盤サービスの一つで、簡単にS3やRedshiftへのデータ格納を行うことができます。 SORACOM Funnelなしでも、FluentdにはKinesis Fireh
Amazon DynamoDB からのデータストリームを AWS Lambda と Amazon Kinesis Firehose を活用して Amazon Aurora に格納する | Amazon Web Services
Amazon Web Services ブログ Amazon DynamoDB からのデータストリームを AWS Lambda と Amazon Kinesis Firehose を活用して Amazon Aurora に格納する Aravind Kodandaramaiah は AWS パートナープログラムのパートナーソリューションアーキテクトです。 はじめに AWS ワークロードを実行するお客様は Amazon DynamoDB と Amazon Aurora の両方を使用していることがよくあります。Amazon DynamoDB は、どのような規模でも、一貫した、数ミリ秒台にレイテンシーを抑える必要のあるアプリケーションに適した、高速で柔軟性の高い NoSQL データベースサービスです。データモデルの柔軟性が高く、パフォーマンスが信頼できるため、モバイル、ウェブ、ゲーム、広告、IoT
Kinesis Firehoseを使用してApache WebログをAmazon Elasticsearch Serviceに送信する | Amazon Web Services
Amazon Web Services ブログ Kinesis Firehoseを使用してApache WebログをAmazon Elasticsearch Serviceに送信する Elasticsearch、Logstash、および、Kibana（ELK）スタックを所有して運用する多くのお客様が、他の種類のログの中でもApache Webログを読み込んで可視化しています。 Amazon Elasticsearch Serviceは、AWSクラウドにElasticsearchとKibanaを提供しており、セットアップと運用が簡単です。 Amazon Kinesis Firehoseは、Amazon Elasticsearch ServiceにApache Webログ（またはその他のログデータ）をサーバーレスで確実に配信します。 Firehoseを使用すると、Firehose内のレコードを
米Yahoo!、アクティビティのリアルタイムフィードサービス「Yahoo! Updates Firehose」を発表
米Yahoo!、アクティビティのリアルタイムフィードサービス「Yahoo! Updates Firehose」を発表 「Yahoo! Updates Firehose」は、Yahoo!の各種サービスのほか、Twitter、Facebook、YouTubeなどのアクティビティの膨大なデータを“消火ホース”のような勢いで提供するWebオーナー向けのサービスだ。 米Yahoo!は4月12日（現地時間）、「Yahoo! Updates」で収集したWeb上のリアルタイムなアップデート情報を提供するWebサービス「Yahoo! Updates Firehose」（以下Firehose）を立ち上げたと発表した。WebオーナーやWebアプリ開発者は同サービスを利用することで、Web上のニュースやブログ、レビュー、コメントなどのアクティビティデータを自分のサービスに取り込むことができる。 Yahoo! Up
2. 【登壇者プロフィール】 ミサワ マサキ 名前: 三澤 正木 職業: エンジニア（現在の業務は、主にWEBアプリ開発担当） 所属: 株式会社ビズリーチ キャリアトレック事業部 http://careertrek.com GitHub: https://github.com/MasakiMisawa 趣味: 野球（観る専）、ランニング、旅行 etc 4. アジェンダ ・Chapter1 そもそも Amazon Kinesis って？ → Amazon Kinesis の簡単な概要説明です ・Chapter2 Kinesis Firehoseの使い方 → Kinesis Firehoseに挿入した値を、任意の場所に転送完了させるまでの一連の流れです ・Chapter3 Kinesis Firehoseを使って実現できそうなこと → 自分なりに考えるKinesis Firehoseを使えばこ
Twitter Japanは4月15日、13日に米Twitter傘下のGnipが公式ブログで発表した再販業者へのFirehose提供打ち切りについて、再販業者の1社であるNTTデータに関しての補足説明を行った。 Gnipのブログでは「Firehoseのユーザー企業への提供を他の再販業者を通じる方法からTwitterが直接提供する方法への移行を8月半ばに完了する見込み」となっており、これに基いてアイティメディアを含む多数のメディアがNTTデータを含む再販業者へのFirehose提供が打ち切られると報じた。 Twitter Japanによると、「データのライセンス契約を自社で行うことに」し、「Twitter／GnipとNTTデータさんの両社は次のステージに向けた話し合いを続けてい」るという。 NTTデータは「データ再販パートナー」から「戦略的ソリューションパートナー」へと変わるが、NTTデータ
Soracom Funnel + Amazon Kinesis Firehose + Amazon RedshiftでIoTデータを蓄積する環境をコードレスに構築する | DevelopersIO
Soracom Funnel + Amazon Kinesis Firehose + Amazon RedshiftでIoTデータを蓄積する環境をコードレスに構築する こんにちは、せーのです。 最近のIoT界隈ではクラウドサービスが非常に充実していまして、ほとんどコードを書くことなくデータの流れが出来てしまいます。 今回は大量のIoTデータをRedshiftに蓄積して分析したい、というソリューションをコードレスで構築する方法をご紹介します。 概要 今回想定しているソリューションはこのような感じです。 IoTデバイスから定期的にデータをクラウドに飛ばし、それをRedshiftに蓄積、BIツールにて解析する、というソリューションです。 この場合データの流れのポイントとしては どうやってデータをクラウドにあげるか どうやってデータをRedshiftに蓄積させるか 大量データを捌けるか というよう
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Twitter、NTTデータを含む再販業者へのFirehose提供を8月までに打ち切りへ
NTTデータ、TwitterとFirehose契約、日本の全ツイートデータを取得して再販
NTTデータが国内全ツイート情報を再販、TwitterとのFirehose契約で
米Twitter社とツイートデータ提供に関するFirehose契約を締結
苦境に立つTwitterを救う可能性を持つ「Firehose」サービスが抱える自己矛盾とは？
Twitter、ツイートのリアルタイムデータ「Firehose」の提供先を拡大
NTTデータが国内全ツイート情報を再販、TwitterとのFirehose契約で
CloudWatchLogsのログをFirehose経由でS3に出力してみた | DevelopersIO
Twitter、ソーシャルメディアAPIのGnipと提携--firehoseへのアクセスを販売
米ヤフー、Twitter「firehose」アクセス権の購入に同意--リアルタイム検索を強化
MicrosoftとTwitter、BingでのFirehose利用契約更新をTwitterで“発表”
Kinesis Data Firehose をゼロからざっくり理解する | DevelopersIO
NTT Com、TwitterとFireHose契約、全ツイートのリアルタイム分析サービス
Kinesis Firehoseを使ってみた
Twitter、「NTTデータは今後もFirehoseを利用する」とGnipの発表に補足説明