Being Ready for Apache Kafka - Apache: Big Data Europe 2015
These are the slides of my Kafka talk at Apache: Big Data Europe in Budapest, Hungary. Enjoy! --Michael Apache Kafka is a high-throughput distributed messaging system that has become a mission-critical infrastructure component for modern data platforms. Kafka is used across a wide range of industries by thousands of companies such as Twitter, Netflix, Cisco, PayPal, and many others. After a brief
HortonworksのCTOが語る「Apache NiFi」--IoT分野で重視される理由
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 米国家安全保障局（NSA）は2014年11月、データフローオーケストレーションソフトウェアである「Niagrafiles」（NiFi）をオープンソースとして提供した。 NSAらしからぬその行動をいぶかしむ者もいたが、公正を期して言えば、NSAがオープンソースコミュニティにテクノロジを寄贈するのはこれが初めてのことではない。その3年前にも、データベース「Accumulo」をApacheに寄贈している。 また、米国時間2015年8月下旬には、NSAのプロジェクトから生まれたApache NiFiを手がける企業Onyaraが、Hadoop関連企業として有名なHortonworksによって買収されたことで、この技術は再び脚光を浴びた。 データフ
Apache NiFiのそもそものコンセプトは？ - Qiita
一度NiFiで基本のデータフローを通すことが出来たので、そもそもNiFiは何ぞや、というのをOvewviewのページを読むことで確認してみます。 尚、全訳ではなく、流れや意味が大体わかればいい、というレベルの荒い訳になります。 下記のページのOverviewから確認しました。 参照： http://nifi.apache.org/docs.html Apache NiFiとは？ NiFiはシステム間のデータフロー自動化を行うために構築された。 データフローは様々なコンテキストで使用されるが、NiFiでは自動化され管理されたシステム間の情報やり取りフローを指す。 この問題領域はある企業でシステム間でデータの出力／入力が発生する場合には常時おこる。 解決方法は今まで継続して議論されてきており、そのながれはEnterprise Integration Patterns(EIP)にもみられる。 N
データフローオーケストレーションツールApache NiFiとは？ - Qiita
最近データフローオーケストレーションツールであるApache NiFiが面白いため、実際どういうものなのか、の概要をまとめてみます。 一言で言うと、データフローオーケストレーションツール、となります。 元々は米国家安全保障局（NSA）が開発していた「Niagrafiles」というプロダクトで、2014年11月にオープンソースとして寄贈されました。 下記の画像のように、画面上でストリーム処理を行うデータフローを定義し、動作させることが出来ます。 参照：https://nifi.apache.org/ 2015年7月にApacheのTopレベルプロジェクトになり、開発が進められています。 また、2015年8月下旬には、NiFiを手がける企業Onyaraが、Hortonworksによって買収され、HortonWorksからNiFiの独自ディストリビューションである「HortonWorks Dat
Apache Kafkaを使ったマイクロサービス基盤
class: center, middle # Apache Kafka<br/>を使った<br/>マイクロサービス基盤 [2016/01/31 Scala Matsuri](https://scalamatsuri.org/)  --- class: center, middle 発表後に追記 [当日の発表動画はこちら](https://www.youtube.com/watch?v=64HNeksRx5I) --- class: middle <img src="image/xuwei.gif" alt="icon" width="100" height="100" /> - twitter [@xuwei_k](https://twitter.com/
Evolution of the Netflix Data Pipeline
Our new Keystone data pipeline went live in December of 2015. In this article, we talk about the evolution of Netflix’s data pipeline over the years. This is the first of a series of articles about the new Keystone data pipeline. Netflix is a data-driven company. Many business and product decisions are based on insights derived from data analysis. The charter of the data pipeline is to collect, ag
Apache Kafka
Documentation Kafka 3.7 Documentation Prior releases: 0.7.x, 0.8.0, 0.8.1.X, 0.8.2.X, 0.9.0.X, 0.10.0.X, 0.10.1.X, 0.10.2.X, 0.11.0.X, 1.0.X, 1.1.X, 2.0.X, 2.1.X, 2.2.X, 2.3.X, 2.4.X, 2.5.X, 2.6.X, 2.7.X, 2.8.X, 3.0.X. 3.1.X. 3.2.X. 3.3.X. 3.4.X. 3.5.X. 3.6.X. 1. Getting Started 1.1 Introduction 1.2 Use Cases Here is a description of a few of the popular use cases for Apache Kafka®. For an overvie
GoogleがAWS Lambda対抗「Google Cloud Functions」を公開。Node.jsによるイベントベースのJavaScript環境。サーバレスアーキテクチャ普及へはずみ
Amazonクラウド上での、イベントドリブンかつ非同期なJavaScriptの実行環境として「AWS Lambda」が発表されたのは、2014年11月に行われたイベント「AWS re:Invent 2014」においてでした。 AWS Lambdaはマネージドサービスとして提供されるため、利用者はサーバのスケーラビリティや運用管理などを気にする必要がなく、何らかのトリガーに基づく処理をクラウドで容易に実行するシステムを構築できるようになりました。 AWS Labmdaの登場は、「サーバレスアーキテクチャ」と呼ばれる、サーバの保有や運用を考える必要のない新しいクラウド活用のトレンドを生み出そうとしています。 Google Cloud Functionsの登場 そのAWS Lambdaに対抗するような新機能がGoogle Cloud Platfromに追加されたことが明らかになりました。「Goo
「ゲームで遊べば強く勇敢になる」 脳活性化の神秘に迫った開発者
「スーパーベター」というゲームをご存知だろうか。「Business Week」誌の「注目すべきトップ10・イノベータ―」に選出された経歴を持つゲームデザイナーのジェイン・マクゴニガル氏が開発したもので、50万人近くがプレイしている。ゲームをプレイすることで活性化する脳の状態を、日常生活に持ち込むための試みだ。2015年11月には理論をまとめた自著「スーパーベターになろう！ ゲームの科学で作る『強く勇敢な自分』」を上梓。来日したマクゴニガル氏に話を聞いた。 ゲームで遊ぶと脳が活性化するとは一体どういうことなのでしょうか。 ゲームをしているとき、脳の二つの部分が興奮状態になります。一つは、モチベーションや意志の力を司る部分。これが活性化することで、集中力が増した状態になります。もう一つは、学習を司る部分です。ゲームをすると、脳はより早く、より良く学べる状態にあるのです。ゲーマーが持つマインドは
順天堂大学、ResearchKitを用いたiPhoneアプリを3本公開 - 臨床研究も開始
順天堂大学は、Appleの医学・医療研究および健康リサーチ向けに設計したオープンソース・ソフトウエアフレームワーク「ResearchKit」を利用して、「診察室以外でも身体の状態を診る」をコンセプトにしたアプリを3種リリース。同時に臨床研究を開始した。 今回リリースされるアプリはロコモーティブシンドローム(詳細は後述)、パーキンソン病、気管支喘息の調査にフォーカスしたもの。同大学ではiPhoneの高い普及率に着目し、Apple Watchなどのウェアラブル端末の可能性を追求すべく、調査および、研究に着手したとコメントしている。iPhoneのタイムスタンプ機能、GPS、加速度計、ジャイロスコープ、気圧計などを利用して収集された運動・環境データが加わることで、より多面的な病態把握が可能になると思われる。また、これらの臨床研究の進展により、一層、質の高い診断・治療の貢献が期待される。 これまで、
［第1回］ノートPCで「モバイル管制」を実現したロケット
2013年9月に打ち上げに成功した日本の小型ロケット「イプシロン」。2016年度には打ち上げ能力を向上させた2号機を打ち上げる。このロケットの真髄は、ITをフル活用してコストを劇的に削減したことにある。 AIやIoT活用の先行事例とも言える初号機の打ち上げについて、打ち上げ延期を招いたシステムトラブルの経緯や原因も含め全貌を改めて紹介する（本記事は日経コンピュータ2013年11月14日号の特集を基に、最新情報を加筆・修正したものです） 「すごい！」。2013年9月14日14時、轟音とともに上昇するロケットに、全国から詰め掛けた2万人の見物人から大歓声が上がった。 「イプシロンロケット」が鹿児島県肝付町の内之浦宇宙空間観測所から打ち上げられた瞬間だ（写真）。打ち上げ中止でため息と落胆に包まれた8月27日とは打って変わり、町中がお祭り騒ぎとなった。打ち上げから1時間後、イプシロンは搭載していた
［第2回］IoTを装備したロケットはAIで飛ぶ
小型ロケット「イプシロン」における大きなチャレンジは、「巨大な管制室をノートPCに置き換える」ことだ。それにより打ち上げ作業の効率化を図り、低コストで多頻度の打ち上げを可能にする。そのモバイル管制の要となるのが、“イプシロンの人工知能”と注目された「ROSE」と呼ぶロケット搭載システムだ。 打ち上げの効率化の要は、もちろんモバイル管制などを実現したシステムである。 点検作業を自動化・自律化 システムは、イプシロンの機体に内蔵した「ROSE（Responsive Operation Support Equipment：即応運用支援装置）」と、管制センター内に置いた「LCS（Local Control System：発射管制装置）」から構成される（図）。ROSEは、「イプシロンの人工知能（AI）」として注目されている装置だが、当時の打ち上げ時点ではまだそのレベルには達していない。
今週のGrails 2016-5 and 6
この記事の内容は、Jacob氏による"Grails Diary"を、意訳した内容です。誤訳等有りましたら @tyama宛てに(DMで)優しく報告ください。 元記事:Grails Diary - Week 5 and 6 。 今週も合併号です！今年は隔週おおいですね！でも隔週だと２倍楽しめますので！ Grailsチームが、プラグインサブプロジェクトリロード対応したGrailsバージョン3.1.1をリリースしました。 Greame氏がその内容をブログにまとめています。 ２月もGroovyはTiobeインデックスで20位以内にランクインしました。みんなクセになってきてますね！ Gradleがバージョン2.11をリリース！詳しくはリリースノートを参照してください。 ソフトウェアモデルを新たに追加。 Gradle 3.0に向けて作業を開始したそうです。 Ratpackチームは、1.2.0のリリース候
ドラッカーは販売を勘違いしている？
「マーケティングの理想は販売を不要にすること」 ピーター・ドラッカーの有名な言葉です。この言葉を信奉する人にしばしばお目にかかります。ところが中には勘違いしている方がいます。 今回、鷲沢社長とバトルするのはドラッカーに心酔する明石専務です。 ●明石専務：「社長が銀行からやってきて、色々な改革を率先して進めていただいているおかげで当社は少しずつ良くなっています。とはいえまだまだ再建途上です」 ○鷲沢社長：「その通りだ。私が来る前、20年近くも、おかしな経営を続けていたわけだから建て直しは容易じゃない。20年前、創業者の父親から社長を引き継いだ二代目は不運だったな。30代そこそこで経営など何も知らず、コスト意識も希薄なまま、場当たり的な舵取りをしてしまった。二代目が社長を降りて以降も迷走は続いた」 ●明石専務：「二代目には申し訳なく思っています。すぐ近くに私がいながら力及ばずでした」 ○鷲沢社
シャープ再建は、もう手遅れ 失われた4年間の愚策
1982年一橋大学商学部卒業、84年一橋大学大学院商学研究科修士課程修了、 89年ハーバード大学文理大学院博士課程修了後、ハーバード大学ビジネススクール助教授、 97年北陸先端科学技術大学院大学知識科学研究科助教授などを経て04年神戸大学大学院経営学研究科教授。 専攻は経営戦略、経営者論。『戦略不全の因果』『戦略暴走』『総合スーパーの興亡』『どうする？日本企業』（以上、東洋経済新報社）など 著書多数。 ＤＯＬ特別レポート 内外の政治や経済、産業、社会問題に及ぶ幅広いテーマを斬新な視点で分析する、取材レポートおよび識者・専門家による特別寄稿。 バックナンバー一覧 シャープの行方をめぐる議論や報道が賑々しい。それを横目で眺めていると、どうもフランス語でいう「デジャヴュ」の感覚を拭えない。最初の赤字転落から6年以上も経つので、同じ話が蒸し返されるのは仕方がないとしても、大局を見誤って禍根を残す愚
保育園の運営費用負担割合と園児一人にかかる費用と保護者負担額 | 板橋区
園児一人にかかる費用と保護者の負担額 保育園の児童1人あたりにかかる経費は下の表のとおりです。板橋区では国の定めた保育費用に大幅に上乗せして園児の安全を確保し、よりよい保育を行っているほか、保護者の保育料の負担軽減を図っています。 園児一人にかかる費用と保護者の負担額 （月額） クラス 園児1人にかかる費用 板橋区が定める保育料（保護者の負担額） 保護者の負担割合 国の定める保育料との差額（区の負担額） 《参考》国の定める保育料
共働き子育てしやすい街 荒川区が1位：日経xwoman
今回「共働き子育てしやすい街」独自ランキングを考えるにあたり最も重視したのは、「私がもう一人産みたくなる三大条件」で読者アンケートを募った結果でも浮き彫りになった、「保育園に入れるかどうか」、「子育て・教育費」の2点です。特に共働きファミリーにとって、定員が多くその結果最も入りやすい「0歳児クラス」に入園できるかどうかは重要事項です。 保育料に加え、もし認可園に入れず東京都認証保育所などの認可外園に入園した場合でも保育料の助成が受けられるかどうか、子どもが病気になったときのための病児保育施設や、育児のヘルプをお願いできるファミリーサポートやシルバー人材センターの人員、小学校入学後の学童保育の預かり年齢上限など、共働きならではの視点から「DUAL評価ポイント12」を作成しました。 子どもを育てやすい自治体を選ぶときには様々な視点があります。しかしDUALでは特に「共働きをする際に必須になる施
Java Generics 導入の裏側 - kmizuの日記
このエントリは、これまで自分がさんざんTwitterで書いてきたことですし、Martin Odersky教授へのインタビュー www.artima.com でおおむね語られていることでもあります。ただ、この辺の事情についてあまり詳しくない方も居るようなので、上記インタビューの引用を交えて、JavaにGenericsが入るに至った経緯や関連して活躍した人物についても書いてみようと思います。 事の始まりは1995年にJavaが発表されたことでした。これに触発された、Philip Wadler先生（世界的に有名なコンピュータ科学者）、Martin Odersky先生と同じ研究室に居た助手さん？がこれでなんかやってみないかと煽ったらしく、翌年の1996年には、JavaにGenericsや高階関数、ADTなど関数型プログラミング言語の機能を入れ込んだPizza言語をMartin Odersky先生が
24歳でスマホゲーム起業。開発に2,000万円かけたが「資金難と大バグ」のコンボで会社終了。アプリ「きのこれ」元社長が語る会社倒産後の世界。 | アプリマーケティング研究所
24歳でスマホゲーム起業。開発に2,000万円かけたが「資金難と大バグ」のコンボで会社終了。アプリ「きのこれ」元社長が語る会社倒産後の世界。 きのこ擬人化ゲーム「きのこれ」のお話を伺いました、ソシャゲ戦国時代に夢半ば破れたアプリの話。 ※ポッピンゲームズジャパン株式会社 CEO 辻村尚志さん（右）、栗原広樹さん（左） 「きのこれ」が出来るまで。 そもそも栗原さんは、どうして24歳で起業したんでしょうか？ 栗原： 前に勤めていた会社が倒産してしまって。それで、元同僚と3人で「ゲームアプリをつくろう」と、2014年4月に立ち上げたのがCmixという会社です。起業資金は知人に借りました。 「きのこれ」の企画はどのようにできたのでしょう。 栗原： 当時ユーザーとして、すごくハマっていた「クラッシュ・オブ・クラン」をベースに、かわいいイラストを使って、日本向けのゲームをつくれば、いけるんじゃないかと
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache NiFi
Kotlin 1.0 リリース: JVM, Android向けの実用的な言語 - Qiita
Apache Cassandra Compaction Strategies