タグ

JavaとHadoopに関するraimon49のブックマーク (7)

  • LINEがApache Software FoundationのSilver Sponsorになりました

    LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog こんにちは。Open Source Program Office TF (タスクフォース)です。私たちはLINEエンジニア組織とオープンソースエコシステムを融合し、より密接な関係を築いてコミュニティと共に成長できる文化を作るために様々な取り組みを行っています。今回は、この3月にLINEがApache Software FoundationのSilver Sponsorに加わることになった背景について紹介します。 Apache Software Foundationについて Apache Software Foundation (ASF)は、オープンソースプロジェクト開発に必要な資源を支援するために1999年に米国で設立された

    LINEがApache Software FoundationのSilver Sponsorになりました
  • ビッグデータツールチェインのセキュリティはビッグリスク、あるいは、誰もHadoopをスクラッチからビルドする方法を知らない件について

    ビッグデータツールチェインのセキュリティはビッグリスク、あるいは、誰もHadoopをスクラッチからビルドする方法を知らない件について The sad state of sysadmin in the age of containers コンテナー時代のシステム管理者の惨状 システム管理は惨劇に見舞われている。現状は悲惨だ。 筆者は昔気質のシステム管理者に不満はない。システムの稼働を維持し、アップデートし、アップグレードする方法を知っている者達だ。 この憤りは、コンテナーと構築済みVMと、それらがもたらす、「信頼」や「アップグレード」の欠如による悲惨な惨劇に対するものだ。 例えば、Hadoopを見てみろ。誰もHadoopをスクラッチからビルドする方法を知っているようには見えないぞ。依存性とバージョンとビルドツールが悲惨なほどに絡まりあっている。 この手のイケてるツールの中で、古典的なmake

    raimon49
    raimon49 2015/04/28
    >Dockerとは新しい'curl | sudo bash'である / 読んでてドキッとする。
  • MS、14年目の大転換

    米マイクロソフトが、オープンソースソフトウエア(OSS)の開発を手がける子会社、米マイクロソフト・オープン・テクノロジーズを設立した──。 今から14年前、1998年10月にインターネット上に流出した「ハロウィン文書」を思うと、隔世の感があるニュースだ。当時のマイクロソフトは、「Linux」などのOSSを脅威と捉え、OSSへの対抗策を練っていた。ハロウィン文書とは、これら社内の動きを記した内部文書の総称だ。この文書が社外に漏れたことで、同社がOSSに抱く敵対心が世間の知るところになった。スティーブ・バルマーCEO(最高経営責任者)が「Linuxは癌」と言い切ったこともある。 ハロウィン文書から14年、マイクロソフトがOSS採用へ大きく舵を切った。OSS開発子会社の設立は、マイクロソフトが2012年4月12日に報道発表した。誰の目から見ても、同社にとって“大転換”であることは間違いない。もち

    MS、14年目の大転換
  • 実践! 「MapReduceでテキストマイニング」徹底解説

    青空文庫」をテキストマイニング! 前回の「いまさら聞けないHadoopとテキストマイニング入門」では、Hadoopとテキストマイニングの概要や構成、MapReduceの仕組み、Hadoopの活用場面などを解説し、Hadoopの実行環境を構築しました。今回から、Hadoopを使い、テキストマイニングのMapReduceプログラムを作成していきます。 「青空文庫」というサイトをご存じでしょうか。青空文庫は、著作権が切れた日の文学作品を掲載しているWebサイトで、青空文庫の全データをDVDや、BitTorrentによる配信で入手できます。今回は、このデータを使ってテキストマイニングを行いましょう。 前回、テキスト分類で、著者の性別、年齢、地域、職業などの属性も推定できると書きましたが、青空文庫は、他のデータにはない、著者属性があります。青空文庫の作品は、著作権が切れて、作者がなくなっている場

    実践! 「MapReduceでテキストマイニング」徹底解説
  • 「LL言語が後退局面に差し掛かっている件」対してに的外れな事を言ってる連中が多すぎてヤバい - terurouメモ

    LL言語が後退局面に差し掛かっている件に対しての反応が的を外しすぎていて笑える。確かにIDEや生産性のくだりはゴミクズなんだけど、それにしてもみんなゴミの部分に反応しすぎである。 ということで、酒も飲んでるので勢いで色々書いておく。 「LL言語が後退局面に差し掛かっている件」でも触れられている重要な技術動向 ゴミクズを取り除くと、まっとうな事が書いてある。 LLの成長に陰りが見え始めてきた。 ただしwebアプリケーション分野では今後も相当長く現役を続けるだろう。 今現在、もっとも富を生み出すのは(ほぼリアルタイムな)超大規模データ解析。 Hadoopが何かを理解してない技術者はクソ。 テラが当たり前のように乱れ飛ぶ現場でLLが出来る事など無いに等しい。 JavaScriptだけ別格の扱いをせねばならない。 node.js(サーバサイドJavaScript)がWeb開発のメインストリームにな

    「LL言語が後退局面に差し掛かっている件」対してに的外れな事を言ってる連中が多すぎてヤバい - terurouメモ
  • HadoopがJavaではなくC/C++で実装されていたらどう違っていたか? - nokunoの日記

    Quoraでこんな質問を見つけたので適当に翻訳してみました。Would Hadoop be different if it were coded in C/C++ instead of Java? How? - Quora 回答1実際のところ難しいけど、考えてみるのは楽しいね。 実行時間は速くなると思うけど、それが決定的な違いになるかどうかはわからない。 セキュリティやいくつかの機能は実装しやすくなるかもしれない 他のプログラミング言語への対応はしやすくなる。Java/Pipes/Streamingを選ぶ代わりに、コンパイルしてリンクすればいい。 コード量は非常に大きくなる。エラーチェックのためにね。 コードベースが大きくなれば、開発スピードは遅くなる。Hadoopが今のように成長したかどうかわからない。 Pigは登場しただろうか? 私にはそうは思えない。回答2は略 回答3C/C++とJa

  • NTTデータのHadoop報告書がすごかった - 科学と非科学の迷宮

    業界トップ のエンタープライズ Hadoop 企業 Cloudera に入社しました http://www.cloudera.co.jp/ 今年の6月に、「平成21年度 産学連携ソフトウェア工学実践事業報告書」というドキュメント群が経産省から公表されました。 そのうちの一つに、NTTデータに委託されたHadoopに関する実証実験の報告書がありましたので、今更ながら読んでみることにしました。 Hadoop界隈の人はもうみんなとっくに読んでるのかもしれませんけど。 http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf 「高信頼クラウド実現用ソフトウェア開発(分散制御処理技術等に係るデータセンター高信頼化に向けた実証事業)」という

    NTTデータのHadoop報告書がすごかった - 科学と非科学の迷宮
    raimon49
    raimon49 2010/09/29
    すごいボリューム。
  • 1