Apache Sparkがスループットとレイテンシを両立させた仕組みと最新動向を、SparkコミッタとなったNTTデータ猿田氏に聞いた（前編）
Apache Sparkがスループットとレイテンシを両立させた仕組みと最新動向を、SparkコミッタとなったNTTデータ猿田氏に聞いた（前編） 最近ビッグデータ処理基盤として急速に注目を集めているのが「Apache Spark」です。 Sparkは、Hadoopと比較されることも多く、Hadoopよりも高速かつ高機能な分散処理基盤だと言われています。Sparkとはいったい、どのようなソフトウェアなのでしょうか？ 今年6月にSparkのコミッタに就任したNTTデータの猿田浩輔氏に聞きました。 以下は猿田氏から伺ったSparkの紹介をまとめたものです。また、後編では猿田氏がコミッタになった経緯などもインタビューしました。 Hadoopでは複雑な処理に時間がかかる Sparkとはなにかの前に、まずはHadoopの話から始めさせてください。 Hadoopとは、ざっくり言うと分散処理フレームワーク「
新型マルウェア、54％は対策ソフトで検知できず――NTTグループが分析
NTTグループの研究機関の米NTT Innovation Instituteは3月28日、2013年のセキュリティ動向報告書「2014 NTT Group Global Threat Intelligence Report」を発表した。 それによれば、ハニーポット（おとりコンピュータ）で収集された新型マルウェアの54％は、ウイルス対策ソフトで検知できないことが分かった。また、「サンドボックス（仮想コンピュータ環境）」で収集された新型マルウェアのうち71％は、検知できないウイルス対策ソフトが11種類もあった。 この結果について報告書は、ネットワークでのマルウェア検知と（未知のマルウェア）専用ソリューションによる強化が必要だと指摘する。 また、観測されたボットネット活動の約半数は米国をベースにしており、60％の活動がヘルスケアや金融、技術分野をターゲットにしていた。ヘルスケア分野ではボットネッ
Wiiでフレッツ光の落とし穴 - KDPの趣味の世界
映画「グリーン・ホーネット 」３D飛び出したのはエンドロールだけ (soramove) 映画「ソルト 」私は誰？ノンストップアクションの快楽 (soramove) 瀬戸内銘菓「きなころ」 (趣味に生きる小市民の日記) 株式会社母恵夢本舗 (今治バリバリリンク集) ドラクエ９〜サマルトリアの王子さまがいらっしゃいました。 (ピンポイントplus) 便秘の薬はあくまでも最終手段に (便秘解消法 便秘をすっきり解消する方法) ガンダム建造 (話題の動画大全集) 『死んだら、あかん！』 北野 誠 著 (エルミタージュ図書館) 「フェイクシティ」ご都合主義全快！キアヌの映画 (soramove) 「００７ 慰めの報酬」埃だらけの最強マシーンが行く (soramove) ちうわけで早々に帰宅したものの、眠くもないし楽しいこともないので、とりあえずTV番組の消化をしていた。 その中で、NTT西日本のCM
NGN大解剖
いよいよNTT東西地域会社のNGN商用サービスが始まった。NGNの光ブロードバンド接続サービスの名称は「フレッツ光ネクスト」である。今回の特集では，これまであまり取り上げられなかったNGNのインフラに，技術的な側面から焦点を当てる。NGNのサービスを理解するには，どのような構成要素で成り立っていて，どう働くのかを知る必要があるからだ。 第1回 アーキテクチャ：核となるSIPサーバーとIPエッジ 第2回 構成要素：IMS準拠の標準製品を採用 第3回 回線認証：アドレス配布時に発信者IDを送信 第4回 帯域確保型通信（1）：端末とサーバーがSIPで情報交換 第5回 帯域確保型通信（2）：エッジでセッション数を制限，コアは優先制御のみ
NGNは情報通信革命のジャンヌダルクではない
NGNがいよいよ始まろうとしている。2月27日にNTTがサービスのイメージを一部明らかにしたものの、「幻想が崩れた日」になってしまった印象を持つ人もいる。NGNの実態はどんなものなのかを解き明かしてみたい。 2月27日、NTT東日本、NTT西日本から「次世代ネットワーク（NGN）商用サービスの提供に向けた検討状況」というニュースリリースが出され、ベールに包まれたNGNのサービスのイメージが一部明らかになった。同リリースでは、NGN商用サービスの名称が「フレッツ光ネクスト」となること、料金はQoS機能が付加され既存サービスと同水準の料金に設定されること、さらに商用サービスの開始時期やエリア展開も公表された。 NGNの幻想が崩れた日 サービスイメージについて、NTT西日本のPDF参考資料でのみ提供され、1）QoS機能がついた光伝送サービス、2）ハイビジョンクラスのテレビ電話、3）地上デジタル放
FrontPage - nttdatagroup-oss-square Wiki @ SF.jp
NTTデータグループ・オープンソーススクエアでは、NTTデータグループが開発するオープンソースソフトウェア、及び、関連製品の紹介を行います。実際のシステムでの適用事例や、各プロダクトのリリース情報やセミナー開催等、NTTデータグループがサポートするオープンソースソフトウェアのホットな情報も皆様にお届けします。また、NTTデータグループの社員でオープンソースの世界で活躍する熱きエンジニア達もご紹介します。是非ご覧ください（本サイト公開のニュースリリース） トピックEclipse 3.3 日本語化言語パック(サードパーティ版)及びEclipse 3.4 日本語化言語パック(サードパーティ版) Eclipse3.3/3.4で日本語が利用できるようにする日本語化言語パックのマイルストーン版を公開しました。詳しくはオープンソーススクエア内の解説ページやblancoNLpackGeneratorの解
Camellia カメリア - NTTの暗号要素技術
新着情報 ニュースリリースはこちら 2013年9月5日 Camellia暗号エンジン(C [mini]版)を追加しました。 詳しくはこちらをご覧ください 2013年3月26日 ニュースリリースを更新しました。詳しくはこちらをご覧ください。 2012年5月18日 Camelliaの概要説明資料を更新しました。詳しくはこちらをご覧ください。 参考文献リストを更新しました。詳しくはこちらをご覧ください。 2012年5月18日 技術情報(TLS ciphersuites)を更新しました。詳しくはこちらをご覧ください。 2012年5月18日 標準化情報を更新しました。詳しくはこちらをご覧ください。 2012年5月18日 製品情報・採用実績を更新しました。詳しくはこちらをご覧ください。 2012年5月18日 Camellia対応オープンソースとその他のオープンソースを更新しました。詳しくはこちらをご覧
NTT西，「高度IP技術者」養成に乗り出す
NTT西，「高度IP技術者」養成に乗り出す 2010年度までに2400人を確保，光回線やNGNなどの分野を強化 FTTHユーザーの増加やNGN（次世代ネットワーク）の商用化に対応するため，NTT西日本グループがIP技術者の養成を急いでいる。同社が「高度IP技術者」と呼ぶ人材を，2010年度までに2400人確保する計画。技術系人材のレベルアップによって，既存のIP系サービスやNGNの安定運用に結びつけたい考えだ。 NTT西日本は，高度なスキルを持つIP技術者の養成のために，社内試験を通じた認定制度を運用している。認定レベルは，「SA」，「A」，「B」の3段階。SAレベルかAレベルを取得すると，「高度IP技術者」に位置付けられる。 NTT西日本は，NTTネオメイトなども含むグループ全体で，2010年までに2400人の高度IP技術者を育てる計画を立てている。現在，技術系の人材はグループ内に2万3
社会保険庁とＮＴＴデータとの「特別の事情」 - 木走日記
●何やってんだ社保庁！システム障害で年金相談窓口対応できず 今日（１１日）は一般紙が休刊日なのでサンケイスポーツ社会面記事から。 ２００７年０６月１１日 更新 何やってんだ社保庁！システム障害で年金相談窓口対応できず “消えた年金”問題で１０日、相談窓口を設けていた静岡など全国２３県の１３０カ所の社会保険事務所で、始業時から年金記録を照会するコンピューターシステムが作動しない障害が発生、約１時間半にわたり相談に対応できない事態となった。窓口設置は柳沢伯夫厚労相（７１）が４日に発表したばかり。度重なるトラブルに、国民の不信感はますます増大しそうだ。 ◇ 社保庁などによると、トラブルが判明したのはこの日午前８時半ごろ。各事務所でシステムを始動したところ、年金記録を照会、確認するコンピューターシステムにアクセスすることはできても、個々の加入者の記録を照会することができなくなった。 このため、始業
真髄を語る：重要なソフトは外注せず自分で作る
ソフトウエア開発の経験が全くない素人集団を率いて、100％外注に頼っていた、基幹業務を支えるソフトウエアを内製に切り替えるプロジェクトに取り組んだ。この時の経験から言うと、ゼロからのスタートであっても、5年間真剣に取り組めば、ソフトウエアを自社内で開発・維持する体制を構築できる。現在、本業そのものを支えるソフトウエアに関してまで安易な外注が進んでいる。基幹部分は他人任せにせず、当事者が自らの手で内製できる力を持つべきである。 「交換機を作っているコンピュータ・メーカーに、交換機のソフトウエアを自分たちの手で作りたいと言ったら、『我々が手を引いたらNTTなんて成り立ちませんよ。お分かりなんですか』と脅されたよ。頭に来たな。石井君、どう思う。今のままでいいのか」 日本電信電話公社の真藤恒総裁は初対面の私にこうまくし立てた。電電公社が民営化され、NTTになる直前のことである。大阪の現場にいた私は
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NTT、Linux用ファイルシステム「NILFS」の最新版をリリース
NTTの公衆電話が利用不能に
Windows Liveが「ソフトウェア＋サービス」の方向性を示す、バルマーCEO