三菱UFJインフォメーションテクノロジー株式会社
人工知能（AI）を既存の銀行システムに組み込み、「考えるシステム」へと進化させることで、今までにない新しい金融システムの実現とビジネス推進に取り組んでいます。 人工知能は、昨今のデジタル革新の代表的な技術の一つです。人工知能を活用することで、企業が保有する大量のデータが持つ特徴やパターンを、コンピュータ自らが発見・学習することが可能となり、その結果コンピュータが取り扱う範囲が、従来では人が介在する必要のあった業務へと広がります。 当社はこの人工知能を用いて、従来技術ではシステム化困難であった業務領域への適用に取り組んでいます。 人工知能の業務適用にあたっては、ビジネス課題や業務特性を十分に理解し、データの加工・分析を行うための学術的知識と、それを実装するための技術力が必要となります。 そこで当社は研究開発を通してスキルの獲得を早期から行い、当社の持つ金融ITに対する豊富な経験と知識を合わせ
Hadoopの「開発企業」へと進み始めたNTTデータ
出典：ITpro 2014/08/05 （記事は執筆時の情報に基づいており、現在では異なる場合があります） オープンソースソフトウエア（OSS）の分散データ処理ソフト「Hadoop」を使ったシステム構築やサポートの事業を手がけるNTTデータ。そんな同社が現在、Hadoopのサポート企業から「開発企業」へと変わり始めている。Hadoopのソースコード開発に関する貢献を増やし、Hadoopの「コミッター」を自社から輩出することを目指す。 「Hadoopの開発そのものに、今まで以上に足を突っ込むことに覚悟を決めた」。NTTデータの濱野賢一朗氏は、同社のHadoopに関するスタンスをこのように表現する。NTTデータは2010年7月から、Hadoopを使ったシステム構築・運用支援サービスを手がけている。NTTデータは当初、Hadoopのディストリビューション（検証済みパッケージ）のベンダーである米ク
Jenkinsとhadoopを利用した継続的データ解析環境の構築
WebAssemblyとBlazor 、WebAssembly System Interfaceでコンテナライズの設計を解説Takao Tetsuro
Elastic MapReduceとHiveの概要と利用準備
必要な環境 Windows、Macなどインターネットが利用可能なOS環境 クラウドでHadoopを使うメリット 昨今ビッグデータ格納の基盤としてHadoopを使う事例が増えてきています。大規模なストレージを必要とせずにビッグデータを扱える環境は非常に魅力的です。 HadoopはGoogleの検索エンジンの基盤として開発されたGoogle File SystemおよびMapReduceの技術仕様を元に開発されたオープンソースソフトウェアです。ファイルを複数のサーバに冗長化した上で分散配置するHDFS（Hadoop Distributed File System）と、分散配置されている大量データから必要なデータの抽出や分解を行うHadoop MapReduceにより構成されています。 現在、Hadoopはクレジットカード会社の売上データの解析や、国立国会図書館が提供している検索サービスのインデ
“ビジネスでの価値は事例が語る”IBMが考えるビッグデータ
グローバルでビッグデータにいち早く取り組んできたベンダーの1つがIBMだ。「Smarter Planet」の一環として、知見をビジネスに活用する同社のビッグデータ戦略について、日本IBM ソフトウェア事業 インフォメーション・マネジメント事業部 マーケティング・マネージャー 中林紀彦氏に聞いた。 Hadoopとストリーミング処理が技術的なブレイクスルー もとより、IBMはインフォメーション・マネジメントの製品群でデータ管理や統合、分析、ガバナンスなどを手がけているが、いわゆるビッグデータ分野への取り組みを本格的に開始したのは、2008年のSmarter Planetのビジョン発表にさかのぼる。ここでは「ニューインテリジェンス」という用語を用い、爆発的に増えるデータから知見を得て、ビジネスに活用するというアナリスティック分野にフォーカスしていくことを宣言。クイズに答えるコンピューターとして話
gumiStudy #10「ソーシャルゲームの解析を支える技術-Hadoop編-」開催致しました - gumi Engineer’s Blog
度々登場しております、gumiの新居です。 最近勉強会報告のブログばかりとなっておりますが、また何か面白いネタがあれば書きたいなーと思いつつ業務に追われ後手後手に回っております。。。 ということで、遅くなりましたが、先日11/8（火）、【エンジニアカフェEvent×gumiStudy】ソーシャルゲームの解析を支える技術-Hadoop編-を開催致しました。 ちなみにMongoDB編はこちら↓↓↓ gumiStudy #9「ソーシャルゲームの解析を支える技術-MongoDB編-」開催致しました 弊社からは堀内と本間、そしてAmazon Web Services（AWS）を提供されているアマゾンデータサービスジャパン株式会社から大谷様をお招きし、発表を頂きました。 会場は、今回もパソナテック様にご提供頂きました。 ソーシャルゲームとデータ解析 まずは弊社CTO堀内から、開会の挨拶と「ソーシャルゲ
ビッグデータというバズワードとHadoop技術者の悩み - novtan別館
金融業界、それも銀行担当でSEなんてやっていると中々Hadoopみたいな技術に触れる機会もないんだけど、そうはいっても無視できないキーワードになって来ているビッグデータとともに、基礎は理解しないとなーと思って色々調べたりやってみたりする、というのが僕のお仕事の一つではあるんですが… さて、ノーチラスの人のインタビュー記事が面白い。 最終的には、ビッグデータという言葉は消え、分散処理を効率化するHadoopのメリットと事例だけが残るというのが神林氏の予想。そうなったときにビッグデータの海から、ノーチラスが再浮上するのかもしれない。 ASCII.jp：“統計の基礎を無視している”Hadoop使いが考えるビッグデータ｜百家争鳴！ビッグデータの価値を探る おいおい、ノーチラス沈んじゃってるよｗｗ この結びの一節は置いといて、内容はわりと派手な言葉で否定的な見解を熱く語っているかのような記事なんだけ
NTTデータのHadoopソリューション
NEWS＆TOPICS ニュース / トピックス 2021年01月29日ニュースリリース お知らせ ビッグデータ活用基盤リファレンスアーキテクチャの公開 しました。 2020年04月28日ニュースリリース お知らせ オープンソースプロジェクトApache HadoopのPMC（プロジェクトマネジメント委員）メンバーおよびApache Bigtopのコミッターに岩崎 正剛が、 Apache BigtopのPMCメンバーに関 堅吾がそれぞれ就任 しました。 2019年12月26日ニュースリリース お知らせ オープンソースプロジェクトApache AirflowのコミッターおよびPMCメンバー（プロジェクトマネジメント委員）に関 堅吾が、 Apache Ambariのコミッターに田中 正浩がそれぞれ就任 しました。 2019年10月28日記事掲載 gihyo.jpに 「100年に一度の変革期をど
第1回 レコメンドシステムと集合知 | gihyo.jp
はじめに 今回から9回に渡り、Hadoopを使ったレコメンドシステムの実装について紹介させていただくことになりました。 レコメンドシステムを構築した方は少ないと思いますが、レコメンドのサービスに触れている方は多いと思います。今回の連載で、読者の皆様にレコメンドシステムの可能性とその実装の面白さをお伝えできればと思います。よろしくお願い申し上げます。 連載の予定は次の通りです。 レコメンドシステムと集合知（今回） レコメンドシステムの実装と課題 協調フィルタリング（前・後編） コンテンツベースレコメンド（前・後編） 今回の記事のポイントは以下の通りです。 レコメンドシステムの目的は気付きと驚きを与えること 理想のレコメンドはソムリエのお薦め レコメンドシステムに必要なのは嗜好と専門性 では、早速はじめましょう。 レコメンドシステムとは？ レコメンドシステムは情報フィルタリングの一種で、大量の
日立製作所
技術の進歩につれて爆発的に増大する情報量。最新のITは、それを活用するための道具としても役立つ。日立製作所（以下、日立）のセッションでは、ライフサイクルを意識した大量データ処理の全体像が解説された。ストリームデータ処理と並列分散処理を併用または使い分けることにより、蓄積しておいた生データから新しいデータ価値を生み出せる。国内でも、そうした実システムがすでに多数稼働しているという。 日立でHadoop関連のビジネスに携わる山口俊朗氏は、情報爆発がビジネスにもたらすインパクトを次のように表現した。「情報爆発の時代が到来した今、大量データを活用することが他社との差別化や競争力の源泉になろうとしています」。 情報爆発のソースとなっているのは、モバイル端末やICカードといった社会基盤の“機械”が生成するデータと、企業の情報システムが作り出す業務ログ、メール、Webログなどの両方だ。これらのデータには
第30回 RubyとHadoopで分散処理 Hadoop Streamingで外部データを読み込む | gihyo.jp
前回のおさらい 第28回ではHadoop Streamingの仕組みについて説明しました。今回は、実際にHadoop Streamingを利用してデータ解析したときの具体的な話や、利用してみて困った（ハマった）Hadoop Streaming特有の問題とその解決法について紹介していきます。 実際に利用してみて困った（ハマった）こと さて、第28回でも紹介しましたが今回Hadoopを利用したのはopen('http://tabemiru.com/2009'); return false;">たべみるのデータ解析のためです。たべみるのデータ解析では、食材名や地域名といった特定の値ごとにデータをまとめる処理が多く、またその処理速度が遅いのが問題だったのですが、このような処理はHadoop上（Ruby）でも比較的簡単に実装することができました。 それで最初は「これはスムーズにHadoop上に処理を
1台構成のHadoopを30分で試してみる(Ubuntu + Cloudera)
(参考) Cloudera社のHadoopパッケージの情報 http://archive.cloudera.com/docs/ 必要なもの ・UbuntuやdebianのLinux環境1台(手元ではUbuntu Server 11.04/10.04/9.10/8.04, debian 5あたりで試していますが、他バージョンでも大丈夫だと思います) ・インターネット接続 ・Sun(Oracle)のJavaパッケージ(aptでインターネットからインストール) ・Cloudera社のCDH3のHadoopパッケージ(aptでインターネットからインストール) 作業手順 1. インストール: Linux環境にて、rootで作業します。 sudo su 1-1. Sun(Oracle)のJavaを入れます。(Sun(Oracle)のものが必要です。) ※ ここで、ubuntu 10や11の人は/etc
いまさら聞けないHadoopとテキストマイニング入門
ビッグデータ時代の救世主「Hadoop」とは 「Apache Hadoop」は今、最も注目を集めている技術の1つです。Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 Hadoopを活用している企業は年々増え続けていて、不可欠な技術になりつつあるといえるでしょう。 本連載では、Hadoopとは何か、Hadoopがどう活用できるのかということを、「テキストマイニング」に焦点を当てて解説していきたいと思います。 重い処理を複数のマシンに分散させる 複数のマシンに処理を分散させるには、プロセス同士の通信、監視、障害時の対応などを考えなければならず、プログラマにとってハードルが高いものです。しかし、Hadoopはそういった面倒くさい処理を一手に引き受けてくれ、プログラマは、やりたい処理だけに集中できます。 例えば、Hadoopを使うと、1
リクルート式Hadoopの使い方
リクルート式Hadoopの使い方 - Presentation Transcript リクルート式Hadoopの使い方 株式会社リクルートMIT システム基盤推進室インフラソリューショングループ石川 信行 はじめに・・・ □名前 石川 信行 （ ground_beetle） □出身 福島県 いわき市 □経歴 ・2009年リクルート新卒入社 ・営業支援システムのコーダー（java）、DBAとして参加。 ・JavascriptのLibであるSenchaを用いたスマホサイト開発 ・現Hadoop推進担当 □趣味 ・外国産カブト虫飼育 ・スキューバダイビング ・海水魚飼育 リクルートの組織体制について 旅行C 営業 企画 自動車C 営業 企画 住宅C 営業 企画 MIT United 事業担当MIT 事業担当MIT 事業担当MIT ・マーケティング・分析チーム ・インフラ基盤チーム
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://atnd.org/events/36801
Doug Cutting with Hadoop
https://dl.acm.org/citation.cfm?id=945450
zusaar.com
Hadoopを用いた大規模ログ解析
行ってきた - 『MTL主催 学生向けHadoop勉強会（入門編）』 - Empty