基幹システムをクラウドへあげるのは簡単ではなかった。ノーチラス・テクノロジーズがクラウドの現実を語る（前編）
基幹システムをクラウドへあげるのは簡単ではなかった。ノーチラス・テクノロジーズがクラウドの現実を語る（前編） 基幹システムをクラウドで実現する。その過程でどのような技術を用い、どのような苦労があったのか。小売り流通業である西鉄ストアの基幹システムをAmazonクラウド（以下、AWS：Amazon Web Services）の上で実現したノーチラス・テクノロジーズが、その詳細について紹介したセミナーを5月15日、アマゾンジャパン本社のセミナールームで開催しました。 大規模システム開発の現状、Hadoopの可能性、クラウドのメリットとデメリットなど、参考にすべき多くの内容が語られたセミナーでした。この記事ではその概要を紹介します。 止まってはいけない基幹システムをクラウドへ ノーチラス・テクノロジーズ 代表取締役社長 神林飛志氏（写真中央）。 西鉄ストア様の本部基幹システムをクラウドへ移行する
Apache Hive
Apache Hive The Apache Hive ™ is a distributed, fault-tolerant data warehouse system that enables analytics at a massive scale and facilitates reading, writing, and managing petabytes of data residing in distributed storage using SQL. Github Mail Docker Community Apache Hive is a distributed, fault-tolerant data warehouse system that enables analytics at a massive scale. Hive Metastore(HMS) provid
ビッグデータ：ITpro
【Hadoop World NYC 2011レポート】 ［前編］ビジネス貢献に歩み出したHadoop ビッグデータを扱うシステム基盤として話題の中心にあるオープンソースソフトウエアの分散バッチ処理ソフト「Hadoop」。その最新活用事例が発表されるイベント「Hadoop World NYC 2011」が2011年10月に米国で開催された。[2012/01/05] 【大量のテキスト情報を役立てる】 「切り口の試行錯誤」が大事 [2012/01/05] 【Windows Azure Platform】 活用システムやサービスが続々登場 [2011/12/27] 【ソーシャルメディアを活用】 米国の先進モニタリング事例に学ぶ [2011/12/27] 【ログが語り出す】 第4回 大量データから“行動パターン”をあぶり出す [2011/12/20]
The Next Generation of Apache Hadoop MapReduce · Yahoo! Hadoop Blog
Overview In the Big Data business running fewer larger clusters is cheaper than running more small clusters. Larger clusters also process larger data sets and support more jobs and users. The Apache Hadoop MapReduce framework has hit a scalability limit around 4,000 machines. We are developing the next generation of Apache Hadoop MapReduce that factors the framework into a generic resource schedu
Hadoopの可用性について（私訳） - developer’s delight
この記事はClouderaのBlogの記事”Hadoop Availability | Apache Hadoop for the Enterprise | Cloudera”の私的翻訳です。Hadoopの可用性については興味のある方も多いと思いますので、読むついでに訳してみました。勢いで訳したので質に関しては責任を持てませんのでよろしくお願いします。間違いなどがありましたらご指摘いただければ助かります。(id:kkawamura)Apache Hadoopのメーリングリストでよくある質問は、可用性を保つためにどうするか？というものです。この記事では、Hadoopのコンテキストでの可用性について見ていき、進行中の開発の方向性を示します。背景Hadoopの可用性を議論するとき、人はよくNameNodeがHDFSにおいて単一故障点であるため、NameNodeから話をはじめます。そしてHadoo
CNET Japan
人気の記事 1Waymoの自動運転車サービスを体験して感じた「完成度」 2018年12月17日 2「最悪のパスワード」ランキング、6年連続で「123456」が1位 2018年12月17日 3アマゾンの掛け時計「Echo Wall Clock」、米で発売--「Alexa」のタイマーをLED表示 2018年12月17日 4アップル、中国での旧「iPhone」販売禁止を受けソフトウェアを更新へ 2018年12月17日 5LINE Payも20％還元キャンペーン「Payトク」開始--オンラインや電気料金の支払いもOK 2018年12月14日 6家じゅうで「Alexa」を使ってみて分かったこと--便利な点、不便な点、不気味な点 2018年01月15日 7GAFA出身の日本人が集結するデータ企業「FLYWHEEL」の正体 2018年12月14日 8人気クイズアプリ「HQ Trivia」、6秒動画「Vi
NTTデータのHadoop報告書がすごかった - 科学と非科学の迷宮
業界トップ のエンタープライズ Hadoop 企業 Cloudera に入社しました http://www.cloudera.co.jp/ 今年の6月に、「平成２１年度 産学連携ソフトウェア工学実践事業報告書」というドキュメント群が経産省から公表されました。 そのうちの一つに、NTTデータに委託されたHadoopに関する実証実験の報告書がありましたので、今更ながら読んでみることにしました。 Hadoop界隈の人はもうみんなとっくに読んでるのかもしれませんけど。 http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf 「高信頼クラウド実現用ソフトウェア開発（分散制御処理技術等に係るデータセンター高信頼化に向けた実証事業）」という
Runtime error - Meta Search
Error message : Directory is not found or not writable (DATA_DIR) Directory is not found or not writable (DIFF_DIR) Directory is not found or not writable (BACKUP_DIR) Directory is not found or not writable (CACHE_DIR) Site admin: whitestar Copyright © 2006-2023 whitestar. All Rights Reserved. Icons powered by famfamfam. PukiWiki 1.5.0 Copyright © 2001-2006 PukiWiki Developers Team. License is GPL
ノードの追加・削除 - kikumotoのメモ帳
ノードの追加・削除といった Hadoop の運用面について少し調べてみたのでメモ。 ノードの追加 ノードを追加するにはだいたい以下のような手順となる。 Hadoop のソフトウェアをインストールする。 このとき、hadoop-env.sh や conf/*.xml も設定しておく。 NameNode、JobTracker ノードからパスワードなしで ssh ログインできるようにしておく。 NameNode, JobTracker の conf/slaves に追加したノードを追記する。 最後に、追加したノードで以下のコマンドを実行する。 $ cd $HADOOP_HOME $ ./bin/hadoop-daemon.sh start datanode $ ./bin/hadoop-daemon.sh start tasktracker これで、Hadoop クラスタにノードが追加され、HD
コマンドを便利に切り替える update-alternatives 使いこなし講座 | イージーネット Tech Blog
こんにちは、プロダクト&サービス事業部の白石です。 唐突ですが、日本はよく豊かな国だと言われることがあります。 それは、ただ単に日本人の所得が高いというわけではなく選択の幅があるからです。 いざ美味しいものを食べたいなと思った時、 日本の料理はもちろんのこと、中華料理、韓国料理、イタリア料理などすぐに見つかります。 さらにちょっと手間を掛けて、大きな街中に足を運んだりするともっと多彩な国のグルメを楽しむことが出来ます。 また、こだわりのあるバーなんかに行くと世界中のお酒が並んでたりしますよね。 こういった選択の幅がある国って他にはなかなか無いそうですよ。 このように何かしようと思った時に、 色々あるものの中から好きなものを選べるのことはとても恵まれていることだと思いませんか? そんな選択肢を文字通りLinuxに与えてくれるのが update-alternatives というコマ
MyCloudera Home
Support<\/strong> Portal","icon":"fal fa-life-ring","description":"Support Portal access is limited to select partners or customers with an enterprise subscription.","id":"exk1f6ok4xszxOKHo0x7","learnMoreUrl":"/content/support/my/en-us/support/subscription-value-center.html","contactSalesUrl":"https://www.cloudera.com/contact-sales.html","contactSalesTitle":null,"url":"https://my.cloudera.com/supp
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: Hadoop for Oracle Developers: Kodner, Neil: 本
Hadoop Certification « Cloudera » Apache Hadoop for the Enterprise
Chukwa: Architecture and Design
IBM Developer
google/protobuf · GitHub
Hadoop＋Hive検証環境を構築してみる
https://issues.apache.org/jira/secure/attachment/12416257/TPC-H_on_Hive_2009-08-11.pdf
Yahoo Developer Network
Cloudera Product Documentation