タグ

2013年8月7日のブックマーク (33件)

  • Elastic MapReduceとHiveの概要と利用準備

    必要な環境 WindowsMacなどインターネットが利用可能なOS環境 クラウドでHadoopを使うメリット 昨今ビッグデータ格納の基盤としてHadoopを使う事例が増えてきています。大規模なストレージを必要とせずにビッグデータを扱える環境は非常に魅力的です。 HadoopはGoogleの検索エンジンの基盤として開発されたGoogle File SystemおよびMapReduceの技術仕様を元に開発されたオープンソースソフトウェアです。ファイルを複数のサーバに冗長化した上で分散配置するHDFS(Hadoop Distributed File System)と、分散配置されている大量データから必要なデータの抽出や分解を行うHadoop MapReduceにより構成されています。 現在、Hadoopはクレジットカード会社の売上データの解析や、国立国会図書館が提供している検索サービスのインデ

    Elastic MapReduceとHiveの概要と利用準備
  • Amazon EMR セミナーの記録 - 急がば回れ、選ぶなら近道

    Amazon EMR セミナーに行ってきたので、個人的にまとめておく http://kokucheese.com/event/index/34636/ 日時: 2012/5/18 14:00 – 17:00 会場: アマゾン目黒オフィス 東京都目黒区下目黒1-8-1アルコタワーアネックス16F メインスピーカーは、EMRのSenior Product Manager の Adam Gray氏 場所は目黒のAmazonJapanの社。渋谷の東邦生命ビルの時とは大違いで、ビル全てがAmazonという陣容。16Fのセミナールームはおそらく200名前後は余裕で入れるしっかりした部屋で、東京でのAWSのセミナーは大抵はここでやっていることが多い。 今回のセミナーはどうやら複数回やったようで、自分はこの金曜日に、同じ会社の他のメンバーは翌日に呼ばれたようだ。パートナー向けのプライベートセミナーで、「

    Amazon EMR セミナーの記録 - 急がば回れ、選ぶなら近道
  • Apache Hive による開発 (Frozen) - Ayutaya.com

    ディレクトリ。辞書順。partition はさらにサブディレクトリ。このへん、どこかにドキュメントはありませんか? Hadoop Hive - Hadoop Hive- Data Manipulation Statements EMR は、最初の入力と最後の出力にだけは、外部のストレージ(普通は S3)を利用せざるを得ないため、HDFS のローカリティが生きません。なるべく Hive の中間データを使わないようにしたいので、以下のようにすれば良いのだと思われます。 サンプルとして、下記の 3 つの入力ファイルを用意します。ここでは、カラムの区切りにはタブを使っています。 input/employees/foo.tsv10 NAKA Kiichiro 100 20 LUCAS Geroge 200 30 KANAME Madoka 100input/employees/bar.tsv40 J

  • http://emrbootcampjp.s3.amazonaws.com/%5B%E3%83%8F%E3%83%B3%E3%82%BA%E3%82%AA%E3%83%B3%5DEMR%20Controls,Debbug,Monitoring.pdf

  • suz-lab.com - suz lab リソースおよび情報

    This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.

    suz-lab.com - suz lab リソースおよび情報
  • cloudpackブログ - EMRってなんじゃ?(HiveのDynamicPartitionでファイルを分割してS3に出力)

    ある数年分のデータがS3上に1つのファイルとして格納されている場合に、 EMRで年や月単位で分割したいという要望が一部であったため、やってみました。 例として、以下のようなCSVがあるとします。 ○test.csv 2012,01,12,title1,body1 2012,01,22,title2,body2 2012,02,02,title3,body3 2012,03,01,title4,body4 2012,03,11,title5,body5 2012,03,18,title6,body6 2012,04,04,title7,body7 2012,05,02,title8,body8 2012,05,05,title9,body9 2012,06,13,title10,body10 2012,06,14,title11,body11 2012,06,29,title12,body1

    cloudpackブログ - EMRってなんじゃ?(HiveのDynamicPartitionでファイルを分割してS3に出力)
  • Amazon Redshiftの利点

    Amazon Redshiftについて色々と聞く機会があった。その時聞いたことメモ。 Amazon EMRとAmazon Redshiftの違い まずは、よく比較されることになるEMRとRedshiftの違いから。 Amazon EMR HadoopクラスタとHiveを簡単に使うためのサービス。自由な台数のクラスタを自由なタイミングで起動したり破棄したりできる。 Hadoopクラスタ運用(初期設定、チューニング、等)の手間が完全に不要なのはものすごいメリット。 クエリの速さは、ログの量によりますが、数分~数十分くらいかかる。(ログの行数が数百万~数千万ある時) 利用者から見た基的な用途・できることはEMRとほとんど同じ。ただ、仕組みが全く違う。 RedshiftはRDBのような(Postgresベースらしい)テーブル設計を持つ。例えば、VARCHAR(255)みたいなカラムを持つ。EMR

  • ノーチラス、Asakusa FrameworkのPaaS「Node0 DBR」を開始

    ノーチラス・テクノロジーズは2013年4月16日、分散バッチ処理ソフト「Hadoop」を使って基幹系バッチ処理を実行するフレームワーク「Asakusa Framework」のPaaS(プラットフォーム・アズ・ア・サービス)である「Node0 DBR」を開始した。 ユーザーはIDE(統合開発環境)からプログラムをPaaS上に展開するだけで、HadoopとAsakusa Frameworkを使ったバッチ処理が実行できる。バックエンドのITインフラには、「Amazon Web Services(AWS)」を使用する。 サービス名称にあるDBRは、「Distributed Batch Runtime(分散バッチ実行環境)」の略。「Hadoopのような分散処理基盤はセットアップや運用に労力が必要なので、ユーザー企業が自前でシステムを構築、運用するのは難しい」(ノーチラスの神林飛志社長)と考え、Paa

    ノーチラス、Asakusa FrameworkのPaaS「Node0 DBR」を開始
  • トレジャーデータを利用する(treasure-data) インストール方法 | QK

    最近めっきりブログの更新が遅れてしまったのですが、飽きちゃったわけではなく、すごーく一年間忙しかったから更新できなかっただけです。とは言いつつも、何も試していないのです。ここ一年、ビッグデータ、ビッグデータてつい最近騒がれており。私個人としては、バズワードっぽく思っていたのであまり関心がなかったのが正直な感想です。まず、大事なのが、ビッグデータじゃなくて、ビッグデータをどう分析して価値あるものを見つけるの?・・と・・なので、そちらに力を入れないと・・と思うわけです。つまり、ビッグデータを安価にそして簡単に使えるものを待っていただけです・・。というわけで出ました。treasure-data トレジャーデータとは? 一言でいえば、クラウドのDWH(ビッグデータ)です。大まかな説明でもうしわけありませんが、 ・Fluentdを使っている ・Hadoopを使っている ・Amazon AWSを使って

  • Runtime error - Meta Search

    Error message : Directory is not found or not writable (DATA_DIR) Directory is not found or not writable (DIFF_DIR) Directory is not found or not writable (BACKUP_DIR) Directory is not found or not writable (CACHE_DIR) Site admin: whitestar Copyright © 2006-2023 whitestar. All Rights Reserved. Icons powered by famfamfam. PukiWiki 1.5.0 Copyright © 2001-2006 PukiWiki Developers Team. License is GPL

  • ほぼやけくそHive Hacks – OpenGroove

    Hive Hacksあれこれ。内容はほぼO’REILLY Hadoop Hacksからの引用そのまんま。ただの個人メモなのだが、ずうずうしく公開させてもらいます。いろんなところに記録しておいてもすぐに「あれ、あのメモどこやったっけ」となるのでここに書くのが一番なんだよね。書いたからって理解できるわけでもないんだが… (初めに書いておくと、この投稿長いです) 基原則的なこと。 ●UPDATEは回避する 処理速度が遅延するため、UPDATEを多数含むようなSQLをHiveSQLに変換することは避けるべき ●MapReduceタスクのオーバーヘッド Hiveは「高スループットを目指す処理には向いているが、低レンテンシを目指す処理には向いていない」というMapReduce処理の特徴を引き継いでいる。MapReduceタスクのオーバーヘッドが付きまとうことを念頭におく。 ●並列分散ができない処理

  • データサイエンティストを目指すに当たって、ぜひ揃えておきたいテキストたちを挙げてみる - 渋谷駅前で働くデータサイエンティストのブログ

    追記2 2015年末の時点での最新リストはこちらです。 追記 この記事の5カ月後にもう少し更新した内容の「お薦めリスト」記事を2つupしてますのでそちらもお読みください。 2013年秋版:データサイエンティストを目指すなら揃えておくべき10冊 - 六木で働くデータサイエンティストのブログ 2013年秋版:データ分析初心者にお薦めする「基礎を当にゼロから学ぶ」ためのテキスト5冊 - 六木で働くデータサイエンティストのブログ 今回は、僕が実際に自然科学の研究者からデータサイエンティストへと転身するに当たって、いつも脇に置いていたテキストや同僚が参考にしていたテキストをまとめて紹介します。 ※以下僕も持っているものには「*」を打ってあります*1*2*3 統計学 統計学入門 (基礎統計学) 作者: 東京大学教養学部統計学教室出版社/メーカー: 東京大学出版会発売日: 1991/07/09メ

    データサイエンティストを目指すに当たって、ぜひ揃えておきたいテキストたちを挙げてみる - 渋谷駅前で働くデータサイエンティストのブログ
  • 試すのが難しい―機械学習の常識はMahoutで変わる

    ビッグデータ時代―なぜ、いま機械学習なのか Apache Hadoop(以下、Hadoop)の登場で、今まで捨てていたデータ、貯めるだけで処理しきれなかったデータを活用できるようになりました。 活用手段として最近とみに注目されている技術が「機械学習」であり、Hadoopの強みを生かし簡単に機械学習を行うためのライブラリが、「Apache Mahout」(以下、Mahout)です。 稿ではMahoutを動かしてみることで、機械学習の常識を身に付けます。 そもそも、機械学習とは? 機械学習とは、一定のデータをコンピュータ・プログラムに「学習」させ(すなわち、そのデータに潜むパターンや規則性を表す「モデル」を自動的に構築させ)、他のデータにそのモデルを適用すれば、あたかも人間のように複雑で柔軟な判断が行えるようにするという試みです。 機械学習をビジネスに活用した例は、レコメンド(ユーザーや商品

    試すのが難しい―機械学習の常識はMahoutで変わる
  • 並列分散処理の常識をHadoopファミリから学ぶ

    Hadoopプロジェクトは3つの「サブプロジェクト」で構成されています。 Common:Hadoopの基機能FileSystem、RPC、Serializationのライブラリ HDFS:分散ストレージを仮想的に1つに扱うためのファイルシステム MapReduce:膨大なデータセットをクラスタ上で分散処理するためのソフトウェアフレームワーク これらが、「Hadoopファミリ」の核であり、並列分散処理機構を支えています。それ以外の「関連プロジェクト」は2011年12月時点では下記のようになっています。 Avro:Commonの持つ機能を拡張したデータシリアライズシステム Cassandra:単一障害点のないスケーラブルなマルチマスタデータベース Chukwa:大規模な分散システムでのデータ収集システム HBase:大規模な構造化データをサポートする、スケーラブルな分散データベース Hive

    並列分散処理の常識をHadoopファミリから学ぶ
  • いまさら聞けないHadoopとテキストマイニング入門

    ビッグデータ時代の救世主「Hadoop」とは 「Apache Hadoop」は今、最も注目を集めている技術の1つです。Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 Hadoopを活用している企業は年々増え続けていて、不可欠な技術になりつつあるといえるでしょう。 連載では、Hadoopとは何か、Hadoopがどう活用できるのかということを、「テキストマイニング」に焦点を当てて解説していきたいと思います。 重い処理を複数のマシンに分散させる 複数のマシンに処理を分散させるには、プロセス同士の通信、監視、障害時の対応などを考えなければならず、プログラマにとってハードルが高いものです。しかし、Hadoopはそういった面倒くさい処理を一手に引き受けてくれ、プログラマは、やりたい処理だけに集中できます。 例えば、Hadoopを使うと、1

    いまさら聞けないHadoopとテキストマイニング入門
  • ぼくがかんがえたさいきょうのGruntfileを晒してみる - Qiita

    開発中とリリースビルドをわけて考える。 開発中はとにかく速度重視。テスト重視。 リリースビルドのほうに、自動化できる便利なタスクを出来るだけ突っ込んでおく。 開発中に使用するソースファイルから、リリースビルドに余計なファイルを混ぜない。 こんな考え方でGruntfileを書いてみました。 プロジェクトごとに最適化したGruntfileを作るということも魅力的な挑戦なのですが、私は開発者一人で短納期な案件をいくつもこなさないといけないので、そのために導入したタスクランナーのはずなのにGruntfileの開発やメンテに時間を取られるのは末転倒になってしまうので、出来る限り汎用的に使えるように気をつけて書きました。 さらに何か特定の開発スタイルやフレームワークに依存しないように、特殊なディレクトリ構成などを必要としない点も気を付けました。 普段は開発は私一人ですが、デザイナーやコーダーや開発者

    ぼくがかんがえたさいきょうのGruntfileを晒してみる - Qiita
  • VagrantとChef-soloについて初歩の備忘

    開発環境を管理する 遅まきながら触ってみたら、予想以上に簡単だったのでちゃっちゃと備忘する次第。 Vagrant Chef | Opscode ということで、開発環境をどうにかしたかったので、VagrantとChefによる管理を試してみました。ついでに、Amazon S3のようなインスタンスを対象にもセットアップできるようにすることも想定してます。 記事は、ほんとに備忘録ノリなので、「Chefとは」「Chef soloとは」「Vagrantとは」などについては各自ググってください。 前提 現状は、開発環境のVMが秘伝のタレと化している 新しくVMをセットアップする際の作業にも秘伝のスクリプトが点在する phpnginxのconfigが、複数のリポジトリに偏在していて集めるの大変 それぞれが個別に設定しなくても、開発環境を一斉に更新できるようにしたい 新しい人がジョインしたときも同じ水準

    VagrantとChef-soloについて初歩の備忘
  • TechCrunch | Startup and Technology News

    This is not a drill! Today marks the final day to secure your early-bird tickets for TechCrunch Disrupt 2024 at a significantly reduced rate. At midnight tonight, May 31, ticket…

    TechCrunch | Startup and Technology News
  • AmazonS3におけるetagとmd5の関係をまとめてみた · DQNEO日記

    公式APIリファレンスによると ETag The entity tag is a hash of the object. The ETag only reflects changes to the contents of an object, not its metadata. The ETag is determined when an object is created. For objects created by the PUT Object operation and the POST Object operation, the ETag is a quoted, 32-digit hexadecimal string representing the MD5 digest of the object data. For other objects, the ETag may o

    AmazonS3におけるetagとmd5の関係をまとめてみた · DQNEO日記
  • EC2など 高負荷クラウド環境における Redis のチューニングについて | guitarrapc.wordpress.com

    たまにはPowerShell 以外の記事を。 某記事でもRedis (REmote DIctionary Server)が memcached に代わり得る利点がBookSleeveを交えて丁寧に説明されました。 そして、Redisの運用が一定の目途を見せていることから、その初期設定に欠かせないチューニングについて記事にしてみようと思います。 全部明かすわけではありませんが、なかなかRedisに関する記事は少ないので、少し参考になれば幸いです。 経験上、高負荷環境ではRedisはチューニングで大幅に安定性が変わります。 インストール? 沢山記事ありますし、簡単なのでここでは省きます。 どうしても必要な場合は行っていただければ記事にしますが。 Redis Quick Start 対象バージョン 2.6系とします。 2.4系でも大方一緒ですが、2.6系に特有な部分があるので、注意です

  • vagrant+awsであやふやな境界線へ | 公開懺悔日記

    最近はまっているvagrant。楽しすぎる。 JAWSな人としてはEC2をvagrantで起動してという事やっておかないとねー^^;; ということで vagrant-aws を利用してEC2の起動にチャレンジ プラグインのインストールvagrant-awsをインストールします。 vagrant plugin install vagrant-aws これでインストール完了。かなり楽ちん 私が入れているpluginは sahara (0.0.15)vagrant-aws (0.2.2)vagrant-omnibus (1.1.0)boxの準備 vagrant box add dummy https://github.com/mitchellh/vagrant-aws/raw/master/dummy.box 起動するのはEC2だけどvagrantにはboxが必要なのでdummyのboxを用意し

    vagrant+awsであやふやな境界線へ | 公開懺悔日記
  • JavaScriptテンプレートエンジンJsRender 基本のキ

    はじめに JsRenderは高速、軽量、高性能なJavaScriptテンプレートエンジンです。JsRenderを使うと、ブラウザ側で動的にテキストやHTMLを生成できます。 JsRenderはoutlook.comなどのサイトですでに使われており、今後利用者が増えることが期待されています。先日、JsRenderの正式版のリリースが近いことが、作者であるボリス・ムーア氏のブログで発表されました。そこで、正式リリースに先立ちJsRenderの使い方を紹介していきます。 対象読者 JavaScriptテンプレートエンジンに興味のある方 JavaScript、jQueryの基を理解している方 必要な環境と準備 JsRenderとjQueryを以下のサイトからダウンロードしてください。JsRenderは単体でも動きますが、jQueryのプラグインとしても機能します。 JsRenderのダウンロード

  • 『PHPでオブジェクト指向的FizzBuzz』問題の解説記事~PHPが書けてオブジェクト指向がわかるとイケてるエンジニアになれる!? #php #オブジェクト指向 - CodeIQ Blog

    CodeIQ中の人、millionsmileです。 PHPメンターズの後藤秀宣さん出題の『オブジェクト指向的FizzBuzz』問題の解説記事です! PHPは、開発言語別の求人数ランキングで2位であります(出典)。さらには、PHPが書けてオブジェクト指向がわかるエンジニアへの企業ニーズは高いものの、実際は、まだまだ層が薄いということもあり、今回の出題へ、となりました。 ぜひ解説記事を読んで、イケてるオブジェクト指向がわかるPHPエンジニアをめざしてみてはどうでしょう。 以下、問題文です。 FizzBuzz問題を解くアプリケーションを実装しているとします。 ★FizzBuzz問題とは? 1, 2, 3, ・・・という入力に対して3で割り切れる場合は「fizz」、5で割り切れる場合は「buzz」 3でも5でも割り切れる場合は「fizzbuzz」、それ以外は数値をそのまま出力する PHPコードは次

    『PHPでオブジェクト指向的FizzBuzz』問題の解説記事~PHPが書けてオブジェクト指向がわかるとイケてるエンジニアになれる!? #php #オブジェクト指向 - CodeIQ Blog
  • グレープシティ、国際標準バーコード「GS1」全7種を作れるJava部品を出荷

    グレープシティは2013年8月7日、Javaアプリケーションに組み込んで利用するバーコード生成コンポーネントの新板「JBarCode 3.0J」(写真1)を発表した。9月6日に出荷を開始する。新板では、国際標準バーコード規格「GS1データバー」に定義されている全7種のバーコード(写真2)のすべてを生成できるようにした。また、パブリッククラウド環境での利用を想定した月額制の運用ライセンスを新規に追加した。 Javaアプリケーションにバーコード生成機能を組み込むためのコンポーネント部品(Javaのライブラリー)である。数行のコーディングだけでバーコードを表示できるとしている。スタンドアローンのJavaアプリケーションやWebアプリケーション(Servlet、JSPカスタムタグ、JSPスクリプトレット)で利用できる。バーコード出力は、java.awt.Imageオブジェクトとして生成、ファイル出

    グレープシティ、国際標準バーコード「GS1」全7種を作れるJava部品を出荷
  • なんたら統一文字の面積比の正確な図 - 帰ってきた💫Unicode刑事〔デカ〕リターンズ

    戸籍統一文字、住基ネット統一文字、登記統一文字に含まれる漢字の数について、面積比が正確になるように図を描いてみた*1。 法務省が戸籍のオンライン手続きのために整理した文字集合が、戸籍統一文字。この戸籍統一文字を拡張した文字集合が登記統一文字であり、拡張部分を登記固有文字と呼ぶ。図にすると、こんなかんじ。 総務省の住民基台帳ネットワーク統一文字(住基ネット統一文字)には、法務省の戸籍統一文字・登記統一文字との互換性はない。図にすると、こんなかんじ。 この図に、JIS X 0208とJIS X 0213も入れてみる。住基ネット統一文字は基的にJIS X 0213ベースだが、「JIS X 0213に含まれていて戸籍統一文字に含まれていない漢字」は、けっこうある。 IPAの文字情報基盤整備事業が対象としているのは、オレンジ色の枠で囲んだ部分。登記固有文字がんばれ。 *1:使っている数字は、『汎

    なんたら統一文字の面積比の正確な図 - 帰ってきた💫Unicode刑事〔デカ〕リターンズ
  • 続・初めてのPerl 改訂第2版 が発売されます - tokuhirom's blog

    いわゆるアルパカの新版がでるようです。この機会に新版を手にいれて、読みなおしてみるのもよさそうですね。 監訳は安心と信頼の伊藤 直也さんです。

  • 『運用効率を向上させるサイト構築の3つのポイント』

    1 pixel|サイバーエージェント公式クリエイターズブログ サイバーエージェントのクリエイターの取り組みを紹介するオフィシャルブログです。最新技術への挑戦やサービス誕生の裏話、勉強会やイベントのレポートなどCAクリエイターの情報が満載です。 初めまして。広報・IR室でディレクター兼デザイナーを担当している山下と申します。今回は当社の企業サイトをリニューアルするにあたって特に注力した、 「運用効率を向上させるサイト構築のポイント」というテーマで、 構築、運用をした結果、重要度が高かった点をいくつかピックアップして紹介させて頂きます。 ※今回のリニューアルでは、PCサイトの日語・英語サイトとスマートフォンサイトを刷新しています。 1.運用体制を明確にする プロジェクト初期は決まっていないことが多いためか運用体制の話は後回しになりがちです。しかし、サイト設計の初期段階に明確にしておくことは効

    『運用効率を向上させるサイト構築の3つのポイント』
  • C84にて「雅なPerl入門」という本を頒布します - Subvoice

    C84の宣伝です。Perlの入門書を書きました。内容は、雅ちゃんがハッカークロウにPerlを教えてもううという内容で、以下の内容を含んでいます。 Perlの開発環境を整えよう スカラー 配列とリスト ハッシュ サブルーチン コンテキスト 正規表現 リファレンス オブジェクト指向 内容は、よくあるPerlの基からオブジェクト指向まで入れました。plenvやcpanmなども利用しています。内容は、堅苦しくならないように会話形式で進んでいくので比較的読みやすいのではないかと思っています。執筆の時間があまりなかったので、いろいろ不備があるかと思いますが、もし興味がありましたらぜひ買いに来てください。スペースは、3 日目 月曜日 東5ホール ペ11b 雅なラクダです。よろしくお願いします!!あたりまえですが中身は18禁ではないです!!

    C84にて「雅なPerl入門」という本を頒布します - Subvoice
  • Vagrantを設定ファイルをWeb上で作成·PuPHPet MOONGIFT

    PuPHPetはPHP製、MIT Licenseのオープンソース・ソフトウェアです。 Vagrantが注目を集めています。簡単に仮想サーバを立ち上げられますが、設定ファイルを書けばさらにコマンド一つで環境まで整ってしまいます。そんなVagrantの設定ファイルを設定を行うだけで生成してくれるのがPuPHPetです。 最初にディストリビューションを決めます。 次に最初にインストールするパッケージや設定を決めます。 HTTPサーバです。Apacheまたはnginxから選択します。 PuPHPetなのでPHPメインです。バージョンも5.3/5.4/5.5から選択できます。 PHPのモジュールです。入力補完がついているので簡単に選択できます。 PEARを組み合わせることもできます。 データベースです。MySQLまたはPostgreSQLが使えます。 後は設定ファイルをダウンロードするだけです。Zi

    Vagrantを設定ファイルをWeb上で作成·PuPHPet MOONGIFT
  • わずか5分!? AWSのEC2でクラウドなウェブサーバーを構築してみた | 株式会社LIG(リグ)|DX支援・システム開発・Web制作

    はじめまして。五反田の「Clisk(クリスク)」という会社でシステムエンジニアなどをしている芹沢と申します。盟友であるLIGのゴウさんや紳さんと酒を酌み交わしているうちに、LIGブログに記事を書かせていただくことになりました。よろしくお願いいたします。 AWSとは? http://aws.amazon.com/jp/ AWSAmazon Web Servicesの略)とは、Amazonが提供しているクラウドサービスの総称で、その中にはさまざまなサービスが含まれています。 EC2(仮想サーバー)、S3(ストレージ)、RDS(リレーショナルデータベース)、CloudWatch(監視)など、たくさんのサービスが提供されていて、それらのITインフラのリソースを、使いたいときに、使いたいものを、使いたいだけ、必要なスペックで、利用することができるのが特徴です。 多くのサービスは管理画面から操作でき

    わずか5分!? AWSのEC2でクラウドなウェブサーバーを構築してみた | 株式会社LIG(リグ)|DX支援・システム開発・Web制作
  • Evaluation of cloudera impala 1.1

    This document evaluates the performance of Cloudera Impala 1.1 using two clusters. It finds that RCFile with Snappy compression provides the fastest performance for both Hive and Impala on the clusters for reading-only workloads. Parquet with Snappy may be fastest for larger tables. Issues were identified with memory limits during Parquet table creation and were later fixed. The evaluation shows I

    Evaluation of cloudera impala 1.1
  • ScaleOut | Supership

    2024年4月1日より、Supership株式会社は親会社であるSupershipホールディングス株式会社に吸収合併されました。 合併に伴い、存続会社であるSupershipホールディングスは社名をSupershipに変更し、新たな経営体制を発足しました。件に関する詳細は、プレスリリースをご確認ください。 2024年4月1日より、Supership株式会社は親会社であるSupershipホールディングス株式会社に吸収合併されました。 合併に伴い、存続会社であるSupershipホールディングスは社名をSupershipに変更し、新たな経営体制を発足しました。 件に関する詳細は、プレスリリースをご確認ください。

    ScaleOut | Supership
  • Redmine for ITILが解決するもの - プログラマの思索

    ホロンテクノロジーという会社がRedmine for ITILというソリューションツールをPDFで公開していた。 とても参考になる資料だったので、システム運用保守におけるRedmineの解決方法について、考えたことをメモ書き。 ホロンテクノロジーが提供するOSSソリューションのご紹介 (PDF) Redmine for ITILの特長|株式会社ホロンテクノロジー Redmine for IMSの特長|株式会社ホロンテクノロジー Hinemos+Redmine for ITILで運用保守を改善する: プログラマの思索 Redmine for ITIL: プログラマの思索 TiDDにITILの概念を持ち込む: プログラマの思索 チケット駆動開発の課題~ITILやDevOpsの適用方法: プログラマの思索 【1】システム運用保守の問題点 システムの新規開発案件ではなく、システムの運用保守では特有

    Redmine for ITILが解決するもの - プログラマの思索