フリーのVM環境を使って、ビッグデータ分析の学習環境をすばやく構築する
はじめに Hadoopを使って大規模データを蓄積し分析するのは、もはや当たり前になってきた昨今ですが、大規模データ分析の環境を試すのは、なかなか難しいというのが現状です。確かに、Hadoop単体やSQLエンジン単体なら、Amazon EMRやGoogle BigQueryなどを使うことで体験することは可能でしょう。しかし、大規模データの分析基盤では以下のようなことを行っていく必要があります。 RDBMSからデータをHadoopにインポートする SQLを使って、大規模データを高速に分析する アクセスログなどの大量の非構造化データを分析する 大量のデータに対し、リコメンドに利用するための高度な分析処理を行う 大量のデータを全文検索できるようにする これらすべてを試す環境を構築するのは、たとえクラウド環境を使ったとしても困難です。また、（検証環境としては）意外と高額な費用がかかってしまい、永続化
スマートニュースの世界進出を支えるログ解析基盤 #jawsdays #tech
スマートニュースは昨年の 10/1 に米国版をローンチするにあたり、ログ解析基盤のリニューアルを行いました。日本に加えて米国やその他の国が入ってくることにより、単なるユーザ数の増加に加え、OS x 国 x タイムゾーン x 多種多様なメトリクスのような集計軸が増えることで、ログの前処理、集計、可視化に様…
AWS(Amazon Web Services)技術資料メモ(2015年3月版) - hiroshixの日記
2015-03-16 AWS(Amazon Web Services)技術資料メモ(2015年3月版) 2015年3月版に更新。 技術資料はココにあるんだけど、散らかってるのでまとめてみた。全体的に資料の日付をチェックした方がいいかも。資料公開からアップデートがある場合も。あとどの資料も最初に概要入っててごめんなさい。 概要的なやつ スタートアップならおさえておきたいAWS入門サービス概要と基礎知識編 スタートアップならおさえておきたいAWS入門サービス概要と基礎知識編 from Hiroshi Takayama →つまづきやすいポイントや不安点など WebサービスStartUP向け AWSスケーラブルな構成例 WebサービスStartUP向け AWSスケーラブルな構成例 from Amazon Web Services Japan →構成例・代表的なサービスの一言紹介・課金関連・サポ
無料でダウンロードできるIT技術系電子書籍（EPUB／PDF）一覧
2015年に入り、「Amazon.co.jp: Kindle無料マンガ雑誌」がスタートするなど、本や雑誌を電子書籍で読む機会が増えてきている。特に「紙の書籍よりも、電子書籍の方が大きく割安になっている場合は、電子書籍で買う」という人も多いのではないだろうか（特にIT業界の人は）。実際に自分もAndroidタブレットやiPhoneなどを使って電子書籍を読むことが増えてきた。 まだ電子書籍で本を読む習慣がないという人は、今春から試してみてはいかがだろうか。紙の書籍ではあり得ないが、電子書籍であれば無料で提供されているものもある。本稿ではそんな「無料*1でダウンロードできるIT技術系電子書籍」を一挙にまとめて紹介する（※特に主要な出版社のものを取り上げている。「これがないぞ」というのがあればお知らせいただけると幸いだ）。 なお以下では、英語書籍が圧倒的に多いので、逆に日本語書籍にのみ【日本語】と
Amazon Redshiftへのデータ投入からBIツールによる可視化までの手順
データの入手、整形 Amazon S3へのデータのアップロード Amazon Redshift：テーブルの作成 Amazon Redshift：データの投入 Amazon Redshift：SQLによるバッチ処理（ETL） BIツールからの接続確認 また、利用するBIツールはTableau社が提供している『Tableau Desktop』というデスクトップツールを利用したいと思います。文中『Tableau』という言葉が出て来た際はこの『Tableau Desktop』のことを示しているとご理解ください。 データの入手・整形 では分析を行いたいデータを準備するところから見ていきましょう。Tableau社では各種デモで用いることができるようなサンプルデータを公開していますが、今回はそのサンプルデータを利用したいと思います。 以下のリンクで公開されているものは、架空の店舗別・地域別売り上げデータ
【翻訳】Amazon Lambdaを使った機械学習 | POSTD
はじめに 既にお気づきでしょうが、私たち2lemetryはAmazonの最新AWS製品であるLambdaに興奮を抑えきれません。LambdaがMQTTプロトコル（訳者注：pub/subモデルに基づく軽量なメッセージプロト […]はじめに 既にお気づきでしょうが、私たち2lemetryはAmazonの最新AWS製品であるLambdaに興奮を抑えきれません。LambdaがMQTTプロトコル（訳者注：pub/subモデルに基づく軽量なメッセージプロトコル）やThingFabric（訳者注：2lementry社のIoTプラットフォーム）と共にどのように稼働するかを我が社の数名のエンジニアが検証しました。私も、IoT（モノのインターネット）においてLambda内でニューラルネットワークがどのように機能するのかを確かめるため、実際に使用してちょっとした実験を行ってみることにしました。私たちのCEOであ
Amazon EC2再入門 2015年1月版 | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 半年前に「Amazon EC2再入門 2014年7月版」と銘打ってEC2の記事を書きましたが、AWSらしい頻繁なアップデートによって古くなっている部分もあるので、記事もアップデートしようと思います。 最近EC2関連の重要アップデートが出てきました。嬉しい機能が増えているのですが、昔の知識では使いこなせないので、現時点でのEC2の起動方法について纏めようと思います。 起動手順 EC2を起動していきましょう。 AMIの選択 AMI(Amazon Machine Image)を選択します。 AMIの種類 Amazon Machine Image(AMI)には以下のような種類があります。 My AMI 自分で作成したAMIです。 AWS Marketplace Marketpkaceで公開されているAMIです。 Community AMI 他の
ゲーム実況動画が流行るのは当たり前だよねという話 : けんすう日記
2014年も終わろうとしていますが、今年もいろいろと話題になったニュースがありました。 そのうちの一つが、Twitchというゲームプレイ動画サイトをAmazonが買収したことです。1100億くらいですかね。 Amazon、総額9億7000万ドルのTwitch買収を完了 - ITmedia ニュース つまり、ゲームのプレイ動画が、ビジネスとして成り立っているということですね。WIREDの記事のよるとこうあります。 ゲームをプレイしない人には思い出してもらう必要があるが、ゲーム業界の規模はハリウッドよりも大きい（13年の世界のゲームコンテンツ市場の規模は6.3兆円（PDF）。2012年の世界の映画興行収入は2.8兆円）。 また、ゲーマーが画面の前で費やす時間も、映画ファンが画面の前で費やす時間よりはるかに長大だ。最近の数字では、Twitchには5,500万人の視聴者層がいる（この数字は、13年
全7章にわたって書体攻め アニメやラノベのタイトルロゴ、約200個を徹底的に調査した書体研究本登場
※本記事はアフィリエイトプログラムによる収益を得ています マンガ、アニメ、ライトノベルに使われる個性豊かな「タイトルロゴ」に特化した書体研究本「ろごたいぷっ!」が、2015年1月23日に発売されます。価格は2160円（税込）。 意味深な「あ」「う」が目印！ 「人気＆定番書体」を皮切りに、「モダン系」「ニュアンス系」「重厚系明朝」「各種ゴシック」「直線系」「クラシック系」の7章にわけて、さまざまな書体（フォント）の研究結果を、全248ページにまとめた1冊。アニメなどのロゴのフォントを研究する「ゆず屋」さんの同人誌や公式ブログを加筆して再構成しています。 「あずまんが大王」「進撃の巨人」「バカとテストと召喚獣」「普通の女子校生が【ろこどる】やってみた。」など、62作品から選りすぐったタイトルロゴが収録されており、各種フォントでの再現方法や類型フォントとの比較なども掲載されているそうです。 フォ
恒例！コミックマーケット87とpixivの二次創作人気を調べてみた (1/4)
この連載では、独自に収集したデータを使って、みんな知ってるようで知らないニコニコ動画やpixivの現在を紹介していきます。今回は再び開催迫ったコミックマーケット関連の話題を取り上げてみましょう。連載一覧はこちら。 明治大学米沢嘉博記念図書館スタッフでニコニコ学会β実行委員。趣味で同人誌やニコニコ動画関連の研究をしてる人。記事に使ったデータ元の『ニコニコ統計データハンドブック2014』など同人誌をコミケで頒布。ブロマガでは連載記事の補足も。 Twitterアカウントは@myrmecoleon。関わった近著に『進化するアカデミア 「ユーザー参加型研究」が連れてくる未来』（イースト・プレス刊）。右の画像は筆者を擬人化？して描いてもらったキャラ「ありらいおん子」。男の娘。 ■Amazon.co.jpで購入 今年は28日から30日開催のコミックマーケット87 今年は大晦日の手前となる12月28日から
つづろう、モノの思い出──新サービス「Quyo」をはてラボにリリースしました - はてラボ 開発者ブログ
本日、はてラボに新しいサービス「Quyo」をリリースしました。 http://quyo.hatelabo.jp/ Quyoとは Quyo（クヨウ）は、捨ててしまったモノの思い出をつづって共有するサービスです。 最初に買った携帯電話は何ですか？ 着古して捨ててしまったお気に入りのシャツはありませんか？ 手放したモノには、思い出が詰まっています。Quyoで捨てた物コレクションを作って、モノの思い出を振り返りましょう。 Quyoでできること 捨ててしまったモノの思い出（Quyo）を投稿できます 好きなQuyoをお気に入りに追加して、気持ちを伝えられます 他の人が捨てたモノから投稿できます（Requyo） 投稿したモノをAmazonで買い戻せます Quyoの使い方 1. Quyoを投稿する ヘッダ右上から、はてなIDでログインします。「Post Quyo」ボタンから投稿できます。 「捨ててしまった
Amazon.co.jp、「2014年 年間ランキング」を発表
洋書、ミュージック、デジタルミュージックは「アナと雪の女王」関連アイテムがランクイン。ギフト包装は「Kindle Paperwhite」、Amazon定期おトク便は「メリーズパンツさらさらエアスルーLサイズ」が1位 Amazon.co.jpは、2014年の年間ランキング（http://www.amazon.co.jp/best2014）を発表いたしました。本特集では、和書、Kindle本、ミュージックをはじめ、カメラ、おもちゃ、ファッション、食品＆飲料、日用雑貨・消耗品まで年間ランキングを紹介しています。 【Amazon.co.jp 2014年 年間ランキング】 特集ページURL： http://www.amazon.co.jp/best2014 集計期間： 2013年12月1日～2014年11月16日 ※特集ページでは、各ストアTOP10（またはそれ以上）のランキングを公表しています。
AWS環境での監視について調べる CloudWatchとZabbixの比較 | DevelopersIO
○：標準で使えます ×：標準で使えません 補足 1.リソース監視の監視項目 CloudWatchはデフォルトでメモリー使用率やディスク使用量、ロードアベレージがないので必要であればカスタムメトリクスとして追加する必要があります。監視項目は以下のページをご覧ください。 [CloudWatch]グラフの確認方法と確認できるグラフ一覧(EC2/ELB/RDS) Zabbixエージェント - Zabbixオフィシャル日本語サイト 2.Zabbixからフルマネージドサービスを監視 ZabbixではRDSやELBのリソースを監視する機能はありません。Zabbixでフルマネージドサービスを監視したい場合はCloudWatchから値を取得するスクリプトを実装する必要があります。 ZabbixでAWS/CloudWatchの値を取得してみた 3.カスタムメトリクスを使えば可能 カスタムメトリクスの追加方法は
AWSのデータセンターの中身を、設計総責任者が話した
AWSのデータセンターの中身を、設計総責任者が話した：「ここまで話していいの？」（1/2 ページ） Amazon Web Services（AWS）のバイスプレジデント兼ディスティングイッシュド・エンジニア、ジェームズ・ハミルトン氏は、AWSが11月11～14日に開催した「AWS re:Invent 2014」で、データセンターの構成、サーバーやスイッチの自社設計、SR-IOVなどについて語った。 [2014/11/21訂正]記事の初出時に、ハミルトン氏がAZ間の距離を「数キロメートル」と言ったと記述しましたが、数十キロメートルである可能性もあります。ハミルトン氏はAZ間が「multiple kilometers」であると表現しています。後出のハミルトン氏の議論では、例えばロサンゼルスとニューヨークの間の伝送遅延は74ミリ秒だが、これを1、2ミリ秒に抑えるためにAZ間は近くなくてはならない
エンジニアにとって良い組織とは何かを知りたい? - naoyaのはてなダイアリー
「エンジニアにとって良い組織体制ってどんなものですか? お話を伺いたいのですが･･･」と依頼をいただくことがあるが、都合上全部を受けてはいられない。ので、そういう疑問を持たれた方は以下の本を読むと良いかと思います。 How Google Works (ハウ・グーグル・ワークス) ―私たちの働き方とマネジメントposted with amazlet at 14.10.18エリック・シュミット ジョナサン・ローゼンバーグ アラン・イーグル 日本経済新聞出版社 売り上げランキング: 19 Amazon.co.jpで詳細を見る 小さなチーム、大きな仕事〔完全版〕: 37シグナルズ成功の法則posted with amazlet at 14.10.18ジェイソン・フリード デイヴィッド・ハイネマイヤー・ハンソン 早川書房 売り上げランキング: 7,579 Amazon.co.jpで詳細を見る Tea
［速報］マイクロソフトがDockerと提携、次期Windows ServerでDockerを採用と発表。Microsoft AzureではDocker Hubとの統合も
米マイクロソフトはDocker社と提携し、次期Windows ServerでDockerをサポート。Microsoft AzureでもDockerをサポートするとともに、Docker Hubとの統合も行うと発表しました。 同社のエンタープライズおよびクラウド部門の責任者であるスコット・ガスリー氏が自身のブログ「Docker and Microsoft: Integrating Docker with Windows Server and Microsoft Azure」で明らかにしています。 DockerのWindowsイメージに対応 ガスリー氏のブログによると、Windows ServerとMicrosoft AzureによるDocker対応は以下の通り。 （1）マイクロソフトはDocker Engineを次期Windows Serverに統合。次期Windows Serverにコンテナ
日本のAmazonが実績から選定した「オールタイムベスト小説100」が発表
By Noelas 2000年のスタートから13年にわたって書籍オンライン販売を行ってきた日本のAmazonが選んだ「オールタイムベスト小説100」が発表されました。過去13年間の販売数、カスタマーレビューの評価をはじめとする各種データをもとに選ばれた100作品にはいったいどのようなものが含まれているのか、一気にまとめてみました。各ページの下部には、「最も参考になったカスタマーレビュー」もあわせて掲載されているので、作品を知る参考にもなるはずです。 オールタイムベスト小説100 http://www.amazon.co.jp/gp/feature.html?docId=3077738486 ◆永遠の0 (講談社文庫): 百田 尚樹 ◆海賊とよばれた男 上: 百田 尚樹 ◆博士の愛した数式 (新潮文庫): 小川 洋子 ◆空飛ぶタイヤ(上) (講談社文庫): 池井戸 潤 ◆下町ロケット: 池井
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
いまから２０年後、有能な１％の人間がモノとシステムを作り、４％のコミュニケーション強者がその上前を撥ね、残りの９５％がそのおこぼれで生活する時代がやってくる。 - orangestarの雑記
Amazon VPCトレーニング-VPCの説明
いまさら聞けない Amazon EC2
