Hapyrus では、 Hadoop + Hive と Amazon Redshift のソリューション、また Amazon Redshift の導入コンサルティングを提供します。ぜひお問い合わせ下さい。info@hapyrus.com http://hapyrus.com/Read less
[This article was first published on joy of data » R, and kindly contributed to R-bloggers]. (You can report issue about the content on this page here) Want to share your content on R-bloggers? click here if you have a blog, or here if you don't. You all know why MapReduce is fancy – so let’s just jump right in. I like researching data and I like to see results fast – does that mean I enjoy the pr
AWSソリューションアーキテクトの蒋(@uprush)です。 初期コストがなく、導入しやすいペタバイト級のデータウェアハウスAmazon Redshiftは、非常に多くの皆様に利用頂いています。そのなかでも特に多いのは、Redshiftに保存されているビッグデータをBIや可視化ツールを使った解析です。 データ解析ツールとしてRが有名です。Rは統計分析や可視化するためのオープンソースソフトウェアで、データマイニングや分析などの分野で広く使われています。 RはJDBCを利用してデータベースにアクセスすることができます。また、Redshiftは標準的なSQLが利用可能で、PostgresSQLのJDBC・ODBCドライバをそのまま使用することができるため、この2つを組み合わせるとRからRedshiftにもアクセスできます。 RedshiftとRを利用して、インタラクティブ、かつ高度なビッグデータ
日本人の有名な技術者たちが起業したとして話題のTreasure Data(トレジャーデータ)。最近日本市場に向けた販売強化をすると発表した。だが以前からずっと日本企業相手にビジネスやってきていたはずだ。過去にリクナビなどで広告記事も見た。なぜ今さら発表? と不思議に思っていたら、以前に比べて価格が大幅に値上がりしていることに気がついた。 現在の最低価格は2TB上限で月3000ドルだ(http://www.treasure-data.com/pricing/)。無料のメニューもあるが、1ヶ月に60クエリまでしか実行できないので、企業で使うなら事実上有料のメニューしか選択肢が無いと考えて良い。 だが実は、つい最近までTreasure Dataには月29ドル、月299ドルのメニューがあったのだ。Internet Archiveには4月11日時点の記録があった。これを見ると、500GB上限の月29
*トレジャーデータはデータ収集、保存、分析のためのエンドツーエンドでサポートされたクラウドサービスです。 Treasure Data Service はそれ自身がデータの収集から可視化までの一気通貫したサービスですが,他の様々なサービスと連携することによって各々の分析ニーズにマッチしたアーキテクチャを構成することができます。今回は Amazon Redshift とのハイブリッドアーキテクチャ等の具体的なケースを見て,視野を広めていきましょう。 バッチ処理 Treasure Data Service は標準ではHiveQLによってクラウドストレージに集計処理を実行することができるのですがこれはいわゆる「バッチ処理」という分類で,スケジューリングされたクエリが定時的にバックエンドで集計されるものです。 以前紹介したダッシュボード(上図):MetricInsights などでは独立したウィジェ
ふつうのRedshiftパフォーマンスチューニング @ AWS Casual 02, 2014-04-18Read less
Twitterで「早く今流行のMPPの大まかな使い方の違い書けよ!」というプレッシャーが半端ないのでてきとうに書きます.この記事は俺の経験と勉強会などでユーザから聞いた話をもとに書いているので,すべてが俺の経験ではありません(特にBigQuery).各社のSAの人とかに聞けば,もっと良いアプローチとか詳細を教えてくれるかもしれません. オンプレミスの商用MPPは使ったことないのでノーコメントです. MPP on HadoopでPrestoがメインなのは今一番使っているからで,Impalaなど他のMPP on Hadoop的なものも似たような感じかなと思っています. もちろん実装の違いなどがあるので,その辺は適宜自分で補間してください. 前提 アプリケーションを開発していて,そのための解析基盤を一から作る. 簡単なまとめ データを貯める所が作れるのであれば,そこに直接クエリを投げられるPre
1月29日の産業競争力会議の議事録がアップされています。 http://www.kantei.go.jp/jp/singi/keizaisaisei/skkkaigi/dai20/gijiyoushi.pdf 分科会ではなく本会議なので、いろんな人が広い分野にわたっていろんなことをいっているんですが、その中でちょっと聞き捨てならない発言があったようです。 (三木谷議員) 雇用に関してだが、ベンチャーは是非この対象から外してほしいと思う。私もそうなのだが、ベンチャー企業というのは夢を見て24時間働くというのが基本だと思っているので、そういう会社に残業云々と言われても正直言って困る。我々も会社に泊まり込んで仕事をやっていた。ベンチャーはこの対象から外して、そのかわりがぽっと公開したらもうかるというものではないかなと思う。 いや、ベンチャー企業の経営者の方がベンチャー精神に満ちあふれて1日24時
はじめに 今回は自宅の室温予測システムを構築してみました。 前回はいろいろテキトーに書いてたので今回はかなりまじめに書いていきます。 イメージとしてはNHKのNextWorldで描かれてる世界 それをできるだけAzureを駆使して構築してみたいと思います。 システム構成図 システムの構成図はこんな感じ Arduinoで室温を計測 ↓ Azure Mobile Servicesに送信 ↓ SQL Azureデータベースに貯めこむ ↓ そのデータを使ってAzure MLであらかじめデータの傾向を学習しておく ↓ Mobile Service Schedulerで毎朝8時にAzure MLからその日の室温の予測値を取得してTweet ↓ Mobile Service Custom APIを使ってWindowsストアアプリに今日の室温予測値を表示 という感じでいきたいと思います。 データ計測部 I
人は、一番好きなキャラクターが目の前に居て、じっと自分を見つめてきたら、どうなってしまうのでしょう。 私は「OculusRift」というヘッドマウントディスプレイを使い、MikuMikuDanceという3DPV作成ツール用にユーザーがつくって配布しているモデルをお借りし、「好きなキャラクターの3Dモデルが目の前で自分を見つめてくれる」というコンテンツの体験会を、たまに開催しています。 「進撃の巨人展」で話題になった「360°体感シアター 哮」で使われているものとまったく同じものを使っています。 「PCのモニタの中に自分が頭を突っ込んで、中を見ている」という感覚が一番近いかもしれません。 体験している様子と、体験者にどんな画像が見えているかを撮影させてもらったものがこちらです。半分くらい見ていただけると感じがわかるかと思います。 OculusRiftDK2で好きなキャラクターに会う動画 -
こんにちは、吉岡(@yoshiokatsuneo)です。 最近のJavaScriptフレームワークといえばAngular.JSやReact.JSがホットですが、今年来ると思われるフレームワークAurelia.JSが2015年1月末リリースされました。 Home | Aurelia Aurelia.JSはGoogleでAngularJSの開発に関わっていたRob Eisenbergさんが開発した次世代のJavaScriptフレームワークです。 特徴として、最新のJavaScript関連技術であるECMAScript6、WebComponents、Object.observeなどの機能を取り込むことで、シンプルで使い勝手のよいフレームワークになっていることが挙げられます。 オンラインコーディング環境paiza.IOでも利用しているAngularJSとの比較を中心にして紹介します。 ■Aurel
世の中に流布している「プログラマー35年定年説」は、大きく以下の3つに分類できる。 プログラマーは激務なので、35歳を過ぎると体力低下のために続けられなくなる(体力低下説) プログラマーは常に新しい情報を吸収しなければならないが、35歳を超えると脳の働きが低下して新しいことを覚えられなくなるために続けられなくなる(学習能力低下説) プログラマーは35歳を超えると開発ではない業務を求められるようになるので、技術職としてのプログラマーのキャリアが途絶える(マネージメント原因説) 以下、ひとつずつ検証していく。 体力低下説 まず1つ目の「体力低下説」だが、これについてはそれほど深く考る必要がなさそうに思える。周知の通り気力や体力には個体差があり、若くても元気がないひともいれば歳をとっても元気なひともいる。また、35歳あたりの体力低下の原因としては、単純な加齢というよりも生活習慣の要因の方が大きそ
Google が言う 「モバイルフレンドリー」 とは? モバイルフレンドリーテストツールで色々試してみた Google がモバイル検索の順位決定時に 「モバイルフレンドリー」 かどうかを重要なシグナルとして利用すると発表したことに関連して、そもそも Google は何を根拠に 「モバイルフレンドリー」 かどうかを判断しているのか、という点について調べてみました。 先週ですが、Google が Official Google Webmaster Central Blog で、2015年 4月 21日 (米国時間) から、モバイル検索の順位決定時に、その Web サイトが 「モバイルフレンドリー」 かどうかを重要なシグナルとして利用すると発表しました。 Finding more mobile-friendly search results : Official Google Webmaster
ソニーDNAさんの『入門!基礎からわかる「失敗しないWeb診断業者の選び方」』というブログ記事を読みました。 全体的に穏当な内容で異論はないのですが、興味深い内容なので、屋上屋を架すようですが少し追加して考えてみたいと思います。 私が特に注目したのは以下の箇所です。 2. 検査対象を適切に絞れるか? セキュリティ対策をくまなく実施できれば安心ですが、それは大きな費用がかかり現実的ではないというケースも多いでしょう。そのため、Web診断では検査対象を適切に絞り込むことが必要です。ログイン画面や課金機能、個人情報管理機能など、セキュリティ対策が特に求められる機能を重点的に検査するには、検査対象を明確にすることが重要になります。 上記の考え方は、脆弱性診断の現場でよく行われているもので、筆者もこれに従うことは多いのですが、検査対象の選定は重要なのでもう少し掘り下げて考えてみたいと思います。 脆弱
アニメ「ラブライブ!」絢瀬絵里役などで知られる声優の南條愛乃(30)が2月末をもって所属事務所「アミュレート」を退社したことが分かった。本サイトの取材に対し2日、事務所側が明らかにした。 南條の名前は現在、同社ホームページのタレント欄から削除されており、本サイトの取材に対し、事務所側は「2月末をもって退社しております」と退社を認めた。 具体的な退社の理由については「追って何らかの発表はあると思いますが、私どもとしては何も申し上げられません」とコメントを控えた。 南條は声優だけでなく歌手、さらに「ラブライブ!」から生まれたμ’s(ミューズ)の一員としても活動。今年1月には栄養ドリンク「エスカップ」のウェブCMに起用されたことでも話題となった。
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 企業の中で最も重要な資産の一つである“データ”の多くは1990年代以降、多くがリレーショナルデータベース(RDB)で管理されてきました。ところが最近のビッグデータの潮流の中で、インターネットやモバイル端末を利用する“モノのインターネット(Internet of Things:IoT)”のデータを取り扱う企業やウェブ系、一般企業で従来から利用しているRDBではなく、NoSQLを利用する企業が増えてきています。NoSQLが話題になるようになって数年経ちますが、今なぜNoSQLなのか、日本で利用者が増加しているオープンソースの主なNoSQL製品を研究しながら探っていきたいと思います。 今回、この企画をするにあたって、各ベンダーや各方面の専門家
Yahoo大企業だけあって普通。非エンジニア職の人事面接さえ通過できれば余裕。私服で大丈夫。 dwangoスーツは逆に浮く。なんだかんだ言ってWebテストは受けさせられるけどなんの参考にもしてなさそう。最終以外は現場のエンジニアが面接官なので適当に興味のある技術の話しとけば大丈夫。最終だけは多少圧迫(こっちの話に食いついてこない)というか「落とす」面接なので注意。 Pixiv説明会で社長の話聞いたら受ける気なくしたのでよくわからない。自分についてのキーワード100とか書かされる。 クックパッド自分も自分の周りも誰も通らなかったからよくわからない。Web上で簡単なプログラミングさせられるけど本当に簡単でなんで落ちたのかよくわからない。 サイバーエージェント女性人事が友達感覚で話しかけてきてアレ。技術の話より一発当たるサービスのアイデアみたいなの用意しといた方がいい。 DNA基本的に現場のエン
URLスキームは一度使ってしまうと手放せません。 その実装方法についてです。 URLスキームを使うことによって通知センターからアプリを起動したり、リマインダーアプリを用いて登録したりでき、URLスキームが必要なユーザーも一定数いるので出来る限り対応しておくべきだといえます。 まずはXcodeでカスタムURLを設定していきます。 Info>URL Typesにおいて登録をします。 上記の画像のように設定したのであれば 実機でビルドしてSafariのURLを入力する箇所にtaskey://(taskeyは各々のURLスキームに変更)と入力するとSafariから設定したアプリが起動するはずです。 URLスキームからアプリを立ち上げると - (BOOL)application:(UIApplication *)application handleOpenURL:(NSURL*)url; のメソッド
Send feedback Stay organized with collections Save and categorize content based on your preferences. The page you're looking for isn't available. The link you clicked was to documentation on the legacy version, Universal Analytics. Universal Analytics has sunset and is no longer available as of July 1, 2024. Visit the Analytics Learning Center to get started with the new version, Google Analytics
About This SiteGoogle Analytics Demos & Tools is a resource for users and developers to discover what's possible with the Google Analytics Platform. Learn how to implement GA and applications that can be built to take advantage of the flexibility and power of Google Analytics. The code for this entire site is open source and . We encourage you to take a look if you'd like to see how anything is do
結局3月からそのまま働くことにしました。 先日のエントリを書いて以来、本当に多くの方から声をかけていただきました。ありがとうございました。本来なら個別にご報告するべきところですが、ちょっと数が多くて厳しいので、このエントリをもって報告にかえさせていただきます。 またいろいろと話を伺う中で考えたことなどもあるので、そちらについては別途エントリを書くつもりです。 様々な話を聞いた上で、1月末の時点では自分でもわかっていなかったことがわかりました。最終的に重視したのは以下の点です。 技術ベンチャーであること ベンチャー企業として大きな成功を狙っていること、またそれが有望に見えること 優秀なプログラマが同僚に多いこと 退職エントリに書いた観点のほかに、この3点が今回の自分にとって重要だということは後から見えてきたことでした。 ということで Treasure Data に入社しました。Softwar
Stay ahead of the curve and become a better interface designer. With a Pttrns membership, gain access to thousands of curated mobile design patterns, get online advice, and connect with other designers from all over the world. What you get UX and UI Patterns Learn and follow industry best practices that can be applied to your app to help ensure the best user experience possible. App database Save
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く