Amazon Redshift conceptual overview - Amazon Redshift
Amazon Redshift Serverless lets you access and analyze data without all of the configurations of a provisioned data warehouse. Resources are automatically provisioned and data warehouse capacity is intelligently scaled to deliver fast performance for even the most demanding and unpredictable workloads. You don't incur charges when the data warehouse is idle, so you only pay for what you use. You c
SQL Workbench/J - Home
If you are a member or voter of the following political parties or agree with their despicable and inhumane political views, you are NOT WELCOME to use my software. AfD (Germany)Werteunion (Germany)Die Heimat (Germany)Die Basis (Germany)Freie Wähler (Germany, Bavaria)BündnisDeutschland (Germany)CDU aka "AfD mit Substanz" (Germany)CSU (Germany, Bavaria)FPÖ (Austria)Prawo i Sprawiedliwość (Poland)Fi
日記/2013-07-26/ニコニコデータビューアー向けテーブルスキーマ - ShibaPuki
2013-07-30 雑記帳2013-07-29 日記/2013-07-26/ニコニコデータビューアー向けテーブルスキーマ2013-07-26 日記/Category/ニコニコ動画 hadoop 日記/2013-07-262013-07-22 日記/2013-07-22/888888を含むコメント数の推移 日記/2013-07-22 日記/Category/hadoop,ニコニコ動画2013-07-21 日記/2013-07-21/Hive-WebInterFaceのShibを導入する 日記/Category/Hive Hadoop 日記/2013-07-212013-05-19 Profile2013-05-05 日記/2013-05-05/Cloudera-ImpaladにODBCで接続する-CentOS 日記/Category/UNIX Hadoop Impala 日記/2013-0
jq
jq is a lightweight and flexible command-line JSON processor. jq is like sed for JSON data - you can use it to slice and filter and map and transform structured data with the same ease that sed, awk, grep and friends let you play with text. jq is written in portable C, and it has zero runtime dependencies. You can download a single binary, scp it to a far away machine of the same type, and expect
Amazon Redshiftではじめるビッグデータ処理入門 記事一覧 | gihyo.jp
第5回Amazon Redshiftのアーキテクチャ ～スケーリングとリストアを試してみよう 宮崎真，藤川幸一 2013-06-10
hiveの一番シンプルなインストール方法
hiveを現時点で最も簡単にインストールする手順の解説です。 Cloudera社が公開してるパッケージを使ってインストールします。 質問や間違い指摘は何でもご連絡ください(^^) @ts_3156 hiveはhadoopを簡単に使うためのツールです hiveとは、hadoopにおけるMap/Reduce(以下、M/R)処理をHiveQL(hive版のSQL)で書くことができるツールです。 HiveQLは、少なくともM/R処理の直書きよりはとても簡単です。なので、簡単にhadoopを使いたい人はまずhiveを使ってみると良いと思います。 例えば、PV/UUの集計は以下のクエリだけで出来ます。 use [db_name]; SELECT url, -- 集計したいHTMLのパス count(1) pv, count(distinct user_id) uu FROM [db_name].[ta
Cloudera Managerを使って、hadoop、hive等をEC2の複数台のサーバーにインストールする方法
Cloudera Managerを使って、hadoop、hive等をEC2の複数台のサーバーにインストールする方法の解説です。 この記事の対象者はこんな人たちです。 HadoopやHiveをユーザーとして使いたい人 自前のサーバーへ導入する前に試しに触ってみたい人 EC2へのインストールが何故か失敗する人(ハマりポイントが多いです…)
「カジュアル」な規模のデータクラスター上でのデータ解析処理 « NAVER Engineers' Blog
今年はさだまさしさんのデビュー40周年ということで、記念コンサート「さだまつり」も絶賛開催中の折も折、残暑も厳しい中皆様いかがお過ごしでしょうか。大平です。 さだまさし氏は経験の豊富な方ですので彼の歌や発言から学ぶことは大変多いのですが、個人的に非常に感銘を受けているのは「歌はコンサートで成長する」という言葉です。歌い手として、「歌」という作品を作って公開・販売するだけが仕事ではなく、実際にコンサートなどでお客さんに届け、お客さんの反応を参考にしたり日々の演奏活動の中で試行錯誤を繰り返して、内容をブラッシュアップし洗練させていく過程を指して先の言葉があるのだと思います。実際にさだまさし氏の曲はCDに収録されているものと実際にライブで演奏されるものとでアレンジが大きく異なり、かつ作品としても質が向上しているものが少なからず存在します。 …あまりさだまさしの話を続けると本当に上長に叱られますの
ニコニコ動画の大規模なデータに対するタグ付けとリンク解析 - 武蔵野日記
ニコニコ動画データ分析研究発表会というのが開催されていたようだ。 タイトルや説明文はノイジーなので、動画につけられたタグを使うと割ときれいなデータとして可視化したりできる、という話は、はてなブックマークの関連エントリー機能のときも聞いたような話で、基本的にはインターネットユーザに無料でデータのタグ付けをしてもらっている、という話なんだろうな、と思う。以前紹介したRion Snow の論文 (彼は2005年に Microsoft Research でインターンし、2006年に Powerset (現在は Microsoft に買収済み)、2007年には Google でインターンした人物。ACL という自然言語処理のトップカンファレンスで2006年にベストペーパー受賞)で、 今年の Rion Snow のトークは、Amazon Mechanical Turkというシステムを使って、非常に安価
Google Analytics リアルタイムのAPIが公開された。 | A!@attrip
Google Analytics リアルタイムのAPIが公開された。ブログやサイトを運営しているひとは、常にリアルタイムアクセス解析を見続けている人も多いんじゃないかな？ぼくもどこかで必ず開いている状態です。なんと、APIで取得出来るようになりました。APIを使うには、まずこちらのフォームに入力してください。Real Time Reporting API Private Beta https://docs.google.com/forms/d/1qfRFysCikpgCMGqgF3yXdUyQW4xAlLyjKuOoOEFN2Uw/viewformAPIs Console Project Number *というのを聞かれたらこちらから取得してください。 https://code.google.com/apis/console/b/0/#project:21385739089 現在βテスト中
TPP著作権保護期間延長論頂上決戦=2013.8 最新版=
TPP交渉参加により、著作権保護期間が現状の著作者死後50年から70年に延長されるという動きがあります。知財法関係者の多くがこの延長論に異議を唱えるなか、我が国における知財法最高権威のひとつである東大先端研（知財法）玉井教授が「（延長は）たいした問題ではない」と発言。 この発言に対し、ツイッターにおける著作権クラスタが猛然と反論。我が国の著作権法はどこへ向かうのか？ 玉井教授の真意は？ インテリゲンツィアたちのやり取りをお届けします。 【大事なお知らせ】 本「まとめ」にて提案された、玉井克哉先生と福井健策先生の討論会は、2013年11月１日に六本木泉ガーデン13F 「情報通信学会・情報知財研究会」にて実施されました。残念ながら動画中継はされませんでしたが、詳細な発言ログは下記をご参照ください。 続きを読む
「ISUCON 夏期講習」のサーバ環境のつくりかた - blog.nomadscafe.jp
秋に第三回が開催されるISUCONですが、学生さん限定で「ISUCON 夏期講習」が開催されました。イベントは、tagomorisからWebアプリケーションについての座学を行ったあとに、ISUCON2の問題にチャレンジしてみるという内容でした。 参加者の中にはWebアプリケーションの開発・運用を既にやっている方もいましたが、それ以外の方にとっては、普段からプログラミング言語に触れていても、サーバの設定やデータベース・Webアプリケーションのチューニングといったものは未知の世界で、何から手をつけて行ったら良いかわからず、苦労していた方が多かったように感じました。 今回の「ISUCON 夏期講習」では、ISUCON2の問題に取り組む環境としてEC2の仮想サーバを用意しました。参加者には事前に環境を構築してもってきてもらうという予定でしたが、ノートPC上の仮想サーバなどでは性能が出にくく難しいだ
「ソニー復活へ」大人気25万円デジカメ作った男たち（フライデー） @gendai_biz
現代ビジネスプレミアム会員になれば、 過去の記事がすべて読み放題！ 無料1ヶ月お試しキャンペーン実施中
AWS News Blog
Announcing Amazon Managed Service for Apache Flink Renamed from Amazon Kinesis Data Analytics Today we are announcing the rename of Amazon Kinesis Data Analytics to Amazon Managed Service for Apache Flink, a fully managed and serverless service for you to build and run real-time streaming applications using Apache Flink. We continue to deliver the same experience in your Flink applications without
AWS News Blog
Add your Ruby gems to AWS CodeArtifact Ruby developers can now use AWS CodeArtifact to securely store and retrieve their gems. CodeArtifact integrates with standard developer tools like gem and bundler. Applications often use numerous packages to speed up development by providing reusable code for common tasks like network access, cryptography, or data manipulation. Developers also embed SDKs–such
AWS News Blog
Add your Ruby gems to AWS CodeArtifact Ruby developers can now use AWS CodeArtifact to securely store and retrieve their gems. CodeArtifact integrates with standard developer tools like gem and bundler. Applications often use numerous packages to speed up development by providing reusable code for common tasks like network access, cryptography, or data manipulation. Developers also embed SDKs–such
AWS News Blog
Announcing Amazon Managed Service for Apache Flink Renamed from Amazon Kinesis Data Analytics Today we are announcing the rename of Amazon Kinesis Data Analytics to Amazon Managed Service for Apache Flink, a fully managed and serverless service for you to build and run real-time streaming applications using Apache Flink. We continue to deliver the same experience in your Flink applications without
AWS News Blog
Announcing Amazon Managed Service for Apache Flink Renamed from Amazon Kinesis Data Analytics Today we are announcing the rename of Amazon Kinesis Data Analytics to Amazon Managed Service for Apache Flink, a fully managed and serverless service for you to build and run real-time streaming applications using Apache Flink. We continue to deliver the same experience in your Flink applications without
mrubyのmrb_gc_arena_save()/mrb_gc_arena_restore()の使い方 - Matzにっき(2013-07-31)
<< 2013/07/ 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 1. mrubyのmrb_gc_arena_save()/mrb_gc_arena_restore()の使い方 >> _ mrubyのmrb_gc_arena_save()/mrb_gc_arena_restore()の使い方 Twitterで質問を受けたので、 mrubyのmrb_gc_arena_save()／mrb_gc_arena_restore()の使い方 という解説を行った。が、１つ１４０文字のTwitterでの解説にはどうしても無理があるので、 こっちでまとめることにする。 まずは、Twitterの発言*1はこんな感じ。 arenaの目的。利用中のオブジェクトはGCに回収されないよう保護
これはコミュニケーション依存では？ - 発声練習
ポケベルでひっきりなしに連絡を送りあう。携帯電話の定額制がでてひっきりなしに電話しつづける。携帯メールし続ける。今、ネット。 NHK；ネット依存の中高生 ５０万人超に インターネットのゲームやメッセージのやり取りを自分の意志でやめられないといった、いわゆる「インターネット依存」になっている中学生と高校生は８．１％に上り、全国で５０万人を超えるという推計を、厚生労働省の研究班が公表しました。 厚生労働省の研究班は、ことし３月までの半年間、全国の中学生と高校生合わせて１４万人にアンケート調査を行い、このうちおよそ１０万人から回答を得ました。 インターネット依存症は、診断の定義はありませんが、研究班は「ネットの使用時間を減らしたりやめようとしたりしたが、うまくいかなかったことがあるか」や、「ネットのために大切な人間関係を台なしにしたり、危うくしたりすることがあったか」など、８つの質問に５つ以上当
Pressman「実践ソフトウェアエンジニアリング」のコミュニケーションの原則が深い - 発声練習
ロジャーS.プレスマン：実践ソフトウェアエンジニアリング-ソフトウェア, 第5版 翻訳版の pp. 78 - 79にあるソフトウェア開発の初期作業であるコミュニケーションの中心的原則（core principle）が深い。ソフトウェア開発でなくても、相手から要望を聞き出して、一緒に何かを作るという作業には役に立つと思うので転載。なお、英語は第7版改訂版（英語）より抜粋。 原則1：自分が話すよりも相手の話を聞け（Liseten.） 原則2：コミュニケーションの前に準備せよ� （Prepare before you communicate.） 原則3：進行役を設ける �（Someone should facilitate the activity.） 原則4：顔を合わせたコミュニケーションが最善である�（Face-to-face communication is best.） 原則5：メモをと
EMET 4 日本語版ユーザー ガイドを公開しました - TechNet Blogs
If you were looking for MSDN or TechNet blogs, please know that MSDN and TechNet blog sites have been retired, and blog content has been migrated and archived here. How to use this site Archived blogs are grouped alphabetically by the initial letter of the blog name. Select the initial letter from the TOC to see the full list of the blogs. You can also type the name of the blog or the title of the
30～50代に熱烈に支持されたややシニア寄り!? “電子ノート”新モデルの逆襲
30～50代に熱烈に支持されたややシニア寄り!? “電子ノート”新モデルの逆襲：シャープ「電子ノート」開発秘話（1/3 ページ） 手書きにこだわったシャープの電子ノートに新モデル「WG-N20」が登場。期せずしてシニア層の掘り起こしに成功する結果となったこの製品は、どんな進化を遂げたのか。開発担当の西宮健司氏に聞いた。
「Google 災害情報」に台風警報などを追加しました
メディア関係者向けお問い合わせ先 メールでのお問い合わせ: pr-jp@google.com メディア関係者以外からのお問い合わせにはお答えいたしかねます。 その他すべてのお問い合わせにつきましては、ヘルプセンターをご覧ください。
天空の城ラピュタが「秒間ツイート数」で世界新記録 1秒に2万5000ツイート
12月9日の「天空の城ラピュタ」テレビ放送時に、Twitterの秒間ツイート数が新記録を達成した。Twitterが公式に発表した。 Twitterからの発表 Twitterが14日に明らかにしたところによると、ラピュタ放送中、1秒間に2万5088件の投稿が記録されたという。同社はどの場面での記録なのかには触れていないが、バルスのシーンと考えていいだろう。ツイート数をサンプリング測定しているサイトtweetcounterによると、9日午後11時22分ごろ（バルスのシーン）でツイート数の急増が観測されたという。 これまでの秒間ツイート数の最高記録は、8月のビヨンセ妊娠発表の8868件だった。 一部のユーザーは、バルスの直後、Twitterで一瞬クジラ（Twitterが停止したときに表示されるクジラのイラスト）が表示されたと報告した。落ちなかったというユーザーもいた。 関連キーワード 天空の城ラ
Twitterブログ: 今年の「あけおめ」のツイートは…
Twitterの2013年は新しい記録とともに始まりました。世界各地での1秒あたりのツイート数はこちらの図をご参照下さい。これまでの「バルス」の記録を塗り替えたのは日本でした。 初日の出 めでたい！ RT @sadashima117: 初日の出、ダブルダイヤモンド富士^^ #fujisan #mysky twitter.com/sadashima117/s…— 富士山周辺トラベルガイドさん (@fujisanshuhen) 1月 1, 2013 福島県いわき市平薄磯の初日の出。水平線から昇る朝日は残念ながら雲覆われ見れませんでしたが。雲の上から。多くの人たちが薄磯に来ていました。去年3月11日以来の人出だったと思います。 twitter.com/tomotakaenter/…— 高橋智裕さん (@tomotakaenter) 1月 1, 2013 お雑煮 お雑煮いただきます！(ナωノ) t
MDM
スマートフォンなどの携帯情報端末を遠隔から管理する仕組み。アプリケーションのダウンロード状況や利用実態を確認したり、特定機能の動作を制限したりできる。 スマートフォンの業務利用は拡大の一途をたどっていますが、それに伴って企業はセキュリティーの確保という新たな課題に直面しました。ひとたび端末を紛失すれば、情報漏えいのリスクにさらされるからです。 ノートパソコンに比べて小型で持ち運びやすいスマートフォンは便利な半面、紛失や盗難などのリスクも高いといえるでしょう。私物の端末を業務でも使う「BYOD（Bring Your Own Device）」を“解禁”する企業まで出始めていますが、どこまで認めるかも悩みの種です。 これらの課題を解決するのに一役買いそうなのが、端末を遠隔操作したり、一元管理したりできるMDM（モバイルデバイス管理）です。情報漏えい対策は起きてからでは遅いため、MDMの導入はスマ
plenv + cpanm + cartonでPerlの環境を構築した(OSX版)
[2013-07-17-1] のOSX(Mountain Lion)版です。こっちはめっちゃ簡単。 brewでplenvとperl-buildをインストール % brew install plenv % brew install perl-build あとはUbuntuと同じようにperl+cpanm+cartonをインストール % plenv install 5.18.0 -Dusethreads % plenv global 5.18.0 && plenv rehash && rehash % plenv install-cpanm % plenv exec cpanm Carton P.S. 入れたは良いけど、OSXでPerl使わないなーと思ってたら、chalow(このブ ログを生成するツール)で使ってた。てか、HTML::Templateがなくて chalowを実行出来なくなってい
いろいろなツールをplenvに移行した - $shibayu36->blog;
最近はplenvを使うべきって感じだったんだけど、promptとかemacsとかを対応させるのがちょっと面倒でサボっていた。そろそろやばいと思ったので全部plenvに移行した。 インストール macだったらbrewで提供されているので入れる。https://github.com/tokuhirom/plenv を参考に。 $ brew update $ brew install plenv $ brew install perl-build $ plenv install 5.14.2 # お好みのperl入れる $ plenv shell 5.14.2 $ plenv install-cpanm promptに現在利用しているperlのversionを出力する 以下のように、promptにperlのversion出てるとうれしいのでそういう感じにする。 plenv version-nam
HBFav2 をリリースしました - naoyaのはてなダイアリー
http://hbfav.bloghackers.net/ 1年以上前に HBFav という、はてなブックマークの「お気に入り」を読むための iOS アプリを作ってリリースしましたが、今回一から実装し直してバージョン 2.0 という形で先ほどリリースしました。App Store からダウンロード可能です。 HBFav って? HBFav は、はてなブックマークで「お気に入り」に追加している、すなわちフォローしているユーザーのブックマークやコメントをタイムラインのようにして閲覧するアプリです。個人的にはてなブックマークで最も重宝しているのがお気に入り機能で、そのユースケースを中心にしたアプリが欲しくて作ったというのが元々の動機でした。 なんで作り直したの? バージョン 1.0 はあまり時間の無い中コンセプト優先で作ったということもあってお世辞にも品質が良いとは言えない代物でした。重たいし、落
Developers Summit 2013 Summer で Devops の話を十二分に聞けてとてもタメになった！ #natsumi - #garagekidztweetz
ツイートDevops の理解を深めたいなぁと思っているところに、今回 Devops と Mobile をテーマにした Developers Summit が開かれることを知ったので、いい機会だと思い参加して来ました。 まず、Developers Summit 2013 Summer 開催情報は以下のとおりでした。 名称：Developers Summit 2013 Summer （夏サミ2013） 会期：2013年8月1日（木） 会場：ベルサール渋谷ファースト（東京・渋谷） http://www.bellesalle.co.jp/bs_shibuyafirst/access.html 受付場所：総合受付（2F） ちなみに参加した感想ですが、とても満足のいく内容でした。自分の Devops の理解が間違っていないことを確認できたので。 そして、Developers Summit は長いこと開
何から手をつけていいか分からない人のためのレポート作成の穴埋め表：深く再利用できる読みのために
レポートを書く前に知っておくべきこと。 大学では、あなたが何を知っているかよりも、知らないことにどのように対峙したかが評価される。 これは、大学が知識を生み出す場である場所である以上、不回避なことである。 そして時間のスパンを少し長めにとれば、この基準は、知識を持っている者を評価することにもなる。 知らないことに真摯に対峙する者は、自分の今の知識にしがみつく者よりも、最終的にはよく知る者になるからだ。 しかしこれだけではあまりに抽象的だから、ノウハウのレベルに落としこむことを考えよう。 以下に、組織的に問いかけることで、大学の課題のレポートを作成する方法について説明する。 この方法はまた、文献を再利用可能な形で深く読むためのノウハウでもある。 マトリクスで問う 以前、文章を書くのがとことん苦手な人のための・・・という記事で「なか１・２→まとめ→むすび→はじめ」で考えるという、小学生のための
Ginger 英文チェッカー
Ginger Pageとは？ 英文でのビジネスメールやSNSなど、毎日の英語に必要な翻訳や英文校正の機能がワンクリックで実行できます。 さらに、類語検索や復習機能もワンクリックで使えて英語の学習にも最適です。 ＜8つの機能＞ Write （文法・スペルチェッカー） Translate （翻訳） Define （辞書） Synonym（類語検索） Favorites（お気に入り） Personal Trainer（復習） Phrase of the day（今日の英語） Personal Dictionary（マイ辞書）> ※Android版には、予測変換機能、キーボード搭載, iOS版には、キーボード搭載 Ginger Pageの特長 Ginger Pageは、世界で最もダウンロードされているマルチ英語ツールです。 必要な機能がすべて 翻訳や英文チェッカー、辞書機能、類語検索など、Ging
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon Elastic MapReduceの使い方─Hadoopより手軽にはじめる大規模計算 記事一覧 | gihyo.jp
Amazon EMR 入門 - Amazon Elastic MapReduce
Amazon EC2 Technical FAQs : Articles & Tutorials : Amazon Web Services
Remote Work and Remote Jobs
お探しのページは移転しました | takemikami's note
Lucene 4.2のJapaneseAnalyzerで形態素解析 - リングリンクリレー
Interactive Reading Community (Ver.6)
SSSSLIDE
高校生のスマホ保有率は55％、LINEとTwitterの利用率が半数超え 
「すべてのネットサービスで異なるパスワードを」、IPAが対策を呼び掛け 
Ruby が分数と複素数のリテラル表現をサポートしたよ〜 - 恒温動物の生活ログ
https://co-akuma.directorz.jp/blog/2013/07/ecc%E7%89%88ssl%E8%A8%BC%E6%98%8E%E6%9B%B8%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB%E4%BD%93%E9%A8%93%E8%A8%98%E3%81%9D%E3%81%AE3/
https://co-akuma.directorz.jp/blog/2013/07/ecc%E7%89%88ssl%E8%A8%BC%E6%98%8E%E6%9B%B8%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB%E4%BD%93%E9%A8%93%E8%A8%98%E3%81%9D%E3%81%AE2/
https://co-akuma.directorz.jp/blog/2013/07/ecc%E7%89%88ssl%E8%A8%BC%E6%98%8E%E6%9B%B8%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB%E4%BD%93%E9%A8%93%E8%A8%98%E3%81%9D%E3%81%AE1/
AWS News Blog
団塊、バブル、ゆとり、さとり…などなど、○○世代の特徴 | ニコニコニュース
IDEA * IDEA
つぶやきビッグデータで見える人々のシンクロ、米Twitterが“パルス”可視化 
英文チェッカー「Ginger」、学習不要でネイティブ級のフレーズが書ける機能 