Amazon Redshift のチュートリアル - Amazon Redshift
このチュートリアルでは、Redshift Spectrum を使用して、ネストデータにクエリを実行します。Redshift Spectrum では、ファイル形式が Parquet、ORC、JSON、Ion のデータにクエリを実行できます。 このチュートリアルでは、手動ワークロード管理 (WLM) キューを使用するように Amazon Redshift を設定します。Amazon Redshift は、同時実行クエリを実行するためにリソースの分割方法を管理する場合は、WLM キューを使用します。複数の WLM WLM キューを使用する必要がある場合は、手動 WLM を使用するように Amazon Redshift を設定する必要があります。
How to Migrate Your Oracle Data Warehouse to Amazon Redshift Using AWS SCT and AWS DMS | Amazon Web Services
AWS Database Blog How to Migrate Your Oracle Data Warehouse to Amazon Redshift Using AWS SCT and AWS DMS Shree Kenghe is a solutions architect at Amazon Web Services. This blog post gives you a quick overview of how you can use the AWS Schema Conversion Tool (AWS SCT) and AWS Database Migration Service (AWS DMS) to help you migrate your existing Oracle data warehouse to Amazon Redshift. Amazon Red
かずき師匠にクソコードをレビューしてもらった学び ーリファクタリング編 - Qiita
かずき師匠にいつもたすけてもらっているが、今日も自分で書いたコードをかずき師匠にレビューしてもらった。自分で学んだ新しいこともあるし、ここに記録していつでも実行できるようにしておきたい。 お題 こんな感じの Extension メソッドがあり、これがあると、同時実行数を制御しながら並列実行できる。ところが、お客様の要件としては、重い処理の大半が並列作業だが、順序実行が必要な軽い処理がある。どうするか？というお題を解く必要があった。 public static async Task ParallelForEachAsync<T>(this IReadOnlyList<T> items, int maxConcurrency, Func<T, Task> action) { using (var semaphore = new SemaphoreSlim(maxConcurrency)) {
AUTO_INCREMENT の上限まであとどれくらいかを調べる SQL
MySQL の AUTO_INCREMENT 属性を使っている場合、整数型の上限に達しないか注意する必要があります。たとえば INT 型だと約 21 億 4700 万、unsigned が指定されていると倍の約 42 億 9400 万が上限です。 MySQL :: MySQL 5.7 Reference Manual :: 11.2.1 Integer Types (Exact Value) - INTEGER, INT, SMALLINT, TINYINT, MEDIUMINT, BIGINT 上限に達する前により大きな型にマイグレーションしなければなりませんが、そのためには上限まであとどれくらいかを調べる必要があります。各テーブルで LAST_INSERT_ID() を叩けば最後に生成された AUTO_INCREMENT の値を取得できますが、すべてのテーブルを網羅的に調べる必要がある
Spark(Java)で"Hello World !" on Eclipse - Qiita
最近なんだかSparkっていうのがすごいらしい。 ちょっと試してみたいけどHadoopクラスタとか組むの大変だし。。。 と感じている方も多いのではないでしょうか。 大丈夫です。SparkはローカルPC上でもちゃんと動きます。 今回はEclipseでSparkアプリを開発、実行する手順を紹介します。 もちろん普通のJavaアプリケーションと同様にデバッグ(ステップ実行)することもできます。 OSはWindows10で説明しますが、MacやLinuxでもほとんど同じ手順でいけると思います。 (そもそもOSやEclipseについては詳しく説明していません) まずは定番(？)の｢Hello World !｣をコンソールに表示するSparkアプリケーションを書いて動かしてみましょう。 【1】 インストール ローカルPC(Windows 10 Home 64bit)上に開発環境をインストールします。
Apache Sparkのカレンダー | Advent Calendar 2015 - Qiita
Apache Spark の Advent Calendar です． 初学者向けからディープな話まで Spark に関係する話はどんなものでも歓迎です．
Apache Spark 1.6 Dataset APIをいち早く試してみる - Qiita
Apache Spark 1.6から新しく追加されたDataset APIを試してみる。 2015/12/14現在まだリリースされてないが、年内中にはリリースされるはず。 背景 RDDはLow Level APIで、としてフレキシブルだが、最適化が難しい （Spark 1.3から登場した）DataFrameはHigh Level APIでオプティマイザーが最適化してくれるが、フレキシブルさがない。特にUDFの使い勝手が不便なところや型チェックに弱い Dataset API 登場 上記の問題を解決するためにSpark 1.6から実験的（Experimental）に登場したのがDataset APIである RDDとDataFrameの良いところを併せ持つAPIとして開発されています。つまり、早くて使い勝手のよいAPIだと言えます。 画像はhttp://technicaltidbit.blogs
1人でHadoopの話をするのカレンダー | Advent Calendar 2016 - Qiita
About reserved postingIf you register a secret article by the day before the same day, it will be automatically published around 7:00 on the same day. About posting periodOnly articles submitted after November 1 of the year can be registered. (Secret articles can be registered anytime articles are posted.)
Gradleで陥りやすい問題点の解決策TIPS集 - 猫好きモバイルアプリケーション開発者記録
今回はGradleでよくハマるであろうポイントを集めたTIPSを11個紹介します。 01. 依存関係のバージョンが指定されたものにならない MavenからGradleへ移行した場合、おそらく誰もが最初に陥る問題かと思います。 端的に言うと、Mavenの pom.xml で指定したままの依存関係の設定をそのまま build.gradle へ移したとしても 最終的に取得される依存関係は殆どのケースで同じにはなりません。 これは「推移的依存関係」によって同じライブラリが存在した場合に優先されるバージョンがMavenとGradleでは異なるために起こります。 推移的依存関係とは簡単に説明すると、ある依存関係がさらに依存する関係のことを言います。 MavenでもGradleでもそれらを自動的に取得しようとしますが、 それらの中で使っている依存関係のgroupIdもartifactIdも同じだがバージ
見積もりについて勉強したことを色々スライドにしてみた - だいたいよくわからないブログ
見積もりについて思ってることとかをまとめてみました。 マネージメントの実戦経験というよりソフトウェア開発手法について学んだ結果のアウトプットみたいなノリでみていただければ幸いです。 社内勉強会で話したので会社のスライド使ってますが、会社が今こうというわけではなく一般的な話にとどめています。（あとstudy_lean_agileっていう名前の勉強会なんですが、このスライドはリーンもアジャイルもあまり意識していません） 前半は自分なりの考え方、後半は具体的にはこうしたらいいんじゃないかと思っていることという風に分けています。 誰のための見積もり・何のための見積もり part1 from matsu_chara Matsubayashi www.slideshare.net 誰のための見積もり・何のための見積もり part2 from matsu_chara Matsubayashi www.s
お客様から「日本にサマータイムを導入したいんだけど」と言われたらプログラマとしてどうすべきか？ - give IT a try
はじめに 東京オリンピックを2年後に控え、日本のIT業界に突然降って湧いた「日本でもサマータイムを導入するかも？」という問題。 この話、数日経てば「そんなのうそぴょーん」とか「すいません、前言撤回します」みたいなオチで終わるだろうと思ってたのですが、このブログを書いている時点ではそういう気配はなく、むしろ前向きに検討しているような雰囲気で「おいおいおい！」と思っております。 こんな「ピカーン💡いいこと思いついちゃった！」的なノリで突然サマータイムを導入するのが、技術的にどんなに無茶な話なのかは、他の専門家のみなさんが論じてくれているのでここでは書きません。 そのかわりに、もしこんな話が僕が勤めている株式会社ソニックガーデンの「納品のない受託開発」で巻き起こったら僕はどんな対応をするか、という思考実験をしてみようと思います。 前提知識：「納品のない受託開発」の開発スタイルについて 「納品の
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
hadoop-s3a/README.md at master · Aloisius/hadoop-s3a
hadoop - 違い - s3a aws
増田 亨． on Twitter: "Validator クラスなんて考えたこともなかった。 Calculator, Builder, Manager,Reader, Writer,... 最後に -er や -or がつくのは、クラスの設計として、初歩的な避けるべき設計なんだよなあ。 関心事の焦点がずれている。"
outward-matrix.com