2013-2014年の年末年始の連休を利用して開発したIT勉強会を網羅したアプリケーション『俺の勉カレ』を全面リニュアールしました！ 見た目はちょこっとしか変わっていないように見えますが、実は裏側はほぼすべて作りなおしましたw 今回はリニュアールの目的と、リニュアールでどんな技術を使ったのかを中心に紹介していきます。 🎉 リニュアールの目的 初期構築したアプリケーションでは、Microservicesのまねことみたいなことを夢想していて単機能ごとに6個のアプリケーションで構成されていました。 しかもかなりの運用工数がかかるような謎設計で、昔の自分の頭のなかがいかにお花畑だったかを思い知らされます。 こういった失敗を踏まえて、 * できるだけ運用が楽な仕組みにする * 運用工数を最小化できるような構成にする * 自分が興味のある勉強会を見つけやすくする を基本コンセプトに、裏側をほぼすべて

ノードのサイズを大きくする事で可能となるカーソルの数も増やせる様になり、クエリの同時実行についてもより大きなレベルで実行出来るようになります。もしワークブックから直接Redshiftに接続しているのであれば、Redshiftは十分な計算リソースとメモリ容量、更には十分なストレージ容量の結果を備えるようになり、結果としてクエリパフォーマンスの向上ときびきびとしたユーザーエクスペリエンスに繋がります。 クラスタののサイズをどのような内容にするのかについては、求めるワークブックの更新スピードとDWHに対するクエリの接続数を考慮して決定する事になります。もし多くのワークブックを同時に更新し、多くのユーザーが同時にクエリ接続を行える形を望むのであれば、高キャパシティのものを選びましょう。 データの暗号化 - 暗号化は慎重に 機密データを含む環境・ケースの場合、ディスクに格納されているデータの暗号化が

大きく振りかぶってから背中を打者に向ける、独特のトルネード投法で日米の野球ファンを魅了した野茂英雄氏。1995年、球界とマスコミによるバッシングが続くなか、当時在籍していた近鉄バファローズの年俸1億4000万円を蹴り、980万円のマイナー契約でロサンジェルス・ドジャーズへ移籍。その後、アメリカ全土で野茂フィーバーを巻きおこし、日本人選手がメジャーリーグで活躍できる道筋をつくった。 近鉄時代から、寡黙な印象のある野茂氏が、株式会社ワークスアプリケーションズ主催の『COMPANY Forum 2014』に登壇。「世界で戦うメンタリティ」をメインテーマとして、フリーアナウンサーの渡辺真理さんを相手に、野球人生を振り返った。 ■中学時代は全然イケてる選手ではなかった 渡辺：まずは、野球を始めたきっかけから教えてください。 野茂：小学2年生の時、親父がグローブを買ってきてくれたのが始まりです。僕は大

本日(2014/10/29：米国時間では2014/10/28)告知されたリリースノートにて、管理コンソールから実行中のクエリ及びロード処理のterminater(終了)処理が行えるようになりました。当エントリではその内容についてご紹介したいと思います。 Release: Amazon Redshift on 2014-10-28 : Release Notes : Amazon Web Services Redshift on 2014-10-28:Redshift introduces the ability to termin.. http://t.co/y8n0dDcWNV #awsuguk #aws #jawsug — AWSUpdate (@AWSUpdate) 2014, 10月 29 これまでの対応方法 これまでは、処理に時間が掛かっているSQLクエリやテーブルへのロード処理

私がよく使うコマンド集となります。 参考に頂けたら幸いです。 随時更新するかと思います。 コマンドを打つ前に覚えておく事 ①サーバに負荷がかかるコマンドを打つ場合、下記をコマンドの先頭に付けましょう $ ionice -c 2 -n 7 nice -n 19 # -c 2：ディスクI/Oの実行優先度をベストエフォートで実行 # -n 7：さらにこのコマンドの優先度を低くする # -n 19：プロセスの実行優先度を一番低くする

先日ご紹介した以下エントリと同じタイミングで、CREATE文及びDROP文に対してIF構文がオプションとして利用出来るようになりました。当エントリではその内容についてサラッとですがご紹介したいと思います。 Amazon Redshift: テーブル権限付与設定(GRANT/REVOKE)がON ALL TABLES IN SCHEMA指定で一括実行出来る様になりました ｜ Developers.IO Release: Amazon Redshift on 2014-10-16 : Release Notes : Amazon Web Services 目次 『存在していなければ作成(CREATE)する』IF NOT EXISTSオプション 『存在していれば削除(DROP)する』IF EXISTSオプション まとめ 『存在していなければ作成(CREATE)する』IF NOT EXISTSオプ

Amazon Redshift: テーブル権限付与設定(GRANT/REVOKE)がON ALL TABLES IN SCHEMA指定で一括実行出来る様になりました 以前のエントリでRedshiftのテーブルに対するアクセス権限付与設定について触れましたが、その当時は権限付与(GRANT)文/権限剥奪(REVOKE)文の対象が『テーブル1つ』だった為、仮にデータベーススキーマ内に10個テーブルがあった場合はその10個それぞれに対してSQL処理を実行しなければなりませんでした。 Amazon Redshift グループとユーザー、アクセス権の管理について ｜ Developers.IO ですが先日、Amazon Redshiftに対して告知されたリリースノードでこの部分が改善され、GRANT/REVOKE文の実行がより便利に・効率的に使えるようになりました。当エントリではその内容について御紹

先日2014/09/30に、弊社ブログの『AWS』カテゴリの記念すべき1000本目が投下されました！記念すべき1000本目は諏訪さんのCognitoエントリでした〜。(ﾊﾟﾁﾊﾟﾁ [Amazon Cognito] Facebook / Google / Amazon だけじゃない！独自の認証システムも利用可能になりました！ ｜ Developers.IO そこで今回は、少々前に投稿した『ブログ実績を見える化』を更に推し進める形で『AWSカテゴリ1000本の詳細を見える化』、『AWSカテゴリエントリを書いているメンバーのエントリ詳細を見える化』してみたいと思います。 クラスメソッド AWSチームのこれまでのブログ実績を見える化してみた ｜ Developers.IO 目次 可視化対象データ データの準備 Tableau Public 可視化ビュー一覧 AWS関連エントリの累計本数 エントリ

当エントリの内容は一部情報が曖昧な部分があります。 改善を加えたSQLスクリプトを以下エントリにまとめましたのでこちらをご参照ください。 Amazon Redshift: VACUUM処理が必要なテーブルを改めて洗い出す ｜ Developers.IO Amazon Redshiftに於いて、『VACUUM』という処理は重要な要素となっています。適宜タイミングを見計らって実施する事でテーブルの情報を整理しソートされ、結果としてアクセスに対するレスポンス向上も見込めます。一方でVACUUM処理自体に必要となるリソースも多くなる事から、実施タイミングについても業務時間やピークタイムを避けて行う等の対処が求められたりします。VACUUMの処理については範囲としては『クラスタ全体』『テーブル単位』のいずれか、処理の種類としては『DELETE ONLY』『SORT ONLY』『DELETE/SORT

Amazon RedshiftではPostgreSQL準拠に倣い、\zというコマンドでテーブルに設定されているユーザーやグループの権限を表示させる事が出来ます。 psql アクセス権の付与 Postgresqlメモ ただこのコマンド、一発で表示出来る一方で若干見辛い部分もあり(個人的な感想としてはそう思いました)、一覧性としては視認性に掛けるなぁと少々思っておりました。特に一番右の権限部分) cmtestdb-# \z Access privileges schema | name | type | access privileges ------------+---------------+-------+------------------------------------------ public | view_xxx | view | public | table_aaa | t

昨年2013年の11月、米国ラスベガスにて開催されたAWSのイベント『re:Invent 2013』には、弊社から総勢4名のエンジニアが参加、現地での活動(ブログを書きまくる)を実践し40本近いブログエントリを投下する成果を残しました。 AWS re:Invent 2013 ｜ シリーズ ｜ Developers.IO AWS re:Invent2013【保存版】全セッションを網羅！非公式まとめ ｜ Developers.IO そして時は流れ2014年10月。今年も同じ地で同じ時期に『re:Invent 2014』が開催されると言う事で、開催前の予習エントリを投下してみようと思います。 AWS re:Invent 2014 目次 re:Inventとは re:Invent 2014のスケジュール(概略) クラスメソッドからは計4名が参加します。 セッションの難易度について AWS re:I

第2回レポート： 『クレンジングからビジュアライズまで！実践！データ解析超入門！』 登壇者：近藤 康一朗氏 (株式会社電通 統合データ・ソリューションセンター データ・マネジメント部) そして今回第2回のレポートはこちらの近藤氏発表のセッションにフォーカスを当てて御紹介して行きたいと思います。 セッション発表時間は1時間、セッション枚数は70枚とこの時点でコンテンツの濃度としては結構なものがあったのですが、スライド1枚1枚も本人が当日の発表で断りを入れる程(駆け足で進めます／内容については資料を公開しますので後程じっくりお読みください、等)に情報量てんこ盛りな内容となっておりました。 当日の説明内容も比較的駆け足で進められていたので参加メモについてもざっくりな感じに留めておき、またオススメの書籍等のリンクを展開するに留めておきたいと思います。では以下メモ。 依頼主は『アウトプット』を求めて

一般社団法人 データサイエンティスト協会の主催するデータサイエンティスト協会 木曜勉強会#02｜IT勉強会ならTECH PLAY［テックプレイ］で講師をさせて頂きました。 情報学研究データリポジトリ ニコニコデータセットを使って、色んな分析をしています。 よろしければ、下記のslideを御覧ください。 勉強会資料 第二回データサイエンティスト木曜勉強会20141016 from Koichiro Kondo タブローのファイルはこちら。 Dropbox - Error 60MBくらいあります。 触ってみるためには、下記リンクからTableau Readerをダウンロードしてください。 Tableau Reader | Tableau Software キーワードで動画を絞ったり、カテゴリ別の動画の詳細なデータを調べたりすることが出来ます。 スライドのp53,p56が利用法、説明になります。

Tableau Tips: HTMLのドロップダウン間連携をクイックフィルタで実現し、条件の絞り込みを行う HTMLのselectタグで構成される『ドロップダウン(drop down)』要素を復数連携させた『ドロップダウン連携』(※調べてみると、どうやらカスケード ドロップダウンという呼び名らしいです)は、選択肢の絞り込み処理などを行う上ではとても便利な要素となっています。(※例を挙げると、『地域』と『都道府県』が連動しており、『地域』で"関東地方"を選択すると『都道府県』の要素が全都道府県から関東地方の県のみ表示される形となる、アレですね。) Tableauでも要素を絞り込むパーツとして『フィルタ(クイックフィルタ)』というものがありますが、この『カスケードドロップダウン』の様な機能をTableauでも実現する事が出来るのです。当エントリではその方法について、簡単ではありますが実際にデー

更新版がこちらにありますので、こちらもぜひご覧ください。 これからAmazon Redshiftを始める技術者が注意すべき２２つのポイント Amazon Redshiftを使った実案件を経験してこれは注意したほうがいいなというポイントをまとめました。自分が経験した範囲で書いているので多少偏っているかもしれませんが、参考になれば幸いです。データウェアハウスって何？という方は以前入門記事を書きましたのでこちらの記事をご覧ください。 気軽に始めてみよう！クラウド時代のデータウェアハウス超入門 注意事項一覧 PostgreSQLと違う点に注意！ １件ずつINSERTするととても遅いので注意！ 主キー制約、一意制約、外部キー制約は違反してもエラーにならないので注意！ COPYコマンドは全件INSERTなので注意！ CSVでアップロードする場合の注意点！ サポートしているデータ型に注意！ エンコーディ

AWSではPythonはEC2環境にデフォルトで導入されていますし、AWS CLIもPython環境の上に成り立っています。そういう意味ではAWSを扱う人に取ってはPythonは割と身近な言語であると言えるでしょう。 そんな私もAWS CLIは普段使いしておりますが、何気にその他の環境...Pythonそのものであったり、データ分析等で使う(使える)ような各種ライブラリについては未知の分野が多いです。そこで当エントリでは、EC2上でPython環境、主にデータ分析周りのPython環境やライブラリを整える手順についてまとめて行きたいと思います。 目次 EC2環境の準備 Python2.7へのアップグレード AWS CLIのアップグレード Beautiful Soup IPython pandas scikit-learn(numpy/scipy/scikit-learn) PuLP Sim

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

【10/17（木）】認証機能の開発工数削減をデモで体験！次世代認証基盤サービス『Auth0 by Okta』導入実践ウェビナー 【10/16（水）】生成AIスキルや経験ゼロからのスタート：業務や案件で生成AIに携わるために何をやってきたか、実践内容をもとにご紹介します。

先日2014/09/08から2014/09/12までの5日間で、米国シアトルにて行われたBIツールイベント『Tableau Conference 2014』には世界各国から総勢7000人(Tableauユーザー5500人＋Tableau社社員1500人)が集い、非常に盛り上がったものとなりました。当エントリではそのイベント5日目/最終日の模様をお送りすると共に、イベントレポートに関するまとめとして全体と振り返ってみたいと思います。 Tableau Conference 2014 | Seattle, Washington September 8–12 Tableau Conference 2014 at Seattle ｜ シリーズ ｜ Developers.IO Tableau Conference 2014 at Seattleに参加してきます #data14 ｜ Developers

先日2014/09/08から2014/09/12までの5日間で、米国シアトルにて行われたBIツールイベント『Tableau Conference 2014』には世界各国から総勢7000人(Tableauユーザー5500人＋Tableau社社員1500人)が集い、非常に盛り上がったものとなりました。当エントリではそのイベント4日目の模様をお送りしたいと思います。 Tableau Conference 2014 | Seattle, Washington September 8–12 Tableau Conference 2014 at Seattle ｜ シリーズ ｜ Developers.IO Tableau Conference 2014 at Seattleに参加してきます #data14 ｜ Developers.IO 『Tableau Conference 2014』開催に先立って