【メモ2019/12/24。2019年末になっても本記事に「イイね」や「ストック」して頂きありがとうございます。以下の内容に基本は変わりませんが、Python 3.x、Julia 1.x の時代ですので、最新状況を追っていただくようにお願いします。 】 Jupyter Advent calendar 2016 12日目の記事です。 Jupyter で 3Dグラフィックスを表示できます。Python の Mayavi ライブラリを使います。 Mayavi は、Python用の 3次元グラフィックス表示ライブラリです。科学技術分野の可視化を念頭に開発された vtk をグラフィックスエンジンとしています。デモを見て頂くと、どのような絵が描けるか分かるでしょう。-> デモ, MRI example お膳立て Mayaviライブラリの出力を Jupyter で表示するためには、以下の二つの条件が整っ

DjangoのFormについて この記事は Django Advent Calender 2016の ６日目の記事です。 Djangoにおけるクラスベース汎用ビューの入門と使い方サンプル の続きみたいなものです。 お知らせ （ちょっと古いですが）Udemyで入門講座作っています。 興味ある方はこちらから お知らせここまで はじめに Djangoは強力なウェブアプリケーションフレームワークです。 その中でもよく使うと思われるForm周りについて自分が知っていることを書きたいと思います。 初めてのアドベントカレンダーです。 環境 Django 1.10.4 Python 3.5.2 Formとは Djangoでは、ユーザーからの入力を受け取る機能です。 ただ、それだけではなく フォームを表示する（エラーがあればエラー表示) ユーザーからフォームから送られたデータがモデルの方などに合致しているか

最近、仕事関係でElasticsearchを使い始めました。 メモとして、データ投入からスコアリングまで使った・学んだことを書いてみようと思います。 全部書くのは結構長くなりますので、前後編に分けて書きます。 前編はインストールからデータの投入まで、 後編は検索とスコアリングの話しようと思っております。 とりあえず、必要なものをインストールします。 開発環境はCentOS7です。 Elasticsearch requires at least Java 8. Specifically as of this writing, it is recommended that you use the Oracle JDK version 1.8.0_73. バージョン8以上のJavaが必要です。 Javaのインストール まずはJava 8をインストールします。 こちらを参考しながら進めます。 もし

パスワードを忘れた方はパスワードの再設定を行ってください。 初めての方ははてなID登録 (無料) してください。 うまくログインできない方はお問い合わせをご覧いただき、Cookieの設定をご確認ください。

はじめに この記事は、dwango advent calenderの12日目の記事です！ ギリギリ間に合わない感じになってしまいましたが、気にせずやっていきます(☝◞‸◟)☝ terraformとは？ もう説明不要ですよね！ awsやGCPやopenstackなどなどの環境をコード化できる構成管理ツールです。 terraformのnull_resourceとは？ その名の通りですが、何もしないresourceです。 他のresourceができあがったことをトリガーとして、プロビジョニングを行うことができます。 ドキュメントはこちらです。 何が便利なのか？ 例えばの話ですが、EC2インスタンスが起動するまで、EC2のpublic_ipやprivate_ipはわからなかったりします。 そのため、IPがわかっていることを前提とした、クラスタ系の操作などはインスタンスが作成された後でしか実行するこ

Serverless Advent Calendar 2016の11日目です。ちょっと趣向を変えて、Serverlessでアプリを構築する場合、こんな感じになったよというのを紹介しようと思います。 Amazonのほしい物リストから商品情報を抜き出して、安売りしていたら通知してくれるBot 最近の読書はもっぱらKindleさんです。いつでもどこでも、そして保管の場所を取らないというのは素晴らしいですね。このKindleですが、定期／不定期にセールをやっています。問題は頻度と対象が多すぎて、欲しい本を見つけられないという問題です。Kindleのセール情報をまとめているサイトなども多数ありますが、そちらを追うのも大変ですよね。 そこで、自分が欲しい本だけのセール情報を取得するという方法を考えてみましょう。解決策は簡単で、気になった本は自分の欲しいものリストに追加していき、そこの本が安くなったら通

こんにちは。三上です。 今年の冬は寒くなると聞いて、ビクビクな毎日です。。（寒いのやだなあ。。。 やりたいこと AWS EC2とS3とRedshiftを簡単に立ち上げたい 同じサービス構成を何回も簡単に作りたい 誰が作業しても同じ環境ができるようにしたい 自分が立ち上げた全部のサービスを忘れずに破棄できるようにしたい → shellスクリプトからAWS CLIでCloudFormationのスタックを作って、 CloudFormationにEC2＋S3＋Redshiftをつくってもらおう！ ※作業者はshellスクリプトを実行するだけでOK！ 準備するもの 1. AWS IAM(Identity and Access Management)ユーザー IAMユーザー作成後、アクセスキーとシークレットキーを取得します。 参照：アクセスキー ID と秘密アクセスキーの取得 2. AWS CLI(

こんにちは、菊池です。 EC2の基本的な監視として、CloudWatchのアラームを使うことはよくあると思います。EC2のステータスチェックや、CPU利用率などを監視して閾値超過時にSNSへ通知することなどは、マネージメントコンソールからも簡単に設定可能です。 しかし、EC2のインスタンス数が増えてくると、1つ1つアラートをマネジメントコンソールから設定するのは面倒になりますので、一括で設定するPythonスクリプトを作成しました。 設定内容と事前準備 今回設定するアラームは以下の2つです。 StatusCheckFailed_System 5分ごとにチェックし、2回連続で検知したらアラート発生 SNS Topicへの通知と、AutoRecoverによる復旧を行う CPU_Utilization 5分ごとにチェックし、2回連続で80%を超過したらアラート発生 SNS Topicへの通知を行

みなさまこんにちは。Docker2 Advent Calendar 2016 の9日目に参加させていただいております @akiko_pusu です。 が！ 日付が変わってしまってからの投稿で申し訳ございません...。 さらに、Dockerについてはたくさん語れる立場ではないのですが、とにかく Kitematic についてご紹介したいと思います。 内容的にはDockerそのものよりも、Dockerを利用したアプリケーション寄りになってしまいますが、ご容赦くださいませ。 なお、12/8 は @okamu_ さまの 【Docker】もう悩まない！MySQLのフェイルオーバーをdocker-composeで爆速構築 でした。 また、12/10 は @mekemo_dao さまのElasticBeanstalk Multi-Container Dockerで本番運用したいンゴ です。こちらもどうぞ宜

GitLab Advent Calendar 2016の8日目です。 GitLabはオンプレで自前のサーバーにインストールして使用するというイメージが強いと思いますが、実はGitLabには、開発元のGitLab社によって運営されているクラウドサービスのGitLab.comもあります。 そこで本日は、クラウドのGitホスティングサービス、CIサービス、及びコンテナレジストリサービスの月額料金の比較をしてみます。 ちなみに、パブリック(公開)で利用する場合はGitHub.comが無料で利用可能なため、今回はプライベート(非公開)で利用する場合に絞って月額料金を比較します。 Gitホスティングサービスの月額料金比較 はじめに、GitホスティングサービスのGitHub.com・BitBucket.org、及びGitLab.comの月額料金を比較します。 個人で利用する場合 まずは、個人で利用する場

昨日の朝、ぼーっとしてたらこんな記事があったので qiita.com Prometheusっていうモニタリングツールがあるのかぁと思って。 prometheus.io 触ってみようかなと思ったのでした。 まずは動かす Dockerで動くとあんまり何も考えなくていいなぁって思ってたら、ちゃんとあった( Installing | Prometheus )。(∩´∀｀)∩ﾜｰｲ docker run -p 9090:9090 prom/prometheus で、9090にアクセスしたらとりあえず動いてる。 自分自身を監視してみる さっきのは起動しただけで何も情報がないので、実際に監視してみるとどんな感じになるのか。サンプルとして自分自身を監視できるみたいなのでやってみよう。 Getting started を読みながらprometheus.ymlってファイルを作って global: scrape

Gitlover ではありません． Gitlaberです． Gitlabについて みなさん，仕事で使っているのは Github Enterpriseでしょうか？ Gitlab，ご存知ですか？ 成長期の評判 だったり，例のアイコンだったり，Githubクローン（単刀直入に言うと劣化版Github）というちょっとネガティブなイメージがあるかもしれません． （例のアイコン．いまのはこんなに眼力強くない） 弊社ではGHEの利用価格と運用コスト（GHEでも運用費用はゼロにはならない）とGitlab Community Editionの運用コストを比較した結果，Gitlab CEが採用されることになりました． （当時は要求していたGHEが通らず消沈していた記憶が…） コンテナベースCI Androidに限った話ではないのですが，JenkinsからTravis CIやらCircle CIといったコンテナ

GitLab をインストールしよう! GitLab Advent Calendar の四日目はインストールについて書いてみようと思います。 GitLab を使うだけならサービス版の GitLab.com を使うのがもっとも手っ取り早いです。ですが、会社で使う場合、クラウドサービスはちょっと... という会社も多いのではないでしょうか? GitLab には GitLab CE という OSS の無償で使える製品がありますので、これを社内のサーバーにインストールして使うことができます。 2022/05/27 追記: この記事は 2016 年のものです。 インストール方法は大きくは変わっていませんが細かい違いがあります。公式ドキュメントを確認してください。また、初期パスワードについては大きく変更がありましたのでその点だけ修正しています。 インストールの前に インストール方法の選択 GitLab

研究室リモートサーバ上にJupyter Notebook環境を作ったら色々と捗ったのでその紹介です。調べながらやったら色々と詰まったので情報を残しておこうと思います。 捗ったこと 研究室リモートサーバの高スペックな計算資源を使える Webブラウザ上から簡単にアクセスできる よく使うもの(numpyとかmatplotとか)がはじめから入っている Dockerとりあえず使ってみたアピールができる 研究室リモートサーバの環境 Ubuntu 16.04.1 LTS (GNU/Linux 3.13.0-24-generic x86_64) グローバルIPが付与されている Dockerのインストール まずこのへんを参考にしつつ，UbuntuにDockerをインストールします。また，dockerは一度立ち上げたらその後はWebブラウザから利用するので， などとして，daemonとしてdockerを起動し

はじめに DockerにGolangの環境を閉じ込めたときデバッグどうするの？と思ってなかなか情報を集められなかったのでまとめます。 検証環境 ホスト側 Windows10 + Boot2Docker + VisualStudioCode Sierra + Docker for Mac + VisualStudioCode コンテナ側 golang:onbuildを使用（執筆時点ではgolang 1.7） Golangのデバッガについて VisualStudioCodeではDelveを使うようなので、Delveを使います。 ドキュメントやissuse見てるとリモートデバッグもサポートしていて、もしかしてDockerもいけるかもってところが発端。 Dockerのリモートデバッグについて リモートデバッグが可能なようで、こちらをベースにGolang用に書き換えます。 Live Debuggin

この記事は フロントエンドエンジニア Advent Calendar 2016 の10日目の記事です。 最近はずっとReact、Redux、CSS Modulesで開発していて、コンポーネントについて考えることが多かったので頭の中の考えをアウトプットしてみます。 それぞれのモジュール化 みなさん、次のようにモジュール化を行っていると思います。 HTML Reactなどのコンポーネント化のライブラリを使う 何かのテンプレートエンジンでパーシャルにする CSS パーツ毎にclassを作る SASSのmixinにする JavaScript 関数やクラスにする JavaScriptに関してはそれほど問題ないと思います。 ただコンポーネント化に関してはCSSやJavaScriptとセットで考える必要があったり、 CSSもパーツ毎にclassにするのがいいのかmixinにするのがいいのかといった論点が

この記事はJava Advent Calendar 2016の12日目です。 前日は、leak4mk0さんのデータベースを簡単にーJavaSEでもオブジェクト指向データベース（JPA） でした。 次は、tkxlabさんのJavaSEでもオブジェクト指向データベース（JPA）をとなります。 はじめに 「フリーランチの終焉」と言われマルチコアの時代に突入してはや数年。 Webアプリを作る事が多かったのも理由ですが、ほとんどシングルスレッド（サーブレッドとかでマルチスレッドを意識するケースはあるけど）で開発してた私にも、今年は並列プログラミングの波が押し寄せてきました。 そんなわけで今年のアドベントカレンダーは並列プログラミング入門に関してまとめてみます。 Java 8標準の並列API Javaは当初よりマルチスレッドプログラミングを喧伝してただけあって、それなりに並列プログラミングがやりやすい

Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

この記事はDistributed computing Advent Calendar8日目の記事です。 Hadoopをはじめとする大規模な計算リソースを効率よく使うにはリソーススケジューラが必要です。分散システムでのリソーススケジューラといえばYARNやMesosといったシステムが有名ですが、今回は分散システムでの効率のよいスケジューリングを定義したDominant Resource Fairnessという考え方とそのYARN上での実装についてまとめてみました。 "Fairness"の難しさ 分散システムに限らずリソーススケジューリングにおいて目標とされるもののひとつとして"Fairness"があります。曖昧な言葉ではありますが、効率のよいシステムでは限られたリソースを複数のユーザ、タスク間で共有してそれぞれの要求を満たしつつ、全体のスループットもあげていくことが求められます。このときにど

HDFSには、DataNode間でディスク使用量の再バランスを行う balaner 機能があります。また、Hadoop3.xで導入される予定の、DataNode内のディスク間のリバランス機能（Disk Balancer）もあります。（この機能はCDH5.8.2以降でも利用できます） 今回はノード間の再バランスについて、次回は新しいディスク間のバランス機能について紹介する予定です。 再バランスの必要性 HDFSはデータを分散して保存します。長期間に渡ってデータの追加や削除が行われると、徐々にノード間でディスク使用量の偏りが生じていきます。また、新しいノードを追加すれば、明らかに偏りが生じる原因となります。 再バランス前 このような場合、管理者は負荷の低い時間帯などに、明示的にノード間での再バランスを行う必要があります。（注: HDFSには自動で再バランスする機能はありません） 再バランス後

以前に公開し、一番アクセスされている hdfs dfs のサブコマンドページの情報が古かったので、Hadoop３系で検証して全面的に書き直しました。 HDFS FSshell (hdfs dfs) コマンドのチートシートのPDFファイルです。(Hadoop 3.1.1)。 ダウンロードも可能です。 View Fullscreen 余力があれば、管理系のコマンド(hdfs dfsadmin等)も追って作成するかもしれません。

以前に公開し、一番アクセスされている hdfs dfs のサブコマンドページの情報が古かったので、Hadoop３系で検証して全面的に書き直しました。 HDFS FSshell (hdfs dfs) コマンドのチートシートのPDFファイルです。(Hadoop 3.1.1)。 ダウンロードも可能です。 View Fullscreen 余力があれば、管理系のコマンド(hdfs dfsadmin等)も追って作成するかもしれません。

以前に公開し、一番アクセスされている hdfs dfs のサブコマンドページの情報が古かったので、Hadoop３系で検証して全面的に書き直しました。 HDFS FSshell (hdfs dfs) コマンドのチートシートのPDFファイルです。(Hadoop 3.1.1)。 ダウンロードも可能です。 View Fullscreen 余力があれば、管理系のコマンド(hdfs dfsadmin等)も追って作成するかもしれません。

こんにちは、小澤です。 この記事はHadoop Advent Calendar 11日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 - Qiita Hadoop Advent Calendar 2016 ｜ シリーズ ｜ Developers.IO 前回はHiveで機械学習をおこなうライブラリであるHivemallについて紹介しました。 今回はImpalaについて書かせていただきます。 とはいえ、実は私自身もImpalaは今回が初めてとなります。そのため今回は使ってみたという内容になります。 Impalaとは ImpalaはSQL on Hadoop(SQLでHadoop上のデータアクセスするためのもの)の一種で、HiveQLで処理を記述します。 ImpalaはHiveと比較されることが多いですが、その違いを簡単にまとめてみます。 Hiveは

TensorFlowのMNIST Tutorialを初めて動かした時にPCファンがごーっと回りだし、おやっとCPU利用率を確認してみたらほぼほぼ100%に張り付いていたのを見たのが、本題について調べようと思ったきっかけです。ユーザー側からのコンフィグなしにどのようにマルチスレッドをTensorFlowで実現しているのか調べてみました。 環境 以下の通り仮想マシン上でTensorFlowを動かしています。 - CPU: Intel Core i5-4570, 3.2GHz, 4 cores, Haswell (ark.intel.com) - Ubuntu 16.04 on VMware Workstation 12 - 4仮想CPU、8GBメモリ - Python 3.5.2 - GNU G++ 5.4.0 - master branch of tensorflow github $ gi

これはFujitsu Advent Calendar 2016の11日目の記事です。 掲載内容は個人の意見・見解であり、富士通グループを代表するものではありません。なお、内容の正確性には注意を払っていますが無保証です。 はじめに この記事では先月今年発表されたディープラーニング論文（ArXivでの発表時期、発表された国際会議が2016年開催またはジャーナル掲載が2016年のもの）から私が個人的に重要だと思った論文を収集しています。また、2015年末ごろの論文も重要なものは採用しています。 以下の投稿も合わせてご覧ください。 2017年のディープラーニング論文100選 DeepLearning研究 2016年のまとめ 2016年の深層学習を用いた画像認識モデル foobarNet: ディープラーニング関連の○○Netまとめ NIPS2016実装集 ディープラーニングにとっての2016年 20

Site::Reliability::Engineering - YAPC::Hakkaido 2016 Sapporo

この記事は Slack Advent Calendar 2016 - Qiita の 12 日目です。 はじめに 最近のエンジニアは Slack に常駐していることが多くなってきたと思います。ゆえに bot が便利であることはご存知かと思います。受け取った文字列を echo する bot や、ランダムに画像を返す bot もその練習としてはいいですが、次のステップに bot を書くとしたら実用的なものを書きたいですよね *1。 配送状況を通知する そこで書いたのが、荷物 (ヤマト) の配送状況が変わったら通知してくれる bot です。 GitHub - b4b4r07/yamato-bot 次のような機能を持ちます。 bot yamato 追跡番号 とすると bot が追跡番号を監視するようになります 現在の配送ステータスを記憶するので変わったら通知してくれます とりあえず、注文した荷物の

Goのプロジェクトはビルドツールにmakeを使ってることが多い。myawsはビルドとかパッケージ周りの作業は雑なシェルスクリプトで作業してたんだけど、やっぱりMakefileあった方がよいかなぁとか思って、Makefileを作った。随分前にC++とかやってたときは書いてたはずなんだけど、久々すぎて書き方がさっぱりわからなくてググりまくったり、人のリポジトリを参考にしたりして、まぁそれっぽいものはできた。あとは必要に応じて改造していけば出発点としてはよかろう。誰かの参考になるかと思い晒しておく。依存ライブラリの取得をどうしようかはいくつか選択肢があるので悩み中。 NAME := myaws VERSION := v0.0.6 REVISION := $(shell git rev-parse --short HEAD) LDFLAGS := "-X github.com/minamijoyo

Go (その3) Advent Calendar 2016 11日目の記事です。 Go言語の生みの親、Rob Pikeが2015年のGopherfestのセッションで 言っていた、Go Proverbsを自分の勉強がてら和訳してちょっと解説してみる。 後半に行くに連れて集中力が切れたり、いろいろ調査不足のところや、認識違いの部分もあると思うので、 そういう部分のところがあったら是非指摘してください。自分でも気づいたら修正していきます。 ちなみにタイトルの「Go Proverbs」は、動画の冒頭で囲碁の話をしているとおり「碁の格言」の直訳で、 「Goの格言」にかかっていておしゃれ。 メモリを共有して通信したり、通信してメモリを共有してはならない 原文は"Don't communicate by sharing memory, share memory by communicating." こ

この記事は Go Advent Calendar 2016 の3日目の記事です。 はじめに 今回は gops という Google 製のツールを紹介したいと思います。 gops は ps コマンドの様に動作しますが、golang で書かれたプロセスに限って以下の機能を提供します。 スタックトレースの表示 メモリ状態の表示 ランタイム状態の表示 メモリのプロファイルを取り pprof を起動 CPUのプロファイルを取り pprof を起動 強制GC 以下一つずつ説明していきます。 golang プロセスの一覧 まず引数を何も指定せずに起動します。 $ gops 10224 go (/opt/go/bin/go) 10244* main (/tmp/go-build638808727/command-line-arguments/_obj/exe/main) 10257 gops (/opt/

Full Access と View Only の違いは 新規クエリが発行できるかどうか 。 データソースに対する書き込み権限の制御はre:dash側ではできないので データソース側で権限管理しましょう。 View Only はいつ使うのか View Only は「新規クエリは発行できないがクエリの結果は見られる」という権限です。 例えば以下のような場面で必要になります。 ダッシュボード閲覧のみができればいい センシティブな情報が格納されているデータソースに対する集計結果のみ見たい ダッシュボードに閲覧の制限はかけられるか できません。 対象ダッシュボード内の一つでも自分がアクセスできるデータソース関連のウィジェットがあれば一覧に表示され、閲覧も可能です。 (閲覧権限がない他ウィジェットの内容は見られない) 事例： 営業メンバーがSQLを使うチームの re:dash 権限管理 何をしたかっ

はじめに Python には、web サーバーと web アプリケーションフレームワークを統一的に接続するための WSGI というインタフェース定義があります。 大切なことは全て PEP 3333 とか readthedocs とかに書いてあるので、適宜そちらを参照しましょう。 ここでは細かい仕様などには一切触れずに、雰囲気で何をすればよいか掴んでいきます。 把握してみる 最も単純な Web アプリケーション これが Hello World を出力するためのコードです。どのパスに対しても Hello World を出力します。 公式ドキュメントからの引用です。 from wsgiref.simple_server import make_server # Every WSGI application must have an application object - a callable

僕はpythonも機械学習も全く知識が無かったのですが、ここ最近のニュースでも話題が多いですし、何か触りだけでも勉強できたらなと思っていたところにオライリーのゼロから作るDeep Learningがわかりやすいという話を聞いて買ってみました。 適度に数学的な部分も省かれてて、自分のような厳密な証明とかよりイメージを知りたいようなライトな感じの人にはとてもおもしろく読めました。また解説されていることがソースレベルで説明されているのが大変わかりやすかったです。 で、普段pythonとかをガリガリ書いている人はいいんだと思いますが、とりあえずやってみたいときに、pythonいれてnumpyいれて、matplotlibいれてやるのも（一回作ってしまえばいいですが）ちょっとメンドいですよね。 ならDockerで作ってしまおうと思ったのですが、この本ででくるmatplolibでグラフ描画（GUI）があ

この記事は,「jupyter notebook Advent Calendar 2016」 12/15のネタとなります(といいつつ当日書けそうにないので前倒しで公開します). 先日(12/10)のPython mini Hack-a-thon(71回目)にて, Jupyterとメジャーリーグ一球速報データを用いた一球速報っぽいモノを作る！ という目標を立てて色々とやっていて,一定の成果が出たので公開したいと思います. Starting Member はじめに Who am I? 完成イメージ&コード 今回使ったモノ 【おさらい】野球のストライクゾーンについて Pitch f/xデータの座標系仕様(ざっくり) Jupyter + pandas + matplotlib(seaborn)で実装 まとめ&次の方へ 【Appendix】今回,参考にした書籍 はじめに この記事内の統一ルールです.

こんにちは。インフラグループでソフトウェアエンジニアをしている微妙な立ち位置の鍋田です。いま11日の夜(22:00)なのでかなり焦ってこの記事を書いています。時間ギリギリまで見つけては書き続けようと思います。時間がないときほど落ち着いてキーボードを叩くんだ、ルーク。 リリース最優先 リリースは相当ヤバイ時以外は基本的に待ってくれないため、「えいやー！」と世に送り出してしまったケースは誰しも経験があることかと思います。また既存のコード含めたリファクタリングまで時間が取れなかったり、また実力不足なためにアレなコードを書いてしまったり・・・。そんな後に反省し、結局直したりしたパターンをいくつか紹介します。とにかく時間が無いので頑張って記事のスペースを埋めていこう！ オブジェクト生成時、__data__に放り込まない class Api(object): def __init__(self, in

2016/12/01に、Amazon S3上のデータにアドホックにSQLクエリを投げられるサービスであるAmazon Athenaがリリースされました。 Athenaの概要に関しては以下をどうぞ。 Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを Amazon Athenaを使ってみました #reinvent Amazon AthenaをBigQueryと比較してみた 自分で軽く使ってみた感じだと、SaaSなので管理コストが低い上にクエリのパフォーマンスもかなり良く、非常に可能性を感じるサービスだという印象です。 というわけでAmazon Athenaをもっと使っていきたいので、OSSのBIツールであるre:dashからAmazon Athenaにクエリを投げられるようにしました。皆さんも良かったらやってみてください。 コメント欄にもありますが、re:d

こんにちは、藤本です。 AWS re:Invent 2016 で CodeBuild がリリースされました。CodePipeline のビルドプロセスに CodeBuild を置くことができるようになりました。 CodeBuild に関しては以下の記事をご参照ください。 【速報】フルマネージドのビルドサービスCodeBuild爆誕 #reinvent 今回は CodeCommit、CodeBuild、CodeDeploy を CodePipeline で繋げて、デリバリプロセスの自動化を試してみました。 概要 昨今のシステム開発はユーザーの要望をより早く、より多く取り入れることを要求され、リリース頻度が増えてきたことに伴い、デリバリプロセスの自動化がデファクトスタンダードとなってきました。デリバリプロセスにはソースコード管理、ビルド、テスト、デプロイという 4つ主なフェーズがあります。下記

お久しぶりです、はじめましての方もお久しぶりの方もお元気ですか？ おっさんは今日も仕事の後の麦酒がおいしいです。 秋から家族になった、うちの猫のかわいさを世界中に伝えるために2000文字位の記事を投稿したい心をぐっとこらえて Jmeterを使った負荷試験でのちょっとした注意点をご紹介したいと思います。 こんなん知ってるよ～って方は「イイね」だけクリックして頂いて他の記事をご覧ください。 気になる方は続きを読むをクリックすると 今回は下記２つの注意点をご紹介いたします。 ・WindowsでJmeter環境を構築する場合の注意点 ・AWS ELBに対しての負荷試験の際にやっておかなければいけない事 WindowsでJmeter環境を作成する場合の注意点 JmeterはJAVA上で動作しますがWindows環境の場合、64bitOS上でもOracle社のサイトから自動ダウンロードの場合 32bi

KLab Advent Calendar 10日目の記事です。KLab分析基盤チームの高田です。 分析基盤チームでは、社内向けに各種KPIを提供している他、KG SDKのKPIレポートシステムを通じて、パートナー向けにシステムを提供しています。 今回は、先日re:Invent 2016で発表されたばかりのAWSの新サービスAthenaを試してみました。KLabの分析基盤システムでは、すでにRedshiftやEMRを使用していますが、Athenaには、これらを補うような役割(低コストで導入し、アドホックな分析や定型的なレポートの作成をサポートするといった用途)を期待しています。 Athenaとは? ひとことで言えば、Athenaとは、S3上に置いてあるデータを高速にSQLで集計・分析できるサービスです。内部はPrestoをベースとしつつ、独自の改修をくわえて使用しているようです。Athena