はじめに 好物はインフラとフロントエンドのかじわらゆたかです。 今までETL処理はほとんどTalendで実装してきたのですが、 無償版であるOpenStudioでの実装だとどうしても変更の差分を追いかけづらいと言ったことがありました。 実装者が１人で案件をまわしているうちは良いのですが、 複数人になってくるとGitなどのソース管理の仕組みで変更箇所を追いかけたいものです。 そういった悩みを解決できるのではと思い、今回Luigiに手を出してみました。 ちょうどクリスマスシーズンですので、勉強してきた内容を１人アドベントカレンダーとしてアウトプットしていきたいと思います。 Luigiって何？ Githubのリポジトリには以下のように記載されております。 Luigi is a Python module that helps you build complex pipelines of batc

こんにちは, ohmurakenです. 好きなサッカーチームはリバプールFCです. この記事は, CAMPHOR- Advent Callendar 2016の5日目の記事です. サッカーに関するデータの収集と分析について書きたいと思います. 目次 やろうと思った理由 データの収集 簡単な分析 まとめ やろうと思った理由 今年, 初めてPyCon JPに参加しました. 機械学習や分析に関するセッションを観ていましたが, ビッグデータとPythonではじめる野球の統計分析というセッションが興味深いものでした. このセッションは, 野球(特に大リーグ)に関するデータを収集し, 分析する事で選手の特徴や変化を調べるという内容です(セッションの動画). このセッションを観た時, サッカーでも同様の事ができないかと思いました. 強いチームの特徴などを数値的に分析できると思ったからです. データの収集

はじめに 師走の忙しくなる前に、今年読んでみた本をまとめてます。思いついたらコメントを追加していきます。 注意 : 本のリンクにはAmazonアフィリエイトを使っています。これははてなの機能で、本の表紙が表示されて私が思い出すのに便利だからです。 啓蒙書 AIの衝撃 去年読んで機械学習を勉強してみようと思った本(2015年出版)です。確か「深層学習だかのシステムを構築できる技術者は世界に20〜30人くらいしかいない」という文言があったのですが、この一年でだんだんとAI技術もコモディティ化してきたのかなーと感じています。 AIの衝撃 人工知能は人類の敵か (講談社現代新書) 作者: 小林雅一出版社/メーカー: 講談社発売日: 2015/03/19メディア: 新書この商品を含むブログ (15件) を見る 人工知能は人間を超えるか 人工知能の研究者によるやさしい解説書です。人工知能が社会に与える

西澤です。S3の新コンソールUIに合わせてリリースされた4つの新機能のうちの1つ、S3 Inventoryを試してみたので、ご紹介します。訳(後述)あってご紹介が遅れました、すみません。 その他のリリースについてはこちらをご確認ください。 S3コンソールが新しくなりました ｜ Developers.IO 【新機能】S3 のオブジェクトへタグが設定できるようになりました ｜ Developers.IO 【新機能】S3 Analytics, Storage Class Analysisを試してみた #reinvent ｜ Developers.IO [新機能] Amazon S3で新しいメトリクスが利用出来るようになりました #reinvent ｜ Developers.IO S3 Inventoryとは S3 Inventoryは、S3に保管されたオブジェクトの一覧を定期的に出力してくれる機

こんにちは、小澤です。 この記事はHadoop Advent Calendar 5日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 - Qiita Hadoop Advent Calendar 2016 ｜ シリーズ ｜ Developers.IO 前回はHadoop3.0の新機能であるHDFSのErasure Codingについて紹介しました。 今回はSQL on Hadoopの先駆けで現在でも人気のあるHiveがどのような仕組みで成り立っているのかについて書かせていただきたいと思います。 Hiveとは HiveとはHadoop上での処理をSQLライクな言語で実現するためのHadoopエコシステムとなります。 従来であればHadoopはMapReduceというフレームワークを使ってJavaで実装しなければならなかったため、データサイエンティス

はじめに 本日のAWS re:Invent 2016で発表された新機能、Amazon EC2 Systems Manager。 速報記事は以下です。 【速報】Amazon EC2 Systems Manager を発表 #reinvent この機能の1つであるRun Commandをやってみました。 やってみた Amazon EC2 Systems Managerに管理されるEC2の要件 以下のOSであること 64-Bit and 32-Bit Systems Amazon Linux 2014.09, 2014.03 or later Ubuntu Server 14.04 LTS or 12.04 LTS Red Hat Enterprise Linux (RHEL) 6.5 or later CentOS 6.3 or later 64-Bit Systems Only Amazon

はじめに こんにちは、中山です。 米国時間12/1(木)のキーノートで発表されたCodeBuild。発表当初は北部バージニアリージョンでなぜか上手く表示してくれなかったのですが、お昼頃には使えるようになっていました。早速使ってみたのでレポートします。 使ってみた やはり新サービスが出てきたらまずはGetting Startedでしょう、ということでCodeBuildのGetting Startedドキュメントに沿ってCodeBuildを使ってみます。このドキュメントではApache Mavenを利用してS3に保存したJavaのソースコードからjarファイルを生成し、アーティファクト用S3バケットに設置するといった内容になっています。では、早速初めてみましょう。 1. S3バケットの用意 事前にアーティファクト保存用/ソースコード保存用バケットをS3に作成しておきます。今回は以下2つのバケッ

はじめに こんにちは、中山です。 個人的にかなり熱いアップデートであるLambda@Edgeについてエントリを書きます。今回はブループリントを元に実際の所Lambda@Edgeはどういったコードになるのかをまとめたいと思います。そもそもLambda@Edgeがどういったものなのかは以下のエントリを参照してください。 ドキュメントを通してre:Invent 2016キーノートで発表されたLambda@Edgeを理解する #reinvent 以前のエントリでも書きましたが現時点(2016/12/2)ではまだプレビュー段階です。利用したい場合はこちらから申請する必要があります。プレビュー版なので今のところ公開されている情報からしかお伝えできない点はご了承ください。 ブループリント 今回は現在で用意されている以下の2つのブループリントを対象にします。 cloudfront-modify-respo

こんにちは、藤本です。 このエントリは Elastic stack Advent Calendar 4日目の記事になります。 現地時間12/1に Elastic {ON} 2016 で発表された Elastic Cloud Enterprise のアルファ版がリリースされました。 Introducing Elastic Cloud Enterprise - Public Alpha 先日、Elastic Cloud Enterprise を紹介する記事をエントリしました。 【速報】Elastic Cloud Enterprise の Alpha版がリリースされました 本日は早速、AWS 環境に Elastic Cloud Enterprise をデプロイしてみました。 デプロイしてみた 環境 Elastic Cloud Enterprise はパブリッククラウド、プライベートクラウド、オン

Run Command、Lambda Function があれば大概のことはできそうですね。Lambda Function 使うなら Step Functoins でもいいのか。うーん、棲み分けがまだ分かってない。 やってみた Automation を利用するには下記の流れで実施します。 IAM Role 作成 Automation の Document を定義 Automation の実行 今回はSystems Manager Automation WalkthroughsのAmazon Linux版をやってみました。 Walkthroughs の Automation で実施する処理は以下となります。 AMI からインスタンスを起動 RunCommand によりシステムアップデート インスタンスを停止 停止したインスタンスから AMI を取得 インスタンスを終了 上記だと、Packer

Amazon 管理コンソールのパーソナルヘルスダッシュボードで表示されている AWS Health Information は AWS Health API 経由でも取得可能になりました。 今回は AWS SDK For Python からこの API を使う方法を紹介します。 AWS SDK For Java から使う方法は次の公式ドキュメントを参照して下さい。 Sample Java Code for the AWS Health API - AWS Health AWS Health API の注意事項 最初に AWS Health API の注意事項を説明します。 SDK の言語、AWS CLI に関係なく影響を受けます。 エンドポイントは us-east-1 固定 エンドポイントは us-east-1、つまり、US East (N. Virginia)固定です。 このエンドポイン

はじめに 好物はインフラとフロントエンドのかじわらゆたかです。 虎塚のエントリーでS3のオブジェクトアクセスをCloudTrailでロギングできる用になったとのことです。 【新機能】CloudTrailでS3オブジェクトレベルのアクセスをロギングする ｜ Developers.IO この機能を用いることでRedshiftでCopy/Unloadを実行したIAM Roleの情報も習得できるのではと思い、 確認してみました。 下準備 上記の記事はAWS CLIを用いて作成していましたが、Management Consoleからでも作成・設定することが可能です。 今回の例ではManagement Consoleから作成・設定をしております。 Management Consoleより、CloudTrailを選択し、TrailsからAdd new trailを押下し、Trailの作成を行います。 そ

はじめに 実行中のEC2にSSH接続することなくコマンドを実行する「Run Command」という機能があります。今回はAWS CLIからこの機能を実行してみました。基本的にはチュートリアルに沿って行えば出来るのですが、いくつか(私の不注意により)引っ掛かったポイントがあったので、その辺りについても書いてみたいと思います。 インスタンスの用意、IAMロール権限設定 Run Commandを実行するEC2には、適切なIAMロールの設定とSSM Agentをインストールしておく必要があります。詳細な手順はチュートリアルを参考にして欲しいのですが、大まかな作業順序は以下となります。 マネージドコンソールよりEC2インスタンスを作成する。 インスタンス作成時にIAMロールを作成する。このIAMロールは「AWS サービスロール」として「Amazon EC2 Role for Simple Syste

Serverless Architectureの可能性を広げる新サービス AWS Step Functions ~ AWS re:Invent Day4 ma2k8 こんにちは。ma2k8です。 今回のre:Inventで発表された新サービスの中で、個人的に一番テンションがあがったAWS Step Functionsについて紹介させていただきます。なお、本記事内のスライド画像は以下セッションものです。 CMP319 – NEW LAUNCH! Building Distributed Applications with AWS Step Functions AWS Step Functionsとは？ ビジュアルワークフローを使用して分散アプリケーションを構築するツールです。TaskにLambda関数を定義できる点がすごく良いと思いました。 AWS Step functionsの利点 生産性

AWS re:Invent 2016に、参加できなかった方向けに393のBreakout Sessionsをまとめてみました。セッションごとの公式Webページ、スライド、動画を1ページにまとめています。量が多いので、ページ内検索などでキーワード検索をかけていただくのがオススメです。SlideShare / YouTube とも徐々に公開されているので、順次追加していきます！ 公式Webページ(英語) AWS re:Invent 2016 公式現地レポート(日本語) 基調講演 キーノート一日目 (リアルタイムレポート) AWS re:Invent 2016 Keynote 1 #reinvent キーノート二日目 (リアルタイムレポート) AWS re:Invent 2016 Keynote 12#reinvent クラスメソッドからのお知らせ！ 3年連続でAWSプレミアコンサルティングパー

先日『AWS re:Invent 2016』にて発表された新サービス『Amazon Athena』は、マニュアルにもある通りAWSが提供するフルマネージドHiveサービスと言えるでしょう。DWH用途で考えるとレコードをフルスキャンするよりも特定のカラムを集計・フィルタするというユースケースが多くなりそうですので、カラムナフォーマット『Parquet』を試したみたいと思いました。Parquetファイルの変換や、一般的なCSVとの簡単な比較をしてみました。（意外な結果が...） カラムナフォーマット『Parquet』とは データ分析では大福帳フォーマットのテーブルデータに対して、特定の列の値を集計したり、フィルタリングすることが多いため、カラム毎にデータが連続して格納されていると必要なデータのみをピンポイントで読み込むことができるからです。また、列方向には同じ種類のデータが並んでいるため、圧縮

AWS re:Invent 2016のキーノートで、新サービス"Amazon Lightsail"が発表されました。 Amazon LightsailはVPSサービスです。 Amazon Lightsailは月額5ドルから利用可能。 数回のクリックで仮想マシンの起動、お好みであればアプリケーションまでセットアップしてくれます。 Amazon Lightsailは「検証環境を早く簡単に提供したい」というニーズに現実的にどのようにこたえられるかについて確認をしてみました。 Amazon Lightsail これはできる・できない ブラウザから秘密鍵の指定なしでSSH接続できる 便利だけど秘密鍵をもっていなくてもマネジメントコンソールにログインできて一定以上の権限があればだれでもSSH可能になってしまいます。 便利と恐怖の表裏一体。 試しにiPhoneからSSH接続してみたらログインができました

AWS re:Invent 2016で発表された、ビジュアルワークフローを用いて分散アプリケーションを構築するサービス『AWS Step Functions』。このフレーズのみだと雰囲気何となくわかりますが、もう少し理解を深めてみたいと思います。という事で、公式サイトにある説明文を読み進めて見ました。 AWS Step Functionsとは AWS Step Functionsを使うと、ビジュアルワークフローを用いて分散アプリケーション及びマイクロサービスのコンポーネントを容易に調整する事が可能となります。個別の機能を実行する個々のコンポーネントからアプリケーションを構築する事で、アプリケーションの拡張と変更を素早く行う事が出来ます。Step Functionsは、コンポーネントを調整し、アプリケーションの機能をステップ実行する、信頼出来る方法です。 Step Functionsはアプリ

DockerfileをLintする場合はHadolintがオススメです。 Haskell Dockerfile Linterの略で、文字通りHaskellで実装されています。 Macで使ってみる

RHEL8からdockerコマンドの代わりにpodmanコマンドの利用が推奨されるようになったので、podmanコマンドの使い方を以下のページに作成しました。 コンテナ起動時、コンテナ間通信の処理概要（Podman編） コンテナイメージのレジストリ検索方法（Podman編） podmanコマンドの使い方（Almalinux9) podmanコマンドの使い方 コンテナーのネットワークについて #1. ホスト版数、Docker版数 [root@master1 ~]# cat /etc/redhat-release CentOS Linux release 7.2.1511 (Core) [root@master1 ~]# docker -v Docker version 1.10.3, build cb079f6-unsupported dockerコマンドに--helpを指定する。attac

【JJUG CCC 2016 Fall】 JJUG CCC 2016 Fallに参加してきました。 人生二度目のJJUG CCCです。 今回も自分が見たセッションについて書きなぐっています。 【Prepare fo Java9: Java 9 に備えよう】 [登壇者様]:Yuji Kubotaさん（@sugarlife） Java9の新機能、非互換の箇所、ツールについてのお話でした。 Jigsawは「複雑な依存性の解決」「公開制限の制御」というのが大きなテーマかなと感じました。 Java9を導入する場合はビルドツールも合わせてバージョンアップとのことだったので 導入するときは注意しないといけないなと。 JShell使えばJMXから情報を引き出すこともできるようになるとのことらしい。 単純に開発だけかなと思っていたので、 そういう形式のライブラリは増えていくかもしれないなと感じました。 非互

JPOUG Advent Calendar( https://jpoug.doorkeeper.jp/events/53797 )と Docker Advent Calendar2 (http://qiita.com/advent-calendar/2016/docker2 )の4日目です。 Oracle RAC on Dockerの作成スクリプトをgithub(https://github.com/s4ragent/rac_on_xx)で公開していますので、その紹介です 概要 基本情報 - - OS(イメージ) Oracle Linux 7.2 Storage NFS4 with Flex ASM L2 実装方式 vxlan DNS 各コンテナ上にdnsmasq Network 情報 (3-nodes RACの場合) hostname/container name/vip eth0 vx

2016年12月にRancher v1.2.0 がリリースされました。 リリースノートとアップデート手順（v1.1.0-dev5からv1.2.0）を記載します。 Rancherリリースノート RancherJPリリースノート(翻訳) ※以下は個人での翻訳になりますが英文と合わせて見られるようにしてみました。 新機能（v1.1.4以降） Kubernetes 1.4.6サポート - 最新のk8sアップストリームディストリビューションのサポートに加えて、Rancherは次のサポートを提供します： 既定のRancherオプションに加えて、ユーザーがAWSをクラウドプロバイダーとして選択できるようになりました。 kubectl exec、ログ、およびattachのサポートが追加されました。 k8sノードにラベル付けのサポートが追加されました。 PetSetオブジェクトを使用してステートフルアプリケ

この記事は、次のカレンダーの12/5のエントリーです。 www.adventar.org 春までは、横浜医療情報専門学校のプログラミングサークルのメンバーだったのですが 今は、某SIerに勤めています。 あいかわらず、15:00になると なにがあってもぜったいに帰宅する！！！！というスタンスで がんばっています。 先生だったころは、医療IT科のAndroidアプリ開発やC言語/JavaEE/PHPやアプリケーション設計などの講義ばかり担当だったので アプリケーションエンジニアだった人なのかな？と思われているひとがいるかもしれません。 が、、、、子どもを産む前は ずっと、ネットワークやサーバなどのインフラ技術しかやってきたことがなかった、インフラエンジニアだったのです！ というわけで、、、、 みなさんに、一度は基盤技術の講義をしたかったなぁぁぁという想いを込めて 今日は、Dockerを紹介し

株式会社LITALICOでエンジニアをやっております@Takuan_Oishiiです。 この記事は『LITALICO Advent Calendar 2016』4日目の記事です. 4日目は初心者WebエンジニアまたはRailsは書けるけどサーバ構築とかｼﾗﾈという読者を対象にしたサーバ構築手順をお届けします🎁 はじめに LITALICOでは新卒エンジニアの入社時の研修の題材のひとつとしてRuby on Rails Tutorialを利用しています. RubyとRailsの学習のみならず, テストなどのWebアプリ周辺知識を習得できるので重宝しています. ただし, 実際に仕事をしていく上では「Webサーバってどうやって設定して起動すんの?」「デプロイってどうやんの?」という知識が0の状態だと結構キビしいと思います. そしてその知識はRails Tutorialのカバー範囲外です. 個人的な

re:Invent 2016 で Step Functions というサービスがローンチされました！ 幾つかのステップに分かれる処理を Lambda で構築するときに、処理のステート管理や処理間のコーディネートを行ってくれるサービスです。 これまでは、このような処理を組もうとすると「本来行いたい処理に関するコード」以外に「状態を管理するコード」を書く必要がありましたが、 Step Functions を用いることで、疎結合なメンテのしやすい Serverless バッチシステムを構築できるようになります。 個人的には今年の re:Invent で一番熱いリリースです！早速触ってみました！ （※2017/12 により具体的なサービスに使った記事を書いてみましたので、よろしければこちらもご覧ください。） AWS Lambda と Step Functions で作るサーバレスなアービトラージ検

ansible で管理する systemd サービス ubuntu 16.04 になってから、サービス管理は systemd に変わって、ansible の service モジュールだけでは管理できなくなりました。 どう書けばいいのか忘れがちなので備忘的に記事を残します。 ansible 2.1 以前 uWSGI の設定ファイルを配置して systemd 上で有効化、起動する流れ。 --- - name: systemd daemon-reload command: systemctl daemon-reload become: yes - name: enable uwsgi command: systemctl enable emperor.uwsgi.service become: yes - name: restart uWSGI service: name=emperor.uw

ReactとAngularの比較への評価について ReactはAngularよりも評価が高いという記事を見かけることが多い。実際、それはプログラマ個人の評価もあるだろうし、使い方などにもよると思う。 また、ReactとAngularについての比較に対して以下のような指摘がなされる。 ReactとAngularは実はSPAフレームワークとして名前が挙げられるが、ReactはAngularのようにフルスタックのSPAフレームワークではなく、ビュー（もしくはビューモデル）の機能を提供することに特化している。 つまり、ReactとAngularは持っている機能や役割が異なるので一概に比較することは難しいと言われることがある。両者を触れば確かにそうだと実感すると思う。 そして、このReactの限定的な役割こそ、Reactを習得したり、使ったりする時に大事な点だと思う。 学習コストが低いのか？ 少なか

Spark MLにはデータフレームの連続した変換操作を一つにまとめるPipelineという仕組みがあります。これを使うとコードがスッキリ書けるようになるほか、Spark内部でのメモリの利用効率も上がるらしいです。 大まかな流れは次の通り ステージの用意 パイプライン構築 モデル生成 実行 前回投稿したSpark MLで主成分分析をPipelineを使って書き換えてみます。 ステージとパイプライン パイプライン中の段階をステージと呼びます。主成分分析の例では次の３段階がありました。 ベクトルの作成 標準化 PCA この３つを使ってパイプラインを宣言します。dfは入力データが格納されたデータフレームです。dfの詳細は前回の記事を参照してください。 from pyspark.ml.pipeline import Pipeline # Pipelineの各ステージ assembler = Vect

この記事は、Fujitsu Advent Calenderの３日目の記事です。 はじめに Fujitsu Advent Calenderを作った@YasunoriGoto1です。なんか、予想以上にすごい反響があってびっくりしています。温かい言葉をくれた方には厚く御礼申し上げます。また、厳しい言葉をかけてくださった方にも今後ともよろしくお願いします。 設立に至った経緯は２日目の記事で@tnaotoが書いてくれた内容のとおりです。「社外で実施するのは手続きとか色々ハードル高いよなー」って思っていたところに、@tnaotoや「かっこいい人」を始め、色々な人から背中を押してもらった感じです。 「かっこいい人」が出た時には、「今この瞬間を逃してはならない」とばかりにかなり急いで作ったので、Advent Calendarの趣旨とかQiitaがどういう場所なのかとか、正直色々広報不足で至らなかったところ

こんにちは、むらたです。Advent Calender 初めてのチャレンジです。 自分は職務でよく、App Engine で Microservices 構成をとった開発をやります。例えばこんな感じの構成です。 DeNAでのGCP活用事例とGCP NEXTでの事例紹介 — Mobage Developers Blog この時困るのが、各サービスのゲートウェイの設計です。App Engine の場合、各サービスにそれぞれ appspot.com ドメインが振られるので、例えば example-dot-project-id.appspot.com のようなドメインが振られます。このサービス用のドメインで直接アクセスすれば良いという話もありますが、そうも行かない場合もあります。同一のドメインで API をさばいたり、コンポーネントとパスの構成を柔軟に行いたい場合などです。 dispatcher.

個人的にGoはミドルウェアやコマンドラインツールの開発によく利用していますが、その理由の一つにシングルバイナリなのでデプロイが楽、というのがあります。一方で、（特に）サーバ系のミドルウェアだとちょっとしたWeb UIを付けたくなることがあります。こうなると、シングルバイナリのほかにHTMLやCSS、JavaScriptといったリソースファイルが多数付いてくるのでちょっと面倒です。 そこでgo-bindataを使って実行バイナリにそれらのリソースファイルをくっつけてしまうという方法があります。go-bindataは各リソースファイルの内容をGoのコードとして生成し、Asset()という関数を呼び出すことで内容を取得することができます。 go-bindataによるコード生成 まずは、go-bindataをインストールします。

この記事はなに？ マイクロサービス等の文脈で登場するCircuitBreaker。 Scalaで使えるものの代表(要出典)として以下の2つを比較する。 Circuit Breaker - Akka Documentation シンプルだが単機能 Netflix/Hystrix 高機能 ちなみに個人的な好みはAkkaの方。 Scalaから使いやすいのと導入が簡単。 CircuitBreakerってどんなもの？ 以前書いたので貼っておきます。 [Akka]CircuitBreakerはどう動くのか - Qiita 公式サンプルがある。 ちなみに独自のサンプル実装はここ。 akka.pattern.CircuitBreakerに状態遷移の条件に当たるもの(maxFailures, callTimeout, resetTimeout)を渡してインスタンス化する。 そしてCircuitBreaker

When a new framework is as hot as React is right now, there seems to be a landslide of how-to videos and posts. It can be difficult for the bright eyed programmer to navigate through what is useful and where to start. So the question lies, what is the best way to begin learning React/Redux? This article will help answer this question by walking you through some helpful lessons and exercises. 1# Be

情報処理学会インターネットと運用技術研究会が主催されているIOTS2016という研究会で、「サーバモニタリング向け時系列データベースの探究」というタイトルで招待講演をしてきました。 講演のきっかけ インターネットと運用技術研究会(以下IOT研究会)というのは僕にとっては id:matsumoto_r さんが所属されている研究会です。 matsumotoryさんが、ちょうど2年前のアドベントカレンダーで書いた僕の記事に日本語だとIPSJのIOTは分野的にもインターネットの運用技術が含まれるので興味深い論文が沢山あると思う とコメントしていただいたのが最初に研究会の存在を知るきっかけだったと思います。 そのときはそんなものもあるのかと思ってちょっとプログラムを眺めた程度でした。 しかし、まさかその2年後にこうして招待していただくことになるとはもちろん思っていませんでした。 id:MIZZYさん