Amazon Athena CloudTrailSerdeを利用してAWSのアクティビティを探索する | DevelopersIO
7/1(土)開催のDevelopers.IO 2017 では「現場で使える Amazon Athena」と題して、私がハンズオンセミナーを担当することになりました。Amazon Athena はビックデータだけでなくAWSを利用する全ての人々に有益なサービスです！今日はハンズオンでも紹介したい『CloudTrailSerde』を解説します。 『CloudTrailSerde』とは 『CloudTrailSerde』とは、CloudTrail のログファイルをパースして Athena テーブルを作成できるデシリアライザーです。つまり、これを利用することでこれまでより簡単かつ高速に CloudTrail のログファイルをクエリできるようになります。 すでに弊社の西澤さんが同じようなブログをご紹介しています。このブログは jsonファイルである CloudTrailのログファイルを JsonSe
「AWSとGitHubで始めるDevOpsハンズオン」の資料を公開します！ | DevelopersIO
はじめに こんにちは、中山です。 弊社はGitHubと国内初のサービスパートナー契約を結びました。そこで、ソースコード共有サービスとしてデファクトスタンダードとなっているGitHubと、クラウド業界で高いシェアを誇っているAWSを組み合わせて、継続的インテグレーション/継続的デリバリーを構築するハンズオンを実施します。すでに募集ページも公開しているので是非お越しください。まずは大阪から、次に東京で開催します。 【6/9】入門セミナーシリーズ第二回 AWSとGitHubで始めるDevOpsハンズオン in 大阪 【会場変更/満員御礼】入門セミナーシリーズ第二回 AWSとGitHubで始めるDevOpsハンズオン in 東京 本エントリではハンズオンで利用する資料を事前に公開します。どういった内容を実施するのかぜひご覧になってください。 ハンズオンでは弊社エンジニアが各種サービスの説明をしなが
【Jenkinsを使った自動テスト環境を作る】Dockerコンテナを使って自動ビルドを実行する | OSDN Magazine
継続的インテグレーション（CI）ツールとして有名なJenkinsは、ソフトウェア開発におけるテストやビルドと言った作業を自動化するツールだ。後編となる今回は、Dockerを使ってコンテナ内に構築したビルド環境をJenkinsから利用する例を紹介する。 Jenkinsの「マスター/スレーブ」機能 前回記事では、Jenkinsをインストールしたサーバー内でソフトウェアのビルドやテストを行うことを前提に環境を構築していった。Jenkinsをインストールしたサーバーと、対象とするソフトウェアのビルド/実行環境が同じで構わなければこれで問題はないが、たとえばそれぞれビルド/実行環境が異なる複数のソフトウェアをJenkinsで管理したい場合、このやり方では複数台のサーバーを用意しなければならない。 Jenkinsではこういった問題を解決するため、Jenkinsがインストールされたサーバーとは異なる
オススメの標準・準標準パッケージ20選
Takuya UedaSouzoh, Inc. (affiliated by Mercari, Inc.) - Go Engineer
なぜアニメ録画とマストドンを混ぜた？ foltia開発者に根掘り葉掘り聞いた
最初のIoTインスタンスと言えるであろう画期的なアイデアはどうやって生まれたのか、foltia開発者の宗子さんに、その経緯と目的を聞いた。 「しょぼいカレンダー」と「ポッドキャスト」の出会い ――foltiaを始めようとしたきっかけは？ 宗子 もともと「しょぼいカレンダー」を便利に使っていたことがあって、「これを見ながら録画予約をするんなら直接このスケジュール通りに録れるシステム作ったほうが早いんじゃないか？」と思ったのがきっかけです。最初に作ったものは2004年末のコミケに出したのが最初です。 ――12年以上前なんですね。しょぼいカレンダーというのは、有志が高い精度のデータを入力し、場合によっては修正していくという仕組みですよね。 宗子 そうなんです。アナログ放送の頃は特にEPG（電子番組表）の仕組みがなかったんで番組移動の追従はこれだけが頼りだったんですよね。 ――しかも、EPGにはメ
Inkdropサーバレス化計画
サーバレスアーキテクチャが自分の中で急に熱い。運用もうやりとうない。業界での知見もぼちぼち出揃ってる感じがあるので自分でも挑戦してみたい。MarkdownノートアプリのInkdropを題材にしてやってみる。 サーバレスアーキテクチャはサーバの運用から解放してくれるサーバレスアーキテクチャとは、その名の通りサーバが無いアーキテクチャのこと。ここでのサーバとは、apacheやnginxなどのサーバプロセスから、LinuxマシンなどのVMを含めたコンピュータを指す。これらを自分で運用する必要がない。まじかよ。 じゃあどうやって提供するのかというと、サーバの代わりにHTTP(S)に応答したりイベントに反応するサービスを使う。処理を行うプログラムは、APIや機能単位で別々にデプロイしたものを使う。これらのプログラムが予め設定した条件で駆動する。つまり、今まで自分でサーバにやらせていたことを、サービス
個人でのアプリ開発を挫折せずに続けるためにできること - sakaharaのブログ
以前作ったアプリを塩漬けにしてずっと放置してたんですが、あることをきっかけに開発を再開しました。 それからどのように開発を進め、継続していけるかというアプローチの仕方や考え方を整理してみました。 再開するきっかけとなった話はこちらに書いてますので、興味があればどうぞ。 sakahara.hatenablog.jp ちなみにこの話は前提として、本業があり、空いた時間だけで、基本的に一人で開発を行うような人を前提としてます。 数字の変化を楽しむ アプリをリリースした後に、結果がイマイチだとそれでもう何もしなくなってしまう個人開発者の方は、結構多いのではないかと思います。 現にApp Storeでも、誰かが個人で作ったアプリの更新日を見ると、かなり前から放置状態というものをよく見かけます。 ですがリリースがゴールではないので、その後のユーザーの反応を見て、改善を繰り返し、反応がなければ、アプリ自
データを確認せずに「できます！」と役員が確約した、ディープラーニング案件の末路
データを確認せずに「できます！」と役員が確約した、ディープラーニング案件の末路：開発残酷物語（4）（1/3 ページ） トラブルの原因は何だったのか、どうすれば良かったのか。実在する開発会社がリアルに体験した開発失敗事例を基に、より良いプロジェクトの進め方を山本一郎氏が探る本連載。今回は「ディープラーニング」にまつわる失敗談を紹介します。 「開発残酷物語」は、システム開発会社比較検索サービス「発注ナビ」ユーザーのシステム開発会社の方々に過去の失敗事例をお話しいただき、契約で押さえるべきポイントやプロジェクト運営の勘所を読者諸氏と共有し、これから経験するトラブルを未然に防ぐことを目的としている。 聞き手は、山本一郎氏。今回、失敗談をお話しいただいたのは、「コンピュータマインド」の常務取締役 萱沼常人氏だ。 同社は山梨県に本社を構え、東京都新宿区に東京本社を置き、沖縄にも事業所がある。従業員数1
ハニーポッターの興味を引く攻撃事例紹介& Web サーバのログ調査方法紹介
2017年6月4日 第3回tktkセキュリティ勉強会@高槻市立生涯学習センター発表資料 https://tktksec.connpass.com/event/52665/
cron(crontab)の代わりにsystemdのtimerを使う - @znz blog
最近 gitlab omnibus などの環境を作っていて、GitLab CE の role でバックアップ処理を定期実行するのに crontab ではなく systemd の timer を使ってみました。 利点 systemd 管理下で統一的に扱えるので、覚えれば楽 ログも journald で統一されるので cron だといちいちメールが飛ぶと鬱陶しいような粒度でも簡単にログに残せる 環境変数なども含めた環境が本番と同じ状態ですぐに実行を試しやすい systemd 依存の機能が使える (後述の例では After と Requires) などが利点に感じました。 欠点 情報が cron (crontab) に比べてまだ少ないので、何かあったときに調べにくい systemd に大きく依存してしまう などが欠点に感じました。 確認環境 Ubuntu 16.04.2 LTS (xenial)
TIME_WAITに関する話
3. 自己紹介 - まぁまぁ MySQL でご飯食べてます - 一時期は Resource Monitoring や KVS にも 力入れてました - ネットワーク的には素人です - Linuxとハードウェアは嗜む程度 - disk I/O にはむかしから興味あります - その他 slideshare はこちら - http://www.slideshare.net/takanorisejima/ 4. 本日のお題 - kernel 新しくしたりすると、TCP的に意識したほ うが良い変化が見つかるので - 今日は、Webアプリケーションサーバの観点か ら、 connect(2) する際に気になる TIME_WAIT について、書いてみようかと思います - 有識者からのマサカリを、強く歓迎いたします 5. 最初に参考資料 - この二つの記事を読んでいただけば、それで概 ね良いと思うんですが
【資料公開します】AWS Dev Day Tokyo 2017 にて登壇しました／choconの簡単なご紹介 | メルカリエンジニアリング
こんにちは。SREの @kazeburo です。2017年5月31日から6月2日にAWS Summit Tokyo 2017と同時に開催された「AWS Dev Day Tokyo 2017」に登壇しました。 登壇する機会をいただき、また数あるセッションの中から会場に足を運んでいただいた皆様、ありがとうございました。 発表内容 「Cloud connect the world as Glue」というタイトルにて、メルカリのインフラストラクチャの概要および変遷、そして現在のAWSをはじめとするクラウドの利用について紹介しました。 資料はこちらになります。 chocon について スライド中で触れた chocon について少し紹介したいと思います。 choconはクラウドのRegionあるいはデータセンター外との通信を効率良く行うためのミドルウェアになります。HTTPS、HTTP/2の通信をKe
人月の暗黙知の本 - hitode909の日記
見積りについて興味が出てきたので読んだ．コードコンプリートを書いたスティーブマコネルの本． 具体的な見積りの技法が紹介されているけど，それよりも，いい話がたくさん書いてあって良かった． 見積りとターゲット 見積り=作業量とか規模とか ターゲット=いつまでにほしいとか 数ヶ月後の発表会のための開発なら，その規模のものは作れませんではなく，間に合うような物を一緒に考える 技術的な知識を使っていろんな代案を出すのは技術者の責任 即興で見積りしてはいけない→正確ではない 専門家の判断は品質が低い→正確ではない 計算できるなら計算しなければならない 見積りに幅を持たせる この期間で終わる確率は何%とか，最良で何週間， 最低で何週間，とか そのときも計算する 高く見積るとプロジェクトが却下されるからといって安く見積ってはいけない 正しい情報を提供できないので，意思決定できなくなってしまう リソースが本
サイン、コサインをインテルの CPU で計算すると少しバグっているらしい
こんにちは。 ちょっと前にどこかの偉い人が「女性にサイン、コサイン教えても仕方ない」ような発言をして炎上したのは記憶に新しいところです。面白いですね。 「女の子にサインコサイン教えて何になる」 鹿児島県知事の発言がネットで非難 発言撤回の会見動画も公開 – ねとらぼ http://nlab.itmedia.co.jp/nl/articles/1508/28/news145.html 「いやいやサイン、コサイン使うでしょ」という反論には完全に同意です。それはよいのですが、プログラマー的な視点で見れば「サイン、コサインはコンピュータでどうやって求めているか」を説明できてやっと安心（？）ではないでしょうか。 そこでちょっと復習と思って調べてみたら、なんかインテルのCPUのバグ？の話とか出てきてわけが分からなくなってきたので、まとめておきました。 sin(x) の求め方（基本） 理系の方は学校で習
AWSの構成図をいい感じに出力してくる「Cloudcraft」を使ってみた - LIVESENSE ENGINEER BLOG
背景 Cloudcraft 概要 料金プラン Cloudcraftを使ってみた 初回作成 最終的に出来上がった構成図 良かった点 Live Sync機能 関係する各コンポーネント間を自動でリンク フィルタ機能 コンポーネントの自動更新 構成図を作成するだけで、月額料金が分かる マネジメントコンソールへのリンク あったらいいなと思う機能 サブネットの自動配置 注意点 まとめ 番外編 havaも使ってみた こんにちは、リブセンスのインフラグループに所属している竹本です。 主にDOOR賃貸(AWS)や転職ドラフト ITエンジニア版 / デザイナ版(オンプレ)のインフラまわりを担当しています。 インフラグループでは、各プロダクト毎に担当者(窓口役)をつけて定期的にローテーションをしているため、業務引き継ぎの際に構成図が必要な場面が多々あります。 そこで本日はAWSの構成図をいい感じに出力してくれる
Quipper に入社して丸4年が経った - @kyanny's blog
blog.kyanny.me 一年経ってしまった。いろいろあった。一年前はオフィスのことしか書かなかったので、今年は自分のことだけ書く。 Engineering Manager 今年の1月に会社の組織変更があり、 Engineering Manager というポジションができた。国単位・技術分野単位などで開発者をいくつかのチームに分け、それぞれに Engineering Manager がいるという、いわゆるふつうのピラミッド型の組織になった。で、俺が東京オフィスの Web Developer チームの Engineering Manager になった。 上司（CTO）から話があったのは去年の11月頃だった。プロダクト開発チームがグローバル全体で50名くらいになってきて、そろそろ CTO 一人で見るのは無理がでてきた、そこでローカルに Manager をつくり各種の業務や権限を委譲していき
Home - Enterprise Integration Patterns | by Gregor Hohpe who is Software Architect in Google
Table of ContentsPrefaceIntroductionSolving Integration Problems using PatternsIntegration StylesFile TransferShared DatabaseRemote Procedure InvocationMessagingMessaging SystemsMessage ChannelMessagePipes and FiltersMessage RouterMessage TranslatorMessage EndpointMessaging ChannelsPoint-to-Point ChannelPublish-Subscribe ChannelDatatype ChannelInvalid Message ChannelDead Letter ChannelGuaranteed D
中井 悦司
Google Cloudのエンジニアによる本格解説書！ クラウドコンピューティングが普及する中で、エンタープライズシステムもまた、 オンプレミスからクラウドへの円滑かつ効果的な移行が求められています。 本書は、エンタープライズシステムを構築・運用するエンジニアのために、 Google Cloudの具体的なユースケースや設計ポイントを Google Cloudのエンジニア陣が徹底的に解説する一冊です。 プロダクトカットで機能の説明にフォーカスをするのではなく、 従来オンプレミスでシステム開発を行う際にも考慮が必要である 「アカウント設計」「セキュリティ設計」「ネットワーク設計」 「プロダクト設計」「監視・運用設計」「移行設計」といった設計軸で、 Google Cloudを利用する際のポイントについて述べています。 また、説明の軸足を置くユースケースとしては主に、従来オンプレミスで 稼働してい
時系列データベースという概念をクラウドの技で再構築する - ゆううきブログ
サーバ監視サービスMackerelにおいて開発中の、高解像度・長期間のサーバメトリック収集を実現するための新しい時系列データベースDiamondを紹介します。具体的には、Amazon ElastiCache、Amazon DynamoDB、Amazon S3を組み合わせ、Amazon Kinesis StreamsとAWS Lambdaによりコンポーネント間を接続した、階層構造のデータストアアーキテクチャの設計と実装を解説します。 2018/06/05 追記: この記事の内容をWSA研#2でより一般的なアーキテクチャレベルでの貢献として書き直しました。 サーバレス時代におけるヘテロジニアス時系列データベースアーキテクチャ - ゆううきブログ はじめに 先日開催されたAWS Summit Tokyo 2017にて、「時系列データベースという概念をクラウドの技で再構築する」というタイトルで登壇
マイクロソフト、アプリを自動的にDockerコンテナ化してKubernetesへデプロイしてくれる「Draft」をオープンソースで公開
マイクロソフト、アプリを自動的にDockerコンテナ化してKubernetesへデプロイしてくれる「Draft」をオープンソースで公開 マイクロソフトは、アプリケーションを自動的にDockerコンテナとしてパッケージ化し、Kubernetesのクラスタへデプロイしてくれるツール「Draft」をオープンソースとして公開しました。 これは同社が先月買収したばかりのDeis社のエンジニアが開発しているもので、これまで複雑とされていたKubernetesクラスタへのアプリケーションのデプロイの手順を、わずか2つのコマンドで自動化しています。 1つ目のコマンドは「draft create」。このコマンドは、アプリケーションの開発言語を自動的に判別し、それに合わせてDockerファイルを作成、Kubernetes用のパッケージマネージャであるHelmに対応したパッケージングを行います。 現在のところプ
AWS：無料でSSL証明書を取得する方法 - Qiita
概要 先日公開した自分のサービスをhttps接続できるようにしたいと思いました。 SSL証明書は、どこが安くて信頼できるか社内の上司で相談したところ、近くにいたインターン生が「AWSなら無料で発行できますよ。」とナイスなアドバイスをくれました。 さっそく調べて、SSL証明書を取得したのですが、ネット上には断片的な情報しかなく思ったよりも詰まったので、これから取得する方のために、わかりやすく画像で解説します。 前提 今回は、無料でSSL証明書が利用できるAWS Certificate Manager（ACM）を使います。 アジアパシフィック (東京)は、ELB（ロードバランサー）のみにACMを使用することができます。 なので、ELBを利用していないと、無料のSSL証明書を使うことができません。 ちなみに、ELBは有料で、デフォルトで月2000円くらい掛かります。 もし使用される方は以下に設定
計算機科学実験及演習3ハードウェア（CPU製作）記 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
先日、長いようで短かった実験がついに終わったので記録を残しておきます。 はじめに 京都大学情報学科の計算機科学コースでは計算機科学実験及演習（以下、実験）という必修科目が 2 回生前期 / 後期、 3 回生前期 / 後期の計 4 つあります。 実験 1 はプログラミングの入門みたいな内容 実験 2 はマリオ AI の作成と電子回路 実験 3 は CPU 製作とインタプリタ製作 実験 4 はいくつかの分野から選択 という感じです。 僕たち 2015 年入学の学生から実験の内容が少し変わったのですが、実験 3 の CPU 製作は昔からあるみたいです。 CPU を製作する学生実験といえば某大学某学科の CPU 実験が有名で知っている人も多いと思います。 CPU 実験でググるとすごい人の製作記がたくさん出てきて面白いのですが、いまググるとこの記事が霞んで見えるので読み終わってから調べてください（参
Bootsnapについて
Bootsnapに調べたのでメモ。なお、確認した際のバージョンは1.0.0です。 Shopifyが出しているBootsnapというgemがあります。説明に書いてある通り、巨大なRuby / Railsのアプリを高速化する為のgemらしいです。 何をやってくれるかというと、Ruby, Active Support、YAMLのメソッドの呼び出しの最適化、及び、キャッシュをしてくれる、というものらしいです。 なお、1.0.0の時点でサポートしているプラットフォームはMacOSとLinuxだけです。Windowsは未対応。 また、Rubyは2.3.0以上のみサポートしています。 使い方Gemfileにgem 'bootsnap'を追加し、下記設定をrequire 'bundler/setup'の後に定義すればOKです。 require 'bootsnap' Bootsnap.setup( cach
S3をトリガーとするLambdaの冪等性をDynamoDBで実現してみた | DevelopersIO
どうも！AWS勉強中の西村祐二＠大阪です。 みなさんLambdaは使ってますでしょうか。 サーバレスでいろんなことができるので個人的にかなり好きなサービスです。 Lambdaは様々な使い方ができますが S3と連携してファイルがアップロードされたらLambdaで 何かしらの処理を実行するなどの使い方をしている方多いのではないでしょうか。 そんな時に重要になってくるのが冪等性です。 今回はLambdaの冪等性をDynamoDBの条件付き書き込みという機能を利用して 冪等性を実現してみたいと思います。 なんで冪等性が必要なのか Lambdaはたまに2回以上実行されるときがあるからです 例えば Lambdaでアクセスログの集計処理などを行っている場合、 複数回処理されると複数回集計されて結果がおかしくなるときがあります。 また、複数のファイルをまとめてアップロードした際に 何らかの理由で一部のファ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Elasticsearch で部内 Wiki 検索高速化
Amazon.co.jp: プログラマのためのGoogle Cloud Platform: サービスの全体像からクラウドネイティブアプリケーション構築まで: 阿佐志保, 中井悦司: 本
