ServerlessConf Tokyo 2018 の登壇資料です。 https://gs2.io/

AWS ALBのアクセスログをサーバ上のBananaで分析していたのですが、Docker使って手元のPC環境でも簡単に実行できるようにしました。 github.com 使い方 Repositoryをダウンロード git clone https://github.com/yomon8/alb-log-analyzer.git cd alb-log-analyzer 設定を修正(AWS接続関連) S3_BUCKET と S3_PREFIX にはALBのアクセスログの保存先として設定しているS3の情報を入れてください。 vi ./conf/awsenv.sh AWS_ACCESS_KEY_ID=YOUR_ACCESS_KEY AWS_SECRET_ACCESS_KEY=YOUR_SECRET_ACCESS_KEY AWS_REGION=aws-region S3_BUCKET=your-buck

Mercari Advent Calendar 2017 の9日目はメルカリ SRE(Site Reliability Engineering) チームの @syu_cream がお送りします。 メルカリでは様々なデータを BigQuery に格納して、データ利用を可能にしています。 BigQuery に格納しているデータの具体例としては、 Web サーバや API サーバのアクセスログやアプリケーションのログ、 以前当ブログで紹介した Pascal のイベントログ などが挙げられます。 メルカリのデータ分析基盤に関する情報はこれまでに以下のようなブログやスライドで紹介しております。 Pascal〜Puree + ngx_lua + Fluentd + BigQueryでつくるメルカリのログ分析基盤〜 fluent-agent-hydraで省エネログ転送 メルカリのデータ分析基盤 / me

This document provides tips and recommendations for using AWS services for data analytics. It discusses using DynamoDB DAX for caching, Kinesis for streaming data, S3 for storage, and Redshift for analytics. It also recommends visualizing data using services like Elasticsearch, Kibana, QuickSight, and open source BI tools. The document concludes by offering tips on join-less analytics and time-sli

2017年10月22日（日）秋葉原UDXで行われる技術書典3にサークル参加します。場所はお05です。頒布するのは「家計にやさしいハニーポット入門」というハニーポット構築本です。 セキュリティには詳しくないけど、興味はある サーバは構築・運用したことがある といった方（一年前の自分）を想定して書きました。DockerやElasticsearch等々といったリッチなものは一切使わず、メモリ0.6GBのサーバでハニーポットを運用しようという感じの趣旨の本です。 安く上げるためのあれこれTipsではなく、目的に合ったハニーポットを構築することに重きをおいた内容です。後ほどBOOTHにて電子版でも販売します。 当日はよろしくお願いいたします。 イベント頒布価格：500円 電子版（PDF）：450円 - 家計にやさしいハニーポット入門 - にほんももんがの本 - BOOTH（同人誌通販・ダウンロード）

Amazon Web Services ブログ Amazon Kinesis Firehose, Amazon Athena, Amazon QuickSightを用いたVPCフローログの分析 多くの業務や運用において、頻繁に更新される大規模なデータを分析することが求められるようになっています。例えばログ分析においては、振る舞いのパターンを認識したり、アプリケーションのフロー分析をしたり、障害調査をしたりするために大量のログの可視化が必要とされます。 VPCフローログはAmazon VPCサービス内のVPCに属するネットワークインターフェースを行き来するIPトラフィック情報をキャプチャします。このログはVPC内部に潜む脅威やリスクを認識したり、ネットワークのトラフィック・パターンを調査するのに役立ちます。フローログはAmazon CloudWatchログに格納されます。いったんフローログを

1. 2017.11.25 ハニーポッター技術交流会 #2 Presented by Isao Takaesu 機械学習によるログ分析入門の入門 - キャプチャしたパケットから攻撃の兆候を探る - 2. About the speaker • 職業 : セキュリティエンジニア • 所属 : 三井物産セキュアディレクション • 趣味 : 脆弱性スキャナ作り、機械学習 • ブログ: http://www.mbsd.jp/blog/ • Black Hat Asia Arsenal, CODE BLUE 情報セキュリティEXPO, PYCON JP … • 勉強会「AISECjp」を主催 高江洲 勲 Takaesu Isao ハニーポッター技術交流会 Twitter: @bbr_bbq 1

Webエンジニアの森脇です。 LCLでは、AWS ALBのアクセスログを分析し、各種KPIを定期的に確認しています。今回は、Embulk + BigQuery + Redashを利用してのログ分析の事例について紹介したいと思います。 概要 AWS ALBのアクセスログは、S3へ記録されます。S3へ記録されたログを、fluentd / Embulk を利用して Elasticsearch / BigQuery へ格納しています。 Elasticsearchは、短期的なログの解析を目的としており、Kibanaを使用して予期せぬアクセスが発生した場合の調査等に利用しています。ログは一定期間を過ぎると破棄しています。 BigQueryは、長期的なログの保存・解析を目的としており、ログは永続的に保存しています。 準備 以下の流れでやっていきます。 ALBのアクセスログを有効化する BigQueryテ

ブロックチェーンの社会実装の勢いが止まらない。テック市場に特化したイギリスの調査会社Juniper Researchが、今年の夏に発行した調査レポートの結果によると、 大企業の６５％がブロックチェーンの導入を検討しているか、導入している最中 大企業の５０％程度がイーサリアム上で分散型アプリケーションを立ち上げを予定 大企業の２５％程度はProof of Conceptを終え、商品化を終えたか、その段階に差し掛かっている （大企業＝１万人以上） とのことだ。 え！導入比率、意外に高くない？国内でも例えば、つい昨日は日本経済新聞の朝刊にLINEがトークンエコノミー構想の詳細を明らかにしたことが話題になったりして、たまに見かけるけど、まさかここまで来ていたとは驚きだ。ここまで来てしまうと、そろそろ私のような一介のサラリーマンであっても、ブロックチェーンを理解しておかないといけない雰囲気が漂ってき

Blockchain is a powerful technology with applications in cryptocurrency, healthcare, insurance, government, music, identification, supply chain, data management, and much more. By learning blockchain basics, you’ll gain an understanding of the fundamental mechanisms that power it, join the conversation, and discover blockchain uses in your own life and work.

このブログを書き始めたのは8/31で、一夜で語り尽くせないので思いついたときにただただ書いていく。途中で公開してしまったら本当にあれだから、ボタンの押し間違えだけは気をつけたい。 まず近い時間のところから話すと、matsumotoryが夏休みに入る前に二人で飯を食ったときから、そうなるだろうなと思う気持ちはあったけども、その3日後くらいに旅先の本人に決断を聞いてから、1週間位まともに寝付けないくらいにはショックだったんだと思う。普段生きてる分には全然考えないんだけど、眠れなくなったのは多分そういうことなんだろうと思った。心に反して体は正直である。それくらい僕は松本さんと働いて多くの影響を受けた、多くを与えてもらったなと思うし、本当に感謝しかないし、彼自身が次のステップに進んでくれたことにも感謝している。 もともと松本さんが入ってきたのは僕がペパボに入ってしばらくしてからで、 「なんかngx

渡邉英徳 wtnv @hwtnv 73年前の今日。1945年9月28日，終戦から一ヶ月半後の東京駅周辺。ニューラルネットワークによる自動色付け＋手動補正。 pic.twitter.com/ovwvC0lJmv 渡邉英徳 wtnv @hwtnv Hidenori Watanave / Visualization & Information Design / Digital Archives / OSINT / 「記憶の解凍」/ Professor at University of Tokyo / 東京大学 大学院情報学環 教授 labo.wtnv.jp

「serial experiments lain」の20周年を記念し，主要スタッフにゲーム版をプレイしてもらった。次作は「誰かが適当に作ったら」？ 編集部：早苗月 ハンバーグ食べ男 12→ アニメ版とゲーム版。アニメは配信のほか，写真左側の価格改定版Blu-ray BOXが販売中だ 2018年，「serial experiments lain」シリーズがリリースから20周年を迎えた。 本作はメジャーなタイトルではないが，カルト的な支持を集めており，とくにアニメ版（1998年7〜9月に放映）の知名度が一部で高い。ただ，シリーズの原点は，アニメ終了後にリリースされたPlayStation用ソフト「serial experiments lain」（1998年11月に発売）がそれにあたる。 カルト作品とはいえ，アニメ版はイベントやメディアなどで語られる機会があったり，近年ではHuluやAmazon

本日、2018年9月28日が最終出社日でした。正式には10月末をもって、チーフエンジニアとして務めたGMOペパボ株式会社、また、主席研究員として務めたペパボ研究所を退職します。 現職には2015年4月に入社後、実際には入社前から関わりがあったため、それも含めると約4年間、本当に様々な取り組みを行ってきました。チーフエンジニア兼主席研究員として取り組んできた仕事の中で、社外にアウトプットして伝えてきたこと以外の、より社内業務的な内容はなかなか言語化する機会がなかったので、それらを振り返りつつ、転職に至った経緯をお話ししてみます。 2015年入社当時のペパボ福岡の雰囲気は今でもよく覚えており、良くも悪くも様々なところで血気盛んなメンバーによる争いの絶えない雰囲気がありました。 レンタルサーバ、所謂ホスティングサービスという歴史あるサービスを運営していることもあり「Webサービスに関する知見やア