ローカルPCのDocker上でCloudWatch Logs Insights連携の簡易分析基盤(Elasticsearch)を使う - YOMON8.NET
AWSを運用しているCloudWatch Logsを分析することが良くあると思います。 数年前はCloudWatch Logsのファイルをダウンロードしてきて、分析していて面倒でしたが、 CloudWatch Logs Insights が出てきてそれもかなり楽になりました。 それでも毎回調べながらクエリを打つのは結構面倒なので、ログ分析基盤としてElasticsearchなどを利用する場合もあると思います。 この記事ではログ分析基盤が無い環境でも、ローカルのElasticsearchに流し込んで簡単に分析できる環境をDockerで整理したので書いていきます。 前提 全体像 リポジトリ 使い方 ダウンロードからのコンテナ起動 Jupyter Lab接続 パラメータ設定 AWS Profile CloudWatch Logs データロード Kibanaで分析 後片付け 前提 Docker d
マイクロサービス移行を阻むレガシーとの戦い方
マイクロサービスアーキテクチャへの移行を進める上で生まれた課題にどう取り組んだのか。オイシックス・ラ・大地の川上徹氏がOisixのマイクロサービス移行のハードルにどう取り組んだのか紹介します。 Oisixは2000年の創業以来、一度も全面的なシステムリプレースを行わず、システムの改修を続けてきたECサイトだ。マイクロサービスアーキテクチャへの転換を検討し始めた2017年時点で、17年以上も創業当時のアーキテクチャのまま、運用を続けてきたというわけだ。 今回はそのOisixをマイクロサービスアーキテクチャに移行する上で生まれた課題にどう立ち向かったのかを解説する。 既存システムの分析と改善 システムアーキテクチャを刷新する上で、まず最優先に取り組むべきなのはそのシステムが構成する業務の分析／再定義になるだろう。 システムの現状分析を基に、開発、運用のプロセスあるいはサービス提供をする上でのボ
Rust初心者がRust製の日本語形態素解析器の開発を引き継いでみた - Qiita
Rust初心者がRustで全文検索サーバを作ってみたの続きです。 この記事では、Rust製の日本語形態素解析器の開発を引き継いだ経緯と、その使い方を簡単に紹介します。 開発を引き継ぐことになった経緯 冒頭でも書きましたが、Rust初心者がRustで全文検索サーバを作っています。全文検索サーバを作り始めると、日本人なのでどうしても日本語のドキュメントをインデックスして検索したくなります。日本語を上手く検索インデックスに登録するには日本語形態素解析器を利用するのが一般的です。 日本語形態素解析器、どれを使おうかな？とユーザの立場でいたのが、いつの間にか開発を引き継ぐことになりました。 日本語形態素解析器といえば、大御所のMeCabがあります。歴史も長く、Python、Ruby、JavaからMeCabを利用するためのバインディングも用意されています。 OSSの検索エンジンの世界ではLucene/
AWS、オープンソースベンダのライセンス変更による商用サービスの制限は「顧客を見ていない」と反論
RedisやMongoDB、Kafka、Elasticsearchなどのオープンソースソフトウェアの開発元企業が、AWSなど大手クラウドベンダがそのオープンソースを用いたマネージドサービスを提供して大きな利益を上げていることに反発して、ライセンスを変更するなどで商用サービス化を制限する動きがあることは、今年の1月の記事で紹介しました。 Redis、MongoDB、Kafkaらが相次いで商用サービスを制限するライセンス変更。AWSなどクラウドベンダによる「オープンソースのいいとこ取り」に反発 この動きに対してGoogleは4月、Google Cloudにオープンソースベンダによるマネージドサービスを統合すると発表し、彼らとの戦略的提携という姿勢を打ち出しました。 ［速報］Google、大手クラウドに不満を表明していたMongoDB、RedisらOSSベンダと戦略的提携。Google Clou
Pythonで検索エンジンをゼロから作って学んだこと Part.2
2019年9月16、17日、日本最大のPythonの祭典である「PyCon JP 2019」が開催されました。「Python New Era」をキャッチコピーに、日本だけでなく世界各地からPythonエンジニアたちが一堂に会し、さまざまな知見を共有します。プレゼンテーション「入門 自作検索エンジン」に登壇したのは加藤遼氏。講演資料はこちら シンプルな検索エンジンを作る 加藤遼 氏：ここからは実際に事例を踏まえながら、どういうものを作っていくかの実装の話をしていきます。 実際に作っていく検索エンジンは、これです。これは「PyconSearch」という、今年のPyConのセッションを検索できるもので、わりと便利なサイトです。これを実際に作っていきながらどういうことをやっていくかという話を進めていきます。 まずは要件から決めていきましょう。「PyConJPのトークを検索できる」ことが目的ですが、
Rust初心者がRustで全文検索サーバを作ってみた - Qiita
情報検索・検索エンジン Advent Calendar 2019 の5日目の記事です。このAdvent Calendarを作った@takuya_aさんより、お誘いいただきました。 @minoru_osuka もし余裕あれば12/5の記事お願いします！ https://t.co/YIA9tIB4Gj — takuya-a (@takuya_b) December 1, 2019 ということで、仕事とは別で個人的に始めたプロジェクトについて紹介できたらと思います。 私自身はApache Solrを好んで利用しています。 ただ、最近のサーバサイドの技術の移り変わりや、新しい開発言語の登場など、取り巻く環境が変化してきています。それらの習得も踏まえ、使ったことのない開発言語を用いて軽量な全文検索サーバを作り始めるという内容です。 開発した経緯 インフラの変化 ここ数年でインフラは大きく変化しました
ピクチャーインピクチャー機能搭載でムービーを見ながら快適にブラウジングできる「Firefox 71」正式版リリース
ウェブブラウザ「Firefox 71」の正式版が公開されました。ウェブサイト上で再生されているムービーを小窓に切り出して視聴を続けつつ、別のページを閲覧できる「ピクチャーインピクチャー」機能が搭載されたほか、開発者ツールも強力にアップデートされています。 Firefox 71.0, See All New Features, Updates and Fixes https://www.mozilla.org/en-US/firefox/71.0/releasenotes/ News from Firefox on Mobile, Private Network and Desktop - The Mozilla Blog https://blog.mozilla.org/blog/2019/12/03/news-from-firefox-on-mobile-private-network-
セキュリティログ分析基盤の設計ポイント、アーキテクチャはどうあるべきか
セキュリティログ分析基盤の設計ポイント、アーキテクチャはどうあるべきか：セキュリティログ分析基盤活用入門（2）（1/2 ページ） セキュリティ業務における「ログ」と、その分析基盤の活用について解説する連載。今回は、ログ分析基盤の設計ポイントを、アーキテクチャの観点から紹介します。 セキュリティ業務における「ログ」と、その分析基盤の活用について解説する本連載「セキュリティログ分析基盤活用入門」。前回は、ログを活用するセキュリティ業務やログの果たす役割を紹介しました。 リクルートは、インシデントハンドリング、フォレンジックや脆弱（ぜいじゃく）性検査、マルウェア解析といった、多くの企業ではセキュリティ専業ベンダーにアウトソーシングする専門性の高いセキュリティ業務を内製化しています。2015年以降は「Recruit-CSIRT（Computer Security Incident Response
12億人分もの個人情報がオンラインのサーバー上に誰でもアクセス可能な状態で保管されていたことが判明
by Pixabay 2019年10月16日、セキュリティ研究者のBob Diachenko氏とVinny Troia氏が、4TBを超える大量の個人情報を含むElasticsearchサーバーを発見しました。サーバーはセキュリティ保護されておらず誰でもアクセス可能な状態で、データベースに含まれていた個人情報の件数は12億を超えていると報じられています。 1.2 billion people exposed in data leak includes personal info, LinkedIN, Facebook https://www.dataviper.io/blog/2019/pdl-data-exposure-billion-people/ Mysterious User Hoarded Records on 1.2B People Via Leaky Database | Ne
AWS CDKでAmazon Elasticsearch Serviceのドメイン(クラスタ)を作ってみた | DevelopersIO
AWS CDKで、Amazon Elasticsearch Serviceのドメイン(クラスタ)を作ってみました。 はじめに AWS CDKで、Amazon Elasticsearch Serviceのドメイン(クラスタ)を作ってみました。 シンプルにシングルノードでElasticsearchクラスタを作っていますが、設定値を少し変えれば、複数台の専用マスターノードとデータノードからなるクラスタを構築できます。 今回のソースコードはこちらで公開しています。 https://github.com/shoito/aws-cdk-elasticsearch バージョン情報 $ sw_vers ProductName: Mac OS X ProductVersion: 10.14.6 BuildVersion: 18G103 $ cdk --version 1.14.0 (build 261a1b
脆弱な設定のElasticsearchによるエクアドル全国民情報流出の可能性についてまとめてみた - piyolog
2019年9月16日、VPNサービスのレビュー等を行うvpnMentorはインターネット上でエクアドル国民に関わる大量の情報を発見したと発表しました。ここでは関連する情報をまとめます。 vpnMentorの発表 www.vpnmentor.com 数百万人のエクアドル国民に影響が及ぶ可能性がある大規模なデータを発見した。 発見したのはvpnMentorのリサーチャー Noam Rotem氏、Ran Loca氏の二人。 露出していたElasticsearchには2000万人を超える個人に関わる情報が含まれていた。 vpnMentorはZDnetへ情報提供を行っており、同件の報道が行われている。 どうやって発見したのか vpnMentorは大規模なWebマッピングプロジェクトの一部で確認したと説明している。 既知のIPブロックに対してポートスキャンを実行。 公開状態のデータベースに対してシステ
Docker環境でのログ確認がめんどくさいのでkibanaでみれるようにしてみた - Qiita
docker環境で開発を行っていると、いろんなログをコンテナに入って閲覧したりするのがめんどくさいし、見ずらいので、どこか一箇所で見れるようにしたいと思い、docker作ってみました。 一式をGitHubに公開してますので、是非。 https://github.com/yuya-sega/log-viewer/ 構成 apache 2.4 postgres 12 fluentd 1.6.2-1.0 elasticsearch 7.3.2 kibana 7.3.2 まずは起動してみる $ git clone https://github.com/yuya-sega/log-viewer.git $ cd log-viewer/ $ docker-compose build && docker-compose up ~~ 略 ~~ kibana_1 | {"type":"log","@time
Kyoto.なんか #5で「AWS上に構築する メンテ容易なElasticsearch System」というタイトルで話してきました - その手の平は尻もつかめるさ
表題の通りKyoto.なんか #5で話してきました．もうかれこれ3週くらい前の話なのですね……筆不精がたたっております． kyoto-nanka.connpass.com 内容としてはここ数年ElasticsearchをAWS上で運用しているのでそのアーキテクチャのご紹介という感じの発表をしたという次第です．現状上手いこと回っております． この発表の後にElasticの@johtaniさんからのメンションで，クラスタまたぎのレプリケーションがElasticsearch 6.7以降サポートされていることを教えていただきました．ありがとうございます！ 一応補足。6.7から有償機能だけど、クラスターまたいだレプリケーションあるんです。Elastic Cloudで使えたかはパッとは出てこないけど、、、 https://t.co/89om47nkSF— Jun Ohtani (@johtani) A
Elasticsearch〜ビッグデータに対応した全文検索エンジン〜 | OSSのデージーネット
Elasticsearchは、Apache Luceneをベースに開発された全文検索エンジンです。このページでは、Elasticsearchの特徴、Elasticsearchと周辺ツール、Elasticsearchに対するデージーネットの取り組みを紹介します。 Elasticsearchとは Elasticsearchとは、ビッグデータに対応した全文検索エンジンで、オランダのElastic社が開発を行っています。Apache Luceneを基盤として開発されていて、オープンソースソフトウェアとして2010年に初めてのバージョンがリリースされました。RDBではSQLを使用してデータを検索しますがElasticsearchはRESTfulインターフェースを用いてデータを検索します。Elasticsearchは、検索速度や分析柔軟性に優れており、わかりやすく検索機能を利用でき、データ蓄積や分析環
実録パフォーマンス改善 - 高速化のためアーキテクチャやアルゴリズム選択から見直すSansanの事例 - エンジニアHub｜Webエンジニアのキャリアを考える！
実録パフォーマンス改善 - 高速化のためアーキテクチャやアルゴリズム選択から見直すSansanの事例 インフラの特性をふまえ、ミドルウェアの挙動を理解し、プロファイリングによってボトルネックを把握し、要求に合ったアーキテクチャを選択する。そういった工夫を重ねることでアプリケーションのパフォーマンスを改善する事例を、Sansanの千田智己さんに聞きました。 アプリケーションの設計・実装方法を変えることで、性能が格段に向上するケースは数多くあります。有名IT企業のエンジニアは、どのような方針のもとでアーキテクチャあるいはアルゴリズム選択などでパフォーマンスを改善しているのでしょうか？ 法人向けクラウド名刺管理サービス「Sansan」や個人向け名刺アプリ「Eight」を提供するSansan株式会社の千田智己さんに、これまで取り組んできた事例と、そのノウハウを教えていただきました。 千田 智己（せ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://mail-archives.apache.org/mod_mbox/www-announce/202008.mbox/%3CCAD4GwrP+8r8W2GDDwaFb=XbP+QGfrbkS_kOhTAdjDRbPkS2=Aw@mail.gmail.com%3E