ElasticSearch勉強会 第1回を主催しました。 昨年のpyfesでなんちゃって資料で喋って、1年たちました。 ElasticSearchの書籍（英語）も出てきて、今年はElasticSearchが面白くなりそうだし、使ってる人たちから話も聞きたいなぁということで、主催しました。 思った以上に興味のある方がいらっしゃったようで、100人応募のところ、チケットがすぐ完売してしまうほど。。。 しかも、当日もほぼ満員ということで、大変な盛況ぶりでした。 スピーカーの皆様、参加された皆様、会場を提供していただいたリクルートテクノロジーズさん、ありがとうございました！（たぶん、90人くらいいらっしゃってたかと。） こんなステキな案内板も用意してもらいました。スタッフのみなさんありがとうございます！ トゥギャっても頂きました。まとめていただいてありがとうございます！ 自分の発表や個々の発表に関
システムの一部をAWSからGCPへ Sansanのクラウドアーキテクチャの裏側 名刺データ化システムにおけるAWSとGCPのマルチクラウド活用 2018年11月10日、Sansan株式会社が主催するイベント「Sansan Builders Box」が開催されました。Sansan史上初となるサービス開発に携わるものづくりのメンバーを中心とした本カンファレンスでは、ソフトウェア開発やプロダクトマネジメント、UXデザイン、研究開発など、様々な分野での活動の成果が発表されました。プレゼンテーション「名刺データ化システムにおけるAWSとGCPのマルチクラウド活用」に登場したのは、Sansan株式会社DSOC（Data Strategy & Operation Center）Development Group、インフラエンジニアの大澤秀一氏。名刺データ化システムのアーキテクチャと、AWSからGCPへの
以下は完全に自分の独断と偏見で書いており、こうすべき！と押し付けるものでは一切ないことを明記しておきます。また、ツールって言ってるのはコマンドラインツールが主です。 モチベーション なぜツールを作ろうと思うのか 何かやるのに手数が多い オペレーションの工数が多くてそれが人間の手作業であるとき、往々にしてミスは発生する。 ヒューマンエラーを極力なくすために、自動化できるところは自動化すべきである。 操作がコード化されたら、その振る舞いに対してテストを書いて検証することもできる。 例えば Auto Scaling Group で管理された + ELB に吊るされた Elasticsearch のノード入れ替えは、以下の手順で行う必要があった（インスタンス起動時に Elasticsearch が立ち上がること + EC2 Discovery を仮定）。 退役させるノードを1台選ぶ（対象ノード）
Elastic、AWSとの「Elasticsearch」に関する商標問題が解決したと発表。今後「Elasticsearch」を名乗るのはElasticのみに
Elastic、AWSとの「Elasticsearch」に関する商標問題が解決したと発表。今後「Elasticsearch」を名乗るのはElasticのみに Elasticは、Amazon Web Services（AWS）との「Elasticsearch」に関する商標問題の訴訟が解決したと発表しました。 Elastic and @amazon have resolved the Elasticsearch trademark infringement lawsuit. Learn more on our blog: https://t.co/738RR78bRD — Elastic (@elastic) February 16, 2022 発表によると、今後AWSおよびAWS Marketplace上でElasticsearchサービスと名乗るのは、Elasticが提供するElastic
Open Interpreterを使ってReactプロジェクトを自動生成してみた - Taste of Tech Topics
こんにちは、最近アニメ「葬送のフリーレン」を観て、漫画を全巻購入してしまった安部です。 今回は、Open Interpreterを使ってみます。 Open Interpreterは、ChatGPTのAdvanced Data Analysis（旧Code Interpreter）のように、プロンプトから判断して自動で処理を実行するという動きを、ローカル環境で実現してくれます。 ローカル環境で動くため、ディレクトリに置いてあるファイルを読み込ませたり、ファイルを特定の場所に出力させたりできます。 今回は、OpenAI のAPIで、gpt-3.5-turboを利用していますが、API Keyを持っていない場合は、Metaが公開した大規模言語モデル（LLM）である「Code-Llama」が自動でダウンロードされて利用できるようになります。 Open InterpreterのChatGPTとの一番
How HipChat Stores and Indexes Billions of Messages Using ElasticSearch and Redis - High Scalability -
This article is from an interview with Zuhaib Siddique, a production engineer at HipChat, makers of group chat and IM for teams. HipChat started in an unusual space, one you might not think would have much promise, enterprise group messaging, but as we are learning there is gold in them there enterprise hills. Which is why Atlassian, makers of well thought of tools like JIRA and Confluence, acquir
AWS、Redisをフォークした「Valkey」を、同社サービスのElastiCacheとMemoryDBで採用すると明らかに
AWS、Redisをフォークした「Valkey」を、同社サービスのElastiCacheとMemoryDBで採用すると明らかに Amazon Web Servicesは、同社のマネージドサービスとして提供しているAmazon ElasticCacheとAmazon MemoryDBで、インメモリデータストアのRedisをフォークした「Valkey」を採用すると、同社のブログに投稿した記事「Why AWS Supports Valkey」で明らかにしました。 Why #AWS Supports #Valkey. https://t.co/PMXv0Zv8B4 — Werner Vogels (@Werner) April 5, 2024 Valkeyの採用について、上記のブログで次のように記されています。 AWS is committed to supporting open source
RDS(MySQL) のスロークエリを EFK スタック + Docker で出来るだけ手軽に可視化する考察 - ようへいの日々精進XP
モチベーション RDS の勉強をしたい→スロークエリの設定を見てみよう RDS のスロークエリをお手軽に可視化出来ないものか Elasticsearch + Fluentd + Kibana(EFK スタック) を改めて勉強したい 実サービスへの影響を極力抑えたい 可視化する手間は極力省く ということで、Elasticsearch + fluentd + Kibana + docker-compose を利用することで、ほぼコマンド一発で可視化する環境は起動する環境を作ってみた。 github.com 参考 https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/UserGuide/USER_LogAccess.Concepts.MySQL.html https://github.com/kenjiskywalker/fluent-plugin
Amazon CodeWhispererでどの程度コーディングが効率化できそうか試してみた - Taste of Tech Topics
ここのところ気温も暖かくなり、外に出かけるのが楽しみになってきた、カメラ好き機械学習エンジニアの@yktm31です。 いま世間を賑わせている生成系AI、ChatGPTは私にとって欠かせないものになりました。 そんな中つい先日、AWSから「Amazon CodeWhisperer」がGAになりました。 といことで、さっそく試してみました。 目次 概要 特徴 サポート サポートされるプログラミング言語 サポートされるIDE サポートされる自然言語 使い方 利用開始方法 基本操作 Lambdaで、DynamoDBのレコードを取得する処理と、そのユニットテストを書いてみた コード参照（Code references）を試してみる セキュリティスキャンを試してみる ドキュメントからわかったこと 安全性・セキュリティ ProfessionalとIndividualの違い 料金と制限 オプトアウト方法
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 以前「転職ドラフトで1000万円超えのオファーを2度貰ったエンジニアが「評価された理由」と「正社員で働く意味」について考えてみました。」という記事を書いたのですが、転職ドラフトと同様な「年収確約型のエンジニアスカウトサービス」としてmoffersというものがあります。 転職ドラフトがここ最近非常に盛り上がっているのに対してmoffersはかなり知名度が低いのですが、現在開催中のmoffersで、転職ドラフトでも頂いたことのない「年収1200万円」という高額オファーを頂きましたので、若いエンジニアの方たち(特にバックエンド系の方たち)の今
お久しぶりです。技術開発部の相原です。 昨年度は技術基盤部としてmrubyを導入したりしていましたが今は少しレイヤーが開発寄りになりました。 とはいえ依然として技術基盤も見ていて、最近はご多分に漏れず機械学習を用いた技術基盤の改善に興味があります。 そんな中でここ数ヶ月メインの業務の合間の時間を使って試験的に機械学習を導入していたので、今回は技術的負債の高利子クレジットカードと呼ばれる機械学習を導入する中でどのような工夫をしたかということについて書きたいと思います。 機械学習については門外漢なので、ここではモデルの訓練などのプラクティスに関しては触れません。 (一部暗黙的に深層学習を前提としている箇所がありますのでご了承ください) 技術的負債の高利子クレジットカード Data Dependencies Cost More than Code Dependencies System-leve
“技術的負債多すぎ問題”を解決するためにやったこと 「タップル誕生」におけるサービス改善の舞台裏 タップル誕生における、事業成長に合わせた継続的なシステム改善について 2018年12月6日、株式会社リンクアンドモチベーションのイベントスペースにて、エンジニア向けの勉強会に特化した書き起こしメディア「ログミーTech」が主催するイベント「ログミーTech Live #2」が開催されました。第2回となる今回のテーマは「レガシーシステムのリニューアル」。長期間運用され、設計が古くなってしまった「レガシーシステム」のリニューアルを行った3社が一堂に会し、システムリニューアルにおける知見と新システムへの移行について語ります。プレゼンテーション「タップル誕生における、事業成長に合わせた継続的なシステム改善について 」に登場したのは、株式会社マッチングエージェント、タップル誕生サーバーサイドエンジニアの
攻撃者は、はじめに標的のECサイトの注文フォームに対し、不正なスクリプトを含んだ文字列を入力し、購入処理を行います（図1の①）。その結果、ECサイトの購入処理の部分にXSSの脆弱性が存在する場合、ECサイトの管理画面を閲覧した管理者は不正なスクリプトが実行され、クレデンシャル情報の窃取や、ECサイトへの簡素WebShellの設置などが行われます（図1の②～④）。その後、攻撃者によってECサイトにWebShellやユーザーの情報窃取を行うJavaScriptなどが設置されます。設置された“情報窃取JavaScript”によってECサイトを利用するユーザーのクレジットカード情報等を窃取され、“情報保存ファイル”としてECサイト内に保存されます（図1の⑤）。攻撃者は定期的なWebShellへのアクセスを行うことでこれらの情報を窃取していたと推測されます（図1の⑥）。 なお、攻撃者は、一連の攻撃の
この記事は全文検索エンジン「Elasticsearch」の入門チュートリアルです。 Elasticsearch とは Elasticsearch は Elastic 社が開発しているオープンソースの全文検索エンジンです。 大量のドキュメントから目的の単語を含むドキュメントを高速に抽出することができます。 Elasticsearch では RESTful インターフェースを使って操作しますが、「Elasticsearch SQL」を使って SQL 文でクエリを記述することもできます。 Oracle や MySQL などのリレーショナルデータベースに慣れている人にとっては、最初はとっつきにくいと感じるかもしれません。 しかし、Elasticsearch の API はとてもシンプルなので、心配しなくても大丈夫です。 Elastic Stack とは Elastic Stack は Elasti
【solr】地図検索で超高速にまとめ表示を実現する実装方式【elasticsearch】 - 文系プログラマによるTIPSブログ
特別な機能を使わず、標準機能だけでできますよ〜 一瞬何のことか？と思った方は↓の画像を見て下さい。これです。 位置情報検索を利用して、一定の範囲内に該当するデータが何件あるかをまとめて表示する機能の事です。 実装方法 google mapを用意する boundsからメッシュを構築する メッシュの分割手法 メッシュを1個づつfacetで一括検索する メッシュの真ん中に件数を表示する google mapの表示が検索の始動となる 緯度経度を持つデータが用意しにくい！！ 雑感 実装方法 この画像ではgoogle map clusterを使った例ですが、clusterを使わず、超高速に位置情報検索を実装する方法を検討してみました。主にsolrとelasticsearchで実現可能かと思います。 google mapを用意する 地図はgoogle mapを使います。 googlemap apiには今
ElasticsearchによるZOZOTOWNへのベクトル検索の導入検討とその課題 - ZOZO TECH BLOG
こんにちは。検索基盤部の橘です。ZOZOTOWNでは、商品検索エンジンとしてElasticsearchを利用し、大規模なデータに対して高速な全文検索を実現しています。 Elasticsearchに関する取り組みは以下の記事をご覧ください。 techblog.zozo.com 検索基盤部では、ZOZOTOWNの検索結果の品質向上を目指し、新しい検索手法の導入を検討しています。本記事ではベクトル検索と呼ばれる検索手法に関して得た知見を紹介します。 ※本記事はElasticsearchバージョン8.9に関する内容となっています。 目次 目次 ベクトル検索とは ベクトル検索に期待すること Elasticsearchを使用したベクトル検索の導入 導入の簡略化 デプロイ可能な埋め込みモデル ベクトル検索のクエリ ハイブリッド検索とは Elasticsearchを用いたハイブリッド検索 RRF(Reci
10分で GraphQL 入門 - Qiita
これは 6/28 に開催される GraphQL ナイト のための資料です ここまでで分かること クエリは独自言語みたい クエリを変えることで柔軟にデータをとってこれそう クエリと結果の見た目が似てるのは分かりやすそう（主観） でも facebook はなんで作ったの？ facebook の事情 数十億ユーザから膨大なリクエストがくる 新興国の低速なネットワークからのモバイル接続も多い アップデートされないモバイルアプリもサポートする つまり リクエスト回数は可能な限り減らしたい 後方互換を維持しながら API を開発したい 無駄なデータを送りたくない （大規模開発なので型安全も欲しい） 規模は違えど我々も同じような問題を抱えているのでは？ なぜ既存のものではダメだったのか？ より詳しくは昔の graphql.org のページを参照（internet archive） v.s. REST 複
fluentd と Elasticsearch と kibana の組み合わせがとても気に入ったのでメモ - ようへいの日々精進XP
きっかけ fluentd で集めたログを GUI で簡単に見ることが出来ないかと悩んでいたら、以下の参考にしたサイトのように良い事例があるではないですかということで早速チャレンジ。 参考にしたサイト Kibanaってなんじゃ？（Kibana+elasticsearch+fluentdでログ解析） Kibana + ElasticSearch + Fluentd を試してみた Elasticsearch入門 pyfes 201207 http://blog.johtani.info/blog/2013/06/10/fluent-es-kibana/ Kibana Installation rashidkpc/Kibana うんちく 自分なりに整理した Elasticsearch と kibana について。 Elasticsearch Apache Lucene をベースに作られた REST
Sansan の成長を支えるセキュリティログの活用と Amazon Elasticsearch Service / Amazon Elasticsearch Service empowers Sansan's business growth to create value and drive innovation through security logs management
■イベント AWS Security Roadshow Japan https://aws.amazon.com/jp/about-aws/events/2020/securityroadshow2020/ ■登壇概要 タイトル：Sansan の成長を支えるセキュリティログの活用と Amaz…
【速報】マネージドGraphQLサービス「AWS AppSync」が一般公開（GA）されました！ | DevelopersIO
AWS AppSyncが一般公開されました AWS re:Invent 2017で発表された、モバイルアプリのための期待のマネージドGraphQLサービス「AWS AppSync」。本日ついに一般公開（GA）されました！ AWS AppSync now Generally Available (GA) with new GraphQL Features AWS AppSyncとは？ AWS AppSyncは、クロスプラットフォームでデータのリアルタイム同期を行うためのGraphQLをベースとしたアプリケーションのバックエンドを提供するサービスです。次の機能を利用できます。 リアルタイムアプリケーションの作成 同期を使ったオフラインプログラミングモデルの構築 必要なデータだけ GraphQL で取得 複数のデータソース（Amazon DynamoDB、Amazon Elasticsearch
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 昨年ごろから急に docker って流行り出しましたよね。 https://www.docker.com/ 僕も docker のチュートリアルをひと通りやってなんとなくコマンド覚えたんですけど、chef で良くない？ってなって結局使わずじまいでした。 ただ、最近になって、ちょっと思い直している部分があって、 Docker は Kubernetes 使ってこそだろーと思って勝手に自社サーバ持ってる企業だけが恩恵にあずかれると思っていたのだけど、その管理はクラウド屋さんに任せて dockerfile 書いておけば dev/stg/prd
AWSサービスを使った新たなデータ分析環境を構築しました #AWS #DataAnalytics - techtekt
ベネッセ i-キャリアの小島です。 dodaキャンパスでは、AWS AthenaやQuickSightを利用して、日々データ分析活用を行っていますが、 今回は、Auroraを活用して、AWS Glueでデータ分析機能を構築しました。 その際に選定したアーキテクトとその理由を中心にお話させていただきたいと思います。 背景 dodaキャンパスでは現在、以下のサービスを用いてデータを取り扱っています。 DynamoDB サービスのデータ管理として利用 Athena SQLを用いたデータ分析に利用 QuickSight AthenaをデータソースとしたBIツールとして利用 今回、QuickSightで実行しているデータ分析のような機能を法人ユーザーにも提供することになりました。 要件は以下です 前日までの分析データのためデータの更新は1日1回でよい Readは大量かつ高速であることが求められる グ
Elasticsearch Service と CloudSearch どっちを選べば良いの？ | DevelopersIO
こんにちは、木戸です。 AWS の検索エンジンをベースとしたサービスには、Amazon Elasticsearch Service と Amazon CloudSearch の２つがあります。今回はこの二つのサービスについての用途の違いについてまとめたいと思います（機能比較ではないです）。サービスを選定する際の参考になれば幸いです。 ※ Elasticsearch Service は Kibaba も含め分析用途もありますが、今回は検索にフォーカスしてます。 それではさっそく、 CloudSearch も Elasticsearch も Lucene ベース CloudSearch は現在 Solr ベースとなっており、その検索エンジンのコアには Lucene を使用している。また、Elasticsearch も Lucene をバックエンドに使用しているため、ベースのテクノロジーとしては
日本語の文章を形態素解析するときは、トークナイズする前に文字列の正規化を済ませて検索精度を向上させよう！ この記事は、Elasticsearch Advent Calendar 2014 の１８日目のエントリーです。即席で申し訳ないですが、なんとかまとめましたので是非最後までお付き合いください。 今回は、日本語形態素解析における文字列正規化のお話です。 それでは早速本題に。 非正規化された日本語の文章を形態素解析を使って、なるべく意図したようにトークナイズするためには、全角英数字を半角英数字に正規化したり、半角カタカナを全角カタカナに正規化したり、不要な文字を除外したり、単語ではなく、文字単位での正規化が重要になってきます。 Japanese (kuromoji) Analysis Plugin のページでも紹介されているように、全角英数字や半角カタカナの正規化には、CJK Width F
Elasticsearch実運用時の注意点とアンチパターンまとめ - サナギわさわさ.json
Elasticsearch実運用時に個人的に気をつけている点をまとめました。 自分でも整理できていない部分がありますので、間違っている点・追加した方が良い点などありましたら教えていただけると非常に助かります。 目次 目次 インデックス・スキーマ設定 スキーマを事前に定義しておく _allの使用は必要な時のみ行う 部分一致検索をしないstringフィールドにはnot_analyzedをつける doc_value:trueをつける できるだけエイリアスを使う 必要に応じてルーティングを行う 本体の設定 ヒープメモリを適切に設定する スワップしないように設定 スプリットブレイン対策を行う field data cacheに上限を与える 検索高速化 Warmerを登録する queryとfilterを使い分ける filterのキャッシュ設定を使い分ける 必要無いフィールドは検索の際に取得しない イン
最近、為替の値動きが気になる方も多いのではないでしょうか？2022年3月に入ってから円安傾向に歯止めがかからず2022年4月13日には、2002年5月以来、実に20年ぶりに1ドル126円をつけました。 126円いっちまったな 【??ドル円 #USD／JPY】126.0770 pic.twitter.com/VIH73oD3fQ — Atsushi Marumo (@marumo1981) April 13, 2022 昨年、2021年1月時点では1ドル102円だったことを考えると、1年とちょっとでおよそ20%も為替が変動しています。国内ユーザーの多くはAWS利用費を最終的に日本円で支払っていると思いますので、1年前と同じ利用量でUSドルの請求額が同じだとしても、コストは20%増加していることになります。 「クラウドは為替の影響受けるから怖いね、、」 ではなく、クラウドだからこそ柔軟にコスト
好きなMH（今はGTM？）はヴァイオラの那須（@nasum）です（アイスブレーク）。レッドミラージュも捨てがたいですが、ヴァイオラが一番好きですね。ちなみに好きなファティマは京です。 Webサービスを運営している以上、避けて通れないのがログ解析です。このログ解析あまり経験がないと何をどう始めたらいいのかよくわからないと思います。私自身今までログ解析の仕事をしたことがなかったので、わからない状態が続いているという危機感がありました。 そこで最近はできるだけ率先してログ解析の仕事があればそれをやるようにしてコマンド力を鍛えています。今回は教えていただいたり自分で調べたりして得られたログ解析するときに使うコマンドの使い方を紹介したいと思います。 以下簡単にログ解析の流れとともにコマンドを紹介します。やっていることは「ログに記録されたファイルサイズを合計して１日に配信される特定の条件を満たした応答
ChatGPTのプロンプトを自動改善するPrompt Perfectプラグインを使ってみた - Taste of Tech Topics
カメラ好き機械学習エンジニアの@yktm31です。 ChatGPTは便利ですが、プロンプトの内容でいかに質問・指示するかで、その精度はだいぶ変わってきます。 うまく質問・指示するのは、工夫が必要だったりしますが、そこで役立つのが、「Prompt Perfect」というプラグインです。 www.blog.promptperfect.xyz Prompt Perfectは、ChatGPTへのプロンプトの内容を自動で改善してくれるプラグインです。 本記事では、その使い方や効果について、試していきます。 プラグインを有効化 使い方 基本の使い方 日本語で回答させる もう一つ試してみる Prompt Perfectの補完内容 注意点 まとめ プラグインを有効化 1) プラグインを有効化するため、Plugin storeからインストールします。 2) インストール後、メールアドレスの登録か、Googl
はじめに この記事はCrowdWorks Advent Calendar 2016 3日目の記事です 今回はクラウドワークスが運営しているクラウドソーシングサービスであるCrowdWorksのRails開発環境について紹介します。 Qiitaにもたくさん記事が投稿されているとおり、Dockerを開発環境に利用するのはだいぶ一般的になってきたように感じます。クラウドワークスでもローカルでDocker Composeを利用して開発環境を構築できるようにしています。 Docker化の範囲は、各人の好みがあるため2パターン用意しています。 RailsはmacOS上で動かしてミドルウェアのみDocker化 ミドルウェアに加えてRailsもDocker化 現状では「ミドルウェアのみDocker化している人」、「RailsもDocker化している人」、「まだ移行できていない人」の割合は1/3ずつぐらいで
AWS Black Belt Online Seminar 一覧リストを作成しました (2024.12.19現在) | DevelopersIO
AWS Black Belt Online Seminar の全リストを一つページにまとめてみました。 AWSの学習に活用してください。 AWSの学習に最もオススメのコンテンツがAWS Black Belt Online Seminar（以下、Black Belt と略します）です。10年以上前から AWS Japan のみなさんより提供されてきて、AWSを学ぶエンジニアにとってバイブルのような存在です。私を含め、クラスメソッドの多くのエンジニアも、Black Belt にお世話になってきました。 以前は Black Belt のコンテンツ数もそこまで多くなく、1つのページに全リストが表示できていました。しかし、現在は複数ページで絞り込みながら目的のコンテンツを探すスタイルに変更されています。 目的を持って探す場合は便利なのですが、私のように全体に目を通しながら興味のある物を見つけるような
技評さんでログ解析のムック本を共著で執筆させていただきました。 サーバ/インフラエンジニア養成読本 ログ収集~可視化編 [現場主導のデータ分析環境を構築!] (Software Design plus) 作者: 鈴木健太,吉田健太郎,大谷純,道井俊介出版社/メーカー: 技術評論社発売日: 2014/08/08メディア: 大型本この商品を含むブログを見る 発売は2014/8/8の予定です。テーマはログ収集と可視化です。表紙に載ってる通り、Fluentd、Elasticsearch、Kibanaを中心に据えた本となっています。 私は特集1の「サービス改善はログ解析から」を担当しました。サービスにおいて、なぜログ解析を行う必要があるのか。どのような選択肢があり、どのように方法を選択していけば良いのかといった観点から書きました。特にエンジニアとしてサービスを改善していくために、どのようにデータを活
GitHub Engineering
At GitHub, we use Elasticsearch as the main technology backing our search services. In order to administer our clusters, we use ChatOps via Hubot. As of 2017, those commands were a collection of Bash and Ruby-based scripts. Since the beta release of GitHub Actions last October, thousands of users have added workflow files to their repositories. But until now, those files only work with the tools G
SpringBoot/Quarkus/Micronautの性能を検証してみた ～その1 起動編～ - Taste of Tech Topics
こんにちは。@phonypianistです。 本投稿はアクロクエスト アドベントカレンダー 12月21日 の記事です。 最近、Quarkusアプリを本番適用しました。 QuarkusはJavaアプリを作るための軽量なフレームワークで起動が速いって聞くけど、実際どれくらい速いんだろう？と気になったので、Spring Bootや、類似OSSのMicronautと比べてみました。 背景 JavaのフレームワークといえばSpringBootが主流ですが、起動が遅かったり、必要なメモリが多かったりしています。 これは、アプリ起動時にリフレクションを用いてDI（Dependency Injection）を行っているのが要因の1つです。 マイクロサービス、コンテナネイティブなアプリケーションは、負荷の状況に応じて、シームレスにスケールアウトできる必要があります。 アプリケーションの起動速度が遅かったり、
いろいろあって Elastic Cloud がオススメな件 - なんたらノート第三期ベータ
MySQLのインデックスの代わりにElasticsearchを使おうと思い立っていろいろやってみた結果、Elastic社のホスティングけっこうオススメなんじゃないかってなった話です。これです: www.elastic.co 経緯としては、AWSにのっけたサービス、とりあえずMySQLとRedisだけでやってきた仕組みが、そろそろノーキャッシュ新規クエリ単発で1秒以上かかる場合が出てきたというのがあります。 アプリケーションで決まったパターンの問い合わせだけやってるぶんには、問い合わせのパターン数だけ複合インデックを作ればいいし、負荷分散したければリードレプリカが簡単、ということでほとんどの場合MySQLでいいのですが... MySQLは個別のインデックス勝手に組み合わせてくれない、全パターン定義しないといけない 管理者が使う検索機能のよっては、想定したインデックスにうまくヒットしない条件に
カジュアルにMySQLスローログ可視化with Fluentd+Elasticsearch+Kibana - kikumotoのメモ帳
この記事は MySQL Casual Advent Calendar 2015 - Qiita Elasticsearch Advent Calendar 2015 - Qiita Hamee Advent Calendar 2015 - Qiita の第４日目です。 TL;DR 開発者の皆さんに、CasualにMySQLスローログを分析しもらうために、Fluentd + Elasticsearch + Kibana でMySQLスロークエリを下図のようにビジュアライズしました。（Kibana上で EXPLAIN の結果も確認できるようにしてあります） ついでに、以下の Fluentd の filter plugin を作成しました。 kikumoto/fluent-plugin-sql_fingerprint · GitHub kikumoto/fluent-plugin-mysql_e
Fluent Dashboard＋Norikraでリアルタイムダッシュボードを7分で作る話 #dockerjp - Qiita
Fluent Dashboardって？ Fluent Dashboardは、Fluentdで集計したデータをグラフやテーブルで表示できるGoogle Spreadsheet。fluent-plugin-https-jsonを使ってイベントログを送ると、以下のようにリアルタイムにデータを表示してくれる。 使い方 詳しい使い方はREADMEにある通りで、Spreadsheetをコピーして公開設定等をポチポチするだけで準備完了。3分もかからない。あとはfluent-plugin-https-jsonのログ送信先URLとしてFluent SpreadsheetのエンドポイントURLを指定すれば動き始める。 集計ログの表示向け 任意のFluentdログを受け取ってグラフやテーブルを描けるけど、大量のログを直接受け取ることはできない。集計後のログを3秒に1回ほどの割合で受け取って表示する、といった使い
- はじめに - 近年、IT業界のダジャレは熾烈の一途を辿っている(ITだけに) 。 類義語を巧みに取り入れたダジャレ、難読化されたダジャレなどが増加し、一体どれで「初笑い」すれば良いのか悩む若者も少なくない。 そのような背景があり、ダジャレを判定するアルゴリズムの開発も盛んである。 ルールベースによる判定では、@kurehajimeが提案、開発したdajarep *1 や、@fujit33によるShareka *2が存在する。特にSharekaは、ルールベースのロジックにも関わらず、反復型とされる種類のダジャレに対して高い精度での判定を可能にしている。また、機械学習モデルを用いた判定手法として、谷津(@tuu_yaa)らが開発したDajaRecognizer *3がある。DajaRecognizerは、多くのルールベースによって子音音韻類似度をPMIとして定義、Bag-of-Words、
それは前職のころ、今回の登壇者でもある @moro の発表にもあるような「要件としての論理削除はない」ということに熱く語りあったりしていたとかいなかったとか。 そして、ある日私が論理削除つらいということをつぶやいたところからこの企画は動きだしました。 このときは半分冗談で、いつか内輪で集まってやれたらいいかなというくらいだったのですが、今年の春にJxckさんの RDB - DELETE_FLAG を付ける前に確認したいこと。 - Qiita をきっかけとしてインターネットで論理削除が盛り上がったこと、所属する組織から技術イベントをやっていこうという機運が高まっていたこと、この2つがちょうどいいタイミングで重なって、これはやるしかないなと思ったのでした。(とはいえ、Jxckさんのエントリからは半年も経ってしまっていますが…) @t_wadaさんの全体像と総論(と思ったら予想以上に踏み込んだ内
SonarQubeServerの構築 それではさっそくSonarQubeの環境を構築していきます！ まずはEC2上にSonarQubeServerを構築してみます。 今回は下記のような環境を構築していきます。 インスタンスタイプ：t2.medium OS:Amazon Linux2 DB:postgresql-9.2.23-3.amzn2.x86_64 JDK:openjdk:1.8.0_171 SonarQube:7.2.1 EC2インスタンスの作成 手順は省略します。 GIPを割り当てつつ、セキュリティグループで22,9000ポートを解放しておいておいて下さい。 Postgresのインストールと初期設定 作成したEC2にまずPostgresのインストールを行います。 sudo yum install postgresql-server sudo systemctl enable pos
fluent-agent-hydraで省エネログ転送 - Mercari Engineering Blog
Site Reliability Engineering Teamの@cubicdaiyaです。 今回はGo製のログ転送エージェントであるfluent-agent-hydraとメルカリでの利用事例について紹介します。 メルカリとFluentd メルカリではAPIサーバのアクセスログやアプリケーション固有のログをはじめとする各サーバに散らばっているログデータを転送・集約するのにFluentdを活用しています。 具体的にはローカルに書き込まれるログファイルのin_tailやそれらを転送するための(out|in)_forward、ElasticsearchやBigQueryにログを放り込むためのプラグインを利用しているほか、いくつか特殊な用途のプラグインを独自に開発して運用してたりもします。 ログの流量とFluentdのパフォーマンス 多機能で柔軟なプラグイン機構を持つ便利なFluentdですが
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
第1回ElasticSearch勉強会を開催しました！ #elasticsearchjp
システムの一部をAWSからGCPへ Sansanのクラウドアーキテクチャの裏側
ツールを作ろうと思うモチベーションと、作る流れ - 端子録
moffersで年収1200万円のオファーをゲットしたエンジニアの業務経歴を公開します
機械学習における技術的負債をDigdagで返済する - LIFULL Creators Blog
“技術的負債多すぎ問題”を解決するためにやったこと 「タップル誕生」におけるサービス改善の舞台裏
ECサイトのクロスサイトスクリプティング脆弱性を悪用した攻撃 - JPCERT/CC Eyes
はじめての Elasticsearch - Qiita
なぜベンチャーで docker を使うのか - Qiita
Elasticsearch 日本語形態素解析のための文字列正規化の重要性
円安相場だからこそやりたい！AWSコスト最適化のための5ステップ | DevelopersIO
ログ解析初心者に贈る便利なコマンドの使い方 - クラウドワークス エンジニアブログ
CrowdWorksのDocker開発環境 - Qiita
サーバ/インフラエンジニア養成読本 ログ収集~可視化編 を書きました - すずけんメモ
ダジャレを判定する - Stimulator
論理削除 Casual Talks #1という夢を見たんだ
SonarQubeでソースコードの静的解析とレビューを自動化してみる(前編) | DevelopersIO