2019年9月16、17日、日本最大のPythonの祭典である「PyCon JP 2019」が開催されました。「Python New Era」をキャッチコピーに、日本だけでなく世界各地からPythonエンジニアたちが一堂に会し、さまざまな知見を共有します。プレゼンテーション「入門 自作検索エンジン」に登壇したのは加藤遼氏。講演資料はこちら 検索エンジン自作の入門編 加藤遼 氏：普段はサーバサイドの開発やAPI、検索まわりをやっています。技術的にはPythonやElasticsearchがメインです。このセッションにこんなに人が来ると思っていなかったので、これだけ集まってくれて大変ありがとうございます。 ここに来たということは、みなさん検索に多少なりとも興味がある方だと思います。なのでちょっとだけ宣伝させてください。検索技術勉強会という勉強会のスタッフをやってます。これは特定のライブラリに関
- The document discusses monitoring AWS resources using Amazon CloudWatch. It covers collecting metrics and logs from EC2 instances, ELB, RDS, and other services and visualizing the data in CloudWatch. - Key services mentioned include CloudWatch Metrics to collect CPU, memory, disk and network utilization from EC2 instances, CloudWatch Logs to collect logs, and integrating monitoring with services
HEY's Gemfile
Gemfile � ��LV ��LV ruby '2.7.1' gem 'rails', github: 'rails/rails' gem 'tzinfo-data', '>= 1.2016.7' # Don't rely on OSX/Linux timezone data # Action Text gem 'actiontext', github: 'basecamp/actiontext', ref: 'okra' gem 'okra', github: 'basecamp/okra' # Drivers gem 'mysql2' gem 'sqlite3' # Used for asset generation in BK gem 'redis', '~> 4.0' gem 'redis_connectable', github: 'basecamp/redis_conne
AWS 認定 DevOps エンジニア – プロフェッショナル(AWS Certified DevOps Engineer – Professional)の学習方法 - NRIネットコムBlog
小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 DevOps エンジニア – プロフェッショナル(AWS Certified DevOps Engineer – Professional)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL Networking Security Database Analytics ML SAP on AWS Alexa DevOps Developer SysOps SA Pro SA Associate Cloud Practitioner 「AWS 認定 DevOps エ
本記事ではElasticsearchとBERTを組み合わせて類似文書検索を行う方法について紹介します。Elasticsearchでは最近、ベクトルに対する類似文書検索の機能が実装されました。一方、BERTを使うことでテキストを固定長のベクトルに変換することができます。つまり、BERTを使ってテキストをベクトルに変換すれば、Elasticsearchを使って類似文書検索ができるということになります。 本記事では以下のアーキテクチャでElasticsearchとBERTを組み合わせた検索システムを実現します。Dockerを使ってアプリケーション、BERT、Elasticsearchのコンテナを分けることでそれぞれをスケールしやすくする狙いがあります。記事中では重要な部分のみ提示しますが、システム全体はdocker-composeのファイルとして記述しこちらのリポジトリに置いてるので、参照してく
概要 Elasticseachに分散表現のベクトルに対する類似文書検索が実装されたということで、以下のElasticのブログ記事を参考に類似文書検索を試してみました。 Text similarity search in Elasticsearch using vector fields | Elastic Blog 類似文書検索とは、与えられたクエリの文書と似ている文書を文書集合内から検索する技術です。この際に必要となるのが「似ている」という概念で、計算機上でどうやって2つの文書間の類似度を数値として表現するかがポイントになります。例えば、互いの文書に出現する単語の一致度や重複度合いを測ったり、TF-IDFやBM25などで文書をベクトル化して比較する方法があります。ただしこれらの方法では、言い換え表現や表記の違いにより同じ意味の単語が異なる単語だと判定されたり、文書の中では重要でない単語に
ChatGPT Code Interpreter を利用して、お手軽にデータ分析・可視化 - Taste of Tech Topics
カメラ好き機械学習エンジニアの@yktm31です。 先日、OpenAIから、公式のプラグインとして「Code Interpreter」が発表されました。 「Code Interpreter」は、ChatGPT上でPythonのコードを生成・実行する仕組みを持っています。 これまでも、ChatGPTで、プログラムのソースコードを出力することは可能でしたが、実行まではできませんでした。 「Code Interpreter」は、ChatGPTの有料版で利用することが可能ですが、ユーザーが自然言語で指示や要求を出すだけで、 ChatGPTがその内容を理解し、ソースコードの生成から実行まで行えたり、既存のコードを解釈してその動作を説明したりすることが可能になります。 openai.com 本記事では、この「Code Interpreter」を利用して、CSVファイルを元に、データの可視化を行ってみま
自分流エンジニアの歩み方 - ytake blog
これは先日、株式会社アイスタイルにて参加した社内むけで話した内容を清書したものです。 （現在は株式会社アイスタイルの社員ではありませんが技術顧問的な立場でサポートさせていただいてます） 対象として、初学者やエンジニアなりたての人向けではありませんが、 2、3年目の方とかが読むといいのかもしれません。 自分流のこれまでのやってきたものだったりマインド的な話だったりそういうもので、 これをやれば誰もがエンジニアとして成長できる！というわけではありません。 参考にできるところは参考にするか、ヒントにするとか息抜きに読むくらいがちょうど良いです。 加えて将来CTOだったり、技術顧問という立場になりたい、という方にもいいかもしれませんが、 自分のスタンスだったりが多く含まれていますので、 世間一般で求められてるCTOだったり技術顧問との乖離があったりするところもあると思います。 参考にできるところは
Bing Chat で画面イメージからHTML/CSSの内容を生成してみる（日本語でもできました） - Taste of Tech Topics
カメラ好き機械学習エンジニアの@yktm31です。 昨日、マイクロソフト主催のMicrosoft Inspireにて、Bing Chat の更新内容が発表されました。 news.microsoft.com その中でも、特に Bing Chat の「Visual Search in Chat」の機能が気になったので、早速試してみました。 Bing Chat 新機能の概要 Visual Search in Chatは、画像から文脈を解釈し答えを返してくれる生成AI機能です。 旅行先で見かけた建築物について知りたいときや、冷蔵庫の中身からレシピを考えたいときなど、 Bing Chatに画像をアップロードするだけで、ウェブの知識を活用して回答される、とのことです。 バックエンドで動くモデルは、OpenAIのGPT-4モデルのようです。 デモでは、手書きの絵からHTML/CSSのコードを生成する例が
Azure OpenAI Service 「on your data」 で独自データを使ったチャットを実現する - Taste of Tech Topics
こんにちは、igaです。 先日は台風の影響が出る前に出かけられて、リフレッシュできました。 今回は、Azure OpenAIとチャットする際に、独自データを使用してみます。 独自データの使用（原文の表記はon your data）は、2023年8月現在パブリックプレビューとして利用できる機能です。 techcommunity.microsoft.com 独自データの使用（以降、on your dataと表記します）により、例えば企業内ドキュメントやFAQをAzure OpenAIに検索させることで、ユーザーからのチャットでの問い合わせに対して企業内ドキュメントやFAQを検索した結果をAzure OpenAIがチャットの応答として返すことができるようになります。 今回は、on your dataを利用するまでの流れを試したいと思います。 on your dataのポイント on your d
- はじめに - 本記事では、Rustで扱える機械学習関連クレートをまとめる。 普段Pythonで機械学習プロジェクトを遂行する人がRustに移行する事を想定して書くメモ書きになるが、もしかすると長らくRustでMLをやっていた人と視点の違いがあるかもしれない。 追記：2021/02/24 repositoryにしました。こちらを随時更新します github.com 追記；2021/07/26 GitHub Pagesでウェブサイトにしました vaaaaanquish.github.io - はじめに - - 全体感 - - 機械学習足回り関連のクレート - Jupyter Notebook Numpy/Scipy Pandas 画像処理 形態素解析/tokenize - scikit-learn的なやつ - 各ライブラリと特徴比較 - Gradient Boosting - XGBoos
Startupのよくある課題をAWSで解決する 塚田朗弘氏（以下、塚田）：みなさん、こんにちは。「こんにちは」ですよね？ 朝、藤倉（成太）さんが間違えて「こんばんは」と言っていましたが。よろしくお願いします。 今ご紹介があったとおり、このセッションは「[AWS Startup ゼミ] よくある課題を一気に解説！ ～御社の技術レベルがアップする 2019 春期講習～」というかたちで、3名でお送りしていきたいと思います。 まず、3名がどういう人間かだけ、ちょっとお伝えしていきたいと思います。 私は塚田朗弘といいまして、スタートアップのお客さまを支援するソリューション アーキテクト……技術支援の担当者ですね。3人ともそうなのですが。そのなかでもモヒカンで、モバイルとかサーバレスとか、そういったテクノロジーを扱っている者になります。 よかったら、ここで祝福をしていただきたいのですが……今日は誕生日
無名のセキュリティエンジニアがたった2本のブログ記事からSoftware Designで連載をすることになった (技術編) - NFLabs. エンジニアブログ
tl;dr 前半をサイバー脅威インテリジェンスの理論、後半をハンズオンの形式で全6回の連載をしてきました 連載は現実のインテリジェンス業務をなるべく反映させたものであり、戦術脅威インテリジェンスがアウトプットの中心になります 実態のよくわからないバズワードに飛びつかず、企業は自組織の体制と世の中の脅威を正しく理解するところからはじめましょう はじめに 本稿は前回の記事「無名のセキュリティエンジニアがたった2本のブログ記事からSoftware Designで連載をすることになった (非技術編)」の技術的内容部分を抜き出したものです。未読の方は先にそちらの記事を参考にしていただいた方が、内容を理解しやすいと思います。 blog.nflabs.jp 前回に引き続き @strinsert1Na です。事業推進部の Defensive チームで脅威インテリジェンスの生成やソフトウェアの開発をしていま
エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(@po3rin) です。最近、AI・機械学習チーム配下の検索基盤チームでElasticsearchのAnalyzerをKuromojiからSudachiに移行しました。今回はSudachi移行の背景と、Sudachiの概要、実際に移行するにあたってのプロセスや注意事項をお話しします。 対象読者 なぜSudahchiに移行したのか 検索基盤チームが抱えていた検索の課題 Sudachiとは Sudachiへの移行戦略と実践 今使っているKuromojiユーザー辞書をSudachiユーザー辞書に移行する 今使っているシノニム辞書からSudachi正規化機能でまかなえるものを削除する 平仮名/カタカナの正規化辞書を作る 移行時のSudachi切り替え戦略 移行後の影響の事前確認 Sudachi移行時のハ
すべてのログは標準出力・標準エラー出力に出力 ・Dockerのlogging driver ・ログの集約がしづらい ・Fluentdに転送設定 コンテナ起動時に既にFluentdが死んでいる場合、コンテナが起動できない など。詳細は以下のサイトを参照 Dockerコンテナ上のログ集約に関するまとめ Dockerのlogging driver: それぞれの特徴と使いどころ(json-file, syslog, journald, fluentd) 対象のログ リアルタイムに出力されるログが対象 ・Fluentd / fluentd-ui ・FluentBit ・Filebeat ・Logstash 既にあるログが対象 ・Embulk Fluentdのバッチ版Embulk(エンバルク)のまとめ Docker-composeを使ってEmbulk,Elasticsearch,Kibana環境を構築
Observability, security, and search solutions — powered by the Elasticsearch Platform.
技術部 Site Reliability (SR) グループの id:itkq です。2020 秋タイトルで一番期待しているのはおちこぼれフルーツタルトです。本エントリでは、Web サービスの負荷試験に対する障壁を下げるために、汎用的な Web コンソール開発に至ったまでの話を書きます。 Web サービスの負荷試験の障壁を下げたい クックパッドでは、マイクロサービスを支える基盤が成熟しており、新規サービス開発や、サービスリニューアルなどの機能開発の場面では、疎結合な新規のマイクロサービスとして実装されることが多いです。このようなサービスをリリースする際は、予想されるトラフィックに対して、実際にそれを捌ききれるかどうかテストする、いわゆる負荷試験をすることは一般的です。これまで、サービスリリース時に、負荷試験をきちんと行うこともあれば、負荷試験を行わないこともありました。負荷試験が行われない
遊撃エンジニアの @anoworl です。最近はメンバーを巻き込みつつ転職ドラフトで指名をして指名承諾率1位になったり、SaaSをReactやReduxと戯れながら開発してちょっとだけSPAが分かった気になったりしました。 この記事では「CM放映期間にサーバを落とさない方法」と題して、昨年12月〜今年の1月のCM放映時行っていたことを紹介したいと思います。↓このCMです。 CM放映期間は記事に書いてあることを実践し、事前の負荷試験では元の10倍の負荷に耐えられるようにしました。 その結果、5xx皆無とか99パーセンタイルレスポンスタイム完璧！とまではいきませんが大きな障害も無く、分かりやすい値だとNew Relicで測定しているUptimeは期間中100%を記録しました。 Uptime 100% ! 注意事項 この記事は、私自身CMを放映することになった際まとまった情報がインターネット上に
Open Interpreterを使ってReactプロジェクトを自動生成してみた - Taste of Tech Topics
こんにちは、最近アニメ「葬送のフリーレン」を観て、漫画を全巻購入してしまった安部です。 今回は、Open Interpreterを使ってみます。 Open Interpreterは、ChatGPTのAdvanced Data Analysis（旧Code Interpreter）のように、プロンプトから判断して自動で処理を実行するという動きを、ローカル環境で実現してくれます。 ローカル環境で動くため、ディレクトリに置いてあるファイルを読み込ませたり、ファイルを特定の場所に出力させたりできます。 今回は、OpenAI のAPIで、gpt-3.5-turboを利用していますが、API Keyを持っていない場合は、Metaが公開した大規模言語モデル（LLM）である「Code-Llama」が自動でダウンロードされて利用できるようになります。 Open InterpreterのChatGPTとの一番
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 デザインディレクション・ブック 橋本 陽夫 現場のプロがやさしく書いたWebサイトの分析・改善の教科書【改訂3版 GA4対応】 小川 卓 解釈可能なAI Ajay Thampi(著), 松田晃一(翻訳) PowerPoint 目指せ達人 基本&活用術 Office 2021 & Microsoft 365対応 PowerPoint基本＆活用術編集部 ランサムウェア対策 実践ガイド 田中啓介, 山重徹 TODによるサステナ
Go Goのインターフェース抽象度を美しく保つ為の思考 Goで抽象化を適切に、そして美しく保つ為の自分の考えやTipsを紹介します。 Overview とある場面でGoのinterfaceが持つ振る舞いの抽象度について議論があり、今回はそれをアウトプットしておきます。Go初心者でinterfaceを使った設計に苦手意識を持つ人向けです。 目次 今回の目次です！下記について自分の考えをお話しします！ 振る舞いの抽象化の度合いを意識する 抽象度をどこまであげるか 引数や返り値から発生する「抽象化の漏れ」 抽象度をあげる為の統合 Getter/Setterと抽象度 それではいってみましょう！ 振る舞いの抽象化の度合いを意識する 振る舞いをinterfaceとして定義していくのがGoの抽象化ですが、そもそも 抽象化は度合いのある概念です 。この度合いを意識しないと適切なinterfaceの設計は困
BIツールとは、蓄積されたデータを集約し、レポーティング機能により共有・比較・分析などを行い、データを有効活用することができるツールです。企業内でも、このBIツールのデータをチェックすることで、スムーズな意思決定に役立てることができ、最近では、営業部門から経営戦略等のさまざまな分野で活用されています。また、データを自動で分析してくれるため、DXの分野でも年々シェアが高まってきています。ここでは、BIツールの概要から導入メリットを解説した後、無料で使えるオープンソースソフトウェアのBIツールの特徴を比較し、用途や利用者レベルに合ったおすすめの選定ポイントを紹介します。 ＋ 目次 BIツールとは何か？ BIツール導入のメリット データを分かりやすく可視化し、活用しやすい 業務の効率化につながる 課題をリアルタイムに把握し、迅速な意思決定ができる BIツール導入のデメリット コストがかかる どの
AWS、Redisをフォークした「Valkey」を、同社サービスのElastiCacheとMemoryDBで採用すると明らかに
AWS、Redisをフォークした「Valkey」を、同社サービスのElastiCacheとMemoryDBで採用すると明らかに Amazon Web Servicesは、同社のマネージドサービスとして提供しているAmazon ElasticCacheとAmazon MemoryDBで、インメモリデータストアのRedisをフォークした「Valkey」を採用すると、同社のブログに投稿した記事「Why AWS Supports Valkey」で明らかにしました。 Why #AWS Supports #Valkey. https://t.co/PMXv0Zv8B4 — Werner Vogels (@Werner) April 5, 2024 Valkeyの採用について、上記のブログで次のように記されています。 AWS is committed to supporting open source
Sansan の成長を支えるセキュリティログの活用と Amazon Elasticsearch Service / Amazon Elasticsearch Service empowers Sansan's business growth to create value and drive innovation through security logs management
■イベント AWS Security Roadshow Japan https://aws.amazon.com/jp/about-aws/events/2020/securityroadshow2020/ ■登壇概要 タイトル：Sansan の成長を支えるセキュリティログの活用と Amazon Elasticsearch Service 登壇者：CSIRT 松田 健 ▼Sansan Builders Blog https://buildersbox.corp-sansan.com/
Elastic、AWSとの「Elasticsearch」に関する商標問題が解決したと発表。今後「Elasticsearch」を名乗るのはElasticのみに
Elastic、AWSとの「Elasticsearch」に関する商標問題が解決したと発表。今後「Elasticsearch」を名乗るのはElasticのみに Elasticは、Amazon Web Services（AWS）との「Elasticsearch」に関する商標問題の訴訟が解決したと発表しました。 Elastic and @amazon have resolved the Elasticsearch trademark infringement lawsuit. Learn more on our blog: https://t.co/738RR78bRD — Elastic (@elastic) February 16, 2022 発表によると、今後AWSおよびAWS Marketplace上でElasticsearchサービスと名乗るのは、Elasticが提供するElastic
ChatGPTのプロンプトを自動改善するPrompt Perfectプラグインを使ってみた - Taste of Tech Topics
カメラ好き機械学習エンジニアの@yktm31です。 ChatGPTは便利ですが、プロンプトの内容でいかに質問・指示するかで、その精度はだいぶ変わってきます。 うまく質問・指示するのは、工夫が必要だったりしますが、そこで役立つのが、「Prompt Perfect」というプラグインです。 www.blog.promptperfect.xyz Prompt Perfectは、ChatGPTへのプロンプトの内容を自動で改善してくれるプラグインです。 本記事では、その使い方や効果について、試していきます。 プラグインを有効化 使い方 基本の使い方 日本語で回答させる もう一つ試してみる Prompt Perfectの補完内容 注意点 まとめ プラグインを有効化 1) プラグインを有効化するため、Plugin storeからインストールします。 2) インストール後、メールアドレスの登録か、Googl
Amazon CodeWhispererでどの程度コーディングが効率化できそうか試してみた - Taste of Tech Topics
ここのところ気温も暖かくなり、外に出かけるのが楽しみになってきた、カメラ好き機械学習エンジニアの@yktm31です。 いま世間を賑わせている生成系AI、ChatGPTは私にとって欠かせないものになりました。 そんな中つい先日、AWSから「Amazon CodeWhisperer」がGAになりました。 といことで、さっそく試してみました。 目次 概要 特徴 サポート サポートされるプログラミング言語 サポートされるIDE サポートされる自然言語 使い方 利用開始方法 基本操作 Lambdaで、DynamoDBのレコードを取得する処理と、そのユニットテストを書いてみた コード参照（Code references）を試してみる セキュリティスキャンを試してみる ドキュメントからわかったこと 安全性・セキュリティ ProfessionalとIndividualの違い 料金と制限 オプトアウト方法
本記事は日本オラクルが運営する下記Meetupで発表予定の内容になります。発表までに今後、内容は予告なく変更される可能性があることをあらかじめご了承ください。下記セッションでは、本記事の内容以外にデモンストレーションも実施する予定です。 ※セミナー実施済の動画に関しては以下をご参照ください。 はじめに 2022年暮れ、ChatGPTの登場以降、あらゆる企業がDXの在り方を問われはじめ、大規模言語モデルの仕組みをどのように業務に取り入れるかを検討されていると思います。 その検討の一つとして、「GPT(LLM)が学習していない企業内のデータや最新のデータも有効活用すべき」 という点は非常に大きな論点なのではないでしょうか。 ご存じの通り、LLMとはインターネット上に存在するドキュメントデータをクローリングにより大量に収集し、それを学習データとして機械学習にかけたモデルです。 従って、至極当たり
Auroraを活用してAWS Glueでデータ分析機能を構築した話 - techtekt
ベネッセ i-キャリアの小島です。 dodaキャンパスでは、AWS AthenaやQuickSightを利用して、日々データ分析活用を行っていますが、 今回は、Auroraを活用して、AWS Glueでデータ分析機能を構築しました。 その際に選定したアーキテクトとその理由を中心にお話させていただきたいと思います。 背景 dodaキャンパスでは現在、以下のサービスを用いてデータを取り扱っています。 DynamoDB サービスのデータ管理として利用 Athena SQLを用いたデータ分析に利用 QuickSight AthenaをデータソースとしたBIツールとして利用 今回、QuickSightで実行しているデータ分析のような機能を法人ユーザーにも提供することになりました。 要件は以下です 前日までの分析データのためデータの更新は1日1回でよい Readは大量かつ高速であることが求められる グ
最近、為替の値動きが気になる方も多いのではないでしょうか？2022年3月に入ってから円安傾向に歯止めがかからず2022年4月13日には、2002年5月以来、実に20年ぶりに1ドル126円をつけました。 126円いっちまったな 【??ドル円 #USD／JPY】126.0770 pic.twitter.com/VIH73oD3fQ — Atsushi Marumo (@marumo1981) April 13, 2022 昨年、2021年1月時点では1ドル102円だったことを考えると、1年とちょっとでおよそ20%も為替が変動しています。国内ユーザーの多くはAWS利用費を最終的に日本円で支払っていると思いますので、1年前と同じ利用量でUSドルの請求額が同じだとしても、コストは20%増加していることになります。 「クラウドは為替の影響受けるから怖いね、、」 ではなく、クラウドだからこそ柔軟にコスト
攻撃者は、はじめに標的のECサイトの注文フォームに対し、不正なスクリプトを含んだ文字列を入力し、購入処理を行います（図1の①）。その結果、ECサイトの購入処理の部分にXSSの脆弱性が存在する場合、ECサイトの管理画面を閲覧した管理者は不正なスクリプトが実行され、クレデンシャル情報の窃取や、ECサイトへの簡素WebShellの設置などが行われます（図1の②～④）。その後、攻撃者によってECサイトにWebShellやユーザーの情報窃取を行うJavaScriptなどが設置されます。設置された“情報窃取JavaScript”によってECサイトを利用するユーザーのクレジットカード情報等を窃取され、“情報保存ファイル”としてECサイト内に保存されます（図1の⑤）。攻撃者は定期的なWebShellへのアクセスを行うことでこれらの情報を窃取していたと推測されます（図1の⑥）。 なお、攻撃者は、一連の攻撃の
LINEではさまざまなFintechサービスを展開しています。今回のイベントでは、LINEの注力事業のひとつであるFintechサービスのうち、「銀行事業」「LINE証券」「LINE Pay」のSREとフロントエンド側の開発に携わるエンジニアが登壇し、LINEが金融領域で目指す将来、それぞれの業務内容や働く体制・環境などを説明しました。 LINE FintechサービスのSRE 国兼周平氏（以下、国兼）： SREチームの国兼と申します。前職はSierにいまして、金融とか公共の大小さまざまな案件を中心にいろいろ経験しました。実は前職でも証券も銀行もやったことがあります。 2018年にLINEに入社しまして、当初はLINEマンガとか、どちらかというとエンターテインメント寄りのサービスをやってみたいなと思っていました。しかし、前職で金融分野の経験がそれなりにあったということもあり、入社承諾後に熱
SpringBoot/Quarkus/Micronautの性能を検証してみた ～その1 起動編～ - Taste of Tech Topics
こんにちは。@phonypianistです。 本投稿はアクロクエスト アドベントカレンダー 12月21日 の記事です。 最近、Quarkusアプリを本番適用しました。 QuarkusはJavaアプリを作るための軽量なフレームワークで起動が速いって聞くけど、実際どれくらい速いんだろう？と気になったので、Spring Bootや、類似OSSのMicronautと比べてみました。 背景 JavaのフレームワークといえばSpringBootが主流ですが、起動が遅かったり、必要なメモリが多かったりしています。 これは、アプリ起動時にリフレクションを用いてDI（Dependency Injection）を行っているのが要因の1つです。 マイクロサービス、コンテナネイティブなアプリケーションは、負荷の状況に応じて、シームレスにスケールアウトできる必要があります。 アプリケーションの起動速度が遅かったり、
GWに技術書イッキ読み！Kindleセールで5/10まで半額の本を分野別に総まとめ - 仮想サーファーの日常
Amazonで、Kindle本が最大50％OFFになるゴールデンウィーク限定キャンペーンが開催されています。 期間は、2020年5月10日（日）まで。 50%OFFは、自分の観測範囲では前回の開催が2019年12月末だったので、4ヶ月ぶりの50%OFFセール。 これだけ多くの種類の技術書が50％OFFになる機会は多くないので、この機会にほしい本がないかチェックしておきたいですね。 【Kindle技術書50%OFFセール（5/10まで）】を見てみる この記事では、ゴールデンウィークに一気に技術書を読んで技術力を伸ばしたい方向けに、学びたい分野別にKIndleセール本をまとめました。 プログラミング言語を学ぶ HTML/CSSに入門したい HTML5/CSS3モダンコーディング フロントエンドエンジニアが教える3つの本格レイアウト スタンダード・グリッド・シングルページレイアウトの作り方 吉田
Elasticsearch + Sudachi + Docker でユーザー辞書を作ってみるハンズオン - Qiita
今回は Elasticsearch + Sudachi でユーザー辞書を使う Dockerfile を作ったので作り方を共有します。 Elasticsearchのバージョンは現行の最新(v7.4.0)ですがv6.8あたりでも動くことを確認済みです。 Sudachi とは Sudachi は日本語形態素解析器です。株式会社ワークスアプリケーションズ下の機関であるワークス徳島人工知能NLP研究所が開発しています。複数の分割単位をサポートしているなどの特徴があります。 ドキュメントはこちら https://github.com/WorksApplications/Sudachi/#sudachi-%E6%97%A5%E6%9C%AC%E8%AA%9Ereadme 今回のハンズオンの最終構成 最終的に下記のような構成を目指します。 . ├── docker-compose.yml └── elas
- はじめに - 近年、IT業界のダジャレは熾烈の一途を辿っている(ITだけに) 。 類義語を巧みに取り入れたダジャレ、難読化されたダジャレなどが増加し、一体どれで「初笑い」すれば良いのか悩む若者も少なくない。 そのような背景があり、ダジャレを判定するアルゴリズムの開発も盛んである。 ルールベースによる判定では、@kurehajimeが提案、開発したdajarep *1 や、@fujit33によるShareka *2が存在する。特にSharekaは、ルールベースのロジックにも関わらず、反復型とされる種類のダジャレに対して高い精度での判定を可能にしている。また、機械学習モデルを用いた判定手法として、谷津(@tuu_yaa)らが開発したDajaRecognizer *3がある。DajaRecognizerは、多くのルールベースによって子音音韻類似度をPMIとして定義、Bag-of-Words、
Amazon EC2 におけるセキュリティ(脆弱性)事例 - blog of morioka12
1. 始めに こんにちは、morioka12 です。 本稿では、Amazon EC2 上で動く Web アプリケーションの脆弱性によって脆弱性攻撃が可能だった実際の事例について紹介します。 1. 始めに 2. Amazon EC2 におけるセキュリティリスク Amazon EBS 被害があった公開事例 3. Amazon EC2 で起こりうる脆弱性攻撃 SSRF が可能な脆弱性 SSRF における回避方法 4. Amazon EC2 の脆弱な報告事例 画像読み込み機能に潜む SSRF を悪用した EC2 のクレデンシャルの不正入手が可能 SAML アプリケーションに潜む SSRF を悪用した EC2 のクレデンシャルの不正入手が可能 Webhook 機能に潜む SSRF を悪用した EC2 のクレデンシャルの不正入手が可能 Webhook 機能に潜む SSRF を悪用した EC2 のクレデ
全文検索SaaSのAlgoliaを使って、DynamoDBのデータを柔軟に検索する | DevelopersIO
はじめに この記事は Serverless Advent Calendar 2020 12日目の記事です。 CX事業本部の佐藤です。AWSのサーバーレスでアプリケーションを構築する際には、DynamoDBをデータベースとして選択するのはよくある構成かと思います。DynamoDBはNoSQLデータベースの一種なので、RDBMSのようなSQLを使った柔軟な検索などはできません。そのため、DynamoDBの検索機能だけでは要件を満たせない場合は、RDBを使う、DynamoDBとRDBを併用して使う、Elasticsearchなどの全文検索サービスを使うなどの方法があります。そこで今回は、DynamoDBを使ったサーバーレスWeb APIを題材に、全文検索SaaS のAlgoliaを使って、DynamoDBのデータを柔軟に検索できるようにしてみたいと思います。 この記事で作る構成 この記事では、以
技術書典 にて頒布予定だった 「AWS を使って学ぶ 監視設計」 をご紹介します！ とても良い内容でした！！ 園部です。 残念ながら現地開催はされなかった 技術書典8 で頒布予定だった 「AWS を使って学ぶ 監視設計」 を電子版で購入し読みました！ とても良かったので、紹介させていただきたいと思います。 概要 （上記販売ページより引用） この本について 主に監視の設計手法を紹介する本です。 この本では、「モニタリング(監視)」 というテーマについて、CloudWatchを中心にAWSの各サービスを見ながら、どのように監視を設計していくかを著者の経験を基に説明していきます。 私自身、ここ数年で開発メンバー、リーダー、テックリードといくつかの立場を経験しましたが、どの立場にいてもシステム開発に携わる以上、監視というのは重要な要素になってきます。特にここ数年はSLI/SLOを導入するなど、監視
転置インデックスの圧縮技法
転置インデックスは、検索エンジンの実装において、中心的な役割を果たすデータ構造である。 転置インデックスのデータ構造とアルゴリズムは、クエリ処理アルゴリズムとともに、検索エンジンの性能に直結する。とくに大規模な検索エンジンにおいては、キャッシュ効率を高めてクエリ処理を高速化するために、転置インデックスの圧縮は必要不可欠となっている。 この記事では、転置インデックス、とくにポスティングリストの圧縮について、近年の手法を簡単にまとめる。 目次 転置インデックスの基本 転置インデックスのデータ構造と特性 転置インデックスのアクセスパターン 近年のインデックス圧縮技法 Variable-Byte Family VByte Varint-GB Varint-G8IU Masked-VByte Stream-VByte Opt-VByte Simple Family Simple9 Simple16
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pythonで検索エンジンを自作する方法 Part.1
20190819 AWS におけるモニタリング 議論のための観点総ざらえ
ElasticsearchとBERTを組み合わせて類似文書検索 - Ahogrammer
Elasticsearchで分散表現を使った類似文書検索
Rustで扱える機械学習関連のクレート2021 - Stimulator
スタートアップでありがちな問題をAWSで解決する––認証基盤からログの扱い方まで
検索基盤チームのElasticsearch×Sudachi移行戦略と実践 - エムスリーテックブログ
Dockerのログ収集方法の調査 - Qiita
Amazon: NOT OK - why we had to change Elastic licensing
負荷試験用 Web コンソールの開発 - クックパッド開発者ブログ
【負荷対策】CM放映期間にサーバを落とさない方法（保存版） - AppBrew Tech Blog
Goのインターフェース抽象度を美しく保つ為の思考 - 好奇心に殺される。
BIツールとは？無料で使えるおすすめOSSの比較6選（2023年版） | OSSのデージーネット
【ChatGPT】とベクトルデータベースによる企業内データの活用(いわゆるRAG構成) - Qiita
円安相場だからこそやりたい！AWSコスト最適化のための5ステップ | DevelopersIO
ECサイトのクロスサイトスクリプティング脆弱性を悪用した攻撃 - JPCERT/CC Eyes
LINEが注力している「銀行事業」「LINE証券」「LINE Pay」のフロントエンドエンジニアと裏方・SREは何をしているのか
ダジャレを判定する - Stimulator
【書評】「AWS を使って学ぶ 監視設計」 #技術書典 | DevelopersIO