システムの一部をAWSからGCPへ Sansanのクラウドアーキテクチャの裏側 名刺データ化システムにおけるAWSとGCPのマルチクラウド活用 2018年11月10日、Sansan株式会社が主催するイベント「Sansan Builders Box」が開催されました。Sansan史上初となるサービス開発に携わるものづくりのメンバーを中心とした本カンファレンスでは、ソフトウェア開発やプロダクトマネジメント、UXデザイン、研究開発など、様々な分野での活動の成果が発表されました。プレゼンテーション「名刺データ化システムにおけるAWSとGCPのマルチクラウド活用」に登場したのは、Sansan株式会社DSOC（Data Strategy & Operation Center）Development Group、インフラエンジニアの大澤秀一氏。名刺データ化システムのアーキテクチャと、AWSからGCPへの
Amazon CodeWhispererでどの程度コーディングが効率化できそうか試してみた - Taste of Tech Topics
ここのところ気温も暖かくなり、外に出かけるのが楽しみになってきた、カメラ好き機械学習エンジニアの@yktm31です。 いま世間を賑わせている生成系AI、ChatGPTは私にとって欠かせないものになりました。 そんな中つい先日、AWSから「Amazon CodeWhisperer」がGAになりました。 といことで、さっそく試してみました。 目次 概要 特徴 サポート サポートされるプログラミング言語 サポートされるIDE サポートされる自然言語 使い方 利用開始方法 基本操作 Lambdaで、DynamoDBのレコードを取得する処理と、そのユニットテストを書いてみた コード参照（Code references）を試してみる セキュリティスキャンを試してみる ドキュメントからわかったこと 安全性・セキュリティ ProfessionalとIndividualの違い 料金と制限 オプトアウト方法
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 以前「転職ドラフトで1000万円超えのオファーを2度貰ったエンジニアが「評価された理由」と「正社員で働く意味」について考えてみました。」という記事を書いたのですが、転職ドラフトと同様な「年収確約型のエンジニアスカウトサービス」としてmoffersというものがあります。 転職ドラフトがここ最近非常に盛り上がっているのに対してmoffersはかなり知名度が低いのですが、現在開催中のmoffersで、転職ドラフトでも頂いたことのない「年収1200万円」という高額オファーを頂きましたので、若いエンジニアの方たち(特にバックエンド系の方たち)の今
お久しぶりです。技術開発部の相原です。 昨年度は技術基盤部としてmrubyを導入したりしていましたが今は少しレイヤーが開発寄りになりました。 とはいえ依然として技術基盤も見ていて、最近はご多分に漏れず機械学習を用いた技術基盤の改善に興味があります。 そんな中でここ数ヶ月メインの業務の合間の時間を使って試験的に機械学習を導入していたので、今回は技術的負債の高利子クレジットカードと呼ばれる機械学習を導入する中でどのような工夫をしたかということについて書きたいと思います。 機械学習については門外漢なので、ここではモデルの訓練などのプラクティスに関しては触れません。 (一部暗黙的に深層学習を前提としている箇所がありますのでご了承ください) 技術的負債の高利子クレジットカード Data Dependencies Cost More than Code Dependencies System-leve
“技術的負債多すぎ問題”を解決するためにやったこと 「タップル誕生」におけるサービス改善の舞台裏 タップル誕生における、事業成長に合わせた継続的なシステム改善について 2018年12月6日、株式会社リンクアンドモチベーションのイベントスペースにて、エンジニア向けの勉強会に特化した書き起こしメディア「ログミーTech」が主催するイベント「ログミーTech Live #2」が開催されました。第2回となる今回のテーマは「レガシーシステムのリニューアル」。長期間運用され、設計が古くなってしまった「レガシーシステム」のリニューアルを行った3社が一堂に会し、システムリニューアルにおける知見と新システムへの移行について語ります。プレゼンテーション「タップル誕生における、事業成長に合わせた継続的なシステム改善について 」に登場したのは、株式会社マッチングエージェント、タップル誕生サーバーサイドエンジニアの
攻撃者は、はじめに標的のECサイトの注文フォームに対し、不正なスクリプトを含んだ文字列を入力し、購入処理を行います（図1の①）。その結果、ECサイトの購入処理の部分にXSSの脆弱性が存在する場合、ECサイトの管理画面を閲覧した管理者は不正なスクリプトが実行され、クレデンシャル情報の窃取や、ECサイトへの簡素WebShellの設置などが行われます（図1の②～④）。その後、攻撃者によってECサイトにWebShellやユーザーの情報窃取を行うJavaScriptなどが設置されます。設置された“情報窃取JavaScript”によってECサイトを利用するユーザーのクレジットカード情報等を窃取され、“情報保存ファイル”としてECサイト内に保存されます（図1の⑤）。攻撃者は定期的なWebShellへのアクセスを行うことでこれらの情報を窃取していたと推測されます（図1の⑥）。 なお、攻撃者は、一連の攻撃の
Sansan の成長を支えるセキュリティログの活用と Amazon Elasticsearch Service / Amazon Elasticsearch Service empowers Sansan's business growth to create value and drive innovation through security logs management
■イベント AWS Security Roadshow Japan https://aws.amazon.com/jp/about-aws/events/2020/securityroadshow2020/ ■登壇概要 タイトル：Sansan の成長を支えるセキュリティログの活用と Amaz…
【solr】地図検索で超高速にまとめ表示を実現する実装方式【elasticsearch】 - 文系プログラマによるTIPSブログ
特別な機能を使わず、標準機能だけでできますよ〜 一瞬何のことか？と思った方は↓の画像を見て下さい。これです。 位置情報検索を利用して、一定の範囲内に該当するデータが何件あるかをまとめて表示する機能の事です。 実装方法 google mapを用意する boundsからメッシュを構築する メッシュの分割手法 メッシュを1個づつfacetで一括検索する メッシュの真ん中に件数を表示する google mapの表示が検索の始動となる 緯度経度を持つデータが用意しにくい！！ 雑感 実装方法 この画像ではgoogle map clusterを使った例ですが、clusterを使わず、超高速に位置情報検索を実装する方法を検討してみました。主にsolrとelasticsearchで実現可能かと思います。 google mapを用意する 地図はgoogle mapを使います。 googlemap apiには今
ChatGPTのプロンプトを自動改善するPrompt Perfectプラグインを使ってみた - Taste of Tech Topics
カメラ好き機械学習エンジニアの@yktm31です。 ChatGPTは便利ですが、プロンプトの内容でいかに質問・指示するかで、その精度はだいぶ変わってきます。 うまく質問・指示するのは、工夫が必要だったりしますが、そこで役立つのが、「Prompt Perfect」というプラグインです。 www.blog.promptperfect.xyz Prompt Perfectは、ChatGPTへのプロンプトの内容を自動で改善してくれるプラグインです。 本記事では、その使い方や効果について、試していきます。 プラグインを有効化 使い方 基本の使い方 日本語で回答させる もう一つ試してみる Prompt Perfectの補完内容 注意点 まとめ プラグインを有効化 1) プラグインを有効化するため、Plugin storeからインストールします。 2) インストール後、メールアドレスの登録か、Googl
10分で GraphQL 入門 - Qiita
これは 6/28 に開催される GraphQL ナイト のための資料です ここまでで分かること クエリは独自言語みたい クエリを変えることで柔軟にデータをとってこれそう クエリと結果の見た目が似てるのは分かりやすそう（主観） でも facebook はなんで作ったの？ facebook の事情 数十億ユーザから膨大なリクエストがくる 新興国の低速なネットワークからのモバイル接続も多い アップデートされないモバイルアプリもサポートする つまり リクエスト回数は可能な限り減らしたい 後方互換を維持しながら API を開発したい 無駄なデータを送りたくない （大規模開発なので型安全も欲しい） 規模は違えど我々も同じような問題を抱えているのでは？ なぜ既存のものではダメだったのか？ より詳しくは昔の graphql.org のページを参照（internet archive） v.s. REST 複
ElasticsearchによるZOZOTOWNへのベクトル検索の導入検討とその課題 - ZOZO TECH BLOG
こんにちは。検索基盤部の橘です。ZOZOTOWNでは、商品検索エンジンとしてElasticsearchを利用し、大規模なデータに対して高速な全文検索を実現しています。 Elasticsearchに関する取り組みは以下の記事をご覧ください。 techblog.zozo.com 検索基盤部では、ZOZOTOWNの検索結果の品質向上を目指し、新しい検索手法の導入を検討しています。本記事ではベクトル検索と呼ばれる検索手法に関して得た知見を紹介します。 ※本記事はElasticsearchバージョン8.9に関する内容となっています。 目次 目次 ベクトル検索とは ベクトル検索に期待すること Elasticsearchを使用したベクトル検索の導入 導入の簡略化 デプロイ可能な埋め込みモデル ベクトル検索のクエリ ハイブリッド検索とは Elasticsearchを用いたハイブリッド検索 RRF(Reci
fluentd と Elasticsearch と kibana の組み合わせがとても気に入ったのでメモ - ようへいの日々精進XP
きっかけ fluentd で集めたログを GUI で簡単に見ることが出来ないかと悩んでいたら、以下の参考にしたサイトのように良い事例があるではないですかということで早速チャレンジ。 参考にしたサイト Kibanaってなんじゃ？（Kibana+elasticsearch+fluentdでログ解析） Kibana + ElasticSearch + Fluentd を試してみた Elasticsearch入門 pyfes 201207 http://blog.johtani.info/blog/2013/06/10/fluent-es-kibana/ Kibana Installation rashidkpc/Kibana うんちく 自分なりに整理した Elasticsearch と kibana について。 Elasticsearch Apache Lucene をベースに作られた REST
この記事は全文検索エンジン「Elasticsearch」の入門チュートリアルです。 Elasticsearch とは Elasticsearch は Elastic 社が開発しているオープンソースの全文検索エンジンです。 大量のドキュメントから目的の単語を含むドキュメントを高速に抽出することができます。 Elasticsearch では RESTful インターフェースを使って操作しますが、「Elasticsearch SQL」を使って SQL 文でクエリを記述することもできます。 Oracle や MySQL などのリレーショナルデータベースに慣れている人にとっては、最初はとっつきにくいと感じるかもしれません。 しかし、Elasticsearch の API はとてもシンプルなので、心配しなくても大丈夫です。 Elastic Stack とは Elastic Stack は Elasti
【速報】マネージドGraphQLサービス「AWS AppSync」が一般公開（GA）されました！ | DevelopersIO
AWS AppSyncが一般公開されました AWS re:Invent 2017で発表された、モバイルアプリのための期待のマネージドGraphQLサービス「AWS AppSync」。本日ついに一般公開（GA）されました！ AWS AppSync now Generally Available (GA) with new GraphQL Features AWS AppSyncとは？ AWS AppSyncは、クロスプラットフォームでデータのリアルタイム同期を行うためのGraphQLをベースとしたアプリケーションのバックエンドを提供するサービスです。次の機能を利用できます。 リアルタイムアプリケーションの作成 同期を使ったオフラインプログラミングモデルの構築 必要なデータだけ GraphQL で取得 複数のデータソース（Amazon DynamoDB、Amazon Elasticsearch
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 昨年ごろから急に docker って流行り出しましたよね。 https://www.docker.com/ 僕も docker のチュートリアルをひと通りやってなんとなくコマンド覚えたんですけど、chef で良くない？ってなって結局使わずじまいでした。 ただ、最近になって、ちょっと思い直している部分があって、 Docker は Kubernetes 使ってこそだろーと思って勝手に自社サーバ持ってる企業だけが恩恵にあずかれると思っていたのだけど、その管理はクラウド屋さんに任せて dockerfile 書いておけば dev/stg/prd
Auroraを活用してAWS Glueでデータ分析機能を構築した話 - techtekt
ベネッセ i-キャリアの小島です。 dodaキャンパスでは、AWS AthenaやQuickSightを利用して、日々データ分析活用を行っていますが、 今回は、Auroraを活用して、AWS Glueでデータ分析機能を構築しました。 その際に選定したアーキテクトとその理由を中心にお話させていただきたいと思います。 背景 dodaキャンパスでは現在、以下のサービスを用いてデータを取り扱っています。 DynamoDB サービスのデータ管理として利用 Athena SQLを用いたデータ分析に利用 QuickSight AthenaをデータソースとしたBIツールとして利用 今回、QuickSightで実行しているデータ分析のような機能を法人ユーザーにも提供することになりました。 要件は以下です 前日までの分析データのためデータの更新は1日1回でよい Readは大量かつ高速であることが求められる グ
Elasticsearch Service と CloudSearch どっちを選べば良いの？ | DevelopersIO
こんにちは、木戸です。 AWS の検索エンジンをベースとしたサービスには、Amazon Elasticsearch Service と Amazon CloudSearch の２つがあります。今回はこの二つのサービスについての用途の違いについてまとめたいと思います（機能比較ではないです）。サービスを選定する際の参考になれば幸いです。 ※ Elasticsearch Service は Kibaba も含め分析用途もありますが、今回は検索にフォーカスしてます。 それではさっそく、 CloudSearch も Elasticsearch も Lucene ベース CloudSearch は現在 Solr ベースとなっており、その検索エンジンのコアには Lucene を使用している。また、Elasticsearch も Lucene をバックエンドに使用しているため、ベースのテクノロジーとしては
日本語の文章を形態素解析するときは、トークナイズする前に文字列の正規化を済ませて検索精度を向上させよう！ この記事は、Elasticsearch Advent Calendar 2014 の１８日目のエントリーです。即席で申し訳ないですが、なんとかまとめましたので是非最後までお付き合いください。 今回は、日本語形態素解析における文字列正規化のお話です。 それでは早速本題に。 非正規化された日本語の文章を形態素解析を使って、なるべく意図したようにトークナイズするためには、全角英数字を半角英数字に正規化したり、半角カタカナを全角カタカナに正規化したり、不要な文字を除外したり、単語ではなく、文字単位での正規化が重要になってきます。 Japanese (kuromoji) Analysis Plugin のページでも紹介されているように、全角英数字や半角カタカナの正規化には、CJK Width F
Elasticsearch実運用時の注意点とアンチパターンまとめ - サナギわさわさ.json
Elasticsearch実運用時に個人的に気をつけている点をまとめました。 自分でも整理できていない部分がありますので、間違っている点・追加した方が良い点などありましたら教えていただけると非常に助かります。 目次 目次 インデックス・スキーマ設定 スキーマを事前に定義しておく _allの使用は必要な時のみ行う 部分一致検索をしないstringフィールドにはnot_analyzedをつける doc_value:trueをつける できるだけエイリアスを使う 必要に応じてルーティングを行う 本体の設定 ヒープメモリを適切に設定する スワップしないように設定 スプリットブレイン対策を行う field data cacheに上限を与える 検索高速化 Warmerを登録する queryとfilterを使い分ける filterのキャッシュ設定を使い分ける 必要無いフィールドは検索の際に取得しない イン
最近、為替の値動きが気になる方も多いのではないでしょうか？2022年3月に入ってから円安傾向に歯止めがかからず2022年4月13日には、2002年5月以来、実に20年ぶりに1ドル126円をつけました。 126円いっちまったな 【??ドル円 #USD／JPY】126.0770 pic.twitter.com/VIH73oD3fQ — Atsushi Marumo (@marumo1981) April 13, 2022 昨年、2021年1月時点では1ドル102円だったことを考えると、1年とちょっとでおよそ20%も為替が変動しています。国内ユーザーの多くはAWS利用費を最終的に日本円で支払っていると思いますので、1年前と同じ利用量でUSドルの請求額が同じだとしても、コストは20%増加していることになります。 「クラウドは為替の影響受けるから怖いね、、」 ではなく、クラウドだからこそ柔軟にコスト
SpringBoot/Quarkus/Micronautの性能を検証してみた ～その1 起動編～ - Taste of Tech Topics
こんにちは。@phonypianistです。 本投稿はアクロクエスト アドベントカレンダー 12月21日 の記事です。 最近、Quarkusアプリを本番適用しました。 QuarkusはJavaアプリを作るための軽量なフレームワークで起動が速いって聞くけど、実際どれくらい速いんだろう？と気になったので、Spring Bootや、類似OSSのMicronautと比べてみました。 背景 JavaのフレームワークといえばSpringBootが主流ですが、起動が遅かったり、必要なメモリが多かったりしています。 これは、アプリ起動時にリフレクションを用いてDI（Dependency Injection）を行っているのが要因の1つです。 マイクロサービス、コンテナネイティブなアプリケーションは、負荷の状況に応じて、シームレスにスケールアウトできる必要があります。 アプリケーションの起動速度が遅かったり、
好きなMH（今はGTM？）はヴァイオラの那須（@nasum）です（アイスブレーク）。レッドミラージュも捨てがたいですが、ヴァイオラが一番好きですね。ちなみに好きなファティマは京です。 Webサービスを運営している以上、避けて通れないのがログ解析です。このログ解析あまり経験がないと何をどう始めたらいいのかよくわからないと思います。私自身今までログ解析の仕事をしたことがなかったので、わからない状態が続いているという危機感がありました。 そこで最近はできるだけ率先してログ解析の仕事があればそれをやるようにしてコマンド力を鍛えています。今回は教えていただいたり自分で調べたりして得られたログ解析するときに使うコマンドの使い方を紹介したいと思います。 以下簡単にログ解析の流れとともにコマンドを紹介します。やっていることは「ログに記録されたファイルサイズを合計して１日に配信される特定の条件を満たした応答
はじめに この記事はCrowdWorks Advent Calendar 2016 3日目の記事です 今回はクラウドワークスが運営しているクラウドソーシングサービスであるCrowdWorksのRails開発環境について紹介します。 Qiitaにもたくさん記事が投稿されているとおり、Dockerを開発環境に利用するのはだいぶ一般的になってきたように感じます。クラウドワークスでもローカルでDocker Composeを利用して開発環境を構築できるようにしています。 Docker化の範囲は、各人の好みがあるため2パターン用意しています。 RailsはmacOS上で動かしてミドルウェアのみDocker化 ミドルウェアに加えてRailsもDocker化 現状では「ミドルウェアのみDocker化している人」、「RailsもDocker化している人」、「まだ移行できていない人」の割合は1/3ずつぐらいで
技評さんでログ解析のムック本を共著で執筆させていただきました。 サーバ/インフラエンジニア養成読本 ログ収集~可視化編 [現場主導のデータ分析環境を構築!] (Software Design plus) 作者: 鈴木健太,吉田健太郎,大谷純,道井俊介出版社/メーカー: 技術評論社発売日: 2014/08/08メディア: 大型本この商品を含むブログを見る 発売は2014/8/8の予定です。テーマはログ収集と可視化です。表紙に載ってる通り、Fluentd、Elasticsearch、Kibanaを中心に据えた本となっています。 私は特集1の「サービス改善はログ解析から」を担当しました。サービスにおいて、なぜログ解析を行う必要があるのか。どのような選択肢があり、どのように方法を選択していけば良いのかといった観点から書きました。特にエンジニアとしてサービスを改善していくために、どのようにデータを活
LINEではさまざまなFintechサービスを展開しています。今回のイベントでは、LINEの注力事業のひとつであるFintechサービスのうち、「銀行事業」「LINE証券」「LINE Pay」のSREとフロントエンド側の開発に携わるエンジニアが登壇し、LINEが金融領域で目指す将来、それぞれの業務内容や働く体制・環境などを説明しました。 LINE FintechサービスのSRE 国兼周平氏（以下、国兼）： SREチームの国兼と申します。前職はSierにいまして、金融とか公共の大小さまざまな案件を中心にいろいろ経験しました。実は前職でも証券も銀行もやったことがあります。 2018年にLINEに入社しまして、当初はLINEマンガとか、どちらかというとエンターテインメント寄りのサービスをやってみたいなと思っていました。しかし、前職で金融分野の経験がそれなりにあったということもあり、入社承諾後に熱
GitHub Engineering
At GitHub, we use Elasticsearch as the main technology backing our search services. In order to administer our clusters, we use ChatOps via Hubot. As of 2017, those commands were a collection of Bash and Ruby-based scripts. Since the beta release of GitHub Actions last October, thousands of users have added workflow files to their repositories. But until now, those files only work with the tools G
GWに技術書イッキ読み！Kindleセールで5/10まで半額の本を分野別に総まとめ - 仮想サーファーの日常
Amazonで、Kindle本が最大50％OFFになるゴールデンウィーク限定キャンペーンが開催されています。 期間は、2020年5月10日（日）まで。 50%OFFは、自分の観測範囲では前回の開催が2019年12月末だったので、4ヶ月ぶりの50%OFFセール。 これだけ多くの種類の技術書が50％OFFになる機会は多くないので、この機会にほしい本がないかチェックしておきたいですね。 【Kindle技術書50%OFFセール（5/10まで）】を見てみる この記事では、ゴールデンウィークに一気に技術書を読んで技術力を伸ばしたい方向けに、学びたい分野別にKIndleセール本をまとめました。 プログラミング言語を学ぶ HTML/CSSに入門したい HTML5/CSS3モダンコーディング フロントエンドエンジニアが教える3つの本格レイアウト スタンダード・グリッド・シングルページレイアウトの作り方 吉田
いろいろあって Elastic Cloud がオススメな件 - なんたらノート第三期ベータ
MySQLのインデックスの代わりにElasticsearchを使おうと思い立っていろいろやってみた結果、Elastic社のホスティングけっこうオススメなんじゃないかってなった話です。これです: www.elastic.co 経緯としては、AWSにのっけたサービス、とりあえずMySQLとRedisだけでやってきた仕組みが、そろそろノーキャッシュ新規クエリ単発で1秒以上かかる場合が出てきたというのがあります。 アプリケーションで決まったパターンの問い合わせだけやってるぶんには、問い合わせのパターン数だけ複合インデックを作ればいいし、負荷分散したければリードレプリカが簡単、ということでほとんどの場合MySQLでいいのですが... MySQLは個別のインデックス勝手に組み合わせてくれない、全パターン定義しないといけない 管理者が使う検索機能のよっては、想定したインデックスにうまくヒットしない条件に
カジュアルにMySQLスローログ可視化with Fluentd+Elasticsearch+Kibana - kikumotoのメモ帳
この記事は MySQL Casual Advent Calendar 2015 - Qiita Elasticsearch Advent Calendar 2015 - Qiita Hamee Advent Calendar 2015 - Qiita の第４日目です。 TL;DR 開発者の皆さんに、CasualにMySQLスローログを分析しもらうために、Fluentd + Elasticsearch + Kibana でMySQLスロークエリを下図のようにビジュアライズしました。（Kibana上で EXPLAIN の結果も確認できるようにしてあります） ついでに、以下の Fluentd の filter plugin を作成しました。 kikumoto/fluent-plugin-sql_fingerprint · GitHub kikumoto/fluent-plugin-mysql_e
Fluent Dashboard＋Norikraでリアルタイムダッシュボードを7分で作る話 #dockerjp - Qiita
Fluent Dashboardって？ Fluent Dashboardは、Fluentdで集計したデータをグラフやテーブルで表示できるGoogle Spreadsheet。fluent-plugin-https-jsonを使ってイベントログを送ると、以下のようにリアルタイムにデータを表示してくれる。 使い方 詳しい使い方はREADMEにある通りで、Spreadsheetをコピーして公開設定等をポチポチするだけで準備完了。3分もかからない。あとはfluent-plugin-https-jsonのログ送信先URLとしてFluent SpreadsheetのエンドポイントURLを指定すれば動き始める。 集計ログの表示向け 任意のFluentdログを受け取ってグラフやテーブルを描けるけど、大量のログを直接受け取ることはできない。集計後のログを3秒に1回ほどの割合で受け取って表示する、といった使い
- はじめに - 近年、IT業界のダジャレは熾烈の一途を辿っている(ITだけに) 。 類義語を巧みに取り入れたダジャレ、難読化されたダジャレなどが増加し、一体どれで「初笑い」すれば良いのか悩む若者も少なくない。 そのような背景があり、ダジャレを判定するアルゴリズムの開発も盛んである。 ルールベースによる判定では、@kurehajimeが提案、開発したdajarep *1 や、@fujit33によるShareka *2が存在する。特にSharekaは、ルールベースのロジックにも関わらず、反復型とされる種類のダジャレに対して高い精度での判定を可能にしている。また、機械学習モデルを用いた判定手法として、谷津(@tuu_yaa)らが開発したDajaRecognizer *3がある。DajaRecognizerは、多くのルールベースによって子音音韻類似度をPMIとして定義、Bag-of-Words、
Amazon EC2 におけるセキュリティ(脆弱性)事例 - blog of morioka12
1. 始めに こんにちは、morioka12 です。 本稿では、Amazon EC2 上で動く Web アプリケーションの脆弱性によって脆弱性攻撃が可能だった実際の事例について紹介します。 1. 始めに 2. Amazon EC2 におけるセキュリティリスク Amazon EBS 被害があった公開事例 3. Amazon EC2 で起こりうる脆弱性攻撃 SSRF が可能な脆弱性 SSRF における回避方法 4. Amazon EC2 の脆弱な報告事例 画像読み込み機能に潜む SSRF を悪用した EC2 のクレデンシャルの不正入手が可能 SAML アプリケーションに潜む SSRF を悪用した EC2 のクレデンシャルの不正入手が可能 Webhook 機能に潜む SSRF を悪用した EC2 のクレデンシャルの不正入手が可能 Webhook 機能に潜む SSRF を悪用した EC2 のクレデ
それは前職のころ、今回の登壇者でもある @moro の発表にもあるような「要件としての論理削除はない」ということに熱く語りあったりしていたとかいなかったとか。 そして、ある日私が論理削除つらいということをつぶやいたところからこの企画は動きだしました。 このときは半分冗談で、いつか内輪で集まってやれたらいいかなというくらいだったのですが、今年の春にJxckさんの RDB - DELETE_FLAG を付ける前に確認したいこと。 - Qiita をきっかけとしてインターネットで論理削除が盛り上がったこと、所属する組織から技術イベントをやっていこうという機運が高まっていたこと、この2つがちょうどいいタイミングで重なって、これはやるしかないなと思ったのでした。(とはいえ、Jxckさんのエントリからは半年も経ってしまっていますが…) @t_wadaさんの全体像と総論(と思ったら予想以上に踏み込んだ内
SonarQubeServerの構築 それではさっそくSonarQubeの環境を構築していきます！ まずはEC2上にSonarQubeServerを構築してみます。 今回は下記のような環境を構築していきます。 インスタンスタイプ：t2.medium OS:Amazon Linux2 DB:postgresql-9.2.23-3.amzn2.x86_64 JDK:openjdk:1.8.0_171 SonarQube:7.2.1 EC2インスタンスの作成 手順は省略します。 GIPを割り当てつつ、セキュリティグループで22,9000ポートを解放しておいておいて下さい。 Postgresのインストールと初期設定 作成したEC2にまずPostgresのインストールを行います。 sudo yum install postgresql-server sudo systemctl enable pos
fluent-agent-hydraで省エネログ転送 - Mercari Engineering Blog
Site Reliability Engineering Teamの@cubicdaiyaです。 今回はGo製のログ転送エージェントであるfluent-agent-hydraとメルカリでの利用事例について紹介します。 メルカリとFluentd メルカリではAPIサーバのアクセスログやアプリケーション固有のログをはじめとする各サーバに散らばっているログデータを転送・集約するのにFluentdを活用しています。 具体的にはローカルに書き込まれるログファイルのin_tailやそれらを転送するための(out|in)_forward、ElasticsearchやBigQueryにログを放り込むためのプラグインを利用しているほか、いくつか特殊な用途のプラグインを独自に開発して運用してたりもします。 ログの流量とFluentdのパフォーマンス 多機能で柔軟なプラグイン機構を持つ便利なFluentdですが
技術書典 にて頒布予定だった 「AWS を使って学ぶ 監視設計」 をご紹介します！ とても良い内容でした！！ 園部です。 残念ながら現地開催はされなかった 技術書典8 で頒布予定だった 「AWS を使って学ぶ 監視設計」 を電子版で購入し読みました！ とても良かったので、紹介させていただきたいと思います。 概要 （上記販売ページより引用） この本について 主に監視の設計手法を紹介する本です。 この本では、「モニタリング(監視)」 というテーマについて、CloudWatchを中心にAWSの各サービスを見ながら、どのように監視を設計していくかを著者の経験を基に説明していきます。 私自身、ここ数年で開発メンバー、リーダー、テックリードといくつかの立場を経験しましたが、どの立場にいてもシステム開発に携わる以上、監視というのは重要な要素になってきます。特にここ数年はSLI/SLOを導入するなど、監視
Redis、クラウドベンダなどによる商用サービスを制限するライセンス変更を発表。今後はRedis社とのライセンス契約が必須に
インメモリデータストアRedisの開発元であるRedis社は、これまでオープンソースとして開発してきたRedis 7.4ソースコードのライセンスを、Redis Source Available License (RSALv2)とServer Side Public License (SSPLv1)のデュアルライセンスに変更すると発表しました。 このライセンス変更により、同社の許可なくRedisを用いたマネージドサービスなどを提供することができなくなります。 下記はライセンス変更を発表した同社ブログ「Redis Adopts Dual Source-Available Licensing」からの引用です。 Under the new license, cloud service providers hosting Redis offerings will no longer be permi
HTMLスクレイピングやファイルでのバッチ連携を不要に、「API管理ツール」でWebへRESTful APIを公開。ドキュメントもSwagger記述も自動生成［PR］
HTMLスクレイピングやファイルでのバッチ連携を不要に、「API管理ツール」でWebへRESTful APIを公開。ドキュメントもSwagger記述も自動生成［PR］ WebサイトやWebサービス上の情報を取得し加工したい、あるいは、別の情報と組み合わせるために情報を取得して再利用したい、というとき、そのWebサイトにデータを取得できるAPIが用意されていれば便利ですが、現在のところ、現実にそういうAPIが整備されているケースは滅多にありません。 そのため、WebサイトからHTMLを取得して解析することでデータを取得する、いわゆる「HTMLスクレイピング」を用いるケースも増えてきています。しかしIDとパスワードを第三者に渡してのスクレイピングは、Webサイトやサービス提供者として、セキュリティやサーバへの負担からも避けたいところでしょう。 社内の業務アプリケーションでも同様です。 自社のカ
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 つくりながら学ぶ！生成AIアプリ＆エージェント開発入門 ML_Bear DaVinci Resolve Fusion 今日から使える活用ガイド 大藤 幹 大規模データセットのためのアルゴリズムとデータ構造 Dzejla Medjedovic, Emin Tahirovic, Ines Dedovic(著), 岡田佑一(訳) LLMのファインチューニングとRAG ―チャットボット開発による実践― 新納浩幸 Rで学ぶVAR実
Elasticsearch + Sudachi + Docker でユーザー辞書を作ってみるハンズオン - Qiita
今回は Elasticsearch + Sudachi でユーザー辞書を使う Dockerfile を作ったので作り方を共有します。 Elasticsearchのバージョンは現行の最新(v7.4.0)ですがv6.8あたりでも動くことを確認済みです。 Sudachi とは Sudachi は日本語形態素解析器です。株式会社ワークスアプリケーションズ下の機関であるワークス徳島人工知能NLP研究所が開発しています。複数の分割単位をサポートしているなどの特徴があります。 ドキュメントはこちら https://github.com/WorksApplications/Sudachi/#sudachi-%E6%97%A5%E6%9C%AC%E8%AA%9Ereadme 今回のハンズオンの最終構成 最終的に下記のような構成を目指します。 . ├── docker-compose.yml └── elas
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
システムの一部をAWSからGCPへ Sansanのクラウドアーキテクチャの裏側
moffersで年収1200万円のオファーをゲットしたエンジニアの業務経歴を公開します
機械学習における技術的負債をDigdagで返済する - LIFULL Creators Blog
“技術的負債多すぎ問題”を解決するためにやったこと 「タップル誕生」におけるサービス改善の舞台裏
ECサイトのクロスサイトスクリプティング脆弱性を悪用した攻撃 - JPCERT/CC Eyes
はじめての Elasticsearch - Qiita
なぜベンチャーで docker を使うのか - Qiita
Elasticsearch 日本語形態素解析のための文字列正規化の重要性
円安相場だからこそやりたい！AWSコスト最適化のための5ステップ | DevelopersIO
ログ解析初心者に贈る便利なコマンドの使い方 - クラウドワークス エンジニアブログ
CrowdWorksのDocker開発環境 - Qiita
サーバ/インフラエンジニア養成読本 ログ収集~可視化編 を書きました - すずけんメモ
LINEが注力している「銀行事業」「LINE証券」「LINE Pay」のフロントエンドエンジニアと裏方・SREは何をしているのか
ダジャレを判定する - Stimulator
論理削除 Casual Talks #1という夢を見たんだ
SonarQubeでソースコードの静的解析とレビューを自動化してみる(前編) | DevelopersIO
【書評】「AWS を使って学ぶ 監視設計」 #技術書典 | DevelopersIO