あすけんで半年運用して得たOpenSearchノウハウ - asken テックブログ
はじめに こんにちは。インフラエンジニアの鈴木です。 この記事は、株式会社asken (あすけん) Advent Calendar 2024 の20日目の記事です。 あすけんでは、一部機能でOpenSearchを使い始めています。 たとえば、前にバックエンドの高橋さんがOpenSearchを活用したメニュー検索を記事にしてくれています。 今回は、OpenSearchを商用サービスで半年運用した経験で得られたノウハウとして、商用運用における注意点や、パフォーマンスを上げるための方法を記載します。 ※本記事では、Amazon OpenSearch Service（AWS上で提供されるOpenSearch）を前提としています。 OpenSearchは何に使うか OpenSearchは主に検索に使用し、代表的な用途は「文字列検索」や「ベクトル検索」です。 特に、文字列の部分一致検索はRDBMSなど
適切なインフラコスト難しいなと思って、上場企業約30社分のサーバー費用を調査した💻
はじめまして、asachiです。 普段はプロダクトマネージャーとかデザインとかをやっています。 最近、会社・事業のインフラコストをどう評価するかという話に社内でなって、実際各企業どんなもんなんだろうなと気になり、IR資料から頑張って漁ってきました。 せっかく色々と見たので、気になった事例等含めて書いていこうかなと思います。 TL;DR 上場企業のインフラコストを調べた 規模・業態問わずで30社くらいのデータを発掘できた 最もコストがかかっていたのはゲーム会社アカツキ約11-12億/年 次点はツイキャス運営のモイ 約5.8億/年 「メメントモリ」が流行ったため、BANK OF INNOVATINが直近四半期でサーバー費用が3億円/四半期(前年同期比1,153%)になっていた 各種会計項目に対してサーバー費の比率が安定しているのは、GunosyとGameWith 売上原価に占める割合が高いのは
デジタル庁「運用コスト3割減」主張も実態は2～4倍増…関係者「8割は日本の自治体に不必要」なAWSを使わざるを得ない自治体の怒り（みんかぶマガジン） - Yahoo!ニュース
政府が情報管理の効率化のために整備する「ガバメントクラウド」。省庁、自治体が個別運用してきた管理システムを、クラウド上の共通サービスに移し2025年度までに運用経費を20年度比で3割減らす目標だ。しかし、これがなかなかうまくいってない。なぜなのか。元経済誌プレジデント編集長と作家の小倉健一氏が解説する。全3回の第1回目。 【動画】独占インタビュー“自民党のドン”茂木敏充幹事長「私が総理大臣になったら、日本こう変えたい」 経費削減のはずが「移行前の2～4倍のコストに！？」 2025年度末までに、全国1741の自治体が業務システムを標準化する「自治体システム標準化」が進められている。デジタル庁が整備している「ガバメントクラウド」を活用することで、システムの運用コストを下げることを目指しているが、実際にはいくつかの自治体で、移行前の2～4倍にコストが跳ね上がるという試算や見積もりが出ており、困っ
「セキュリティ脆弱性に対するサイバー犯罪については、もう心情的に白旗を上げてしまい、技術的には対策が打てたとしても、運用が追いつかない…」という指摘が秀逸すぎる話
ケビン松永 @Canary_Kun 40代・3児の父｜大手SIerから独立してITコンサルをやってます｜専門はITですが、会計や不動産の話も好きで、分野をまたいで物事の「つながり」を考えるのが好きです｜意識高い系より尿酸値高い系｜AIをうまく使いこなしてゆるふわで生きていく｜生涯現役 ケビン松永 @Canary_Kun 自分は情報安全確保支援士(登録セキスペ)も持っていて素人ではないんですが、セキュリティ脆弱性に対するサイバー犯罪については、もう心情的に白旗を上げてしまってます。 技術的には対策が打てたとしても、運用が追いつかない…。そんな気持ちを連ツイします。 x.com/yuri_snowwhite… 2024-07-03 08:08:27 白”雪姫” @yuri_snowwhite 一応、セキュリティ担当としておおっぴらには言ってないことなんだけどたまにはきちんと言おうかな。 今回の
AWS IAM PolicyのForAllValuesを勘違いしてた件 - LayerX エンジニアブログ
LayerX Fintech事業部（※）で、ガバナンス・コンプラエンジニアリングをしている 鈴木 (@ken5scal )です。 ※三井物産デジタル・アセットマネジメントに出向しています。 今回は、AWS IAMポリシーの条件における「ForAllValues」の仕様を誤って理解していたことから、安全でないアクセス制御を実装していたという内容です。もし同様の勘違いをされている方がいたら参考になれば幸いです。 ユースケース AWS IAMユーザーを、ロールの trust policy がユーザーのタグで制御するケースで考えます。 具体的には、「Group A あるいは Group B」に所属し、且つ「Admin」権限のあるユーザーのみが行使できる役割「AdminABRole」があるとしましょう。 この場合、Group と Admin のタグが存在し、下記のようなパターン（※）が考えられます。
【Microsoft365参考書】"MailItemsAccessed"や"Send"などの監査ログがE5ライセンス以外でも利用可能に？ - 社畜の所業
エラーメッセージ 特定メールボックスの監査項目設定を確認する手順 事前準備 1. 特定メールボックスの監査項目設定を確認する 2. 全ユーザーメールボックスの監査項目設定を確認する手順 Admin, Delegate, Owner に不足が合った場合の対応について オプション 1 の対応 特定メールボックスの DefaultAuditSet をリセットする手順 全ユーザーメールボックスのDefaultAuditSet をリセットする手順 オプション 2 の対応 1. 特定メールボックスの監査項目を追加する 2. 全ユーザボックスの監査項目を追加する メールアイテムアクセスに関する操作を監査ログで確認する場合、Search-MailboxAuditLog にて取得可能な Operations の"MailItemsAccessed" のログを確認することで可能です。 "MailItemsAc
.NETの非同期戦略とUnityとの相互運用
Game Developers Meeting Vol.61 GDM × Born Digital
「長年のサポートに感謝」県庁の電子計算機運用終了の催し｜NHK 愛媛のニュース
愛媛県庁でおよそ５０年にわたって税金の計算や会計業務などに使われてきた大型の演算装置、電子計算機の運用が２０日で終了となり県庁で催しが行われました。 愛媛県庁の機械室に設置されている電子計算機は、縦およそ１メートル８０センチ、横およそ６０センチで、複雑なデータ処理を高速で行うことができ、昭和４８年の導入からおよそ５０年にわたって税金の計算や会計業務などに使われてきました。 県は、さらに職員や県民の利便性を高めるため電子計算機に代わる新たなシステムを導入していて、電子計算機の運用が２０日で終了されることになり、県庁に職員や企業の関係者が集まって催しが行われました。 このなかで県デジタル変革担当の山名富士部長が「愛媛県政を縁の下で支えてきたシステムが役割を終えるのは寂しい。長年のサポートに感謝したい」とあいさつしました。 このあと山名部長が大型の電子計算機の電源を切り業務を終えました。 【元職
MySQLを7000インスタンス規模で運用するLINEは、MySQL互換のNewSQLをどう評価したか？［PR］
MySQLを7000インスタンス規模で運用するLINEは、MySQL互換のNewSQLをどう評価したか？［PR］ コミュニケーションアプリ「LINE」をはじめ、多くの大規模サービスを運営するLINE株式会社は、LINEマンガやLINE GAME、LINEギフトなどをはじめとするLINE関連サービスのデータベース基盤として約7000ものMySQLインスタンスを運用しています。 このMySQLインスタンスの国内における管理と運用を行っているのが、MySQLコミュニティでも活躍する国内トップクラスのMySQLエキスパートを含む7名のITエンジニアで構成される「MySQL1チーム」です。 同チームのマネージャーである北川健太郎氏は、LINE関連サービスの発展に伴って増大するMySQLインスタンスの運用管理という課題に、日々のオペレーションの自動化を実現するための開発を積極的に行うことで対応している
Datadogを用いた監視設計のコツを紹介します
この記事は eureka Advent Calendar 2018 17日目の記事です。 こんにちは！エウレカのSREチーム恩田です。エウレカではDatadogを2018年6月に導入しました。今回の記事では、Datadogを監視ツールとして使い倒すコツを3つ紹介したいと思います。 ＊以下はとある1週間の弊社サービスのバックエンドシステムの可用性をDatadogで数値化したものです。SREチームやサーバサイド開発チームはこの値をはじめとしたメトリクスを随時Datadogで見つつ、本番リリース作業などを行なっています。 バージョン管理する監視設計でも当たり前ですが、Infrastructure as Codeを徹底しましょう。DatadogはTerraformで非常に簡単にコード管理することができます。 # provider.tfprovider "datadog" { version = "
EC2で運用しているWordPressサーバーをECS/Fargateに移行しました | ランサーズ（Lancers）エンジニアブログ
SREチームの安達(@adachin0817)です。今回WordPressサーバーであるEC2からECS/Fargateに移行しましたが、紆余曲折を得て、苦労したところ、技術的な部分、最終的には複数のリポジトリを一つにまとめたことなどを紹介したいと思います。まずはプロジェクトとサーバーの構成から説明していきましょう。 ランサーズのWordPressとECS時代のサーバー構成 https://engineer.blog.lancers.jp https://info.lancers.jp https://l-ap.jp https://connect.lohai.jp https://lohai.jp https://tips.lancers.jp https://www.lancers.co.jp https://www.lancers.jp/assistant/cases https:/
Open-Sourcing a Monitoring GUI for Metaflow
tl;dr Today, we are open-sourcing a long-awaited GUI for Metaflow. The Metaflow GUI allows data scientists to monitor their workflows in real-time, track experiments, and see detailed logs and results for every executed task. The GUI can be extended with plugins, allowing the community to build integrations to other systems, custom visualizations, and embed upcoming features of Metaflow directly i
SREチームで社内GameDayを実施しました
GameDayとは 起源はAWSが毎年行っているAWS re:inventの中で開催される行事の1つです。 チームを組んでクラウド・アプリケーションを襲う謎の障害や悪意のある攻撃に対処し、トラブルシューティング能力を競うコンテストとなっています。 のちに様々な企業が社内でも実施するようになり、今ではAWS Well-Architectedのセキュリティ項目でもその実施が推奨されています。 ゲームデーを実施する ゲームデーを実施する: さまざまな脅威について、インシデント対応イベントのシミュレーション (ゲームデー) を実施します。このゲームデーには、主要なスタッフや管理者を参加させてください。 教訓から学ぶ: ゲームデーの実行から得られた教訓は、プロセスを改善するためのフィードバックに含まれている必要があります。 GameDayの手順 今回社内で行なったGameDayの流れです。 1. 発
Grafana + Loki + Fluentdで実装するSyslogサーバー
はじめに ログ集約・可視化・検索ツールとしてはELKスタックを利用するケースが多いが、これをLokiに置き換えることでより軽量にログを集約することができるようになる。 Grafana Lab社が開発したLokiは、ログのストリームに対してタグ付けし保存する仕組みを持つ。Prometheusと親和性がたかく、水平展開、高可用性、マルチテナントが可能。 構成 各クライアントからのsyslogは514/udpポートで送信される。これをrsyslogデーモンで受け5514/tcpポートへ転送する。fluentdは5514/tcpポートで受信したsyslogをさらにlokiへ転送する。 +------------------------------------------------+ | | | +---------+ | +--------+ 514/udp | | | | | client +
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
いまさら聞けないActive Directoryの仕組みと運用
【Ubuntu日和】 【第41回】流行りの超小型USB SSDを使い、Ubuntuをポータブルに運用する
AWS月額利用料を$137,000→$87,000に削減して信頼性に投資した話
https://twitter.com/Colabomamorukai/status/1627149965557661699
長年運用されてきたモノリシックアプリケーションをコンテナ化しようとするとどんな問題に遭遇するか？ / SRE NEXT 2022
Documentation as Codeで継続的なドキュメント運用を実現する / July Tech Festa 2021 winter
