AWS設計プロンプト
シンプルかつ網羅的なAWS設計を生成するAIプロンプトの核心は： 構造化された出力フォーマット：設計書の章立てと各セクションの説明内容を明確に指定 具体的なパラメータ要求：抽象的な説明ではなく、実装に使える具体的な設定値を求める 選定理由の明確化：「なぜその選択をしたのか」の説明を求める 代替案との比較：検討した代替オプションとの比較を含める Well-Architectedの原則適用：AWSのベストプラクティスに基づく設計を促す このアプローチを活用すれば、AIの力を借りつつも、実装に直結する高品質なAWS設計書を効率的に作成できます。何より、設計者の時間を節約しながらも、その専門知識と判断を最大限に活かせるところに大きな価値があります。 ※以下を全量使用すると量が多いので、該当箇所のみの抜粋を推奨 以下の要件に基づいて、詳細かつ実装可能なAWSアーキテクチャを設計してください。各セクシ
ジュニアエンジニアからシニアエンジニアになるまでに自分がやっていたことまとめ - yasuhisa's blog
長いので3行まとめです。 最近、エンジニアリング経験の浅い方にアドバイスをする機会が増えてきたので、紹介時に使えるポインタをまとめました 何が合っているかは人によるので、正直正解はないと思いますが、少なくとも自分に効いたやり方をまとめています 合いそうなところだけをピックアップして真似してもらうだけでも全然いいと思います 「他にもこういうのをやったら伸びると思うよ!」というのがあったら、SNSなどで反応ください はじめに 真似するのが簡単で効果が大きい Pull Requestをセルフレビューする 趣味プロジェクトを持つ 参考: 自分が過去にやっていた趣味プロジェクト 真似するのは簡単で効果はそこそこ 地味な改善活動を拾い続ける 地道な活動例: READMEやsetupスクリプトの修正 地道な活動例: アーキテクチャ図を書き起こす / 改善する 仕組み化でチームや自分を楽にする 真似するの
マジでもう最悪の体験したから聞いてくれ。 人生初デリヘル使ったらまさかのツイフェミ女に当たって地獄を見た。 これだから女は…ってなるのも無理ないだろ。 俺みたいな弱者男性がようやく勇気出してデリヘル呼んだんだぞ？ それなのにさ、来たのがツイフェミオーラ出まくりの女でドン引きしたわ。 マジ金返せレベル。最初からそういうの書いとけよ。「フェミニスト風俗嬢」みたいなジャンルでもあるのかよw ていうかさ、ネットでちゃんと調べて、口コミとか評判良さそうな店選んだんだぞ？料金だって結構したし。弱者男性の俺としては一大決心だったわけ。 一人暮らしの寂しさに耐えかねて、ようやく電話する勇気出したのに。 電話の時点では普通だったんだよ。店員も丁寧だったし、希望も聞いてくれたし。 「初めてなんで優しい子がいいです」って言ったら「わかりました」って感じでさ。 それなのに来たのは明らかに俺に不快感持ってる女。玄関
はじめに 「オープンソースに挑戦したいけど、どんなプロジェクトを作ればいいかわからない…」そんな悩みを持っていませんか？ 本記事では、初心者・中級者・上級者・達人 の4つのレベルに分けて、合計 120個のオープンソースプロジェクトアイデア を紹介します。 それぞれのアイデアの詳細については折りたたんであります。興味がある内容については広げてみて機能要件や実装のポイント、拡張機能、学べることを見てみてください！ 自分のスキルレベルに合ったプロジェクトを見つけて、実際に開発に挑戦してみましょう！ 初心者向けプロジェクトアイデア 1. ToDoリストアプリ 概要 ToDoリストアプリは、ユーザーがタスクを追加・編集・削除し、完了状況を管理できるシンプルなアプリです。 初心者でも取り組みやすく、プログラミングの基礎となる CRUD（Create, Read, Update, Delete） の概念
なぜオープンソースソフトウェアにコントリビュートすべきなのか
NTTの須田です。2024年9月に開催された 第57回 情報科学若手の会 にて、「なぜオープンソースソフトウェアにコントリビュートすべきなのか」と題して招待講演させていただきました。講演内容をブログとして再編成しました。 講演資料 (PDF)なぜOSSにコントリビュートすべきなのか結論から言うと、主にOSSの持続可能性のためです。 OSSは「タダ飯」(free lunch) であるかの如く、対価を支払うことなく消費されがちです。ミートアップなどで提供される実際の「タダ飯」🍕🍣とは異なり、遠慮なく好きなだけ食べても他の人の迷惑にはなりませんが、この「タダ飯」を提供する側のことを誰かが気にかけていないと次の問題が生じます: 「タダ飯」が出てこなくなる (OSSの開発が停滞する)毒入りの「タダ飯」が出てくる (OSSにマルウェアが混入する)前者はましな方で、後者が特に事業や社会にとっての脅威
中国政府が大規模言語モデル(LLM)をベースとした高度な検閲システムを開発していることが、オンライン上に漏えいしたデータセットから明らかになりました。検閲対象は農村の貧困事情や不正警官、共産党の腐敗など多岐にわたり、従来の「天安門事件」や「台湾」などの禁句を超える範囲に拡大されているとのことです。 Prompts in the open: China rules for LLMs - NetAskari https://netaskari.substack.com/p/llms-and-china-rules Leaked data exposes a Chinese AI censorship machine | TechCrunch https://techcrunch.com/2025/03/26/leaked-data-exposes-a-chinese-ai-censorship
精度を保ちつつコストを大きく削減！～Elasticsesearchのベクトル検索オプションと効果～ - Taste of Tech Topics
こんにちは。 Acroquestのデータサイエンスチーム「YAMALEX」に所属する@shin0higuchiです😊 YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。 はじめに 近年、RAG（Retrieval-Augmented Generation）の台頭などを背景に、ベクトル検索の重要性が増しています。 ベクトル検索は、テキストや画像などの高次元データをベクトル空間に埋め込み、類似度に基づいて検索を行う技術です。 これにより、従来のキーワード検索では捉えきれなかった、意味的な類似性に基づいた検索が可能になります。 (RAGでElasticsearchのベクトル検索を利用するやり方については、こちらの記事で紹介していますので是非ご覧ください) acro-engineer.hatenablog.com 一方で、ベクトル検索を扱うため
from openai import OpenAI client = OpenAI() audio_file= open("voice_lunch_jp_5min.wav", "rb") transcription = client.audio.transcriptions.create( model="whisper-1", file=audio_file ) print("\n===== whisper-1 =====\n", transcription.text) transcription = client.audio.transcriptions.create( model="gpt-4o-mini-transcribe", file=audio_file ) print("\n===== gpt-4o-mini-transcribe =====\n", transcriptio
元競技プログラマの転職活動
概要この記事は、業務経験が8～9年あり、AtCoderのレートが水色～青色の元競技プログラマによる転職活動のまとめです。 1年半ほど前に、似たような記事「[ほぼ無] 無職競技プログラマの中途就職活動」も公開していました。 コンテキスト国内のスタートアップ企業に転職してからは、検索機能の開発・運用を担当していました。検索の仕事は非常におもしろく、個人的にも満足していたのですが、検索領域に特化したキャリアを歩みたいという思いがぼんやりとありました。 あるとき、周囲で転職事情の話を耳にする機会があり、外資系企業が採用を再開していることを知りました。そこでLinkedInで興味のある企業のページを確認したところ、ちょうどSenior Search Software Engineerのポジションが募集されていたことが分かりました。 このポジションはとても魅力的でしたが、外資系企業でのSeniorポジ
MIXI minimo の システム開発グループ AI 推進チーム で機械学習関連の施策をしている Taniii です. モデルの学習から推論, 実サービスへの実装までの一連の流れで, 品質を保証し, 高速にモデル改善のサイクルを回すためには, 特徴量の一貫した管理と, その管理の自動化が重要だと考えています. これらを実現するために, MIXI の運営するサービス minimo では, 特徴量の管理を中心に据えた自動化を導入しました. 本記事では, 特徴量ドリブンな MLOps を実現するための試みを紹介します. 要約すると... 最初に結論を書くと, 以下のような自動化フローを構築しています. 詳細について, 次節以降で説明します. サービスのバックグラウンドと機械学習の活用 minimo は, 月間 200 万人以上 (WEB, アプリの合計. 2021 年 11 月時点) のお客様
フィンテックの雄、マネーフォワードがRuby／Go言語エンジニア大募集！ 株式会社マネーフォワード @moneyforward Fintech Go (programming language) Ruby Ruby on Rails I want to hear a detailed Ruby／Go言語エンジニアでの開発に興味のある人、マネーフォワードで思い切りコードを書きませんか？ 株式会社マネーフォワードは、「お金を前へ。人生をもっと前へ。」をビジョンに 「新しい金融サービス、世界最高のお金に関するインターネットサービスを創る」ことを目指しているフィンテックスタートアップです。 弊社は現在、Ruby／Go言語エンジニアの募集を行っています。 Ruby on Railsによる大規模SaaSをGo言語でマイクロサービス化 現在マネーフォワードでは、Go言語によるマイクロサービス化を積極的に
Claude 3.7 Sonnet: the first AI model that understands your entire codebase
I can barely believe I am writing this. That we have come so far. And that by the time you are done with this feature, you’ll have read about 36286321 words and know EXACTLY how to manage your huge codebase and keep it optimised while handling the deluge of feature requests from across your colleague and customer communities. But we are here. This is it. As a guide, we’re going to be: riffing on a
はじめに 「オープンソースに挑戦したいけど、どんなプロジェクトを作ればいいかわからない…」そんな悩みを持っていませんか？ 本記事では、初心者・中級者・上級者・達人 の4つのレベルに分けて、合計 120個のオープンソースプロジェクトアイデア を紹介します。 それぞれのアイデアの詳細については折りたたんであります。興味がある内容については広げてみて機能要件や実装のポイント、拡張機能、学べることを見てみてください！ 自分のスキルレベルに合ったプロジェクトを見つけて、実際に開発に挑戦してみましょう！ 初心者向けプロジェクトアイデア 1. ToDoリストアプリ 概要 ToDoリストアプリは、ユーザーがタスクを追加・編集・削除し、完了状況を管理できるシンプルなアプリです。 初心者でも取り組みやすく、プログラミングの基礎となる CRUD（Create, Read, Update, Delete） の概念
全文検索エンジンは、膨大なデータベース内のテキストを瞬時に横断検索し、欲しい情報を迅速に探し出すことができます。近年は、ビジネスにおける意思決定の迅速化、顧客対応の向上、リアルタイムなデータ分析の必要性が高まっていることから、全文検索エンジンを利用したエンタープライズサーチ（企業内検索）などを導入する企業も増えています。 オープンソースソフトウェア（OSS）の全文検索エンジンは、コストメリットと高いカスタマイズ性が注目され、多くの企業が自社のニーズに合わせて利用しています。本記事では、OSSの全文検索エンジンを比較しながら、全文検索エンジンの選定ポイントを詳しく解説します。 ＋ 目次 全文検索エンジンとは？ OSSの全文検索エンジンを選ぶメリット OSSの全文検索エンジン選定ポイント 全文検索エンジンのOSS Elasticsearch OpenSearch Apache Solr 検索エ
AWSを使っていると、「Kinesis Data Firehose（キネシス データ ファイアホース）」というサービス名を耳にすることがあります。 この記事では、 Kinesis Data Firehoseとは何か どんな場面で使えるのか 他のサービスとの違い について初心者向けにわかりやすく解説します！ 🔥 Kinesis Data Firehoseとは？ Amazon Kinesis Data Firehose は、 リアルタイムでストリーミングデータを自動的に受け取り、S3やRedshift、Elasticsearch、Datadogなどに転送するマネージドサービスです。 ざっくりいうと： 「データを集めて、自動で保存・分析できる場所へ流してくれるホース（Firehose）」のような存在です。 🔧 主な特徴 特徴 内容
これは、なにをしたくて書いたもの？ 以前、FluentdをDockerのlogging driverとして使ってみたことがありました。 Docker環境で、コンテナのログをFluentdに出力する（Docker logging driverとして使う） - CLOVER🍀 今回は、Fluent BitをDockerのlogging driverとして使ってみたいと思います。 Fluentd logging driver Dockerでは、Fluentdをlogging driverとして使うように設定できます。 Fluentd logging driver | Docker Documentation ここでログの送信先をFluentdではなく、Fluent Bitに変更してみるのが今回やってみることです。 Fluent Bitの記事にも、Dockerコンテナから受け取ったログを、Ela
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 解説の構成: 本解説は、ユーザーのブラウザから始まり、AWS上のWebサーバー（ECS上のコンテナ）に到達し、コンテンツが返されるまでの一連の流れを追いながら、各段階で重要となるセキュリティ設定を「層（レイヤー）」に分けて解説していきます。これは「多層防御（Defense in Depth）」というセキュリティの基本的な考え方に基づいています。一つの防御壁が突破されても、次の壁で食い止める、という考え方です。お城を守るのに、城壁だけでなく、堀や石垣、見張り櫓など、複数の防御策を組み合わせるのと同じイメージです。 Webアクセスの基本的な
Elasticsearchの3つの強み Elasticsearch株式会社 ソリューションズアーキテクチャ プリンシパル ソリューションアーキテクト 杉本 知洋氏 ぐるなびの導入事例に入る前にElasticsearchについて触れておこう。Elasticsearchは、もともとオープンソースの分散型検索エンジンで、大規模データに対して高速かつ柔軟に検索できることを得意としている。 現在Elasticsearchはプラットフォームとなり、この上にすぐに使える2つのソリューション「Elastic Observability（ログ分析）」「Elastic Security（セキュリティ分析）」と、自由に構築するためのソリューション「Elastic Search（検索AI）」がある。 Elasticsearch概観 今回のテーマはオブザーバビリティ（可観測性）だ。さまざまなログからシステムの状態を
Grafana Query, visualize, alert on, and explore your metrics, logs, and traces wherever they are stored. データ視覚化および監視ツール。主にシステムメトリクスやログ、トレース情報などを収集し、それらをダッシュボード形式で可視化するために使われる。「Dashboard anything. Observe everything.[1]」 というコンセプトの通り、データソースとしてPrometheus（リソース監視）、Loki（ログ管理）、ElasticSearch（検索エンジン）、MySQL（DB管理）などさまざまなツールと連携できるのが特徴。リアルタイムの監視だけでなく過去のデータ分析も可能で、お手軽に触れるsandboxもある。 Grafana Agent Grafana Agent i
この表からも分かるように、Elasticsearchは特に高速な全文検索やリアルタイムのデータ検索、機械学習モデルとの統合に適しています。 一方で、リレーショナルデータベースやデータウェアハウスは、トランザクション処理や大規模データの分析に強みを持っています。それぞれの特徴を理解し、ユースケースに応じて適切に選択することが重要です。 3. インジェストプロセッサーでデータ処理を効率化 Elasticsearchのインジェストプロセッサーは、データがElasticsearchに保存される前にデータの変換や処理を行う機能です。RAGワークフローにおいて、インジェストプロセッサーは埋め込み（エンベディング）の抽出を効率化し、生成AIに必要なデータの準備を迅速に行います。これにより、膨大なデータから生成AIに必要な情報を素早く抽出し、リアルタイムの応答に活用することができます。 4. RAGワーク
Groonga用のMariaDBのutf8mb4_uca1400照合順序互換ノーマライザー - 2025-04-03 - ククログ
Mroongaの開発をしている須藤です。MroongaはMySQL/MariaDB/Percona Serverからいい感じにGroongaを使えるようにするストレージエンジンです。Groongaは全文検索エンジンなので、MySQL/MariaDB/Percona Serverだけで（ゼロETLで！っていうとナウいんでしょ！？）Elasticsearchとかなしにいい感じに高速高機能全文検索機能を実現できます。 そんなMroongaは10年くらい前からMariaDBにバンドルされています。MySQL・MariaDB作者のMontyさんがなんかの日本のイベントに来ていたときになんか話して「バンドルするか！」みたいな流れになったような気もするし、それとは別のところでなんやかんやしたような気もして、よく覚えていないのですが、バンドルされています。 なんだろう、思い出せないーと思ってインターネット
AWSのAmazon Kinesisとは？4つの機能やメリット5つを解説 | ITエンジニア派遣ならオープンアップITエンジニア
AWSのAmazon Kinesisとは？ AWSのAmazon Kinesisとは、動画・音声・アプリケーションログ・IoTデバイスからのセンサーデータなどのストリーミングデータに対してリアルタイムで収集・処理・分析できる完全マネージド型のサービスのことです。 はじめに、Amazon Kinesisで提供されている4つの機能について紹介していきます。また、Amazon Kinesisを導入する5つのメリットおよび料金体系などについても紹介していきます。 AWSのAmazon Kinesisの4つの機能 AWSのAmazon Kinesisには4つの機能が提供されています。 ストリーミングデータに対するリアルタイム処理を支える4つの機能とは、どのようなものでしょうか。それぞれの機能の役割について、1つずつ紹介していきます。 Amazon Kinesisの機能1：データストリームの分析を実行
はじめに ぼくはソフトウェアエンジニアです。 仕事の合間にソフトウェアエンジニアの経歴をたくさん見ることがあるので、その経験をもとに、よい感じの職務経歴書とよくない感じの職務経歴書にそれぞれ見受けられるパターンについてお話したいとおもいます。 これが最善の答えではなく、あくまでいろいろ見た上でのぼく個人が捉えた感想であるとお考えいただきたいです。また、会社としての意見ではありません。これさえ守れば転職無双できるというものでもありません。あらかじめご了承ください。 また「よい」「よくない」というのは、あくまでぼくの主観であって、絶対的な意見ではありません。あくまで「そういう観点を持つ人もいる」というようにお考えいただきたいです。「それを『よくない』と思う視点はおかしいのでは？」という点があれば、コメントをいただきたいです。 あなたが転職する際の一助になれば幸いです。 よい職務経歴書のパターン
時系列データの可視化は個人的な好みでGrafanaを使うことが多いので気づいていなかったが、いつの間にかChronografがSyslog Viewerとして使える様になっていたようだ。1 SyslogをWebUIで検索・閲覧する用途に最近では一般的にElasticsearchを利用しているケースが多いのだと思う。ただ特にクラスタ構成など必要ない小規模構成でもっと手軽に構築できれるものがほしいなと常々思っていたので早速自宅環境に導入してみた。 Syslogの時系列ヒストグラム表示がある。ログメッセージ検索は正規表現も可能。SeverityやFacility、Hostnameでの絞り込みも可能。もちろん特定時間帯のログのみを抽出することもできる。 構成 server側で用意するのはclientからのsyslogを514/udpポートで受けて6514/tcpポートへ転送するためのRsyslog
TF-IDFを使った簡単な検索システムを作ってみた
はじめに 初心者が全文検索エンジンに興味を持って独学し、簡単な検索エンジンを実装するまでをまとめてみました。検索エンジンのこと全然知らないけど興味はある、簡単な成果物を作成したいと思っている方々の一助になれば幸いです。 何をやったの 全文検索の技術書を読んだ内容をまとめてみました。 実践編として簡単な検索システムを作成しました。ポケモンのタイプを入力すると該当するポケモンが表示されます。 検索システム本 検索システム 実務者のための開発改善ガイドブックを検索エンジニアの方から勧められました。 二部構成で第一部は初心者向けの検索エンジンの基礎的な内容、第二部は中級者向けの検索エンジンをより良くするためのエッセンス。第1~7章はとっつきやすいのですが、第8章はPJ立ち上げの話、第9章以降は検索エンジンの質を上げるための検討事項を具体的な数式や機械学習を交えて解説しています。特に第9章以降は初心
プラットフォーム推進室 データインテリジェンスグループの萩原です。 データエンジニアとして、データ分析基盤の開発・運用に携わっています。 Nikkei Advent Calendar 2024 18日目は、日経が内製開発する データ分析基盤「Atlas」 についてご紹介します。 はじめに Atlas は 日経 ID プラットフォームを軸とした CDP ( Customer Data Platform ) です。 社内90以上の日経 ID 導入プロダクトに関連し、お客様の行動ログデータや各種事業データや外部データを統合、社内データ分析基盤として活用されています。 Atlas に関するご紹介は過去何度か実施しており、当サイトでは Data Driven ページなどに日経のデータ利活用のご紹介とともに言及しています。 2024年現在、Atlas は導入当初の2016年頃から世代交代・発展したアー
ClickHouseの活用事例：Uberと自社での導入 続いて松本氏は「ログ、イベント、トレース」分野におけるClickHouseの活用事例を2つ紹介した。1つ目はUberのケースだ。UberはもともとElasticsearchを使用していたが、約4年前にデータストレージをClickHouseに移行。これにより、高速なデータ取り込みとコスト削減が実現した。Elasticsearchはインデックス作成により書き込みが遅くなるが、ClickHouseはプライマリーキーを活用し、処理速度を向上させている。さらに、インデックスオプティマイザーが過去のデータを分析し、必要なカラムにセカンダリインデックスを自動追加することで、さらなるパフォーマンス向上を実現している。 2つ目のケースはDatadogからの移行だ。ClickHouse社では、マネージドサービスの開発時にオブザーバビリティツールを用意する
さくらインターネット Advent Calendar 2021 17日目の記事になります。 syslog を使ったログ管理について考察してみる にて、 syslog server にファイルでログを管理するという構成をとった場合に、どうなりそうかについて考えてみました。 「さくらの専用サーバ PHY」では、 syslog を使ったログ管理について考察してみる のようなログ管理はしておらず、 Graylog を使いログを管理していました。 Graylog でのログ管理を2年半ほど運用し、現在は Grafana Loki に切り替わっています。 今回は、2年半とてもお世話になった Graylog を使うと、 syslog を使ったログ管理について考察してみる と同じ観点で、 どのようなログ管理を実現できるのかについて書いていきます。 アーキテクチャ Graylog は、単体で動くものではなく、
ゼロから検索エンジニアになるまで
はじめに こんにちは @togatogaです。検索とRustが好きです。 仕事として検索を始めて約1年半が経ちました。僕が情報検索を学び始めた当初は、どのように勉強すればいいのか分からず、手探りでさまざまな本や記事を読み漁りました。最近は周りから「どうやって検索を学んできたのか？」と聞かれることが増えたので、僕が特に役立った本や記事を紹介します。 本記事はただのソフトウェアエンジニアが検索エンジニアになるまでのリスペクト記事です。 事前準備 ChatGPTやPerplexityを活用して質問・要約・翻訳を行いましょう。安くはありませんが、24時間いつでも相談でき、英語の記事を日本語に翻訳・要約できるので非常に助かっています。本はPDF形式で購入し、ChatGPT/Perplexityに取り込んで質問や解説をさせていました。 基礎 検索技術を学びたいものの、どこから始めればいいか分からない方
elasticsearchのエイリアスを試す
参照資料 公式ドキュメントはこちら。 elastic - aliases エイリアスに関するAPIに関するドキュメントはこっち。 elastic - alias-management 環境 docker-compose.yml version: '3.9' services: es01: image: docker.elastic.co/elasticsearch/elasticsearch:8.0.0 ports: - 9200:9200 - 9300:9300 environment: - discovery.type=single-node - action.destructive_requires_name=true - xpack.security.enabled=false - path.repo=/usr/share/elasticsearch/backup networks
はじめに こんにちは、SREチームの髙野です。 今回はmeviy開発に携わるチーム紹介というカテゴリーでSREチームについて紹介したいと思います。 メンバー構成 SREチームのメンバー構成は以下の通りです。 リーダー1名 テックリード1名 メンバー4名 メンバーそれぞれがmeviyやmeviy Marketplaceをはじめとするプロダクトのインフラ領域を担っています。 基本はテキストコミュニケーションですが、カジュアルにslackのハドルを使うなど柔軟にコミュニケーションをとっています。 プロフェッショナルでホスピタリティが高く、多趣味でユーモアな人材が集まっているため、質が高くコミュニケーションの取りやすいチームだと感じています。 技術スタック SREチームの技術スタックです。 DTDが設立される前に異なるベンダーさんが異なる技術スタックで作成してきたものを巻き取ってきた歴史があり、多
【セッションレポート】 リアルタイム分析データベースで実現するSQLベースのオブザーバビリティ #devsumiE | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 先日 Developers Summit 2025 に参加してきました。印象が強かったセッションについてレポートします。リアルタイム分析を行う ClickHouse についてのセッションです。 リアルタイム分析データベースで実現するSQLベースのオブザーバビリティ リアルタイム分析データベースで実現するSQLベースのオブザーバビリティ 登壇資料 概要 エンジニアリングやコンピュータサイエンスにおける数々の革新は、異なるアプローチを組み合わせることで生まれてきました。本セッションでは、データベースとオブザーバビリティの歴史的な流れを振り返りつつ、超高速な列指向データベースであるClickHouseがリアルタイム分析を通じてオブザーバビリティにどのような変革をもたらしたのかを解説します。 また、実際に20PB規模のログデータを扱う大規模なリ
AWS All Certifications EngineersがAWS Certified Data Engineer - Associate（DEA-C01）を受験した感想｜SHIFT Group 技術ブログ
AWS All Certifications EngineersがAWS Certified Data Engineer - Associate（DEA-C01）を受験した感想 1．はじめにSHIFTのナショナルセキュリティ事業部所属の松尾です。 2024年3月にGAされたAWS認定資格のData Engineer - Associate（以下、「DEA-C01」）を取得しましたので、2023/2024 Japan AWS All Certifications Engineersの1人の視点で本試験対策のポイントなどを解説しようと思います。なお、AWS用語やサービスは2024年4月30日までにGAされているものを記載しています。 【本記事の読者対象】 これからDEA-C01の取得を考えている DEA-C01と他のAssociate試験との関連性を知りたい DEA-C01とData Anal
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに AWSが展開するアナリティクスカテゴリのサービスの一覧についてまとめてみました。 アナリティクスカテゴリ ストレージやデータベースから収集したデータを加工・変換、解析・分析したり、結果を可視化したりするサービス。ビッグデータに代表されるデータ活用の中核となる技術なので、種類や内容をよく押さえておきたい。 Amazon Athena S3に保存されたデータに対してSQLを発行してデータを取得・分析できるサービス。 Amazon CloudSearch Webサイトやアプリケーション向けの検索エンジンサービス。 AWS Data
ポジション概要「LINE」で1日にやりとりされるメッセージの総数は数百億単位です。これは数千台のサーバーと、その上で動くRedis ClusterやHBaseなどの分散ストレージミドルウェアによって実現されています。これらのミドルウェアは、秒間数百万のクエリを処理し、数ペタバイトのデータを扱える性能を発揮します。しかし、「LINE」規模の実サービスでは、特定の条件下でのみ発生するパフォーマンス劣化の問題や、世界中でまだ誰も遭遇していないバグに直面することが頻繁にあります。 本ポジションでは、「LINE」のメッセージングおよび関連サービスの機能開発・保守を他のチームと連携しながら、これらの困難な課題を解決してくれるエンジニアを募集しています。 組織のミッション・展望 メッセージングおよび関連サービスに必要なストレージの重要な機能の開発およびサポート ベストプラクティスを採用した、スケーラブル
Grafanaを使ってみる Grafanaは、監視と可観測性のためのオープンソースのプラットフォームです。 メトリクスが格納されている場所に関係なく、メトリクスを照会、視覚化、アラート、および理解することができます。 ダッシュボードを作成、調査、およびチームと共有し、データ主導の文化を育むこともできます。 この記事では、自分でGrafanaをインストールする方法の概要を説明していきます。 セットアップは少し大変になりますので、設定なしで試してみたい場合、またはビジネスレベルのサービスを探している場合は、MetricFireの無料トライアルを開始してみることをお勧めします。ダッシュボードを数分で作成でき、Grafanaの良さをすぐに体感出来るはずです。 なぜGrafanaを使うのか？ Grafanaは、プラグインアーキテクチャを使用して、メトリクスを視覚化して、アラートを送信するなど、さまざ
Figmaにおけるスピードの探求 | Figma Blog
検索速度の遅さについて数か月にわたる調査を行った結果、パフォーマンスを向上させるだけでなく、今後の拡張の基盤となるソリューションが見つかりました。 Figmaにおける検索機能の改善に取り組み始めたのは、今年の初めです。当社の成長に伴い、Figmaの設立当初から存在する検索インフラストラクチャでは、ユーザーの求めるコンテンツを検索システムで確実に見つけることがますます難しくなっていました。そこで私たちは、今後数か月から数年で構築できる盤石な検索機能の基盤を確立したいと考えたのです。 2023年末までは、旧バージョンのElasticSearchをFigmaの検索機能に使用していました。その後、AWSのマネージドOpenSearch Serviceの一部として実行されるOpenSearchへのアップグレードを開始しました。OpenSearchは2021年、ElasticSearchライセンスが変
はじめに Graylogとは… サーバ、NW機器、アプリといったテラバイト級の各種マシンデータ・ログを集約して一元的なリアルタイム検索とログ分析・キャプチャ・保存ができるOSSである。 Elasticsearch、MongoDB、Oracle Javaで構成される3層アーキテクチャでスケーラブルな構成が特徴である。 GraylogのWikipedia(English)より抜粋 本記事の執筆理由 1日数十GBのログを分析する為、Splunk導入を検討したがログ量に応じてライセンスが高くなる為、費用対効果を見い出せなかった。代わりのログ分析ツールとしてメジャーな「ELK」と「Graylog」を比較検討した結果、導入が簡単な「OVA版Graylog」に決めた。WindowsのVMware Workstation Player上で導入検証してみて、途中つまずいた箇所があったので当方の備忘も兼ねて整
先週は、言語処理学会の年次大会を聴講していました。数多くの興味深い発表がありましたが、仕事でRAG周りの開発に携わっていることもあって、検索やLLMの生成結果を評価する方法について重点的に聴講しました。 そんな中で、製造業の実データを対象としたRAGの改善に関する研究[1]が共感する部分がありました。この研究では、専門的なドメインにおける4つのRAG改善手法（①テキスト正規化、②ハイブリッド検索、③リランキング、④検索ワード拡張）の有効性を検証しています。その結果、テキスト正規化、ハイブリッド検索、リランキングは効果がある一方で、検索ワード拡張には目立った改善が見られなかったとのこと。 論文でも述べられていますが、この結果の背景には、LLMがドメイン固有の知識を持たないことが原因にあるのかもしれません。オントロジーやナレッジグラフを活用すれば、プロンプトを通じて専門知識を補うことはできます
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
弱者男性だけど人生初デリヘルを使ったらツイフェミ女に当たって最悪
レベル別で紹介！オープンソースで挑戦できる120のプロジェクトアイデア集 - Qiita
中国の高度なAI検閲システムが漏えいしたデータセットにより明らかに
「gpt-4o-transcribe」「gpt-4o-mini-transcribe」を試す
特徴量を言語を越えて一貫して管理する, 『特徴量ドリブン』な MLOps の実現への試み
フィンテックの雄、マネーフォワードがRuby／Go言語エンジニア大募集！
レベル別で紹介！オープンソースで挑戦できる120のプロジェクトアイデア集 - Qiita
全文検索エンジンとは？おすすめOSS比較3選 | OSSのデージーネット
AWS Kinesis Data Firehoseとは？ - Qiita
Fluent BitをDocker logging driverとして使う - CLOVER🍀
AWS ECS上のセキュリティ設定 - Qiita
「ぐるなび」におけるIT運用方法とは？ オブザーバビリティを向上させるElasticsearchの活用事例
Grafana LabsのProductってそれぞれ何が違うの？
Elasticsearchを用いたRAGワークフローの強化｜Arpable
ソフトウェアエンジニアのよい職務経歴書とよくない職務経歴書
Chronograf + Telegraf + InfluxDBでSyslog Viewerを作る - Qiita
日経のデータ分析基盤「Atlas」の現在地 — HACK The Nikkei
ClickHouseの圧倒的パフォーマンスで大規模リアルタイム分析のコストを削減！オブザーバビリティ新時代
Graylog を使ったログ管理基盤 | command not found:
【meviy 開発チーム紹介】SREチーム - DTダイナミクス テックブログ
AWSが展開するアナリティクスカテゴリのサービスの一覧 - Qiita
分散データベースエンジニア（メッセージングサービス）/ LINE Platform｜LINEヤフー株式会社
【Grafana】 基礎から徹底解説 〜 実際に導入までしてみる 〜 - Qiita
Graylog(Splunk代替ログ分析OSS)の導入＆チューニングTips - Qiita
Geminiを用いた擬似適合性フィードバックによる検索性能の改善 - Ahogrammer