Keeping clients of OpenSearch and Elasticsearch compatible with open source | Amazon Web Services
AWS Open Source Blog Keeping clients of OpenSearch and Elasticsearch compatible with open source The OpenSearch project is a long-term investment in a secure, high-quality, Apache-2.0 licensed search and analytics suite with a rich roadmap of innovative functionality. OpenSearch aims to provide wire compatibility with open source distributions of Elasticsearch 7.10.2, the software from which it wa
Amazon CloudFrontはボディを含むGETリクエストに403(Forbidden)を返します | DevelopersIO
『Real World HTTP 第2版』で知ったのですが、GETリクエストにはメッセージボディを含めることができます。 より具体的には、HTTP/1.1の一世代前の仕様RFC2616 *1では、「サーバーはメッセージボディを読み込める必要はあるが、リクエストされたメソッドがボディのセマンティクスを定めていない場合は、リクエストの処理時にメッセージボディは無視されるべき」と書かれており、最新のRFC7231 *2では、「ペイロードのボディを持つことはできるが、実装によってはサーバーがこれを受け取らずに拒否することがありえる」と書かれています。(カッコ内は同書から引用) ALB は 何もせず、CloudFront は403を返す 意図せずリクエストが拒否されると困ります。 普段触れる機会の多い AWS のマネージドサービスがどのように振る舞うのか確認したところ、Application Loa
プロダクト開発と事業へ成果を出せる SET になるために読んだ書籍・スライド - Techtouch Developers Blog
この記事はテックタッチアドベントカレンダー4日目の記事です。 3日目は taisa による GORM v2 触ってみた Major Features 編 でした。 SET (Software Engineer in Test) チームの @terunuma です。最近買ったおすすめの品は4サイクルの刈払機です。ちょっと重いですが、燃料がガソリンで調達しやすいし馬力があって背の高い草も刈り切れるのでオススメです。実家の雑草も簡単に一掃できました。 この記事は何 フロントエンドエンジニアから SET へ転身するにあたって読んだ書籍、スライド、テストソフトウェア（フレームワーク）などを紹介するものです。自分のようにテストに本腰を入れて取り組もうとした人が同様にテストについて調べる時の手助けになればと思い書きました。 テックタッチの SET はどんなことをするのか？ まだ SET となって数ヶ月で
Introduction to Elasticsearch - Alibaba Cloud Document Center
Alibaba Cloud Elasticsearch is a fully managed cloud service that is developed based on open source Elasticsearch. It is out-of-the-box and supports the pay-as-you-go billing method. In addition to Elastic Stack components such as Elasticsearch, Logstash, Kibana, and Beats.
Elasticsearchは、Apache Luceneをベースに開発された全文検索エンジンです。このページでは、Elasticsearchの特徴、Elasticsearchと周辺ツール、Elasticsearchに対するデージーネットの取り組みを紹介します。 Elasticsearchとは Elasticsearchとは、ビッグデータに対応した全文検索エンジンで、オランダのElastic社が開発を行っています。Apache Luceneを基盤として開発されていて、オープンソースソフトウェアとして2010年に初めてのバージョンがリリースされました。RDBではSQLを使用してデータを検索しますがElasticsearchはRESTfulインターフェースを用いてデータを検索します。Elasticsearchは、検索速度や分析柔軟性に優れており、わかりやすく検索機能を利用でき、データ蓄積や分析環
マイクロサービスアーキテクチャへの移行を進める上で生まれた課題にどう取り組んだのか。オイシックス・ラ・大地の川上徹氏がOisixのマイクロサービス移行のハードルにどう取り組んだのか紹介します。 Oisixは2000年の創業以来、一度も全面的なシステムリプレースを行わず、システムの改修を続けてきたECサイトだ。マイクロサービスアーキテクチャへの転換を検討し始めた2017年時点で、17年以上も創業当時のアーキテクチャのまま、運用を続けてきたというわけだ。 今回はそのOisixをマイクロサービスアーキテクチャに移行する上で生まれた課題にどう立ち向かったのかを解説する。 既存システムの分析と改善 システムアーキテクチャを刷新する上で、まず最優先に取り組むべきなのはそのシステムが構成する業務の分析／再定義になるだろう。 システムの現状分析を基に、開発、運用のプロセスあるいはサービス提供をする上でのボ
Amazon Kendra で独自文書に対するセマンティック検索（自然言語での検索）を実現する - Taste of Tech Topics
こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） ここ一か月、健康的な食事を心がけ、 1kg 減量しました。 リモートワークだから仕方ないと思っていたのが、間違いでした。 さて、今回は Amazon Kendra での検索について検証していきます。 1. Amazon Kendra とは 2. 環境構築 3. 検証 3.1. 複数の文書の検索 3.2. 高度なクエリ構文による検索 3.3. 文書の更新があった場合の確認 データソースのSync スケジュールについて 4. まとめ 1. Amazon Kendra とは Amazon Kendra （以下、 Kendra ）は Amazon が提供する、機械学習を利用し
by mohamed hassan セキュリティ企業Comparitechの調査チームが、Microsoftのカスタマーサービス＆サポート(CSS)の記録およそ2億5000万件がウェブ上に公開されていたと報告しました。すべてのデータはパスワードやその他の認証なしでウェブブラウザからアクセス可能な状態だったとのことです。 Access Misconfiguration for Customer Support Database - Microsoft Security Response Center https://msrc-blog.microsoft.com/2020/01/22/access-misconfiguration-for-customer-support-database/ 250 million Microsoft customer service & support r
Amazon Bedrock(ClaudeV2)でLambdaのコードを生成してみた - Taste of Tech Topics
こんにちは、最近久々にソロキャンプをしてきました菅野です。 AWS上で、 ChatGPTのようなテキスト生成AIを利用できるようになるサービス、Amazon Bedrockがリリースされました。 今回はBedrockで、LambdaのPythonコードを生成してもらいます。 利用するモデルは、ChatGPTと同レベルの性能を有しているClaudeV2を利用します。詳細はこちら。 Bedrockについて執筆した別記事もあわせてご覧ください。 acro-engineer.hatenablog.com acro-engineer.hatenablog.com S3に保存したCSVファイルの平均を求めるLambda関数を作成する 以下のようなcsvをS3からダウンロードし、一分毎、name毎の平均を返却するLambdaを作成してもらいます。 id,name,value,timestamp 1,da
Publickeyが関連記事の動的生成をPHPとJavaScriptとMovableTypeで実装した方法とは？
Publickeyが関連記事の動的生成をPHPとJavaScriptとMovableTypeで実装した方法とは？ ブログやニュースサイトなどのWebサイトを構築する際には、「人気記事ランキング」と「関連記事」の表示はぜひWebサイトに組み込みたい機能といえます。 Publickeyでも、この2つの機能を組み込んでいます。具体的には、人気記事の表示はGoogle Analyticsのデータを基にランキング表示を行ってくれる外部サービス「Ranklet4」を採用しています。 問題は「関連記事」です。私の知るところでは、関連記事の中に広告へのリンクが埋め込まれるという形で提供される関連記事表示サービスはたくさんあるのですが、純粋に関連記事の表示機能だけを提供してくれるサービスは有料のものを含めても見つけることができません。 そうした中で、Publickeyが使い続けてきたのがログリー社のLOGL
歴史・年表でみるAWSサービス(AWS Key Management Service編) －機能一覧・概要・アップデートのまとめ・AWS KMS入門－ - NRIネットコムBlog
小西秀和です。 「歴史・年表でみるAWS全サービス一覧 －アナウンス日、General Availability(GA)、AWSサービス概要のまとめ－」から始まったAWSサービスを歴史・年表から機能を洗い出してまとめるシリーズの第6弾です(過去、Amazon S3、AWS Systems Manager、Amazon Route 53、Amazon EventBridgeについて書きました)。 今回はAWS全体で高度な暗号化機能を提供するAWS Key Management Service(AWS KMS)について歴史年表を作成してみました。 今回もAWS KMSの誕生から機能追加やアップデートを追いながら主要機能を現在のAWS KMSの機能一覧と概要としてまとめています。 これらが、各AWSサービスの機能概要に加えてコンセプトや変わらないもの、変わってきたものを知る手がかりとなればと考え
ECS タスクメタデータエンドポイントを使ったバッチ処理コンテナのリソースモニタリングツール kobanzame を作りました - ようへいの日々精進XP
追記 (2020/06/15) Container Insights は GA しています！ tl;dr kobanzame 作ったもの 仕組み なんちゃってプラグインアーキテクチャ 使い方 設定ファイル 実行 Example 参考 それ, Container Insights で良いんじゃないのか おっしゃるとおり じゃあ, なぜ, 俺は kobanzame を作ったのか 以上 追記 (2020/06/15) Container Insights は GA しています！ 2020/06/14 現在はベータ版として提供されていますが この記述は誤りで Container Insights は 2019 年 11 月には既に GA されておりますので, ここで訂正させて頂きます. aws.amazon.com 確認不足で誤った情報を記述してしまい大変申し訳ございませんでした. tl;dr 以
Regardless of your stance on pornography, it would be impossible to deny the massive impact the adult website industry has had on pushing the web forward. From pushing the browser's video limits to pushing ads through WebSocket so ad blockers don't detect them, you have to be clever to innovate at the bleeding edge of the web. I was recently lucky enough to interview a Web Developer at the web's l
LINEユーザーとビジネスの価値をつなぐためのSREとは、いったいどんなことをするのか。LINEの7つの領域から9名が登壇し、業務内容や体制、開発における課題、働く個々人のやりがいなどについて話します。萬治渉氏は、社内プライベートクラウド「Verda」のSREについて紹介しました。 プライベートクラウド「Verda」について 萬治渉氏（以下、萬治）：「Verda Reliability Engineeringチーム」の紹介を始めたいと思います。萬治渉と言います。よろしくお願いします。Verda Reliability Engineeringチームのマネージャーをしています。 5年くらい前に新卒でNTTに入って、OpenStackなどのプライベートクラウドや、あとはネットワーク機器の設定の自動化などの研究開発に携わったあと、LINEに入社して、Verda Reliability Engine
日常をすべて猫に変換、『にゃんだふるGAI』をGPT Storeに公開しました。 - Taste of Tech Topics
最近肌寒い日々が続きますね、暖冬はどこへ行ったのやら。。菅野です。 ChatGPTを利用してGPTを誰でも簡単に作成できるサービス、GPTsが公開されてから早くも二か月が経過しようとしています。 私自身も様々なGPTの作成を試してきましたが、今回、ついにそれらのGPTを公開できるGPT Storeが公開されました。 openai.com さっそく私もアプリを公開してみたので、GPT Storeの紹介をしつつ、どのようなGPTを作ったかを紹介していこうと思います。 GPTsでどのようにアプリを作成するのかは以下のブログ記事を参照して下さい。 acro-engineer.hatenablog.com GPT Storeとは ユーザが作成した様々なGPTを公開するためのプラットフォームです。 アクセスするにはChatGPTの有償サブスクリプションChatGPT Plusに加入している必要がありま
テクノロジー関連のスタートアップがセキュリティ不備が原因でインターネット上に存在する大量のデータを流出させてしまうというケースがままありますが、データの流出に陥るのはスタートアップだけでなく、Amazonのような大企業でさえ間違いを犯すことがあります。セキュリティ研究者のAnurag Sen氏が、インターネット上でアクセス可能なAmazonの内部サーバーに保存されているプライム・ビデオの視聴習慣情報が詰まったデータベースを発見したと報告しました。 Amazon accidentally exposed an internal server packed with Prime Video viewing habits | TechCrunch https://techcrunch.com/2022/10/27/amazon-prime-video-server-exposed/ Sen氏が発
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog 2021年11月10日・11日の2日間にわたり、LINEのオンライン技術カンファレンス「LINE DEVELOPER DAY 2021」が開催されました。特別連載企画「DEVDAY2021 アフターインタビュー」では、発表内容をさらに深堀りし、発表では触れられなかった内容や裏話について登壇者たちにインタビューします。今回の対象セッションは「Lupus - MLOpsを加速させるためのモニタリングシステム」です。 LINEのMachine Learning室ではこれまで、スピーディーに高品質なML(機械学習)プロダクトをリリースするため、データ基盤の整備や学習パイプラインの開発を行ってきました。その結果として、Machine L
データサイエンスチームYAMALEXでGPT関連の発表をしてきました（ChatGPT Meetup／JJUGナイトセミナー） - Taste of Tech Topics
こんにちは。 Acroquestのデータサイエンスチーム「YAMALEX」に所属する@shin0higuchiです😊 YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。 先週5/23(火)、5/25(木)に、 佐々木（@Ssk1029Takashi ）と 私でそれぞれGPT関連の発表をおこないました。 簡単に発表の概要をご紹介します。 JJUGナイトセミナー (5/23) 私はJJUG（日本Javaユーザー会）が主催する「JJUGナイトセミナー『AI × Java 祭』」で発表をおこないました。 jjug.doorkeeper.jp JJUGナイトセミナーはオンラインで月に１回程度開催されており、Javaの最新情報や事例などが発表される勉強会です。 今回は「AI × Java 祭」ということで、主にAIによるコードアシストにフォーカスし
こんにちは！コンサル部のテウです。 2020年7月31日にAWS Japanさんより、日本初のAmplify Meetupが開催されました！(パチパチパチ) 私は普段 AWS Amplify が好きで、AWS Amplify を使ったいろんな開発パターンや、さらに効率よく開発できるパターンを考えていたため、今回のAmplify Meetupで、LT登壇を申し込みさせて頂きました。 本記事はそのLT登壇資料を公開する記事となります。 登壇資料 登壇のため作成したブログシリーズ 今回のLT登壇のため、いくつかのブログを書きました。 【AWS Amplify ノウハウ】 1. バックエンドとフロントエンドは分離しましょう！ Amplify プロジェクトを初期化する際に、バックエンドプロジェクトとフロントエンドプロジェクトを分離することで、どのようなメリットがあるか説明します。 【AWS Ampl
【Nyantech ハンズオンシリーズ】たくさんの写真の中からうちの子 (猫) をみつけよう ! 〜機械学習と Amazon Elasticsearch Service を使った類似画像検索 - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
こんにちは、機械学習ソリューションアーキテクトの大渕です。 おそらく猫好きのみなさまは、自分の猫の写真だけではなく、公園や道ばたで見かけた猫の写真や猫カフェで撮った写真、はたまたインターネットで見つけたかわいい猫の写真など、様々な猫の写真をお持ちなのではないでしょうか。そんなみなさまが突然、「あなたの猫写真コレクションの中から、あなたの猫の写真だけをピックアップしなさい !」と謎の組織から言われたらどうしましょう。写真を 1 枚ずつチェックして仕分けるという途方もない作業をしなければならないのでしょうか ? 今回の記事では、いざそんな時が来てもあわてなくてすむように、たくさんの写真の中からうちの子 (に似ている猫) の写真を見つける方法をご紹介します。 手法としては機械学習を使うのですが、機械学習というと、以前 こちらの記事 でご紹介したような画像分類を思い浮かべる方もいらっしゃるかもしれ
GPT-4 Turboが登場、GPT-4との違いとは - Taste of Tech Topics
こんにちは、最近ハンドブレンダーを購入し自家製バジルでジェノベーゼを作るようになった菅野です。 2023/11/6にOpenAIDevDayが開催され、ChatGPT関連の様々なアナウンスがありました。 openai.com その中でもChatGPTの新しいモデル、GPT-4 Turboについての情報をまとめていきます。 モデルについての詳細解説は以下の公式サイトをご覧ください。 platform.openai.com GPT-4 Turboのモデルは現在プレビュー版でgpt-4-1106-previewというモデルが試しに使える状態です。 数週間後に安定板のリリースがなされる予定だそうです。 コンテキスト長の増加（8,192 → 128,000トークン） ChatGPTのモデルが一度に考慮できるテキスト量を示すコンテキスト長が12万8千トークンに増加しました。 従来のモデルのコンテキスト
ログ分析勉強会では、「ログ分析」に関わるすべての技術、事例、知見を共有し、日々の業務に役立てられる情報交換ができる場所を目的として活動。初のオンライン開催となった今回、フォージビジョンの小林賢司氏が、複数のクラウドを組み合わせて使うマルチクラウドでのログの取り方、また実際にやった感触、GCPがもつログ収集のいいところなどを紹介しました。 前回の発表について 小林賢司氏：私のほうからは、『AWSのログをGCPに出力してみた話』ということを20分程度話させてもらえればと思っています。 まず自己紹介します。私、小林賢司と申します。ログ分析勉強会の運営をやっています。 フォージビジョン株式会社のクラウドインテグレーション事業部というところで、カスタマーエンジニアという役職で仕事をしています。主にAWSを触ったりとか、たまにログ系を触ったりとかしています。 弊社としてAWSのProの資格をもっていま
Amazon BedrockのKnowledge baseで簡単にRAGを構築 - Taste of Tech Topics
ポトフがおいしい季節ですね、菅野です。 Amazon BedrockのKnowledge baseがGAとなり、Amazon BedrockでもRAGが作成できるようになりました。 docs.aws.amazon.com 今回はKnowledgeベースを実際に作成して統計データを検索するRAGを構築してみます。 RAGとは RAGアーキテクチャ（Retrieval-Augmented Generation）は、自然言語処理において、Google検索のような検索技術と、ChatGPTのような文章生成技術を組み合わせた技術です。 このアーキテクチャを利用すると、生成AIが学習していないデータ、例えば自社の内部レポートのようなデータを用いて、ChatGPTライクな応答システムを構築できます。 具体的には、何か質問を受けると、質問に関連した文章を検索し、その検索結果を元に自然となるような回答を生成
「gettyimages」より 特に人手不足が深刻だといわれるIT業界だが、求人の募集条件が「経験者限定」ばかりで「未経験者が入り込める隙がない」「どこで育てているの？」という指摘や疑問が一部で話題を呼んでいる。未経験者がIT業界でエンジニアとして働くにはどうすればよいのか。また、誰もが社名を知る有名IT企業に就職するには、どうすればよいのか。業界関係者の見解を交えて追ってみたい。 多くの業界で人手不足が叫ばれるなか、成長が続くIT業界の人手不足は顕著だ。IT･Web領域における人材紹介事業を手掛けるレバテックの調査によれば、ITエンジニア・クリエイターの正社員求人倍率は12.9倍にも上る（2023年6月時点）。 「特にニーズが高いのがAI（人工知能）、データサイエンス、セキュリティ分野の人材。外資系IT企業では、大学院でこれらの領域を学ぶ人材に新卒1年目で年収1000万円を提示するケース
自己紹介 はじめまして。DELISH KITCHENバックエンドチームのマネージャーをやっている内原です。 本日はDELISH KITCHENにおける、バックエンド観点でのシステム紹介を行います。この紹介によりDELISH KITCHENの開発に興味を持ってもらえると嬉しいです。 はじめに DELISH KITCHENのサービス全体像とバックエンドシステムの構成や仕様などを紹介します。 ご覧の通り、複数のマイクロサービスが様々なミドルウェアを利用しつつ、DELISH KITCHENサービスの提供を実現しています。 DELISH KITCHENのサービス全体像 DELISH KITCHENの一番主要な機能は、レシピ動画を提供することでお客様の料理体験をよりよいものにすることです。 これだけ聞くと、単に動画を配信しているだけのサービスのように思われるかもしれませんが、実際には料理にまつわる様々
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog LINEの開発組織のそれぞれの部門やプロジェクトについて、その役割や体制、技術スタック、今後の課題やロードマップなどを具体的に紹介していく「Team & Project」シリーズ。今回は、LINEの提供するAI関連のソリューションやプロダクトに実装されている、音声認識技術の開発を担当しているチームを紹介します。 Speechチームの木田祐介、坂本渚、芦川博人に話を聞きました。 Speechチームの皆さん まず、自己紹介をお願いします。 木田：AIカンパニーにて音声認識技術の開発を行っているSpeechチームのマネージャーをしています。1年ほど前にエンジニアとしてSpeechチームにジョインして、今年の1月からマネージャーを務め
AWSでElastic Cloudを利用する 2024年版（構築編） - Taste of Tech Topics
こんにちは、Elastic認定資格３種(※)を保持しているノムラです。 ※Elastic社の公式認定資格（Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer） 皆さんはElastic Cloudを利用されたことはあるでしょうか？ Elastic CloudはElastic社が提供しているSaaSサービスで、クラウドプロバイダはAWS、Azure、GCPをサポートしています。 最新バージョンのクラスタ構築や、既存クラスタのバージョンアップを数クリックで実施できるため、導入がお手軽です。 しかし実際に利用するとなると アクセス制限やCognito連携など、考慮すべきことが多くあります。 意外にハマりどころが多い所だと思うので、手順や注意事項などをまとめ
Amazon Kendra と ChatGPT で RAG を実現する - Taste of Tech Topics
こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 今回は Amazon Kendra と OpenAI ChatGPT を組み合わせてRAGシステムを構築してみます。 RAG とは Retrieval Augmented Generation （検索拡張生成） の略で、 ChatGPT に代表される LLM （大規模言語モデル）でユーザの質問への回答を生成する際に必要な情報（コンテキスト）を事前に検索などを通して取得してから、 コンテキストを踏まえた回答を生成する手法のことです。 言い換えると、RAG は検索そのものの処理ではなく、検索結果を解析し、その内容を分かりやすく要約するものです。 RAG を使用することで、
本記事ではRustでOpentelemetryをはじめることを目標に以下の点について書きます。 OpenTelemetryの概要RustのapplicationにOpenTelemetryを導入する方法前半は公式docを読みながら登場人物を整理し、後半は実際にdocker-compose上でそれらを動かします。 またRustではtracing-opentelemetry crateを利用します。 tracingについては別の記事で基本的な仕組みについて書いたのでopentelemetry固有の処理について述べます。 sample code traceの設定については、別の記事に詳しい説明を書きました。 OpenTelemetryとは最初にOpenTelemetryについての現時点での自分の理解は以下です。 OpenTelemetryとは文脈により以下のいずれかを指す CNFNのprojec
ChatGPTのAdvanced Data Analysisで、デフォルトで存在しないライブラリを利用する方法 - Taste of Tech Topics
月がきれいな季節になってきましたが、花より団子なので月見団子や月見バーガーに目移りしてしまう菅野です。 前回ブログでは、diagramsを用いてAWSの構成図を描いてもらうPythonスクリプトを作成してもらいました。 acro-engineer.hatenablog.com そこでも記載した通り、Advanced Data Analysis（旧Code Interpreter）環境ではdiagramsのライブラリがインストールされていないため、Advanced Data Analysis上で構成図の生成はできませんでした。 しかし、ライブラリを自前でアップロードすることで、そのライブラリをAdvanced Data Analysisでも利用可能にできるようになるようです。 そこで今回は、やり方を変えて、Advanced Data Analysisを利用してAWS構成図の作成まで実行しても
はじめに ユーザーに近い機械学習プロダクトのむずかしさ サービス開発のスピード チームで開発するということ ソフトウェアエンジニアは楽しい？ 実際にユーザーに届くということ これからのこと はじめに 「そういえば，来期は1年間ソフトウェアエンジニアをやっていただきたいんですが」と当時のマネージャーに言われてから1年になる。その頃の私は機械学習エンジニアとして着実に成長はできていたのだと思う。実際に機械学習プロダクトを本番環境に投入することができていたし，機械学習のモデル構築以外にもデプロイ周りやインフラ周り，データベース周りといった知識も身につけることができていた。けれど「もっとユーザーに近いところで仕事がしたい」という思いも持っていた。 ユーザーに近い機械学習プロダクトのむずかしさ 機械学習プロダクトをユーザーに近いところ，つまり実サービスに投入するのはむずかしい。そもそも機械学習プロダ
発表資料について 当時の発表資料とNuCon Mini 2022 Springで登壇した際の動画のリンクを埋め込んでおきますので、もしよろしければ御覧ください。 発表資料 「チームでサービスの運用をうまく支えていくための取り組み ~SREと共に~」 ちなみにこちらの動画では発表前にジョジョネタを盛り込んでいます。もしジョジョが好きな方がいましたら何部のセリフが使われているか当ててみてください。答えは当記事の最後にあります。 過去のGit Teamの体制と課題 Git Team誕生前 BacklogのSRE課にBacklogのGit機能の開発するメンバー1名を包含していました。メンバーはアプリケーションの開発・保守をメインで担当し、BacklogのGit機能に関連するサーバーの保守（kernel updateなど）はWebOperationが担当するという作業分担をしていました。 WebOp
エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(@po3rin) です。 弊社では毎週水曜日にElasticsearchとLuceneのコードリーディング会が開催されています。最近ではLuceneのFSTやKD-Tree、もうすぐ公開されるNSWの実装周りを読んでいました。 先日、私の発表回でLuceneのメモリ上での転置インデックスのデータ構造について発表したので、その内容を紹介します。Luceneのことが少しでも身近に感じていただければ幸いです。 Luceneとは 転置インデックスに関する事前知識 Luceneの事前知識 Luceneのメモリ上での転置インデックス実装内部 確保したメモリがあふれた場合 まとめ We're hiring !!! Luceneとは github.com Elasticsearchの内部で利用されているオープン
「Claude 2」at Amazon Bedrockと「GPT-4」at ChatGPTで生成結果はどのように変わるのか？ - Taste of Tech Topics
こんにちは、最近はめっぽう冷えてきましたそろそろおでんが恋しくなりますね、菅野です。 AWS上で、 ChatGPTのようなテキスト生成AIを利用できるようになるサービス、Amazon Bedrockがリリースされました。 そこで今回はChatGPTとテキスト生成の結果を比較してみようと思います。 ChatGPTはGPT-4モデルを、Amazon BedrockではChatGPTより大きいトークンを受け取れ、安価で利用できるといわれているモデル、ClaudeV2を利用します。詳細はこちら。 Amazon Bedrockでのチャット生成方法は以下のブログで紹介しているので こちらのブログも参照ください。 acro-engineer.hatenablog.com 「RestAPIについての説明」の結果を比較する 生成AIではわからないものの質問をする機会が多いです。 それぞれのAIにRestAP
データマイニングの国際学会KDD2023に現地参加し、ポスター発表してきました - Taste of Tech Topics
皆さんこんにちは 機械学習チームYAMALEXの@tereka114です。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 私自身8月4日〜8月12日までアメリカ・ロングビーチに渡航し、KDD2023に参加とポスター発表してきました。 ここ数年、コロナウィルスの影響で自分自身、オフライン参加は控えていましたが、今年はそろそろかなーともあり、行くことにしました。 KDD2023概要 学会の様子 Opening セッション KDDCup KDD Annual Celebration 食事 最後に 展示場（ランチ会場）人が多い KDD2023概要 KDDは正式名称、29th ACM SIGKDD CONFERENCE ON KNOWLEDGE DISCOVERY AND DAT
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog 2021年11月10日・11日の2日間にわたり、LINEのオンライン技術カンファレンス「LINE DEVELOPER DAY 2021」が開催されました。特別連載企画「DEVDAY21 +Interview」では、登壇者たちに発表内容をさらに深堀り、発表では触れられなかった関連の内容や裏話などについてインタビューします。今回の対象セッションは「COVID-19と共に変化する社内システム対応事例 - 出社自動判定システム 」です。 新型コロナウイルスの感染拡大により、LINEでは多くの従業員がリモートワークを行っています。こうした働き方の変化に伴って制度の見直しも進められており、その1つとして通勤費の実費精算がありました。こうし
ダウンタイムなしでEC2のElasticsearchからマネージドなOpenSearchへと移行した際の工夫
「HRMOS採用」では、採用に関するデータをElasticsearchに保存し検索機能で利用しております。 以前はEC2インスタンスにインストールしたElasticsearchを利用していましたが、スケールやメンテナンスしづらいことからAWSのマネージドサービスであるAmazon OpenSearch Serviceへの移行を行いました。 移行の際には、ユーザに安心・安全な利用をしていただけるように、下記の4つの観点に気をつけました。 データのロストがないこと セキュリティ的に安全であること 機能・非機能ともに劣化がないこと ダウンタイムなしで移行完了させること この記事では、特に ダウンタイムなしで移行完了 に至った3つの工夫を紹介します。 ※以降、Elasitcseasrch=ES、Amazon OpenSearch Service=AOSと記載します はじめに 「HRMOS採用」とは
オリジナルグッズ作成・販売サービス「SUZURI byGMOペパボ」に関わるエンジニアメンバーや事業部長が登壇し、SUZURIの開発の今や、現在の課題・今後の取り組みについて話す「43万人超のクリエイターの表現活動を支える！ECプラットフォームSUZURIの開発の裏側」。ここでモバイル／Webアプリケーションエンジニアの時田氏が登壇。SRE活動として行っていることを紹介します。 自己紹介と今日話すこと 時田理氏（以下、時田）：「SUZURIにおけるSREの取り組み」というタイトルで発表します。よろしくお願いします。自己紹介です。「SUZURI」というサービスのモバイルと、Webアプリケーションエンジニアをやっています。 今日話すことです。すみません、最初におことわりなんですけど、最初の仮のタイトルではFlutterに関する登壇をする予定だったんですが、今日はちょっとFlutterの話はしな
AWS OpenSearch (Elasticsearch) Serviceで専用マスターノードは3つが推奨な理由を段階を踏んで理解する - Qiita
AWS OpenSearch (Elasticsearch) Serviceで専用マスターノードは3つが推奨な理由を段階を踏んで理解するAWSElasticsearch 前提 AWS OpenSearch ServiceでサポートするElasticsearch 7.10.2時点までの内容になります。 ノードが3つ必要という結論に関してはAWS OpenSearchの特別な話ではなく分散システムでの一般的な話になります。 理解のステップ 以下が本記事での理解の流れです。 マスターノードとは何か、他にどんなノードタイプがあるのかを把握する。 専用マスターノードとは何か把握する。 quorumとは何か把握する。 理想のquoram数を出す式がdedicated master nodes / 2 + 1の理由を把握する。 これまでマスター候補ノード(master-eligible node)はなぜ
GitHub - quickwit-oss/quickwit: Cloud-native search engine for observability. An open-source alternative to Datadog, Elasticsearch, Loki, and Tempo.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Elasticsearch〜ビッグデータに対応した全文検索エンジン〜 | OSSのデージーネット
マイクロサービス移行を阻むレガシーとの戦い方
Microsoftが過去14年間・2億5000万件分のカスタマーサービスの記録をネット上に流出させてしまったことが判明
Interview with a Pornhub Web Developer
OpenStackベースの世界最大規模プライベートクラウド LINE開発の根幹を支えるプラットフォーム「Verda」のSRE
Amazonがプライム・ビデオの視聴習慣情報が詰まった内部サーバーを間違って公開してしまう
MLOpsを支えるモニタリングシステム。「Lupus」開発の裏話
【登壇資料】 Amplify Meetup で LT登壇しました！ | DevelopersIO
AWSのログ分析をGoogle Cloud Platformで フォージビジョンのエンジニアが教えるマルチクラウドでログを取る方法
大手IT企業「経験者のみ採用」「他社が育てた人材欲しい」問題、どう攻略？
DELISH KITCHEN のサービスとバックエンドシステムのお話 - every Tech Blog
LINEのAIサービスの音声認識技術を支えるチームを紹介します
🔭 RustでOpenTelemetryをはじめよう | Happy developing
機械学習エンジニアからソフトウェアエンジニアになって1年経った - たいむかぷせる2
チームでサービスの運用をうまく支えていくための取り組みについて ~SREを添えて~ | 株式会社ヌーラボ(Nulab inc.)
Luceneのメモリ上でのインデックス構造とその仕組み - エムスリーテックブログ
快適なオフィスライフを支えるLINE社内システム開発の裏側
インフラの整備、SLIとSLOの設定、セール対策 Railsアプリケーションのユーザ体験を支えるSREの取り組み