2019年9月16、17日、日本最大のPythonの祭典である「PyCon JP 2019」が開催されました。「Python New Era」をキャッチコピーに、日本だけでなく世界各地からPythonエンジニアたちが一堂に会し、さまざまな知見を共有します。プレゼンテーション「Python_Webフレームワーク比較」に登壇したのは、CMSコミュニケーションズ代表取締役の寺田学氏。講演資料はこちら フルスタックなオールインワンのWebフレームワークDjango 寺田学氏（以下、寺田）：「Webフレームワークの紹介」に移ります。Django、Flask、Pyramid、Zope、Tornado、aiohttp、Guillotina、Bottle、responderの9種類の紹介をしていきます。 まず、Djangoの説明です。Djangoの公式サイトはここ（https://www.djangopr
Effective AppSync 〜 Serverless Framework を使用した AppSync の実践的な開発方法とテスト戦略 〜 - Qiita
Effective AppSync 〜 Serverless Framework を使用した AppSync の実践的な開発方法とテスト戦略 〜JavaScriptAWSGraphQLserverlessAppSync AppSync は AWS が提供するマネージド GraphQL サービスです。Amplify と統合することにより、スキーマさえ宣言すれば GraphQL の Query, Mutation, Subscription コードを自動生成します。バックエンド GraphQL エンドポイントやデータソースを構築し、即座に動く環境が手に入ります。 こちら は過去の記事ですが、リアルタイム掲示板アプリの主要機能を 15 分で作った例を紹介しています。 PoC のように使用する分には Amplify CLI を使用してサクッと開発してしまう方法が効果的ですが、実際のプロダクト開発で
AWSをElasticが名指しで非難 ElasticsearchとKibanaのライセンスを、AWSが勝手にマネージドサービスで提供できないように変更へ
この記事は新野淳一氏のブログ「Publickey」に掲載された「AWSをElasticが名指しで非難。ElasticsearchとKibanaのライセンスを、AWSが勝手にマネージドサービスで提供できないように変更へ」（2021年1月21日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 オランダに本社を置くElasticは、オープンソースで開発してきたElasticとKibanaのライセンスをそれまでのApache License 2.0から、商用サービス化を制限する「Server Side Public License」（SSPL）と「Elastic License」のデュアルライセンスへ変更することを発表しました。 その目的は、AWSが勝手にElasticsearchとKibanaをマネージドサービスとして提供できないようにするためであると、同社CEO Sha
紙書籍をお届けします（PDFがついてきます） PDFのみ必要な場合は、こちらからPDF単体を購入できます 通常はご注文から2～3営業日で発送します。 年末年始や大型連休など、1週間から10日程度、配送のお休みをいただく場合があります。詳しくはお知らせをご覧ください。 「情報検索」×「データサイエンス」×「全文検索エンジン」 打田智子・古澤智裕・大谷 純・加藤 遼・鈴木翔吾・河野晋策 共著 360ページ A5判 ISBN：978-4-908686-13-9 2022年5月2日 第1版第1刷 2022年10月31日 第1版第2刷 発行 正誤表 書籍内のサンプルコード 大量のデータから必要な情報をすばやく見つけ出したい。その要求をコンピューターで叶えるための「検索システム」を実現するためには、「情報を見つけたい」という漠然とした要求をどうやって定式化すればいいか、それに合致する情報を膨大なデータ
バーストパフォーマンス(T系)インスタンスの特徴を理解して上手に利用しよう | Amazon Web Services
AWS Startup ブログ バーストパフォーマンス(T系)インスタンスの特徴を理解して上手に利用しよう はじめまして、こんにちは。2020年4月にStartup Solutions Architectに着任しました、齋藤(Twitter: @koemu)です。 スタートアップ企業にお勤めのみなさま。AWSのサービスを利用される際に、インスタンスタイプはどのような基準で選択されていらっしゃいますでしょうか。その時に考慮の変数の一つとして価格を組み入れられているお客様は多数いらっしゃることと想像します。例えば、T2、T3およびT3aなどの比較的廉価なバーストパフォーマンスインスタンス(以下、T系インスタンスとします) 、Amazon EC2であればt3.mediamなどをご選択されるスタートアップ企業の方を見受けます。 さて、T系インスタンスには、性能面での他のインスタンスタイプにはない特
可愛かったのでアイキャッチ画像にしました ちょっと画像検索が必要になることがあり、良い機会なので復習しようということになりました。 過去にはこんなのをやってみたりしました。 www.nogawanogawa.com 今回は改めて、主にこちらの資料を参考に画像検索に関して復習してみました。 docs.google.com 今回はこちらを参考にアプリを作ってみたのでそのメモです。 画像検索 TBIRとCBIR CBIRの実現方法 画像検索として使用する特徴量 RGB Histgram Average Hash Perceptual Hash SIFT SURF NN Embedding 類似度の評価方式 Bag of keypoints Earth Mover's Distance SVM ハミング距離 コサイン類似度 要するに 作ってみる 対象画像 画面まわり 検索周り pHash - ハミ
Apache Log4j2 Remote Code Execution (RCE) Vulnerability - CVE-2021-44228 - ESA-2021-31
Subject: Apache Log4j2 Vulnerability - CVE-2021-44228, CVE-2021-45046, CVE-2021-45105, CVE-2021-44832 - ESA-2021-31 Note - We will update this announcement with new details as they emerge from our analysis. Please check back periodically. Update Log Dec 16, 2021 - 04:20 UTC - Update Summary: ECK 1.9 released which automatically adds the JVM option to impacted Elasticsearch clusters managed by EC
ローカルPCのDocker上でCloudWatch Logs Insights連携の簡易分析基盤(Elasticsearch)を使う - YOMON8.NET
AWSを運用しているCloudWatch Logsを分析することが良くあると思います。 数年前はCloudWatch Logsのファイルをダウンロードしてきて、分析していて面倒でしたが、 CloudWatch Logs Insights が出てきてそれもかなり楽になりました。 それでも毎回調べながらクエリを打つのは結構面倒なので、ログ分析基盤としてElasticsearchなどを利用する場合もあると思います。 この記事ではログ分析基盤が無い環境でも、ローカルのElasticsearchに流し込んで簡単に分析できる環境をDockerで整理したので書いていきます。 前提 全体像 リポジトリ 使い方 ダウンロードからのコンテナ起動 Jupyter Lab接続 パラメータ設定 AWS Profile CloudWatch Logs データロード Kibanaで分析 後片付け 前提 Docker d
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog 2021年11月10日・11日の2日間にわたり、LINEのオンライン技術カンファレンス「LINE DEVELOPER DAY 2021」が開催されました。特別連載企画「 DEVDAY21 +Interview 」では、発表内容をさらに深堀りし、発表では触れられなかった内容や裏話について登壇者たちにインタビューします。今回の対象セッションは「分断されてしまったデータを2000台を超えるひとつのデータプラットフォームに統合した話」です。 LINEでは現在、200ペタバイトを超えるデータ分析基盤を運用しています。このデータプラットフォームはInformation Universe（以下、IU）と呼ばれており、LINEで扱うすべてのデ
特徴量エンジニアリングのライブラリ xfeat を使ってみて便利だったこと - Taste of Tech Topics
こんにちは。機械学習エンジニアをしている古賀です。 最近は愉快な上司@tereka114 のもと、精度の上がらないモデルに四苦八苦しています。 そんな私が普段データ分析をする際に難しいことの一つとして、特徴量エンジニアリングがあります。 特徴量エンジニアリングとは、元のデータに新たな特徴量を追加することでモデルの精度を向上させるプロセスのことです。 この結果によってモデルの精度が大きく変わりますが、正しく実行するにはデータへの深い理解やデータ分析力が必要になります。 私もあまり得意ではないのですが、これを簡単にする xfeat という便利なライブラリがあると上司が教えてくれたので、実際に使ってみて便利だったことをまとめました。 ※本記事は、Pythonその3 Advent Calendar 2020 の15日目の内容になります。 目次は以下です。 xfeat とは 準備 実行環境 xfea
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog サービス・機能やそれにまつわる開発の裏話や取り組みを聞く「Product Story」シリーズ。今回は、「LINE」を通じて、さまざまなプレゼントを友だちに贈ることができる「LINEギフト」を紹介します。2021年の年間総流通額は前年比330%を達成し、さらに累計ユーザー数は2,300万人を突破するなど、成長著しいサービスとなっています。 *2022年3月時点でLINEギフトを贈ったことがあるもしくはもらったことがあるユニークユーザー 今回はLINEギフトの開発を支えるリードエンジニアの大橋宏輝とサーバーサイドエンジニアの名田太河にインタビュー。彼らが携わった「PerlからJavaへの移行」「Yahoo!ショッピングとの連携」
みんなでつくる Production Readiness - スタディサプリ Product Team Blog
こんにちは。SRE の @chaspy です。 以前、Production Readiness Checklist に関する記事を書きました。 quipper.hatenablog.com Production Readiness Checklist の運用開始から1年ほどの月日が経ち、27ものサービスが無事 Production へ出ていきました。 サービスを安心して Production へリリースするために役立っている Production Readiness Checklist ですが、Product Team がこの Check List を進める上でいくつか課題がありました。 本記事では、Production Readiness Checklist 運用開始後に、どのような改善が行われてきたのか、その内容と方法を説明します。また、1年以上の運用を通して、Production R
エムスリーエンジニアリンググループ AI・機械学習チームの中村(@po3rin) です。 好きな言語はGo。仕事では主に検索周りを担当しています。最近、ユーザーの検索体験の向上のために、以下の検索評価に関する本を読んでいました。 情報アクセス評価方法論 作者:酒井 哲也発売日: 2015/05/19メディア: 単行本 そこで今回は検索評価指標の1つであるsDCG (session-based Discounted Cumulative Gain)を使ってエムスリーの検索ログから体験の悪かった検索を抽出してみたのでその方法を紹介します。 現状の検索監視 現状の検索監視の問題 nDCG sDCG 線形横断 最下位クリックにおける検索結果の破棄 クリック＝適合文書 nsDCGを実際の検索ログに使ってみる sDCGを使って感じたこと まとめ We're hiring !!! Reference 現
Grafana+CloudWatchを使ったAWSマルチアカウントでのプロダクト監視基盤構築のご紹介 - ACES エンジニアブログ
ACESのソフトウェアエンジニアの稲田です。私は普段、弊社で提供しているシステムのアーキテクト設計、MLOpsをメインに担当しております。 今回は、ACES Meetという弊社のAIプロダクトサービスをターゲットに弊社のサービス監視基盤を標準化した話について、事例紹介をしたいと思います。 営業支援AIツール「ACES Meet」 想定する読者 プロダクトサービスの品質可視化の重要性について 弊社が抱えていた課題と背景 技術選定の方針 プロダクト監視基盤設計 目的 要件 監視項目 サービス品質 システム詳細メトリクス アラート通知 システム構成 監視ダッシュボードの仕組み Amazon Managed GrafanaのAWSマルチアカウントのデータソースサポート Amazon Managed GrafanaのX-Rayサポート 監視ダッシュボードのデータソースの拡張性 コスト概算 Cloud
DATUM STUDIO株式会社 取締役CAOの里洋平氏が運営するYouTubeチャンネル「里洋平チャンネル」。今回のゲストは、株式会社メルカリ・機械学習エンジニア（※動画収録当時）の松岡玲音氏。プログラミング経験ゼロからデータサイエンティストに辿り着いた道のりについて話しました。 MITの博士課程を辞めてメルカリにジョイン 里洋平氏（以下、里）：みなさんこんにちは。里洋平です。今回は株式会社メルカリで機械学習エンジニアをされている（※動画収録当時）玲音さんにお話を聞いていきたいと思います。玲音さん本日はよろしくお願いします。 松岡玲音氏（以下、松岡）：よろしくお願いします。 里：では玲音さん、さっそくですが、まずは自己紹介がてら、これまでどんなことをしていたのかであったり、趣味の話であったりをお話していただいてもよろしいでしょうか？ 松岡：じゃあキャリアからいこうかな。今は機械学習エンジ
2020年においてもオープンソースの持続可能性、そしてビジネスモデルは一筋縄にはいかない - YAMDAS現更新履歴
www.techrepublic.com Slashdot で知った記事だが、タイトルの通り、オープンソースの持続可能性、そしてはそれは単純ではないという話である。 この記事の執筆者は Matt Asay で、彼はおよそ10年前に Canonical の COO を退任しているが、現在は Amazon の AWS 部門で働いているのね。 その彼は最近、オープンソースプロジェクトのメンテナに何人もインタビューしたそうだが、そのインタビューイの大半はプロジェクトのサポートでお金を得ていないという。企業から開発に専念できるよう資金援助の申し出がある人もいるがそれは例外的な存在である。 オープンソースの開発やメンテナンスを無償でやってるのは悪い話か？ というと話はそう単純ではない。 Linux Foundation の要職にある Chris Aniszczyk は、寄付でオープンソースプロジェクト
re:Invent2019 AWSの新サービスの1行所感 Andy Jassyキーノート - プログラマでありたい
2019年12月2日〜6日までアメリカのラスベガスでAWSの最大のイベントであるre:Inventが開催中です。今年も自分なりの解釈で1行所感をつけていきます。まずは、12/3のAndy Jassyのキーノートで発表したものです。 ※1行の定義はなんだという問には答えません。 CPU＆インスタンス AWSが独自設計したCPU、"Graviton2 processors"を使った新インスタンスタイプM6g,R6g,C6g。Intelの新インスタンスの発表なかったから、CPUも内製化の方向なのかな？ aws.amazon.com 機械学習向けのインスタンス Inf1。めっちゃ速いって aws.amazon.com ネットワーク 新サービスと出ているが、紹介もされなかった悲しいサービスたち aws.amazon.com AWS Transit Gateway Multicast マルチキャスト。
はじめに こんにちは。検索基盤部の倉澤です。 私たちは、ZOZOTOWNの検索機能の改善に取り組んでいます。ZOZOTOWNのおすすめ順検索ではランキング学習を用いた検索機能の改善に取り組んでおり、A/Bテストにて効果を測定しています。 ランキング学習やElasticsearch Learning to Rankプラグインについては過去の記事で紹介していますので、併せてご覧ください。 techblog.zozo.com techblog.zozo.com 私たちは、機械学習モデルの開発からデプロイまでの一連の処理を実行するワークフローの構築にGoogle Cloud Platform（GCP）のVertex AI Pipelinesを利用しています。 本記事では、Vertex AI Pipelines採用前の運用とその課題点について説明し、次にVertex AI Pipelinesで構築し
By Andrew Nguonly, Armando Magalhães, Obi-Ike Nwoke, Shervin Afshar, Sreyashi Das, Tongliang Liu, Wei Liu, Yucheng Zeng BackgroundOver the next few years, most content on Netflix will come from Netflix’s own Studio. From the moment a Netflix film or series is pitched and long before it becomes available on Netflix, it goes through many phases. This happens at an unprecedented scale and introduces
Linuxの主要なディストリビューションの1つであるUbuntuを開発するCanonicalは、AWSが主導するオープンソースの検索エンジン「OpenSearch」のプロジェクトへの参加を表明しました。 Great open source software is built together with a diverse community of contributors. Canonical, the publisher of #Ubuntu, is proud to be a member of the OpenSearch #opensource community. Read more about our collaboration here: https://t.co/EkQlAZtS9A pic.twitter.com/AwxCkWWFiU — Ubuntu (@ubuntu)
OSSでオブザーバビリティを実現する (Elastic Stack x OpenTelemetry on Kubernetes) - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは。インフラエンジニアの gumamon です！ 最近はSRE的なことも ちょこちょこ やらせて頂いています。 NewRelic、Datadog、モダンな監視(オブザーバビリティ)って良いですよね。 弊社もKubernetes(k8s)等を利用した環境が増えてきた折、そろそろ必要になってきた(と思っている)のですが、NewRelic、Datadog等のクラウドサービスはランニングコストが安くない。 そこで内製できないかやってみよう！ということになり、試行錯誤をした結果どうにか表題の構成で作ることができたのでご紹介をしたいと思います！ この記事では、k8sを観測対象とし、オブザーバビリティを実現した際のアーキテクチャ構成、並びに四苦八苦する中で得た観測の勘所(私見)についてご紹介します。 目次 目次 オブザーバビリティとは オブザーバビリティ(OSS)の実現事例 全体構成 Elast
LINE Developer MeetupはLINEが定期的に開催する技術者向けミートアップです。LINEの8400万人の月間アクティブユーザーを対象に配信されるLINE広告のリーチ数推定について、開発チームの加賀谷氏がデモ映像をまじえて紹介しました。 関連資料はこちら。 8,400万人の中の誰に広告を配信するか 加賀谷北斗氏（以下、加賀谷）： LINE株式会社 開発4センター/B2B Platform開発室の加賀谷と申します。「LINE広告における8400万人を対象としたリーチ数の推定」というタイトルで発表していきたいと思います。 LINE広告とはその名の通り、LINEが提供するサービス上で広告を配信できる唯一のプラットフォームになります。みなさんの中にも、きっとLINEのアプリ内で広告を見たことがある方が多いんじゃないかなと思います。 LINEの国内MAUは、2020年6月時点で8,4
SBギフト「AWS Amplify Console + CDKを用いて短納期・少人数・フルリモートで作る管理画面」 #devio_showcase | DevelopersIO
ゲストブロガーとして執筆させていただくことになりました。SBギフト株式会社 入倉元太です。今回は縁ありまして「Developers.IO 2020 Showcase」に登壇させていただきました。当ポストではセッションの補足について執筆させていただきます。 登壇資料 事例紹介 今回Amplify ConsoleとCDKを用いてフルサーバレスで管理画面アプリを作成したのですが、開発効率もよく、低ランニングコストで運用できています。 私たちの事例を知っていただき、皆様のサーバレス導入へのハードルが下がれば嬉しい限りです。 当日いただいた質問 当日のセッションでいただいた質問をご紹介させていただきます。多数のご質問いただきありがとうございました。これらの質問に対してこの場をお借りして返信させていただきます。 EC2などに比べて、逆にフルサーバーレスだとここが大変だったな、というポイントはありますか
Andreas Andreakis, Ioannis Papapanagiotou OverviewChange-Data-Capture (CDC) allows capturing committed changes from a database in real-time and propagating those changes to downstream consumers [1][2]. CDC is becoming increasingly popular for use cases that require keeping multiple heterogeneous datastores in sync (like MySQL and ElasticSearch) and addresses challenges that exist with traditional
AWS Simple Monthly Calculator がついに勇退するようです！ | DevelopersIO
2020/05/26 時点で、サポート終了日に関して変更がありましたので、更新いたします。 とはいえ 2020/6/30 以降の明確な日程は記載されていないため、引き続き AWS Pricing Calculator への移行を進めることをお薦めします。 園部です。 出オチ・タイトルオチ 失礼します！ AWS Simple Monthly Calculator（SMC） は、AWS をご利用の皆さんであれば、一度は利用または見たことがあるのではないでしょうか？ そんな SMC ですが AWS Pricing Calculator が登場したことで、いつの日か訪れるであろうと思われていた引退の日が、ついにやってくるようです。。今までありがとう！！ 現在 SMC にアクセスする以下のメッセージが表示されます。そのまま利用する場合は 簡易見積もりツールを続行 を選択することで利用可能です。 （2
はじめに こんにちは！ テラーノベルでサーバーサイドを担当している@yuhasです。 テラーノベルには作品や作家さんの検索機能があり、ユーザーさんの読みたい作品や興味のある作家さんを提示できる検索機能は重要な機能の一つです。 直近でその検索まわりを一新することになり、Cloud RunでElasticsearchを運用することになりました。 Cloud Runで運用することでオートスケールなど多くの恩恵を受けられる一方で、状態をもつElasticsearchをコンテナで動かしていくのは単純なことではありません。 今回はどのようにしてCloud RunでElasticsearchを運用しているのかをお話しできればと思います。 モチベーション もともと外部の検索サービス（SaaS）を利用して検索機能を提供していましたが、インフラ面でのコストを下げたいという話があり、代替手段を模索していました。
新米SREとしての半年を振り返る
2020年12月22日以前の記事にあるように、かれこれ8年くらいやっていたiOS開発を一旦離れてフルタイムのSREに転向するという決断をした。それから約半年が経ったので、ここまでどのようなことをやったか振り返ってみる。まだまだ経験の浅い分野なので語彙に厳密性が欠けているかもしれない。 やったことKubernetesやはりこれを触ることが一番多い。弊社ではマルチテナントのクラスタが5つあり、うち2つがDCで、3つがAWS上で動いている。アプリケーション開発者やCI/CDパイプラインはGoで書かれた内製のコマンドラインツールを通じてクラスタとインタラクトする。つまり、開発者向けに新機能のサポートする度に、このツールのインターフェースを拡張することになる。 StatefulSets/Cephそうした中でもステートフルなアプリケーションのサポートが一番目立った変更だった。マネージドのサービスをほと
ChatGPT Retrieval Pluginに任意のベクトル検索エンジンProviderを実装する - エムスリーテックブログ
Overview エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(po3rin) です。検索とGoが好きです。 エムスリーではChatGPTの可能性にいち早く注目して活用を検討している段階ですが、本格的なデータ投入にはまだ懸念もあり、セキュリティチームと検討を進めている段階です。 そんな中で個人または組織のドキュメントのセマンティック検索と取得を可能にするChatGPTプラグイン「ChatGPT Retrieval Plugin」が登場しました。 github.com 情報検索好きとしては黙っていられず、外部公開用のエムスリーAI・機械学習チームのメンバー紹介ドキュメントを使ってローカルで試してみました。 # 用意したドキュメント 中村弘武は東京都在住で、エムスリーという企業で働いでいます。 エムスリーの検索基盤を主に担当しています。また、書
Amazon Kinesis Data Firehose now supports data delivery to HTTP endpoints
Amazon Kinesis Data Firehose now supports streaming data delivery to a generic HTTP endpoint. This feature enables you to use a fully managed service to stream data to an HTTP endpoint without building custom applications or worrying about operating and managing the data delivery infrastructure. Amazon Kinesis Data Firehose incorporates error handling, auto-scaling, transformation, conversion, agg
Kyoto.なんか #5で「AWS上に構築する メンテ容易なElasticsearch System」というタイトルで話してきました - その手の平は尻もつかめるさ
表題の通りKyoto.なんか #5で話してきました．もうかれこれ3週くらい前の話なのですね……筆不精がたたっております． kyoto-nanka.connpass.com 内容としてはここ数年ElasticsearchをAWS上で運用しているのでそのアーキテクチャのご紹介という感じの発表をしたという次第です．現状上手いこと回っております． この発表の後にElasticの@johtaniさんからのメンションで，クラスタまたぎのレプリケーションがElasticsearch 6.7以降サポートされていることを教えていただきました．ありがとうございます！ 一応補足。6.7から有償機能だけど、クラスターまたいだレプリケーションあるんです。Elastic Cloudで使えたかはパッとは出てこないけど、、、 https://t.co/89om47nkSF— Jun Ohtani (@johtani) A
Amazonが、検索・分析エンジンの「Elasticsearch」、およびElasticsearchと連携してデータ解析を行う「Kibana」について、オープンソースで今後も利用し続けられるように、Apache License Version 2.0ライセンス版をフォークすることを決定しました。 Stepping up for a truly open source Elasticsearch | AWS Open Source Blog https://aws.amazon.com/jp/blogs/opensource/stepping-up-for-a-truly-open-source-elasticsearch/ Elastic 社による Elasticsearch および Kibana のライセンス変更にともなう AWS の対応方針のご案内 | Amazon Web Servi
米Grafana Labsは5月18日、オープンソースのモニタリングデータ可視化ソフトウェア「Grafana 7.0」を公開した。ユーザーインターフェイスやカスタムプラグインなどで強化が図られている。 Grafanaはデータベース内に記録した監視データをグラフィカルに表示するダッシュボードを提供するソフトウェア。統計情報（メトリクス）やログのクエリ、ビジュアル化、アラートなどの機能を備える。可視化するデータを格納するデータベースとしてはGraphiteやPrometheus、Elasticsearch、OpenTSDB、InfluxDB、MySQL、PostgreSQLなどをサポートするほか、Google Stackdriver、Amazon Cloudwatch、Microsoft Azureなどのクラウド上に保存されたデータをデータソースとして利用することもできる。 Grafana 7
プログラムの内容ではChatGPTのトークン数はどのようになるか？ - Taste of Tech Topics
枝差ししていたバジルが順調に成長して切り出し元の株と代替わりをしました、またバジル生活が始まりそうな菅野です。 皆さんはChatGPTのAPIを利用していますでしょうか？ まだ利用していない、利用方法がわからないという方は以下の記事をご覧ください。 acro-engineer.hatenablog.com APIの仕組みの中でも直感的にわかりづらいトークン数について、今回はさらに深堀していこうと思います。 トークンとは、Chat Completions API等OpenAIが提供するAPIの処理単位です。 入力、出力共にByte Pair Encodingした結果を1トークンとして処理します。 英語の場合は通常1単語1トークン、日本語の場合は1文字でも複数トークン換算される場合がある模様です。 実際に利用する文章のトークン数が事前に知りたい場合は以下のページで確認することができます。 ht
[前回の記事]({{ root_url }}/blog/2013/11/11/logging-system-with-fluentd-elasticsearch-kibana3/)に引き続きISUCONのために調べたことをまとめてみます． うちのチームは使用言語にPythonを選択していたので，ISUCON2やISUCON3の予選でも使われていたFlaskというフレームワークを使ったWSGI Application用のプロファイラを探したところWerkzeugのWSGI Application Profilerというものがあったので使ってみました． FlaskFlaskは，WerkzeugをベースにしてJinja2をテンプレートに使った軽量なWAFです． WerkzeugWerkzeugはWSGI Applicationのutility libraryで，フレームワークという程ではないです
オープンソースのロギングライブラリとしてさまざまなJavaアプリケーションに使われている「Apache Log4j」に、任意のリモートコードが実行できてしまう脆弱性が発見されました（CVE - CVE-2021-44228）。 これが悪用されると、第三者が勝手にサーバを操作して悪意のあるソフトウェアを組み込んだり、悪意のある攻撃を行う際の踏み台にされるなどのさまざまな攻撃が行われます。 すでに脆弱性の存在は広く知れ渡っているため、脆弱性のあるLog4jを使っているシステムはいつでも攻撃を受ける可能性があるのです。 この脆弱性は広範囲な影響が予想されており、多くの専門家が非常に深刻な状況として捉えています。 できるだけ速やかに、JavaアプリケーションにおけるLog4jの利用の確認と対策が必要です。 Javaアプリケーションに明示的にLog4jを組み込んでいない場合も、例えばStrutsやR
Elasticsearch Learning to Rankプラグインの使い方とポイント - ZOZO TECH BLOG
検索基盤部の内田です。私たちは、約1年前よりヤフー株式会社と協力し、検索機能の改善に取り組んでいます。現在、ZOZOTOWNのおすすめ順検索に用いている、ランキング学習を利用した検索機能も、その取り組みの一部です。 本記事では、Elasticsearch上で、ランキング学習により構築した機械学習モデルを用いた検索を行うためのプラグイン「Elasticsearch Learning to Rank」の簡単な使い方を紹介します。また、このプラグインをZOZOTOWNに導入し、実際に運用して得られた知見をご紹介します。ランキング学習の話題性が世の中で増していますが、検索エンジンを絡めた情報はまだ世の中に少ない印象があります。そのため、本記事が皆さんの参考になれば幸いです。 ランキング学習のイメージ ランキング学習（Learning to Rank, LTR）とは、機械学習の枠組みのひとつであり、
※本記事は2023年1月1日に公開された記事の翻訳版です。 メルカリのマーケットプレイスにおける商品検索は、お客さまが欲しい物を発見する最も基本的な方法です。この中核となる機能は、テキストマッチングによる情報検索システムによって実現されています。 しかし最近、私たちは自問自答しました。お客さまの検索体験を向上させる、合理的な機械学習ベースのアプローチはあるのだろうか？という疑問が生まれました。メルカリアプリ上のお客さまの行動を、彼らにとってより関連性の高い検索結果についてのヒントとして捉えることはできないでしょうか？学習データにラベルを付け、単体のユーザークリックという行為をもとにした分析の限界を念頭に置きながら、モデルが学習するための、より情報量の多いコンテキストを構築できないでしょうか？ビジネスKPIとの関係を把握するために、どのようにデータラベリングを利用できるでしょうか？ それは、
2022年、CPAN(Perlの)モジュールのメンテナを引き継ぐ活動を始めた件 - Acme::AnaTofuZ->new;
これははてなエンジニアアドベントカレンダー2022 42日目の記事です。 昨日は id:k-murakami0609 さんの 過去に所属してたチームに転生したら導入したいもの でした。 はてなのノベルチームで日常的に使っている便利グッズ最高ですね!! みなさんもノベルチームにjoinして体験してください!!! さて今回は2022年にぼちぼち始めたCPANモジュールのメンテナを引き継ぐ活動についてお話しようかなと思います。 CPANモジュール CPANモジュールとはご存知プログラミング言語Perlのモジュールシステムのことです。 Perlインタプリタに付随しているコアモジュールも含めて、PerlではCPANと呼ばれるアーカイブにモジュールがアップロードされ、cpanmやcpmなどのツールを通してインストールし利用する世界観になっています。 TeXのモジュールアーカイブのCTANに影響されて作
Amazon Elasticsearch Service Intro Workshop を公開しました！- 基本的な使い方から最新アップデートまで 2 時間で体験 | Amazon Web Services
Amazon Web Services ブログ Amazon Elasticsearch Service Intro Workshop を公開しました！- 基本的な使い方から最新アップデートまで 2 時間で体験 こんにちは、アナリティクスソリューションアーキテクトの志村です。本日公開した、Amazon Elasticsearch Service (Amazon ES) の初心者向けワークショップについてご紹介します。 Amazon ES は 2015 年にリリースされた、オープンソースの Elasticsearch を大規模かつ簡単でコスト効率の良い方法を使用してデプロイ、保護、実行する完全マネージド型サービスです。ストリームデータの分析を行いたい、全文検索エンジンを構築したい、といったときに手軽にご利用いただけます。ただ実際に Amazon ES を試そうとしたときによく当たるのが、ログ
LifeMemoryTeamの@atponsです。今回のSECCON Beginners CTF 2020はお楽しみいただけたでしょうか。自分は運営やインフラ整備をしておりました。 今回は、自分が担当していた監視、オペレーション部分の構築回りについて書いておきます。 死活監視 バッジ 今回参加者のみなさんには、このようなバッジを問題に付与して提供しておりました。これによって、問い合わせのオペレーションを削減することを目標に、昨年も取り組んでおりました。バッジでは、そのタスク（問題からフラグを取れたかどうか、サービスに疎通できるかどうか）の成功可否を表示していました。 また、最後にタスクを実行した時間を表示できるようにしていました。このバッジ生成は完全に自作したものです。詳細は死活監視の部分で書きます。 タスクランナー 定期的に実行してその状態を知りたい、という要望にはCI/CDツールを応用
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PythonのWebフレームワーク、どう選ぶべきか？ Part.2
検索システム ― 実務者のための開発改善ガイドブック
画像検索のwebアプリを雑に作ってみる - Re:ゼロから始めるML生活
分断された多数のデータをひとつのプラットフォームに統合。データ分析基盤構築の道のり
2,300万人超のユーザーに価値を届ける仕事。LINEギフト開発の醍醐味をエンジニアに聞いた
クエリ修正を考慮した検索評価指標sDCGを使ってユーザーの検索体験を監視をしたい - エムスリーテックブログ
『宇宙兄弟』がきっかけで薬学部からMITに進学 漫画ドリブンで突き進む“圧倒的異能”のAIエンジニア
Vertex AI Pipelinesによる機械学習ワークフローの自動化 - ZOZO TECH BLOG
Data Movement in Netflix Studio via Data Mesh
AWSが主導するElasticsearchのフォーク「OpenSearch」にCanonicalが参加へ
LINE広告における8,400万人の中から最適なユーザーに広告を配信するためのリーチ数推定
DBLog: A Generic Change-Data-Capture Framework
【Cloud Run】ElasticsearchをCloud Runで運用する
Amazonがライセンス変更した「Elasticsearch」をフォークしオープンソース版として提供続行することを決定
オープンソースのモニタリングデータ可視化ツール「Grafana 7.0」リリース | OSDN Magazine
WerkzeugでFlaskを使ったPythonのWebAppをプロファイリングする
広く使われているJavaライブラリ「Log4j」に深刻な脆弱性。速やかに確認と対策を
メルカリにおける機械学習による検索のリランキングへの道のり | メルカリエンジニアリング
SECCON Beginners CTF 2020の監視・オペレーションを支える技術 - ポン酢ブログ(β)