はてなブックマーク

概要 こんにちは、機械学習エンジニアの古賀です。 最近、人の動きを時系列で解析するためにグラフデータを扱ったのですが、データ量が大きくなると解析に時間がかかってしまい、効率が悪いと感じることがありました。 そんな中、cuGraph という高速にグラフ分析ができるライブラリが あることを知ったので、どれくらい高速なのか、有名なページランクの計算を題材に他のライブラリと速度を比較してみました。 目次は以下です。 概要 グラフとは Python によるグラフデータの分析 cuGraphとは ページランクとは ページランク値の定義 ページランクとグラフ 検証 実行環境 cuGraph ライブラリのインストール ライブラリのインポート データセット 検証内容・結果 1. NetworkX のグラフ、NetworkX のアルゴリズムを用いてページランクを計算 2. NetworkX のグラフ、cuGr

皆さんこんにちは @tereka114です。 さて、今回は2020年の「AWS re:Invent」で紹介された「Amazon Lookout for Vision」を評価していきます。 ※記事公開の2021年1月25日時点ではプレビューサービスであるため、GAとなった時には結果が変わる、適用できないTipsもありますが、ぜひお試しください。 Amazon Lookout for Vision Amazon Lookout for Visionの検証方法 検証データセット 検証内容 検証 学習データセットの数量の追加 学習データセットの異常データ追加 その他便利な機能 トライアル検出を用いた再学習機能 最後に Amazon Lookout for Vision Amazon Lookout for Visionは画像が正常か異常を判定する、異常検知のサービスです。 2020年の「AWS r

皆さんこんにちは、QA部門のカヤ（@kareyama_r）です。 この記事はソフトウェアテスト Advent Calendar 2020の16日目です。 つい先日、ソフトウェアテスト自動化カンファレンス2020が開催され、テスト自動化に関する様々な取り組みやフレームワークが紹介されていましたね！ 私のイチオシのフレームワークは、去年・一昨年と同カンファレンスで取り上げられたKarateですが、今年は話題に上がっていなかったので取り上げたいと思います。 最初はAPI試験用のフレームワークとして発表されたKarateですが、最近は負荷試験やUI試験自動化までカバーするようになっています。 今回はこれらの機能を一気に試してみよう！ということで、アプリに負荷をかけながら、画面のロード時間を計測するという内容でKarateを使ってみました。 対象アプリとしてElastic Stackを使用します。

こんにちは。機械学習エンジニアをしている古賀です。 最近は愉快な上司@tereka114 のもと、精度の上がらないモデルに四苦八苦しています。 そんな私が普段データ分析をする際に難しいことの一つとして、特徴量エンジニアリングがあります。 特徴量エンジニアリングとは、元のデータに新たな特徴量を追加することでモデルの精度を向上させるプロセスのことです。 この結果によってモデルの精度が大きく変わりますが、正しく実行するにはデータへの深い理解やデータ分析力が必要になります。 私もあまり得意ではないのですが、これを簡単にする xfeat という便利なライブラリがあると上司が教えてくれたので、実際に使ってみて便利だったことをまとめました。 ※本記事は、Pythonその3 Advent Calendar 2020 の15日目の内容になります。 目次は以下です。 xfeat とは 準備 実行環境 xfea

こんにちは、アクロクエストテクノロジー株式会社でElastic Stackのコンサルティング業務を担当している吉岡です。本記事は、Elastic Stack (Elasticsearch) Advent Calendar 2020 の14日目の内容になります。 本記事では、2020/10/13～2020/10/15に開催されたElastic ON Globalで、個人的に最もエキサイティングに感じたセッション「Schema on read with runtime fields」を紹介します。 Elastic ON Global www.elastic.co Schema on read with runtime fields セッション概要 セッションを読み解くための重要キーワード Schema on Write と Schema on Read Runtime Field 発表資料に関

皆さんこんにちは。 @tereka114です。 今年末はKaggleで開催される面白いコンペも多くて日々、エンジョイしています。 最近は巨大なデータを扱うことが増えており、Pandasだと時間がかかりすぎて効率が悪いと感じています。 そのため、データを高速に処理できるcuDFを利用することも多くなってきました。 この記事ではcuDFの魅力と扱う際の注意点を説明していきます。 ※この記事は「Pythonその2 アドベントカレンダー」10日目の記事です。 qiita.com cuDFとは cuDFはNVIDIAさんが開発している、Pandasの代わりに利用することができるGPUのライブラリです。 最も大きな特徴はGPUで計算するため、高速であることです。 主に、カテゴリ変数ごとの平均計算や、テーブル同士の結合といった、時間のかかるテーブル処理で、効果を発揮します。 github.com cuD

こんにちは @maron8676です 今回は、RustプロジェクトでのCI環境構築について紹介します。 最近、自然言語処理のエンジン開発をRustで行っており、その中で実際に試した内容となっています。 Rust Rustは安全性を担保しつつ、高速なアプリケーションを開発するのに便利なプログラミング言語です。 例えば、以下のような特徴があります。 同じ値の種類でも、不変な変数と可変な変数では別の型になっており、意図しない変更をコンパイルエラーとして検知できる ポインタの有効範囲がプログラムで示されるため、無効なアドレスへの参照をコンパイルエラーとして検知できる 公式ページには、以下のように書かれています。 RustはMozillaとコミュニティによって作成された、オープンソースのプログラミング言語です。 開発者が最新のマルチコアプロセッサの強力な機能を最大限に活用して、高速で安全なアプリケー

こんにちは。@Ssk1029Takashiです。 最近は家でもどうにかラーメンを食べられないかと試行錯誤しています。 タグ検索とは、キーワード検索とは違い、検索する前からユーザーが選択肢からキーワードをセレクトボックスなどで選んで、検索できる検索方法です。 通常のキーワード検索と違って、ユーザーが0からキーワードを考える必要がないため、効率的に情報を絞り込めます。 もしくは、キーワード検索と併用して使用することも可能です。 ただ、コンテンツごとにタグを設定するのはとても手間がかかります。 コンテンツ作成者も必ずしもタグを設定してくれるとは限りません。 このような時に、自動でタグ付けをしてくれる仕組みがあると楽にタグ検索を実現できます。 ただ、単純な形態素解析で名詞をタグとすると、ゴミが多くなってしまいます。 そこで、今回は、日本語処理ライブラリであるGiNZAの固有表現抽出機能とElast

はじめに 情報検索・検索エンジン Advent Calendar 2019 24日目の記事です。 担当は@yktm31です。 本記事ではMilvusという大規模ベクトル類似度検索エンジンについて紹介したいと思います。 一般的な検索は所謂、単語を使って検索するような方式ですが、近しいベクトルの計算によって 画像から画像を検索する、テキストから画像を検索するようなことにも応用ができます。 Milvusはそのような用途に適切なライブラリです。 zillizという上海のベンチャー企業が開発していて、2019年11月5日にOSS化されました。 たまたまGitHubのTrendingで見つけ興味を持ったのですが、なんにせよ公開から日が浅く、情報が少ないです。 2019年12月現在、手がかりとなる有力なソースは主に3つです。 1. 公式webサイト 2. GitHubリポジトリ 3. medium 本記

メリークリスマス。 @tereka114です。 本記事はDeep Learning論文紹介 Advent Calendar 2019の25日です。 qiita.com 私はKaggleの画像コンペに頻繁に参加しています。 そのときに、毎度選定にこまるのがニューラルネットワークの最適化手法（Optimizer）です。 学習率やWeight Decayなどハイパーパラメータが多く、選択パタンが無数にあると感じています。 そのため、Kaggleでよく利用される（されうる）最適化手法を振り返ります。 もちろん、実務でも十分使えるので、皆さんの学習に活かしてくれると幸いです。 最適化手法 SGD（Momentun） Adam AdamW AdaBound RAdam 実験 Optimizer間の比較 RAdamとAdamの学習率 AdamWのWeight Decayの値 最後に 最適化手法 今回紹介

概要 こんにちは、shin0higuchiです😊 この記事はElastic Stack (Elasticsearch) Advent Calendar 2019 - Qiitaの20日目です。 皆さんはElasticsearchの検索クエリのランキングをチューニングする際、どのようなプロセスで実施していますか？ 変更したクエリを最初からABテストにかけるのではなく、オフライン評価をおこなうことが多いのではないでしょうか？ 今回はElasticsearchクエリを変更した時の、検索結果（ランキング）への影響度をオフライン評価する方法についてです。 バージョン情報など Elasticsearch : 7.5.0 Python：3.8.0 下準備 クエリ変更云々の前に、まずベースとなるデータを用意します。 利用するのはwikipediaの日本語データです。 indexのmappingはシンプル

こんにちは、Elastic Certified EngineerのHiroshi Yoshioka です。この記事は Elastic stack (Elasticsearch) Advent Calendar 2019 の16日目の記事になります。 はじめに 本日のテーマは「Elastic Stackを活用したRDB検索の高速化」です。RDBを用いたシステムにおいて、データサイズが肥大化すると一般に検索性能が劣化します。特にLike演算子を用いたテキスト検索は、劣化の度合いが顕著です。 システム構成を変更せずに性能改善を行う場合、データスキーマやSQLを見直すことである程度の性能改善が可能ですが、スキーマ変更に伴うアプリケーション改修量が多く、またそれに見合う性能改善を得られない場合もあります。一方で、Elastic Stackを導入し、検索処理部分のみをElasticsearchに移行す

皆さんこんにちは。@Ssk1029Takashiです。 この記事はElastic Stack (Elasticsearch) Advent Calendar 2019の13日目になります。 qiita.com 何か調べ物をしているとき、見つけた記事が古く使えないということが良くあります。 例えばElasticsearchのクエリを調べていたら、ver5時代の記事ですでに仕様が変わっていたりなど。。。 検索結果としては基本的には時系列が新しいものを優先して出してほしいことが多いです。 このように、検索システムでは基本的には新しい記事、なおかつ検索キーワードと関連度が高い記事を優先して出してほしいということがあります。 この時、単純に時系列でソートすると関連度を考慮できないため、検索スコアにいい感じに時系列情報を組み込む必要があります。 Elasticsearchでは、この問題をscript

こんにちは、oogiです。 この記事はElastic Stack (Elasticsearch) Advent Calendar 2019の8日目の記事になります。 はじめに Spring Bootアプリケーションの監視にMicrometerを使うことは多いと思います。 収集したデータはレジストリの切り替えによりPrometheusやElasticsearchなど保存先を選んで利用することができます。 で、収集したら当然可視化してみたいわけですが、残念ながらMicrometerで収集したデータをKibanaで可視化するためのダッシュボードが存在していないため、結局のところPrometeus＆Grafanaが選ばれることが多いです。 Elastic Stackを活用しているAcroquestとしてはせっかくElasticsearchにも保存できるのにこれはもったいない…なら、うちで作るしかな

急に冷え込んできてお布団が恋しい季節になってきました。 こんにちは。@Ssk1029Takashiです。 この記事は自然言語処理 Advent Calendarの6日目の記事になります。 qiita.com 全文検索システムは単語検索であることが多いですが、単語検索だけだと困ることもあります 症例検索を例にとって見てみましょう。 検索エンジンに以下の2つの文章が登録されているとします。 「ずっと胃がキリキリと痛い。ただ、熱は無く平熱のままだ。」 「昨日からとても頭が痛い。おまけに胃がむかむかする。」 この時、「胃が痛い」と検索したとき、通常の単語検索の場合だと両方ともヒットしてしまいますが、下の文章は意味としては異なる文章のためゴミになります。 この記事では、GiNZAとElasticsearchを使って意味的に正しい上の文章だけを拾ってくる仕組みを簡単に実現してみようと思います。 どうや

機械学習エンジニアのhayakawaです。 弊社には社内で菓子パンを扱うミニ販売コーナーがございます。 私は好物のあんパンをよく買うのですが、他の社員にも人気があるのですぐ売り切れます。早い。 あんパンを多めに仕入れてもらいたいのですが、 欠品よりも売れ残りを嫌うパン購入担当社員を説得するには、 パンにかける熱意よりも、パンがいつ売り切れたかの統計が必要です。たぶん。 そこで SORACOM S+ Camera（サープラスカメラ） (以下、S+ Camera） という製品を使って簡単な在庫管理システムを組んでみました。 ※弊社はS+ CameraのAIパートナーです。 S+ Cameraとは S+ Cameraはソラコム社のエッジ処理カメラです。 soracom.jp この筐体に カメラ Raspberry Pi データ通信ボード＋SIM が入っています。 これにプログラムをデプロイすると

こんにちは、アキバです。 最近、iPad Pro + Apple Pencil 2 を買いました。 元々、社内でも有名な手書きメモ好きなのですが、最強の武器を手に入れた気分で毎日ウハウハしています。 手書きメモばかりでなく、勉強もしようということで、ElasticStack や Azure についても触ったり、調べたりしています。 というところで、今回から複数回に分けて、AKS（Azure Kubernetes Service）を用いて作成した Kubernetes（k8s）クラスタを ElasticStack で監視する方法について解説します。 第一回目である今回は、k8s クラスタのノードや Pod を Metricbeat / Filebeat で監視します。 k8s のようなスケールイン／アウトを前提としたプラットフォームでクラスタを構築する場合、監視のビューも動的なノード追加／削

こんにちは、Elastic Certified Engineerの樋口(@shin0higuchi)です😊 本日、Acroquestの有志で執筆した「Elasticsearch NEXT STEP」が発売されました！ nextpublishing.jp この本は昨年10月に開催された技術書典5で頒布したものをベースに執筆しました。 そのときに書いたブログはこちら。懐かしいですね。 acro-engineer.hatenablog.com Elasticsearchのインストールは簡単で手軽に使い始められますが、環境に考慮した設定や、データ分析などへの活用につまづく方を実務で見てきました。 また、入門書レベルを越えた方に向けた情報が少ないと感じていました。 そこで、入門書の次のSTEPに踏み出すための実用的な事例を集めた書籍を執筆しました。 各章の内容を簡単にご紹介します。 第1章　Ela

こんにちは、Elastic Certified Engineerのshin0higuchiです😊 みなさん、Elasticsearchの正常性確認はどうしていますか？ 実際にサービスを運用するとなると、一口に「正常性確認」と言っても色々な観点でのチェックが必要です。 システムの死活、リソースの状態、パフォーマンス、検索queryの妥当性などなど...... Monitoring＋Alertingで監視したり、その他の監視ツールやelasticのsupport-diagnosticsを使ったり、人によってはcurlコマンドで確認するシーンもあるのではないでしょうか？ ただ、個人的には、観点が多いと色々なツールを組み合わせたチェックが必要になり、多少手間を感じていました。 そこで、今回は上司に教えてもらったKarateというテスト自動化ツールが、Elasticsearchと相性が良さそうだっ

こんにちは。QAエンジニアの@yuki_shiro_823です。 QAでなかなか難しいのが性能の検証ですね。私はJMeterをよく使っているのですが、JMeterシナリオを作成する際、シナリオの記録(※)を使うと記録時のcookieやtokenがそのまま使用され、シナリオの実行に失敗します。地味にはまるところなので、今回はそれを回避するための方法を紹介します。 ※シナリオの記録については、こちらのサイトが参考になります。 mislead.jp 解決したい問題 JMeterでシナリオ記録を用いてシナリオ作成した際に、そのまま再生するとPOSTリクエストが失敗することがあります。cookie用の対策は入れているのになぜだと思って、ブラウザの開発者機能を使って該当リクエストを見てみました。すると、cookieの他にCSRF Tokenがヘッダーに含まれており、それがJMeterのPOSTリクエス

こんにちは、IoTエンジニアのHaruka Yamashita (@YamaHaruka925) | Twitterです。 2019年4月にプレビュー版がリリースされた、mockmock DataRecorderを使ってみて、IoT PoCを担当する者としてグッときたポイントをご紹介します！ ■mockmock DataRecorderとは mockmockは、クラウド上に仮想デバイスを作成し、開発中のサーバーに疑似データを届けられるサービスです。 これまでは、 ・データの階層構造や、値の型・生成方法などをコンソール上で入力するだけで、簡単に疑似データを設定することができる。 ・仮想デバイスは、瞬時に動作や台数を変更できる。 ・欲しいデータを、欲しいタイミングで、欲しい量だけ受け取ることができる。 という特徴がありました。 さらに、新たにリリースされたDataRecorderでは、人工的に

こんにちは。 学生時代に信号処理で使っていた数学の知識を生かして、機械学習関連の仕事をしている３年目の@maron8676です。 本記事はAdvent Calendar 機械学習の数理の21日目の記事となります。 0. はじめに 本記事では、文書からキーフレーズを抽出するアルゴリズムであるPositionRankの収束性について解説します。 原論文[1]には収束について書かれていませんが、アルゴリズムを使うにあたり収束性があるかどうかは気になるところだと思います。 ※機械学習では初期点によって結果が変わるなんてことはよくある話ですよね そこで、今回はPositionRankの収束性について関数解析の視点から検証してみます。 結果として、PositionRankのアルゴリズムが作る点列は、任意の初期点に対し唯一つの点に収束するという、とてもよい性質を持っていることが分かります。 1. Pos

こんにちは、CI/CDツールなどを活用し、DevOps推進活動などに携わっている横山です。 本記事は、Docker Advent Calendar 2018 - Qiitaの20日目です。 はじめに Elastic Stackを使うと、簡単にDockerコンテナの監視ダッシュボードが作成できるので、今回はその紹介をしたいと思います。 きっかけとしては、「開発環境で立ち上げている複数コンテナの問題調査を楽にしたい」というのがあります。最近、開発環境に複数のコンテナを立ち上げて開発メンバーに提供していますが、開発メンバーから「重たいので環境を確認してほしい」といった声が上がってきます。その際、どのサーバのどのコンテナに問題が発生しているのか確認したいですが、その都度サーバに入って、docker statsなどのコマンドで確認するのはやや面倒です。 そこで、コンテナの監視ダッシュボードを作って、

こんにちは！QAエンジニアの@yuki_shiro_823です。本日は事例発表の紹介です！ 弊社のシニアテクニカルアーキテクトの鈴木貴典が、ServerlessConf Tokyo 2018 で、サーバーレスなシステムの運用監視に関するセッション発表をしてきました。 サーバーレスなシステムのがんばらない運用監視 ～Monitoring から Observability へ～ ServerlessConf Tokyo2018 サーバーレスなシステムのがんばらない運用監視 from Takanori Suzuki 今年で3回目を迎える ServerlessConf Tokyoですが、今年は、上記セッションを含め、運用監視に関する話が多かったようです。 いくつかのセッションでDatadogについて触れられていたようで、一番メリットがあったのはDatadog社ではないか、という話もあったそうな。笑

こんにちは、@snuffkinです。 このエントリは技術同人誌 その2 Advent Calendar 2018の18日目の記事です。 みなさん、技術同人誌、書いてますか～ 私は技術書典5で初めて技術同人誌を作成しました。 acro-engineer.hatenablog.com acro-engineer.hatenablog.com このとき初めてRe:VIEWに触れたのですが、とても便利ですね。 Markdownライクな独自フォーマットで記述した原稿から、書籍の形式のPDFを簡単に生成できます。 ただ、技術書典5では原稿を書くためにパワーの大半を使ってしまい、書籍のレイアウトにはあまり時間を割けませんでした。 その後、Re:VIEWが3.0にバージョンアップしたのを機に、レイアウトをカスタマイズするために必要な知識を学びました。 この記事では、Re:VIEWでPDFを生成したことがあ

こんにちは。QAエンジニアの @yuki_shiro_823 です。 このエントリはソフトウェアテスト Advent Calendar 2018の15日目の記事です。 きっかけ 私は社内で色々なプロジェクトを渡り歩き、横断的にテストを行っています。 テストをしていると、 機能的には問題ないけれども、なんとなく使いづらい お客様の業務に照らし合わせると、もっとこうした方がいいのでは？ という事例を時々見かけます。 「開発者にもユーザ視点で、開発時から基本的なユーザビリティを向上させられるようになってほしい！」 という思いから、いくつかアンチパターンをまとめてみました。 その一部を紹介します。 ユーザビリティの定義と本エントリで扱う範囲 ユーザビリティの定義は、ヤコブ・ニールセンによる定義やISO25010などいくつかあります。 本エントリではISO-25010の「システム／ソフトウェア製品品