Amazon Q BusinessでノーコードでRAGアプリケーションを作成する - Taste of Tech Topics
はじめに 7月に入り、急に蒸し暑さが増してきたように感じますが、皆さまいかがお過ごしでしょうか。 新人エンジニアの木介です。 今回は先月にAWS公式ブログより紹介のあったAmazon Qサービスの内、フルマネージドで生成AIアシスタントを作成できるAmazon Q Businessの紹介をしていきます。 aws.amazon.com はじめに Amazon Q Businessとは 1. Amazon Q Businessの特徴 2. Amazon Q Businessの料金 Amazon Q Businessの使い方 1. アプリケーションの作成 2. retrieverの作成 3. データソースの作成 4. ユーザー/グループの設定 5. Applicationの実行 まとめ Amazon Q Businessとは まずAmazon Q Businessとは、与えられたデータに基づいて
ChatGPT Code Interpreter でTitanic生存者予測にチャレンジ - Taste of Tech Topics
近頃、夜食づくりにはまっているkonnoです。 データ分析もできると話題のChatGPT Code Interpreterを使えば、機械学習もお手軽にできるのでは…？ ということで、Kaggleチュートリアルとして有名な「Titanicの生存者予測」を ChatGPT Code Interpreterを使って分析できるのか 試してみたいと思います！ Titanic生存者予測とは？ かの有名のタイタニック号の乗員名簿と、事故で生存したか否かのデータを機械学習し、乗員の属性（性別、年齢、乗船時の運賃など）から生存したか否かを推定する課題です。 よく考えるとひどい設定ですね。 話題のわかりやすさと、それなりに特徴的な結果が出るところから、機械学習の初学者がやる練習問題として世界的に有名です。 データはKaggleさんから取得できます。 www.kaggle.com 機械学習を利用してTitani
ChatGPT＋Marpで技術勉強会用のプレゼン資料を爆速で作成する - Taste of Tech Topics
こんにちは、igaです。 ゆっくりペースで実施していた、リングフィット アドベンチャーを先日クリアすることができました。 今回は、ChatGPTに、社内の技術勉強会向けに、ライトニングトーク用のプレゼン資料を作ってもらおうと思います。 私からは、テーマだけを決めて、その内容の検討自体をChatGPTにお願いしてみました。 プレゼン資料の内容 「AWS CloudShell から Amazon ECS で任意のコマンドを実行する方法」という内容を検討してみます。 概要として、以下のようなものを考えています。 「AWS CloudShell から ECS exec を利用して、Amazon ECS上のコンテナで任意のコマンドを実行するために必要な設定方法について説明する。」 ChatGPTに内容の検討を依頼する ChatGPTに内容の検討をお願いするため、以下のようなプロンプトを指定してみます
Pandasのメモリ削減方法を整理した - Taste of Tech Topics
皆さんこんにちは 機械学習チーム YAMALEXチームの@tereka114です。最近、寒いので、鍋を中心に食べて生きています。 検証段階でも、規模の大きなデータを扱う機会が増えてきて、Pandasのメモリ消費量が厳しいと感じてきたので、その削減や効率化のテクニックまとめたいと思いました。 有名なものからマイナーなものまで、思いつく限り書いてみます。 そもそもなぜ、Pandasのメモリ削減技術が必要なのか 準備 Pandasのメモリ削減 1. 型修正 2. 逐次読み込み 3. 読み込み時の型指定 4. 逐次読み込み＆集約 5. 不要なものを読み込まない 6. 不要なカラム／DataFrameを消す 番外編：そもそもPandasを利用しない 最後に そもそもなぜ、Pandasのメモリ削減技術が必要なのか Pandasで扱うデータの多くのファイルはCSV,Parquet, JSON（JSONL
mockmock Data Recorderを使って異常検知を試してみた！ - Taste of Tech Topics
こんにちは、IoTエンジニアのHaruka Yamashita (@YamaHaruka925) | Twitterです。 2019年4月にプレビュー版がリリースされた、mockmock DataRecorderを使ってみて、IoT PoCを担当する者としてグッときたポイントをご紹介します！ ■mockmock DataRecorderとは mockmockは、クラウド上に仮想デバイスを作成し、開発中のサーバーに疑似データを届けられるサービスです。 これまでは、 ・データの階層構造や、値の型・生成方法などをコンソール上で入力するだけで、簡単に疑似データを設定することができる。 ・仮想デバイスは、瞬時に動作や台数を変更できる。 ・欲しいデータを、欲しいタイミングで、欲しい量だけ受け取ることができる。 という特徴がありました。 さらに、新たにリリースされたDataRecorderでは、人工的に
キーフレーズを自動推定するPositionRankの収束性について解説 - Taste of Tech Topics
こんにちは。 学生時代に信号処理で使っていた数学の知識を生かして、機械学習関連の仕事をしている３年目の@maron8676です。 本記事はAdvent Calendar 機械学習の数理の21日目の記事となります。 0. はじめに 本記事では、文書からキーフレーズを抽出するアルゴリズムであるPositionRankの収束性について解説します。 原論文[1]には収束について書かれていませんが、アルゴリズムを使うにあたり収束性があるかどうかは気になるところだと思います。 ※機械学習では初期点によって結果が変わるなんてことはよくある話ですよね そこで、今回はPositionRankの収束性について関数解析の視点から検証してみます。 結果として、PositionRankのアルゴリズムが作る点列は、任意の初期点に対し唯一つの点に収束するという、とてもよい性質を持っていることが分かります。 1. Pos
分散システムとしての #Elasticsearch - Taste of Tech Topics
こんにちは、 @snuffkin です。 こちらはDistributed computing Advent Calendarの12日目の記事となります。 qiita.com Elasticsearch6.0も登場し、使っている方も増えつつあるのではないかと思います。 進化が速く、どんどん機能が増えていますが、基本的なところを押さえるのも重要と考えています。 先日、Acroquest社内勉強会で「Elasticsearch as a Distributed System ～分散システムとしてのElasticsearch～」と題して Elasticsearchの分散システムとしての側面について話しました。 Elasticsearch as a Distributed System from Satoyuki Tsukano www.slideshare.net 資料の内容 ノードの種類 シャー
JUnit 4で消耗しているあなたに贈るJUnit 5入門 - Taste of Tech Topics
こんにちは、しんどーです。 気づいたら入社8ヶ月くらい経ってました。 さて、待望のJUnit 5のGA版が今年9月にリリースされました！ この記事ではJUnit 5の概要と新機能の一部をご紹介したいと思います。 全部User Guideに書いてあるとか言わない JUnit 5とは JUnitとは、言わずと知れたJavaのテスティングフレームワークであり、 デファクトスタンダードの地位にあります。ですが現行のJUnit 4系の最初の メジャーバージョンリリースはすでに10年ほど前であり、保守性の低下が問題に なっていました。 そこでJUnitの刷新を目指すべく、JUnit 5プロジェクトが立ち上げられました。 Junit 5の特徴を簡単に述べると、 API・アーキテクチャの全面的再設計 マルチモジュール構成 Java 8のラムダ式を利用したAPI といったことが挙げられます。 JUnit 5
Elastic Stack 6.0GAがリリースされました。 - Taste of Tech Topics
皆さんこんにちは IBIS2017に参加した@tereka114です。 本日、Elastic Stack 6.0のGAがリリースされました。 そこで、今回の記事では、Elastic Stack 6.0GAの注目の機能を簡単に紹介します。 ちなみに、以前、Elastic Stack 6.0に関係する記事として、Elastic Stackの6.0のBeta版の紹介をしました。 acro-engineer.hatenablog.com また、今回のElastic Stack 6.0GAについて公式からElastic Stack 6.0GAの紹介を次のサイトで行っています。 より詳細なElastic Stack 6.0 GAの変更点はこちらを確認してください。 Elastic Stack 6.0.0 GA is Released | Elastic Elasticsearch Elasticsea
Elasticsearchのデータを別のElasticsearchに入れるいくつかの方法 - Taste of Tech Topics
こんにちは、 @snuffkin です。 この記事は、Elastic stack Advent Calendar 2016の8日目です。 qiita.com 皆さんは、Elasticsearchのデータを、別のElasticsearchに入れたいことってありませんか？ 私は実際に、 各自がアドホックに分析するため、個人用のElasticsearchを立てているので、そこにコピーしたい 遠隔地にあり、直接アクセスできないElasticsearchのデータを確認したい ということをしたい場合があります。 今回は、このようなケースで使える方法をいくつか紹介します。 正攻法はsnapshot機能を利用することかもしれませんが、ちょっとしたコピーをしたいときには敷居が高いのではないかと思います。 ここでは、もう少し簡易に実行する方法を紹介します。 (方法1) Logstashでコピーする まずは、
大規模サーバ更改でServerspecを使ってみました - Taste of Tech Topics
こんにちは、おじさん技術者の iga です。 とあるサーバ更改のプロジェクトで、「Serverspecを使った設定チェック」を実施しましたので、その時のノウハウを共有したいと思います。 設定チェックの対象となるサーバが全部で約600台あり、あるサーバ種別で最大282台と大規模なため、人力でのチェックはあきらめていました。 そこで利用したのが、Serverspecです。 Serverspecとは Serverspecは、サーバの状態をコードにより自動的にテストするためのツールです。 公式サイトはこちらです。 http://serverspec.org/ Ruby製のテストフレームワークRSpecがベースになっていて、抽象化したコードによってサーバの状態を確認するようになっています。 システム構成の概要 今回のテスト対象のシステム構成は、次の図のようになっています。 メンテナンス端末にServ
Prelertでプログラミングレスな異常検知に挑戦！ - Taste of Tech Topics
こんにちは！ @tereka114です。 最近、データの中から特異点や異常な箇所を発見したいニーズが高まっています。 そんななか、先日、Elastic社が行動分析技術の大手プロバイダPrelertを買収したとのニュースがありました。 ちなみにPrelert社とは異常検知を自動化するため、データの知識が不要なアプリケーションをエンドユーザーに提供していた企業です。 Prelertのサイトを確認すると、Elasticsearchに入れたデータに対して異常検知することができそうです。 これは面白そう！ ということで、Prelertを使って異常検知を行ってみました。 今回は、次の流れで説明していきます。 Prelertとは Prelertのインストール 公式サイトからのダウンロード インストール 起動確認 実際に異常検知をやってみる。 データ投入 マッピング定義 Logstashを使ったデータ投入
SORACOM Beam のアノ機能追加に感動しました！ - Taste of Tech Topics
これはSORACOMリリース1周年記念リレーブログ10/31分です。 blog.soracom.jp 山下@YamaHaruka925です。 10月に開催されたSORACOM UG#4に参加した、SORACOMさんのソリューションパートナーであるAcroquestで働く女性エンジニアで、IoTプラットフォーム開発やってます。 お酒をこよなく愛するリケジョです。（リケジョブログも書いてます^^） SORACOM UGで熊崎さんとお話ししてたら、楽しくお酒を飲んで酔った勢いで、リレーブログ参戦が決定！ 今回は、最近体験した「え！？こまった！」を解決してくれたSORACOMさんのアップデートについて書いてみようかなと。 SORACOM Beamがつながらないが原因不明。。。 AcroquestではIoTアプリケーションプラットフォーム「Torrentio」を提供してるわけですが、相談に来られる方
Data Analytics Showcaseで登壇してきました！ - Taste of Tech Topics
こんにちは @shin0higuchiです！ 先日、恵比寿にて開催されたData Analytics Showcaseにて、私と弊社の@tereka114が登壇してきました。 www.db-tech-showcase.com それぞれ、次のテーマで発表しました。 @shin0higuchi：ビッグデータを高速に検索・分析する「Elasticsearch」～新プラグイン「Graph」を用いた販売データの関連分析～ @tereka114：デジタルデータの可視化基盤「ENdoSnipe」を使った、システムトラブルの未然防止、経営判断につながる可視化の実践 ビッグデータを高速に検索・分析する「Elasticsearch」～新プラグイン「Graph」を用いた販売データの関連分析～ 私(@shin0higuchi)は、人気急上昇中の全文検索エンジンElasticsearchの機能を利用したデータ分析に
AWS Lambdaの処理性能を言語毎に測ってみた - Taste of Tech Topics
こんにちは、@kojiisdです。 この間AWS Summit Tokyoに参加してきたのですが、皆一様に「AWS Lambda」を、 これからのサーバレスアーキテクチャを支える技術として紹介していましたね。 資料でも言葉でも多分に見聞きしており、軽いゲシュタルト崩壊を起こしている今日この頃、 皆さんはいかがお過ごしでしょうか。 さて、今回はAWS Lambdaです。 AWS Lambdaの処理はJavaやNode.js、Pythonなどの言語で記述することができますが、その性能差がどの程度あるのか？測ってみました。 構成 今回の構成は次の様なシンプルなものにしています。 [計測対象（言語）] Python Node.js Java [計測対象（カテゴリ）] 処理速度 使用メモリ [Lambdaでの処理内容] API Gatewayでリクエストを受け付け Lambda内でDynamoDBか
Java Day Tokyoでマイクロサービスとかの話をしてきました #JavaDayTokyo - Taste of Tech Topics
Hello world, タニモトです！ っていうと、誰か分からない感じになりますが @cero_t です！ なんだか怒濤のようにJavaな日々が過ぎていきました。 5/21(土)のJJUG CCCではイベントスタッフをこなしながら、後輩たちによるElasticsearchハンズオンを見守り、とにかく忙しくしていたら1日が過ぎ去っていきました。CCCの参加者は800人越えですってよ😳 そして、5/24(火)のJava Day Tokyoでは、自分自身の発表と、また英語でインタビューを受けるという貴重な機会をいただき、こちらも準備でバタバタしていたら、あっという間にイベントが終わっていました！😷 Java Day Tokyoは、1300人を越える参加があったそうです！ これらのイベントに参加してくださった皆様、ありがとうございます。 日本のJavaコミュニティが少しでも盛り上がるよう力を
性能改善10事例 - Taste of Tech Topics
こんにちは、 @snuffkin です。 Acroquestでは、Elastic{ON}のような勉強会やカンファレンスに参加するだけでなく、社内向けの勉強会も開催しています。 新しい技術を調べて「使ってみた」的な発表をしたり、実際に開発の中で得られた知見を発表したり。 各自が得意分野で、様々なテーマで発表し、技術の研鑽を行っています。 私の場合、しばらく性能改善に取り組んでいたため、 その際に解決した問題からいくつか事例をフィードバックし、 性能問題を起こさないよう喚起しました。 10 performanceimprovements 性能改善10事例 from Acroquest Technology www.slideshare.net スライドでも書きましたが、特に大量に繰り返し実行される処理では、性能を意識した実装をしないと問題になりがちです。 問題があちこちに散らばると性能が大きく
Elasticsearchを使うときの注意点を社内で発表しました。 - Taste of Tech Topics
こんにちは、fujiiです。 最近、社内でもElasticsearchを使う機会も増えてきてました。 インストールも簡単ですし、 ちょっと設定するだけでログの解析も手軽にできるので、 便利だと思って使い始めるのですが、 ・必要以上に負荷のかかる設定になっている。 ・システムダウンしたときの復旧を考慮していなかった。 ・初期構築などで大量にデータを入れようとしたら、一部データが入っていなかった。 と、後から反省することも多くあります。 （私も最初は知らないことが多く、反省点ばかりでした） そのため、Elasticsearchを初めて使うときの注意点をまとめ、 社内で講習会を開きました。 以下に公開しました。 実際に案件で利用しようと思った時にパフォーマンスなどで迷うこともありますので、 そんな時の一つの参考になればと思います。 Elasticsearchを使うときの注意点 公開用スライド f
elasticの新プロダクト「Beats」シリーズに震える！ - Taste of Tech Topics
初めてこのブログに投稿します、PlNOKlOです！ 皆さんよろしくお願いします。 このエントリーは、Elasticsearch Advent Calendar 2015の15日目です。 さて、 今日紹介したいのは、elasticの新プロダクト「Beats」シリーズです。 社内で @cero_t さんが「みんなでBeatsのWebinarを見る夕食会」なるイベントを 突発的に企画したので、よく分からないながらも参加してきたのですが、、、 震えました モニタリングツールとしてかなりよくできている感じで、 @cero_t さんが騒ぐ理由も分かる気がしました。 特にPacketbeatは想像以上にヤバかったですね。 皆さん、こいつは注目です！ ということで、そんなBeatsシリーズのうち、 TopbeatとPacketbeatの2つについて、私の震えポイントを紹介します！ 1. Beatsとは？
あなたのJavaコードをスッキリさせる、地味に便利な新API 10選（前編） - Taste of Tech Topics
こんにちは！ アキバです。 ．．．T3ブログは初登場かもしれません。ハジメマシテ。 以後お見知りおきを。 いよいよ、2014年3月、Java8が正式公開されますね。 なんと言っても、Java8の注目機能はラムダ式ですので、ラムダ式や型推論に関する記事は多いです。 世の中で「Java8」と検索すると、皆さんいろいろと記事を書かれているので、おおよその事はこれで分かっちゃうような気がします。 が、 実は地味に便利なAPIが追加されていたりすることを最近知りました。 これはあまり触れられていないぞ、と。 というわけで、このエントリでは、あまり日本語で情報の無い、しかし地味に便利なAPIに実際に触れてみます。 大事なところなので２回強調して書いてみました。 今回は、前編として４つ紹介します。 ※APIの紹介と言いつつ、コードにはラムダ式を使ったコードが普通に出てるので、ご了承ください。 (むしろ、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
