AWS Lambda（Python）でAmazon Bedrockの出力をレスポンスストリーミング対応してみた - Taste of Tech Topics
こんにちはイワツカです。 今年の夏は、特に猛暑日が続いていたので、例年にも増して素麺を食べてました。 さて今回は、AWS Lambda（Python）でLambda Web Adapterを用いてレスポンスストリーミングする方法を試してみたので紹介します。 1. 概要 1.1 レスポンスストリーミングとは？ 1.2 Lambda Web Adapterとは？ 2. アプリ作成 2.1 実行環境 2.2 ディレクトリ構成 2.3 FastAPIの実装 2.4 Streamlitの実装 3. アプリを動かして見る 3.1 チャットアプリをデプロイ 3.2 Streamlitを起動する 3.3 チャットを試してみる 4. まとめ 1. 概要 1.1 レスポンスストリーミングとは？ レスポンスストリーミングとは、HTTPリクエストに対してサーバーがレスポンスを一度にまとめて送るのではなく、データを
AWS App Studioで生成AIを活用した簡単ノーコードアプリ開発 - Taste of Tech Topics
はじめに こんにちは。9月に入りようやく涼しさを感じられるようは日が増えてきましたね。 AWSエンジニアの小林です。 2024年7月にAmazon Web Services (AWS) からプレビュー版として「AWS App Studio」がリリースされました。 このツールは、生成AIを利用したノーコード・ローコードのアプリケーション開発サービスとして注目を集めています。 この記事では、「AWS App Studio」を使用して実際にアプリケーションをノーコードで作成していきます。 aws.amazon.com はじめに AWS App Studioの概要 AWS App Studioの始め方 事前準備 App Studioインスタンスの作成 ノーコードでTODOアプリを作成してみる 作成したアプリに既存AWSリソースを紐づける 作成したアプリケーションのUIをカスタマイズする AWS A
Pandasのメモリ削減方法を整理した - Taste of Tech Topics
皆さんこんにちは 機械学習チーム YAMALEXチームの@tereka114です。最近、寒いので、鍋を中心に食べて生きています。 検証段階でも、規模の大きなデータを扱う機会が増えてきて、Pandasのメモリ消費量が厳しいと感じてきたので、その削減や効率化のテクニックまとめたいと思いました。 有名なものからマイナーなものまで、思いつく限り書いてみます。 そもそもなぜ、Pandasのメモリ削減技術が必要なのか 準備 Pandasのメモリ削減 1. 型修正 2. 逐次読み込み 3. 読み込み時の型指定 4. 逐次読み込み＆集約 5. 不要なものを読み込まない 6. 不要なカラム／DataFrameを消す 番外編：そもそもPandasを利用しない 最後に そもそもなぜ、Pandasのメモリ削減技術が必要なのか Pandasで扱うデータの多くのファイルはCSV,Parquet, JSON（JSONL
Spring Modulith でモジュラモノリスなアプリの構造を検証してみた - Taste of Tech Topics
アクロクエスト アドベントカレンダー 12月9日 の記事です。 普段は Java, Python でバックエンドの開発をしている大塚優斗です😃 最近は Spring フレームワークのメジャーアップデートなどで盛り上がっていますね！ 10月にこんな記事を見かけて、Spring Modulith がとても気になっていたので、手元で試したことを書いていきます✍️ Spring Modulith とは Spring Modulith でできること 0. Spring Modulith でのパッケージの扱いについて 1. モジュール構造の検証 循環参照の検知 別モジュールへのアクセス違反の検知 2. モジュールに閉じた結合テスト 単一のアプリケーションモジュールで結合テストができること Bootstrap モードによって、結合テスト時に他モジュールの Bean 生成ができること 3. イベントによ
超爆速なcuDFとPandasを比較した - Taste of Tech Topics
皆さんこんにちは。 @tereka114です。 今年末はKaggleで開催される面白いコンペも多くて日々、エンジョイしています。 最近は巨大なデータを扱うことが増えており、Pandasだと時間がかかりすぎて効率が悪いと感じています。 そのため、データを高速に処理できるcuDFを利用することも多くなってきました。 この記事ではcuDFの魅力と扱う際の注意点を説明していきます。 ※この記事は「Pythonその2 アドベントカレンダー」10日目の記事です。 qiita.com cuDFとは cuDFはNVIDIAさんが開発している、Pandasの代わりに利用することができるGPUのライブラリです。 最も大きな特徴はGPUで計算するため、高速であることです。 主に、カテゴリ変数ごとの平均計算や、テーブル同士の結合といった、時間のかかるテーブル処理で、効果を発揮します。 github.com cuD
mockmock Data Recorderを使って異常検知を試してみた！ - Taste of Tech Topics
こんにちは、IoTエンジニアのHaruka Yamashita (@YamaHaruka925) | Twitterです。 2019年4月にプレビュー版がリリースされた、mockmock DataRecorderを使ってみて、IoT PoCを担当する者としてグッときたポイントをご紹介します！ ■mockmock DataRecorderとは mockmockは、クラウド上に仮想デバイスを作成し、開発中のサーバーに疑似データを届けられるサービスです。 これまでは、 ・データの階層構造や、値の型・生成方法などをコンソール上で入力するだけで、簡単に疑似データを設定することができる。 ・仮想デバイスは、瞬時に動作や台数を変更できる。 ・欲しいデータを、欲しいタイミングで、欲しい量だけ受け取ることができる。 という特徴がありました。 さらに、新たにリリースされたDataRecorderでは、人工的に
分散システムとしての #Elasticsearch - Taste of Tech Topics
こんにちは、 @snuffkin です。 こちらはDistributed computing Advent Calendarの12日目の記事となります。 qiita.com Elasticsearch6.0も登場し、使っている方も増えつつあるのではないかと思います。 進化が速く、どんどん機能が増えていますが、基本的なところを押さえるのも重要と考えています。 先日、Acroquest社内勉強会で「Elasticsearch as a Distributed System ～分散システムとしてのElasticsearch～」と題して Elasticsearchの分散システムとしての側面について話しました。 Elasticsearch as a Distributed System from Satoyuki Tsukano www.slideshare.net 資料の内容 ノードの種類 シャー
Elastic{ON} 2017 3日目 | 感動必至のKibanaの新機能！！#elasticon - Taste of Tech Topics
Elastic{ON}2017 レポートのまとめはこちら！！ こんばんは！PlNOKlOです。 本日が最終日！ほんと充実したカンファレンスでした✨ 日本の皆さんにこの興奮を お話しできるのが楽しみです！！ こちらが最終日の私が参加したセッションです。 参加セッション X-Pack Enablement: Security Workshop Under the Surface of Optum's Security Big Data Lake Security @ Slack Getting Your Data Graph-Ready Kibana Visualizations Deep Dive Closing Keynote: Cause Award Honorees 今日はSecurityでのElasticsearch活用例をたくさん聞けました！ 全日SIEM関係の発表が多く、 Ela
Elasticsearchを使うときの注意点を社内で発表しました。 - Taste of Tech Topics
こんにちは、fujiiです。 最近、社内でもElasticsearchを使う機会も増えてきてました。 インストールも簡単ですし、 ちょっと設定するだけでログの解析も手軽にできるので、 便利だと思って使い始めるのですが、 ・必要以上に負荷のかかる設定になっている。 ・システムダウンしたときの復旧を考慮していなかった。 ・初期構築などで大量にデータを入れようとしたら、一部データが入っていなかった。 と、後から反省することも多くあります。 （私も最初は知らないことが多く、反省点ばかりでした） そのため、Elasticsearchを初めて使うときの注意点をまとめ、 社内で講習会を開きました。 以下に公開しました。 実際に案件で利用しようと思った時にパフォーマンスなどで迷うこともありますので、 そんな時の一つの参考になればと思います。 Elasticsearchを使うときの注意点 公開用スライド f
elasticの新プロダクト「Beats」シリーズに震える！ - Taste of Tech Topics
初めてこのブログに投稿します、PlNOKlOです！ 皆さんよろしくお願いします。 このエントリーは、Elasticsearch Advent Calendar 2015の15日目です。 さて、 今日紹介したいのは、elasticの新プロダクト「Beats」シリーズです。 社内で @cero_t さんが「みんなでBeatsのWebinarを見る夕食会」なるイベントを 突発的に企画したので、よく分からないながらも参加してきたのですが、、、 震えました モニタリングツールとしてかなりよくできている感じで、 @cero_t さんが騒ぐ理由も分かる気がしました。 特にPacketbeatは想像以上にヤバかったですね。 皆さん、こいつは注目です！ ということで、そんなBeatsシリーズのうち、 TopbeatとPacketbeatの2つについて、私の震えポイントを紹介します！ 1. Beatsとは？
Springfox+Swagger+Bootprintによる即席REST API仕様書作成 - Taste of Tech Topics
こんにちは。阪本です。 世の中、Swaggerが注目を浴びてきていますね。 開発のスピードアップが求められる中、「外部IF仕様書なんて書いてられねぇ！！」なんて言って実装をバリバリ進めてしまいそうですが（アカンアカン）、そうは言っても外部IF、他社との仕様調整も必要。 そんなときに有効な、実装しながら仕様書も作れるSpringfox+Swaggerに加え、ドキュメント生成ツールのBootprintを使って、簡易的な仕様書を作ってみました。 仕様書の動的生成 以下のようなシンプルなSpringBootアプリケーションから、REST APIを生成してみます。 @SpringBootApplication public class SwaggerExampleMain { public static void main(String[] args) { SpringApplication.run
Impalaにファイルで投入したデータはいつから検索可能になるの？ - Taste of Tech Topics
こんにちは。kimukimu(@kimutansk)です。 このエントリはSpark, SQL on Hadoop etc. Advent Calendar 2014 - Qiitaの12/14分です。 多くの人がSQLなら書けるということで、 開発者でなくても自在に検索を定義可能なSQL on Hadoopが今非常に広まりつつあります。 私はそんなSQL on Hadoopの中でImpalaを今使用しているため、Impalaについて書かせていただきますね。 Impalaをデータの集計で使用しているのですが、 その際に「元々存在しているテーブルにデータをファイルで投入する」ことがあります。 ですが、ファイル投入後クエリを実行してみても投入した結果が表示されないことがありました。 かつ、Impalaのサイトを見てもどのタイミングでデータが検索可能になるか、は明確には見つからないんですよね・・
Spring BootによるWebアプリお手軽構築 - Taste of Tech Topics
こんにちは、阪本です。 Springのメジャーバージョンアップに伴い、Spring Bootも晴れて1.0となりました。 Spring Bootは、Spring周りの依存関係をシンプルに解決してくれるフレームワークですが、今流行りの（流行る予定の？）Dropwizardを意識した作りになっています。 どれだけシンプルにできるのか、見てみようと思います。 超シンプルなWebアプリの作成 では早速、Webアプリを作ってみましょう。 手始めに、サーバにアクセスすると固定文字列を返す（いわゆるHello World的な）アプリを作ってみます。 まず、下ごしらえとして、Mavenのpom.xmlを作成します。 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-i
ラムダ禁止について本気出して考えてみた - 9つのパターンで見るStream API - Taste of Tech Topics
こんにちは @cero_t です。 今日のテーマは・・・ラピュタ禁止令！ バルス！ いや違う。ラムダ禁止令、です。 さて、なかなかの滑り出しですが、今日はただのラムダの紹介ではなく、禁止令に主眼を置いて語ります。 このエントリーは、Java Advent Calendar 2013の12/16分の投稿です。 http://www.adventar.org/calendars/145 前日は @sugarlife さんの JDK 8 新機能ダイジェスト (JDK 8 Features) です。 翌日は @setoazusa さんです。 ラムダ禁止令はあり得るのか？ 勉強会やその懇親会などで、たびたび「ラムダ禁止令が出るのではないか」が話題に上ることがあります。 「そりゃ禁止する組織もあるでしょうね」というのがお決まりの答えなのですが、ただそれに従うだけでは面白くありませんし、要素技術の発展も
データグリッド／キャッシュサーバのInfinispanって何ができるの？ - Taste of Tech Topics
こんばんは。kimukimuです。 今回もテーマが変わりますが、 JBoss Cacheを前身としたOSSのデータグリッド／キャッシュサーバである、 「Infinispan」が気になったので使ってみた結果を書いてみます。 1.Infinispanって？ Java的な視点で一言で言ってしまうと、 「リモートアクセス出来て、データの同期、保存が出来るＭａｐ」です。 オブジェクトをputすることでメモリ上のキャッシュとして保持されます。 JSR-107（JCACHE - Java Temporary Caching API）、 JSR-347（Javaのデータグリッド） に準拠しており、 非常に手軽にMapとして使え、他のキャッシュサーバ（memcachedとか）との互換性もあるようです。 2.インストール方法 ・・・とこれだけ書いてもなんだか難しいですよね。なので実際に使ってみます。 Infi
もしもラムダの中で例外が発生したら（前編） - Taste of Tech Topics
ある日、 id:cero-t がJJUGの重鎮たちと話している中で、とある宿題をもらいましたとさ。 「Java8のラムダの中で例外が発生したら、どうなるんだろう？」 こんにちは、アキバです。 もう皆さんはJava8を使ってみましたか？ とりあえずインストールしてみた人！ ・・はーい (おまえか という冗談はさておき、 今回は、id:cero-t に代わって私が冒頭のお題を調べてみました。 1. SerialStreamで動かしたラムダで例外が発生したら まずは、小手調べにシングルスレッドの場合を見てみましょう。 検査例外が発生するようなコードをラムダに書いてみると、コンパイルエラーになります。 こんなコードです。 try (BufferedWriter writer = Files.newBufferedWriter(Paths.get(W_FILENAME))) { // writer.
あなたのJavaコードをスッキリさせる、地味に便利な新API 10選（後編） - Taste of Tech Topics
こんにちは。 アキバです。 本日3/18、ついに、Java8が正式リリースされますね！ もうダウンロードされましたか？ってまだですかね？私はまだです（だって公開前にエントリ書いてるんだもんね） 2014/03/19追記：Oracleのページが更新されました！→こちら さて、前回に続いて、Java8で追加された地味で便利なAPIを紹介していきます。 今回は、みんな大好きMapとConcurrent、あとちょびっとComparatorです。 3. Map操作編 (1) Map#getOrDefault() これまでは、Mapから値を取得してnullだったらデフォルト値を使用する、みたいなコードを以下のように書いていたと思います。 Map<String, String> map; // 何らかのMap String value = map.get("key"); if (value == nul
あなたのJavaコードをスッキリさせる、地味に便利な新API 10選（前編） - Taste of Tech Topics
こんにちは！ アキバです。 ．．．T3ブログは初登場かもしれません。ハジメマシテ。 以後お見知りおきを。 いよいよ、2014年3月、Java8が正式公開されますね。 なんと言っても、Java8の注目機能はラムダ式ですので、ラムダ式や型推論に関する記事は多いです。 世の中で「Java8」と検索すると、皆さんいろいろと記事を書かれているので、おおよその事はこれで分かっちゃうような気がします。 が、 実は地味に便利なAPIが追加されていたりすることを最近知りました。 これはあまり触れられていないぞ、と。 というわけで、このエントリでは、あまり日本語で情報の無い、しかし地味に便利なAPIに実際に触れてみます。 大事なところなので２回強調して書いてみました。 今回は、前編として４つ紹介します。 ※APIの紹介と言いつつ、コードにはラムダ式を使ったコードが普通に出てるので、ご了承ください。 (むしろ、
Couchbase Tokyo 2014と、Couchbase情報のまとめ - Taste of Tech Topics
こんちには！ ツカノ(@snuffkin)です。 なんだかんだで1月末。寒い日があるのは良いとしても、忙しい日も多くなってきました。一緒にいろいろな事に取り組む人がもっと多くなって欲しい、との感じる今日この頃です。そんな訳で、当社では人材募集中です！ →Javaエンジニア緊急募集／キャリア採用 さて、そんな感じの宣伝から入りましたが、本題です。 ここ数年、NoSQLプロダクトは急速に増えましたね。しかも、KVS、ドキュメント指向、グラフ指向など、プロダクトの特徴も様々です。例えばこういう比較ページを見ると、いろんな特徴のNoSQLがあることが分かります。 これらNoSQLプロダクトの中でも、Couchbaseはドキュメント指向型(JSON)とKVS型(memcached互換)の両方に対応したNoSQLで、インメモリで高速動作するのがウリです(ディスクに永続化できますが、基本はインメモリ)。
RestfuseによるREST API自動試験まとめ(その１) - Taste of Tech Topics
こんにちは、Web系エンジニアのナカガワです。 皆さん、REST APIのテストはどのようなツールを使っていますか？ 私はJUnitでテストが書ける「Restfuse」を使っています。 今回、実プロジェクトでRestfuse + Jenkinsで定期的にREST APIをテストする仕組みを構築したため、このあたりのノウハウをまとめて書きたいと思います。 REST APIテスト自動化のゴール ゴールは以下の二つです。 (1) APサーバ上で動作しているWebアプリケーションに対し、自動でREST APIテストを実施する。 (2) Jenkinsを用いてCIを実施可能にする。 まず今回は、前者のREST APIテストを実施するところまで紹介します。 Restfuseを使って、REST APIをJUnit上でテスト可能に！ 先にも書きましたが、私が使ったのはRestfuseというツールです。 R
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
