はてなブックマーク

デザイン＆エンジニアリング部の大和です。 来たる健康診断に備えてイオンに併設されたスポーツジムへ通い始めましたが、帰り道のファストフード店で夕飯を済ませており若干の違和感がなくもない日々を送っております。 さて、Amazon Aurora Serverless v2がGAしてから2年ほどが経ちました。 リレーショナルデータベースをオートスケールさせる、という特徴はかなり魅力的でServerless v2のGA以降のAWS利用案件では必ずと言っていいほど検討対象に挙がり、プロダクトオーナーから指定されることもありました。 Serverless v2は負荷に応じて自動でスケールアップ・スケールダウンし、細かい設定も不要、スケールアップは数秒〜十数秒程度で実行されます。 手動でリーダーインスタンスを増減させなければならない”固定スペック”のインスタンスタイプより、機能面においては優れているように

はじめに TISは、生成AIを活用した自社データと連携する社内専用のChatGPT環境である「TIS AIChatLab」の開発・利用を進めています。これは、大規模言語モデル（LLM）を基盤とし、企業固有の情報を活用できるよう拡張したシステムです。本記事は「TIS AIChatLab」のプロジェクトメンバーへのインタビューを通して、TISにおけるLLMやRAGに関する取り組みを紐解くシリーズの第2回です。 今回は評価の仕組み、作業プロセス、指標などの評価部分にフォーカスしてお届けします。 インタビュアー 水谷：会員制メディアAIDBの運営者。LLMなど機械学習の知見を論文ベースで紹介している。 サマリ 社内専用のAIチャット「TIS AIChatLab」の開発では、RAGASを活用したAIの応答を定量的に評価している。これにより、パフォーマンスを客観的に測定し、継続的な改善を可能にしている

近年、OpenAIのGPT-4やGoogleのGemini、MetaのLLaMAをはじめとする大規模言語モデル（Large Language Model：LLM）の能力が大幅に向上し、自然言語処理において優れた結果を収めています[1][2][3]。これらのLLMは、膨大な量のテキストデータで学習されており、さまざまな自然言語処理タスクにおいて、タスクに固有なデータを用いてモデルをファインチューニングすることなく、より正確で自然なテキスト生成や、複雑な質問への回答が可能となっています。 LLM-jp-eval[4]およびMT-bench-jp[5]を用いた日本語LLMの評価結果。Nejumi LLMリーダーボード Neoより取得。 大規模言語モデルは近年急速な進歩を遂げていますが、これらの進歩にもかかわらず、裏付けのない情報や矛盾した内容を生成する点においては依然として課題があります。たとえ

はじめに はじめまして。デザイン＆エンジニアリング部、入社4年目の浅岡と申します。 皆さん、AWS（Amazon Web Service）というサービスをご存知でしょうか。私は今まで4つのシステム開発プロジェクトに携わってきましたが、そのどのシステムもこのAWSと何らかの形で関わっていました。 世界シェア30%を超える最もメジャーなクラウドコンピューティングサービスと言ってもいいAWSですが、私は未だに苦手意識が抜けないでいます。 今回は、そんな私がAWSのAmazon Cognitoと連携したユーザー登録機能とユーザー削除機能をバックエンドサーバーに作った際の、調べた内容やハマった点を共有したいと思います。 前提 今回は、以下のような環境で実装しています。 Java（OpenJDK Temurin-11.0.15+10） Spring Boot（2.6.3） AWS SDK for Ja

はじめに デザイン＆エンジニアリング部の竹谷(たけたに)です。 ※よく「たけや」と間違われるのでふりがなを振ってみました 先日参画している案件で、外部システムと WebSocket プロトコルを使った通信を行う API サーバー( WebSocket サーバー)を作成する機会がありました。そこで AWS のサービスの一つである Amazon API Gateway の WebSocket API を使って作成しました。 WebSocket サーバーを作成するのは初めてでしたが、 API Gateway を使うことで比較的簡単に作成できました。やはり世界シェアトップクラスのクラウドサービスなだけありますね。いつも本当にお世話になっています。 今回はその時に得た知見をまとめ、紹介したいと思います。 API Gateway の選定理由 まずは、 WebSocket サーバーを作成するにあたり、

はじめに ChatGPTやGPT-4をはじめとする大規模言語モデル（LLM）の能力が大幅に向上し、自然言語処理の分野で多くの注目を集めています。これらのLLMは、さまざまな自然言語処理タスクにおいて、タスクに固有な学習データを用いてモデルをファインチューニングすることなく、推論時にタスクの説明といくつかの例を見せるだけでさまざまなタスクを解くことができます。タスクに関する指示だけを与える場合をZero-shot、いくつかの事例も与える場合をFew-shotと呼びます。 Zero-shotとFew-shotの例。「英語から日本語に翻訳してください。」と指示している。Few-shotでは、事例も与える。 ChatGPTのようなモデルは、メールの文面の生成や文書要約といったテキスト生成系のタスクで使われている例を多く見かけますが、実は自然言語理解のタスクでも高い性能を発揮することが知られています

はじめに ChatGPTやGPT-4をはじめとする大規模言語モデルの能力が大幅に向上し、自然言語処理の分野で多くの注目を集めています。これらのモデルを使うことで、今までは複雑な処理が必要だった質問応答や要約などのアプリを以前と比べて簡単に作り始められるようになりました。その使い方の例としては、社内にあるFAQや回答事例集、商品の説明書などに対し、単に検索するだけでなく、質問に対する回答や要約を生成して提示するようなことが考えられます。 質問応答や要約などのアプリを作る場合、Retriever-Reader、Retriever-Generatorと呼ばれるアーキテクチャがよく使われています。Retriever-Readerでは検索した文書（コンテキストと呼ぶこともある）から回答を抽出するのに対し、Retriever-Generatorでは検索した文書から回答や要約を生成します。いずれにせよ、

GitHub ActionsはGitHubのCI/CDプラットフォームです。ワークフローを定義し、ビルドやテストを自動化できます。GitHub Actionsのワークフローを実行する環境をrunnerと呼び、runnerを動かす方法は大きく2種類あります。GitHub提供のrunnerと、自分で用意(セルフホスト)したrunnerです。この記事では以下の方法を解説します。 Amazon ECSでセルフホストrunnerを動かす GitHub ActionsでコンテナイメージをビルドしAmazon ECRにプッシュする 環境構築に使用したDockerfileやTerraformはこちらのmoriryota62/selfhosted-runner-on-ecsで公開しています。諸事情あってterraformはus-east-2前提ですがそのままap-northeast-1でも使えるはずです。全

はじめに アプリケーション開発部の田村です。自社で運営するサービス開発を担当しています。 今、担当しているサービスはReactで開発し運用しています。 Reactで開発したアプリケーションを公開する際に、注意しないと誰でも開発時のコード(後述しますがMinify前のコード)を閲覧出来てしまう恐れがあります。 今回はその事象と対策について紹介します。 本記事を実施する上での要件 Node.js Google Chrome 事象の説明 開発構成 私のプロジェクトではcreate-react-appを利用しています。 create-react-appを使ってアプリケーションの雛形を作成し、開発を行い、ビルド・本番環境へデプロイをしています。 webpackについて create-react-appを用いてサンプルのアプリケーションを作成すると、ビルドはwebpackを用いて行われます。 webp

はじめに 西日本テクノロジー＆イノベーション室の山田です。 現在私が所属しているプロジェクトでStorybookを導入しました。 導入前に期待していた利点のほかにも、導入してはじめて気づいたStorybookの良さがありました。 また、導入して気づいた点をもとにStorybookの導入に向いているプロジェクトの特徴を考えました。 本記事ではその2点の紹介をします。 Storybookの概要 StorybookはUIのコンポーネントをアプリケーションに組み込まず独立して開発できるツールです。 ReactなどのUIを構築するライブラリを使用してアプリケーション開発を行う場合、コンポーネントを画面に組み込み、画面全体の動作を確認しながら開発を進めていきます。 それに対し、Storybookを使用することで個別のコンポーネント単体の動作・UIの確認ができます。 Storybookを起動すると以下の

はじめに アプリケーション開発部の田村です。自社で運営するサービス開発を担当しています。 今、担当しているサービスはReactで開発し運用しています。 今回はVisual Studio Codeを使ったReactアプリケーションのデバッグについて私が便利だと感じた機能を紹介します。 本記事を実施する上での要件 Visual Studio Code ver 1.50以降 Node.js Docker Docker Compose Google Chrome デバッグについて デバッグの重要性 我々開発者にとって生産性の向上は重要なテーマです。その生産性の向上に関して、重要であると考えるのがTry & Errorの高速化です。 ここで言うTry & Errorとは以下の作業を指します。 コードを書く 動かしてみる エラーの原因を特定して修正する この繰り返しをどれだけ高速に回せるかが生産性向上

エンジニアに「効く」デザイントレーニングとは 「色々と頑張っているのに開発中の画面がイマイチパッとしない」「急に画面デザインを求められて困った」「センスもないし、デザイナーに使える予算もない」など、UIデザインで困っているエンジニア向けの動画教材です。 デザインのトレーニングを受けたことがないシステムエンジニアを対象にしており、センスに自信がなくても大丈夫な内容になっています。 1つ10～20分程度の短い動画で、すべてを最初から順に観ていただく必要はありません。「必要な部分だけ」「必要な時に」無理のないペースで学んでいただけます。 軽く復習、見直しができるよう、動画と同内容のPDFも公開します。 なぜエンジニアにデザイントレーニングが必要か? 昨今、コンシューマ向けだけでなく、ビジネス向けのアプリケーションやシステムにおいても、UIデザインという品質は重要視されるポイントになっています。

はじめまして。テクノロジー＆エンジニアリングセンター Lernaチームの根来です。 本エントリではAmazon Elastic Container Service（以降、ECS）上でAkka Clusterを稼働させるために検討した方式を公開します。ECSの起動タイプはAWS Fargate（以降、Fargate）を想定します。以降、単にECSと表記された部分では起動タイプにFargateを使う前提であると解釈してください。 本エントリを読むと次のことがわかります。 Akka Clusterを用いたアプリケーションをECS上にデプロイする方法 そのアプリケーションをゼロダウンタイムでアップデートする方法 想定読者 Akka Clusterをローカル環境などで起動したことはあるが、ECS環境では起動したことがない方 Akka Clusterが相互通信しながら処理することや、起動時にシードノー

はじめに アプリケーション開発部の田村です。自社で運営するサービス開発を担当しています。 そのサービスのフロントエンドをReact×TypeScriptで開発しています。今回はその開発効率の向上に役立つ情報を紹介します。 この記事を読むことで、React×TypeScriptをVisual Studio Codeを用いて開発する際の基本的な操作や静的チェック、デバッグ方法を身につけることが出来ます。 基本的なことになりますがこれからReact×TypeScriptの開発を行う方の役に立てれば幸いです。 本記事の手順で利用するソフトウェア Visual Studio Code Git Node.js v12.16.2以上 Google Chrome Docker Docker-compose サンプルコードの取得 環境を整えるにあたり、具体的なアプリケーションで操作出来ると理解が早いので今回

これらのクレームはあくまで標準として定義されているものであり、発行元によってはこれらに加えて独自のクレームが含まれることになります。例えばCognitoでは、トークン用途を表す token_useといった独自のクレームが含まれます。 また、JWTで使用する形式には、JSON Web Signature（以下JWS）とJSON Web Encryption（以下JWE）の2種類があります。JWSはRFC7515、JWEはRFC7516でそれぞれ定義されています。簡単な特徴としては、JWSでは電子署名がされる、JWEでは暗号化されるといった点が挙げられます。これらは組み合わせることも可能であり、IDトークンではJWSによる電子署名は必須となっているため、JWSについては必ず使用されることになります。 これらの仕様により、IDトークンではクレームを参照することでユーザー情報を確認でき、また電子署

はじめに ほとんどのWebサービスにおいて、ユーザの認証機能は必要です。 ここでいう認証機能とは以下の機能群を指します。 サインアップ サインイン・サインアウト パスワード変更 パスワード初期化 昔のWebサービスは、これら認証機能を各サービスごとに独自に実装していました。 しかしパスワードのような秘匿情報を各サービスごとに保持することはセキュリティリスクを高めます。また認証機能を各サービスごと開発することは開発コストの増加につながります。さらにユーザーはサービスごとに使用しているアカウントを把握する必要がありますので利便性が低下します。 その結果、認証機能を外部システムに移譲したい、すでにある認証基盤を流用したい、などの要求がありました。 これらの要求に応えるように、OAuth 2.0やOpenID Connectなどのフェデレーション認証方式の確立やシングルサインオン等、認証機能に関わ

はじめに Javascript Object Signing and Encryption (以降JOSE)は、JSONを利用したデータ転送用の規格群のひとつです。 当事者間で承認情報などを安全に転送する方法を提供することを目的としています。 本ドキュメントは、JOSEを利用した暗号化の事例紹介です。 同様の技術を必要とする開発者や、暗号化について学習している開発者の参考となることを目的としています。 背景 今回事例を紹介するに至ったAPIの開発では、暗号化にJOSEを使用することが決定していました。 また、APIの暗号化のフローも下記のように決定していました。 クライアントからリクエストでIDを受け取り、そのIDに紐づくユーザ情報を取得する 取得したユーザ情報の一部を署名し、更に暗号化する 暗号化したデータをJOSEのひとつであるJWE形式でクライアントに返却する JOSEを利用した暗号

はじめに オンラインチャットアプリを短期間で開発する案件があり、アプリのバックエンドをAWS Amplifyで構築する機会がありました。その時のAmplifyを選定した経緯や、AWS Cognitoの設定、GraphQLスキーマコードの一部、指定したドメインでアプリを公開する手続きを本ブログで紹介いたします。 本ブログはアプリのバックエンド開発を紹介していますが、共同開発者がフロントエンド開発時にあった問題とその回避策についてブログを執筆しております。ご興味があればiPhoneでバーチャルキーボード表示時に固定要素が画面外に消える問題を解決するもあわせてご参照ください。 概要 Amplifyを用いてオンラインチャットアプリのバックエンドを短期間かつ工数を抑えて構築できた 本アプリではAWS AppSyncサービスを利用しGraphQLスキーマ設計だけで仕様を満たすことができた 本アプリの要

はじめに このドキュメントは、クラウド上に構築したSPA＋REST APIのシステム構成を事例としてまとめたものになります。利用したクラウド環境は、Amazon Web Services（AWS）です。 本ドキュメントが、SPAとREST APIを使用してAWS上で開発するシステムの構成例として、今後開発を行うシステム、プロジェクトの参考情報となることを目的としています。 なお、このドキュメントに記載しているシステムは開発中のものであり、実際に運用されているシステムではありません。テストなどで品質を高めていく活動についても、これからになります。その点については、ご留意のうえ、構成例としてドキュメントを参照いただければと思います。 TL;DR このドキュメントに記載しているシステムでは、以下のような構成でAWS上に構築を行いました。 シンプルなSPA＋REST APIで作成したシステムを、A

はじめに こんにちは。戦略技術センターの梁です。TIS入社3年目です。現在、自然言語処理の研究をやっています。 2020年3月末までの研究活動として、企業名のカバレージと表記ゆれを考慮した大規模企業名辞書「JCLdic」を作り上げました。 今回は「JCLdic」を作った経緯と辞書の使い方を紹介します。 背景 金融テキストを解析する際、辞書を用いて企業名を認識するアプローチはよく使われます。しかし、このアプローチは「辞書のカバレージが低い」と「表記揺れの対応が弱い」という欠点がありました。これらを解決するため、我々は大規模企業名辞書「JCLdic」を作りました。 「JCLdic」には、800万以上の企業名があり、ロングテールの企業名も含まれています。我々は、別名生成の手法を提案し、表記の揺れを考慮できるようにしました。関連のソースコードと論文は、以下で公開しています。 JCLdic 公開ペー

はじめに SPA（シングルページアプリケーション）とREST APIで構成されるウェブアプリケーションを開発する際にリファレンスとして活用して頂ける方式設計のガイドと、アプリケーションのコード例を提供します。 このコンテンツのねらい SI型のプロジェクトとサービス型のプロジェクトを比較すると、サービス型のプロジェクトはより良いUXを提供するためシームレスな操作感やインタラクティブなUIが必要とされる傾向にあります。 ウェブアプリケーションでそういったUIを構築するためにはSPAが有効です。 それからUIをSPAで構築する場合、サーバーサイドはREST APIを採用することが一般的です。 また、サービス型のプロジェクトは少人数かつ短期間で、動くものを重視して開発する傾向にあります。 そのために技術選定や方式設計を十分に行う時間が確保できなかったり、開発のためのドキュメント作成を劣後させること

はじめに 本ドキュメントは、 React Queryを用いた開発事例の紹介です。 React Queryは、Reactで非同期データをフェッチ、キャッシング、更新するためのフックを提供するライブラリです。 React Queryを用いることで、効率的なバックエンド連携が実現できます。 本ドキュメントでは、このライブラリをどのように開発に適用したかを、ライブラリの機能説明を交えながら紹介します。 また、React Queryの特徴を活かしたシステム改善案についても紹介します。 想定読者 バックエンドと連携するシングルページアプリケーションをReactで開発するエンジニア。 参考文献・URL https://github.com/tannerlinsley/react-query 背景 昨今、フロントエンドをシングルページアプリケーション（以下、SPA）として構築するケースが増えてきました。