技術本部 Digitization部の湯村です。 新規アプリケーション開発で採用したバリデーションロジックの管理方法を紹介します。 1. はじめに 2023年末に以下の技術スタックでデータ化アプリケーションの開発をしました。 フロントエンド: TypeScript + Next.js バックエンド: TypeScript + Express Next.js では App Router を採用しましたが、Server Components、Route Handler は利用せず、ブラウザから Express の API を呼び出す構成にしました。 SPA + API で開発する際の課題 この構成で開発をする際の課題の1つにフロントエンドとバックエンドでのコードの重複があります。 特にバリデーションのロジックの管理方法は頭を悩ませた方も多いはずです。 バリデーションに対するアプローチ バリデー

技術本部 Eight Engineering Unit でエンジニアをしている平石です。今回は、Eight で提供している採用サービス Eight Career Design (ECD)の候補者検索機能における、検索ヒット件数改善の取り組みについて紹介していきます。 materials.8card.net 目次 目次 ECDの候補者検索機能について 今回解決したい課題 同義語辞書の整備 検索ログにおける共起単語の抽出 word2vecを使った類似語の抽出 結果 まとめ ECDの候補者検索機能についてECD とは Eight ユーザーと、自社にマッチしそうな人材を採用したい企業をつなぐサービスです。 ECD の候補者検索画面では、採用担当者が採用候補者の数十項目以上のプロフィール情報を自由に検索し、スカウト送信やタレントプール (お気に入りリストのような機能) への追加を行うことできます。

はじめに 最近、固有表現抽出(Named Entity Recognition: NER)の学習をspaCyを用いて行う機会があったため、そのやり方について簡単にまとめたいと思います。 Ref spacy.io Version python: 3.11.3 spaCy: 3.6.0 使用したNotebook github.com 全体の流れ 学習データの用意 spaCyのconfigファイルの用意 学習 評価 推論 学習データの用意 今回は、ストックマーク株式会社が公開しているWikipediaを用いた日本語の固有表現抽出データセットを利用します。 まずはデータセットを読み込みます。 with open("../ner-wikipedia-dataset/ner.json") as f: stockmark_data = json.load(f) 次にデータセットを、train, dev,

こんにちは、技術本部情報セキュリティ部 CSIRT グループの吉山です。 普段は、全社統合のセキュリティログ基盤（SIEM）の開発や運用などを主に行っています。 今回は社内で開催している Tech 道場の参加レポートをお届けします。 最近話題のAI技術であるChatGPT（GPT）を取り上げ、社内のメンバーで学びました。 座学パート：ChatGPTの基礎と活用法 前半の座学パートでは、ChatGPTの基本概念とプロンプトの書き方に関するテクニックが紹介されました。 GPTやLLM全般の仕組みが具体例を交えて説明され、初心者でも理解しやすい内容でした。 さらに、GPTの特性を活かしたFew-Shot[1]やChain-of-Thought[2]などの実践的なテクニックも紹介され、実用的な知識が得られました。 [1] Few-Shotは、複数の事例を提示することでGPTが目的のタスクを学習し、

こんにちは！Sansan 技術本部 Mobile Applicationグループのふるしんです furusin (@furusin_oriver) / Twitter 私はNotionのTask Listを使って日々のTODOを管理していますが、毎日うまくタスク管理ができている気があまりしません どうすればいいかな？とChatGPTに色々と相談した結果「まずはタスク一覧を毎日見ざるを得ない仕組みを作ろう！」というところから仕組みを考えました そこで「毎朝Notionで管理しているタスクをSlackに通知するGAS」を作ることにしました その通知はSlackに通知する時に鼓舞してもらうように工夫しました この記事では具体的にどうやって実装したのかを解説します 構成 Notion：Task ListとしてBoard ViewのDatabaseを用意。To DoやDoing, Doneといった列

はじめに 技術本部 R&D の小松です。先日、一橋大学の手島健介教授より『経済セミナー』2023年2・3月号をご恵贈いただきました。 www.nippyo.co.jp 手島教授はその中で「米国経済学会データエディター制度の取り組み 再現性向上のためのreplicationチェック」を書かれています。私たちが『経済セミナー』にて「実証研究マネジメントのためのツールキット」の連載時に、手島教授を始めとした研究者の皆さんに草稿を確認いただいたのですが、このトピックはその際に出た議論をまとめられたものです。 そこでは手島教授が体験した、採択された研究論文の再現性チェックのプロセスが事細かに書かれており、興味深いです。現在 AEA P&P のために replication code を準備している私たちにとっても、大変参考になっています。 その中で論文の筆者として行うべきこととして、以下の4点が挙げ

こんにちは。 DSOC R&D グループの高橋寛治です。 Pythonの辞書オブジェクトは取り扱いやすいため、単語とIDの変換テーブルを作ったり、複合語の結合のためにデータ構造を工夫して簡易なトライ木を構築したりと、自分でコーディングすることがあるかと思います。 上記の場合は、ライブラリDAWGを使うことで省メモリかつ高速に、さらにできることが増えるかもしれません。 今回はそんな便利なライブラリの紹介をします。 辞書ライクなライブラリDAWG DAWGはDirected Acyclic Word Graphのそれぞれの頭文字をとったものです。 日本語だと有向無閉路単語グラフでしょうか。 英語のWikipediaのページに少し詳しい説明があります。 トライ木に比べて、頂点の数がかなり少なくなるデータ構造であることが特徴のようです。 利用者側としては、省メモリかつ高速に辞書引きや共通接頭辞検索