はてなブックマーク

研究開発部Architectグループの堤と申します。新任マネージャーとして自身のキャッチアップも兼ねて、研究開発部の技術や成果物について紹介する記事を書いています。 第三弾となる今回は、Sansanの名刺データ化フローの中で使われている弊社が独自開発した名刺に特化した文字認識エンジン「NineOCR」についてご紹介します。 Sansanの名刺データ化フロー NineOCRについては本日プレスリリースが出た通り、データ化範囲が名刺記載の「全項目」 1 となり、いずれの項目でも高い読み取り精度を実現しています。 独自開発の背景 名刺のデータ化では、Emailアドレスや電話番号などを1文字間違えただけでも大問題です。 Sansanでは従来より、オペレーションセンターでの人力処理とコンピュータによる処理をうまく組み合わせて、高精度を維持しつつ、コスト削減やスケーラビリティの両立を実現してきました。

研究開発部Architectグループの堤と申します。新任マネージャーとして自身のキャッチアップも兼ねて、研究開発部の技術や成果物について紹介する記事を書いています。 buildersbox.corp-sansan.com 第二弾となる今回は、「スマキャプ」と社内で呼んでいる技術について紹介します。スマキャプではスマホ上で機械学習モデルの推論処理をオンデバイスで行っているのですが、筆者がもともとiOSエンジニアだったこともあり、本記事ではそちらについて厚めに解説しようと思います。 OCR結果を即時に返すSmart Captured（スマキャプ） 営業DXサービス「Sansan」やキャリアプロフィール「Eight」を縁の下で支える社内システムのひとつが、「GEES」と呼ばれる名刺のデータ化システムです。GEESは、セキュアに、高精度に、低コストに名刺をデータ化するためのシステムです。 Sans

研究開発部 Architectグループの堤と申します。今年4月より、まったくの門外漢だったところから研究開発部でマネジメントを担当することになりました。入社して早6カ月が経とうとしていますが、マネジメントの面でも技術面でもまだまだ学ぶことだらけです。キャッチアップしたことの整理も兼ねて、これからしばらくの間、研究開発部の技術や成果物について紹介する記事を書いていきたいと思います。 まず第一弾として、本記事ではSansanの名刺データ化フロー 1 の中で使われている研究開発部の技術についてご紹介します。 2 切り出し（背景分離） 物体検出・セグメンテーション技術を用いて、背景から名刺を切り出します。 こちらは、スマホのカメラ経由で名刺を取り込む場合は、オンデバイスで処理を行っています。こちらについてはまた記事を書きたいと思っています。（弊社ではこの技術を「Smart Captured」略して

本記事はオウンドメディアの閉鎖に伴い、一部編集し転載したものです 初出：2018.06 BNL（Business Network Lab） 加筆：2022.09 弱いから有益なのではなく、つながっていない者同士をつなぐ「橋渡し」こそが本質である。Sansan株式会社のデータ化およびデータ活用組織、技術本部 研究開発部の研究員、前嶋直樹が解説。前編・中編・後編の3つの記事に分けてお届けする。 SNSが普及し、より多くの人と継続してコミュニケーションが取れるようになったことにより、1970年代に社会学の分野で提示されていた「弱いつながり」の価値に、最近あらためて注目が集まっている。 しかし、そもそも「弱いつながり」という考え方は、社会ネットワーク理論の研究から出てきたものである。そこでBNL編集部は、Eightの運営会社であるSansan株式会社のデータ化およびデータ活用を担う技術本部 研究開

こんにちは。Sansan Tech Blog 編集部です。 先日Speaker Deckに「Bill One 開発エンジニア 紹介資料」を公開しました。 speakerdeck.com この記事では資料を元に、Sansanが提供するインボイス管理サービス「Bill One」の開発組織についてご紹介します。 Bill Oneとは さまざまな方法・形式で届く請求書をオンラインで一括受領し素早くデータ化する、社内の請求書をクラウド上で一元管理できるサービスです。 bill-one.com 2022年7月には、インボイス制度を見据え「請求書発行機能」の提供も開始しています。 開発組織の体制 Bill Oneのプロダクト開発チームにはPdMやアーキテクト、エンジニア、デザイナーの約40人が所属しています。 チームは表参道の本社、関西支店、福岡支店の3拠点に置かれており、1チーム5名前後で6チームあり

技術本部 Eight Engineering Unit（社内通称：Eight EU）の秋本です。普段は Eight をインフラ面からお世話することでご飯を食べています。 酷暑が続いていますね。酷暑は人々の健康を害し、健康が害されると稼動可能な人員が減り、人員が減ると業務負荷が増え、業務負荷が増えるとオペミスが発生しやすくなります。オペミスが発生してもバックアップがあれば最悪なんとかできる事が多く、もはや運用作業にはバックアップ取得が欠かせぬものとなっています。 本項では Eight におけるバックアップ取得の前史を述べ、そのうえで AWS Backup を導入していい感じになった風景を述べるものになります。 AWS Backup 導入まで Eight で使用しているデータの置き場所は以下があります。Eight では現状 AWS のみを使用しています： サービス 用途 S3 名刺画像データ、

技術本部 R&D研究員の前嶋です。梅雨の季節ですが、少しでも快適に過ごせるようにOnのCloud 5 wpを購入しました。水に強くて軽快な履き心地で最高ですね。(追記：この記事の公開作業をしている間に梅雨が終わってしまいました) 今回は、データフレームのテストについての記事です。 データフレームのテストをどう書くか データが中心となるサービスのネックになるのが テストをどう書くか です。というのも、データフレームは行×列の構造になっているため、入力あるいは出力値がデータフレームになるような関数が多いプログラムでは、テストケースを書くのが非常に面倒です。仕様の変更があった場合、それぞれのテスト用の疑似データに修正を加えることを考えると、より簡潔にデータフレームのバリデーションをする方法が欲しいところです。実は、データフレームのテストはProperty Based Testingという考え方と

データ戦略部*1でエンジニアをしています、22新卒の金子です。 突然ですが、皆さんはコードにアノテーションコメントを使っていますか？アノテーションコメントというのはTODO、FIXME、NOTEなど、コメントに何かしらのプレフィックスを付けて、コメントの意図、性質を分かりやすくするというものです。 今回の記事では、その中でも最もよく使われるであろう、TODOコメントとの向き合い方について考えたいと思います。 TODOコメントの問題点 何の気なしにTODOコメントを使っていると、以下のような問題が生じます。 数カ月前に書かれたTODOコメントが未対応のまま放置されている。 対応済みのTODOコメントが消されていない。 メンバーによってTODOコメントの温度感が違う。 このような理由から、TODOコメントは増加の一途をたどります。私の所属するプロジェクトはまだ発足から日が浅く、古くとも数カ月前

Bill One Entry*1グループの秋山です。 1. はじめに 2010年代前半に登場したReactやVue.jsに代表される宣言的UI実装は、大規模なSPAの構築を可能にしました。その一方、フロントエンド領域に新たなアーキテクチャが導入されたことで、それまでWebアプリケーション開発で定石とされたテスト手法を適用しづらいケースが増え、新たなベストプラクティスが求められるようになりました。 その要請に応える形で、2010年代後半にはフロントエンドのテスト手法に緩やかなパラダイムシフトがありました。この記事ではそのパラダイムシフトを振り返りながら、フロントエンドで必要なテストについて考察し、最後にChromaticを用いたビジュアルリグレッションテストを紹介します。 2. Testing Pyramid と フロントエンド テストを語る際によく持ち出されるメタファとして、Testing

Sansan株式会社でAndroidアプリのアーキテクト・マネジメントをしている山口です。今回Sansan/Eightを始めマルチプロダクト体制にシフトしていく中でモバイルのアプリ横断チーム「Future Successチーム」ができたのでそのことについて書きたいと思います。 なぜアプリ横断チームを作ったのか？ Sansan株式会社ではSansanやEightを始め、Bill OneやContract Oneなどさまざまなプロダクトが生まれ、ソフトウェアエンジニアの体制がマルチプロダクトに向けて一新されました。 prtimes.jp その中でモバイルエンジニアはMobile Application Groupとして１つのグループになりました。しかし、発足当時は同じグループという箱に入っただけでそれぞれが独立して開発を進めるだけの組織になっていてグループとして一緒になった利点を活かせずいまし

こんにちは、技術本部 Mobile Application グループの山名です。 WWDC から早くも1ヶ月が経とうとしており、時の流れの速さを感じています... （ちなみに自分は今年も What’s new in UIKit があることに絶望したのが一番印象に残っています） そんなことはさておき、今回は Sansan アプリにおける iOS 12 のサポート終了対応についてお話しします。 iOS 12 というと大分前なので、既に世間には沢山知見が溜まっていて楽勝やろなあ…と高を括っていたのですが、思わぬ地雷を踏んでしまったのでぜひ最後までお楽しみください。 修正した内容 KeyWindow の取得方法 statusBar 系の取得方法 UIActivityIndicatorView.Style の指定方法 特定 OS でのみ TabBar のテキストが見切れてしまう その他 おわりに 修

初めまして！ 2022年の3月に入社しました渡邉です。 現在はデータ戦略部という部署に所属しておりまして、多種多様なデータを収集・活用するためのサービス開発に携わっています。 タイトルにある通り、今更になって Shift_JIS と格闘する羽目になったのですが、その背景として長期に渡って稼働していたシステムの一部をリプレイスすることになったことがあります。 旧システムは他社のシステムとデータを Shift_JIS でエンコードしたファイルでやりとりしているのですが、これは他社が保守しているシステムとのファイル連携であり、リプレイスプロジェクト期間中に連携ファイル仕様を変えることは現実的ではないという判断です。 背景 突然ですが、皆さまはこれらの文字の違いがわかりますか？ 1. − 2. － 3. ー 正解はそれぞれ、 1. 全角のマイナス 2. ハイフン 3. 漢字の一 となっています。

はじめまして。 技術本部 Quality Assuaranceグループの岡山です。QAグループとして新たにBill Oneに参画しました。そこで今回は「一人目QAの始め方」についてお話をしたいと思います。 一人目QAとして入ることになったきっかけ 今まではQAグループとしては、プロパーの数の問題もあり、Sansan（PC）、Sansan（mobile）、Data Hub、Eightの4つのプロダクトに参画し、プロダクトの品質を高める活動をしてきましたが、Bill Oneの開発側の体制が大幅に拡大することに伴い、メンバーの増員に耐えうる品質保証体制の確保が急務となり、QAも参画する運びとなりました。 一人目QAとして考えたこと はじめに開発側にプロダクトが抱えている課題感やAsIsとToBeのチーム体制についてヒアリングしました。 ヒアリング結果として上がってきた解決すべき課題は以下のとおり

こんにちは。Eight でエンジニアをしている鳥山（@pvcresin）です。 散歩が趣味なので、暖かくなってきて嬉しい今日このごろです。 さて今回は Web フロントエンドのビルド時間短縮のため、esbuild-loader を導入した話をしたいと思います。 背景 ビルドにかかる時間はプロダクトが大きくなるにつれてじわじわ伸びていき、開発者体験（DX）を悪くする原因となるため、常に短縮する方法を考える必要があります。 Eight の Web フロントエンドは主に TypeScript・React で開発を行っており、ビルドには webpack を使用していますが、 ビルド時間の大部分はこの TypeScript や React の JSX 記法を JavaScript に変換する処理の時間です。 そこで、この処理を代替することのできるより高速なツールを使うことでビルド時間を短縮しようと考

Eightでフロントエンドエンジニアをしている青山です。 今回はEightのCI環境にtextlintという文書校正ツールを導入してみたので、その経緯や実施した内容をお伝えします。 サービスを複数抱えているなど、文書管理が煩雑になってチェックが大変、といった場合に活用できるかもしれません。 textlint.github.io ある日のフィードバック Eight(およびSansanの各プロダクト)では、社内のslackでフィードバックを受け取るチャンネルが存在しています。活発に社内外からのフィードバックが投稿されていますが、ある日の投稿で以下のようなものがありました。 今日届いたお知らせの文言に「副業」というのが使われてました。 Eightでは「副業」使わずに「複業」とする、みたいな方針だった気がしたので、気になりました。 実際このフィードバックが上がった直後には、素早く修正リリースが行わ

こんにちは。 技術本部 研究開発部の高橋寛治です。 Python でプロジェクトを始める際に、ディレクトリ構成を考えたり、パッケージ方法を考えたり、もしくは何か参考になるものを見つけてコピペしたり、と意外と時間をかけていました。 これをコマンド一つで解決する Cookiecutter および社内での活用事例を紹介します。 Cookiecutterとは Cookiecutter とは、プロジェクトテンプレートからプロジェクトを作成してくれるコマンドラインツールです。 ここでのプロジェクトとは、ディレクトリとファイルおよびそれらの命名や記述されている項目を指します。 Cookiecutter には次の2つの側面があります。一つはプロジェクトテンプレートを利用すること、もう一つはプロジェクトテンプレートを作成することです。 インストール Cookiecutter は Python で書かれたライ

こんにちは、技術本部 Bill One Engineering Unitの江川です。 2021年4月に新卒としてSansanに入社したのですが、早いものでもう1年が経ってしまいそうで驚いています。 今回は、そんな早かった1年に思いを馳せつつ、Bill Oneフロントエンドのビルド周りを高速なビルドツールであるViteに移行していった話をしたいと思います。 移行の背景 Bill OneのフロントエンドではReact + TypeScriptを採用しており、ビルド周りには Create React App（以下、CRA）をejectなしで利用していました。*1 CRAは、開発初期にwebpackなどの設定を隠蔽し簡単にセットアップを行えるという利点がある一方で、開発を進めていきコードベースが大きくなってくるといくつかの問題が発生することがあります。 具体的にはBill Oneでは以下のような問

こんにちは。Sansan Builders Blog 編集部です。 今回は、2月28日に開催した【エムスリー山崎氏とSansan西場が語る「エンジニアのチャレンジをどうマネジメントするか」】のイベントレポートをお届けしたいと思います。 本稿では、皆さんから寄せられた質問への回答を、かいつまんでお伝えします。 アーカイブ動画も公開していますので、実際の様子やアフタートークの模様は映像でもお楽しみください。 youtu.be 登壇者 エムスリー株式会社 執行役員／VPoE／PdM​ 山崎 聡氏（@yamamuteking） ※エムスリーエンジニアリンググループ紹介資料はこちら Sansan株式会社 VPoE／技術本部 研究開発部 部長 西場 正浩（@m_nishiba ） ※Sansanのエンジニア情報サイトはこちら エンジニアのチャレンジマネジメントとは？ 現在約300名のエンジニア・研究員

こんにちは、クラウド請求書受領サービス Bill One の開発をしている加藤です。 新しくアプリケーションを開発する際は、それが日本国内をターゲットにしたものであっても、グローバル対応するときに問題が発生したり、そもそもグローバル対応できなかったりする作りにはしたくないはずです。まずは日本の顧客向けにスタートしたBill Oneを開発する際も、同じことを考えていました。 本稿ではグローバル対応の中でも、日付・時刻にフォーカスします。 次の「タイムゾーン呪いの書 3部作」にあるように、日付・時刻の扱いの難しさはよく知られています。 タイムゾーン呪いの書 (知識編) タイムゾーン呪いの書 (実装編) タイムゾーン呪いの書 (Java 編) この3部作は2021年の改訂ということもあり、Bill Oneの開発を始めたばかりの頃に直接参考にできたわけではありません。 初版やエムスリーさんの記事を

技術本部 データ戦略部 Newsグループの木田です。 最近、初めて自作キーボードに挑戦しました。ちょうど２枚目のモニターも買ったので、モニター２台と自作キーボードで快適に記事を書いています。 予めお断りしておきますが、この記事は元々、社内向けに設計方針や規約・ツールなどについて共有するために書いたものでした。最近、他チームの参考資料として役立ったこともあり、社外向けに手を加えて公開する運びとなりました。 はじめに 機構改革・人事異動情報(β) とは ⚛️ Atomic Design に従う ⚛️ Atomic Design とは ⚛️ Molecules と Organisms の分け方 ⚛️ コンポーネントの設計方法 📝 規約 📝 Component と Container を分ける 📝 データの繋ぎ込みは Organisms 以上で行う 💡 Tips 💡 Atoms はタグ本

こんにちは、Sansan 技術本部 Mobile Application Group に所属している iOS アプリエンジニアの相川です。 本記事は Sansan Advent Calendar 2021 の23日目の記事になります。 adventar.org 現在 Sansan の iOS アプリチームでは開発環境の改善を目的としたマルチモジュール化を行っています。 絶賛行っている最中のマルチモジュール化の技術的な実現方法などについては、作業が進んだらいつか記事にしたいなと思っています。 本記事では Sansan の iOS アプリチームでマルチモジュール化を推進するためにどのようなことをやってきたのかということについて焦点を当てて以下の流れで説明していきます。 過去のマルチモジュール化の失敗とそこから得た学び マルチモジュール化についての知識を持つメンバーが不足していたため、手探りで進

本記事は，Sansan Advent Calendar 2021 第18日目の記事です． こんにちは，研究開発部の内田です．いつの間にやら季節は進んで，街路樹の葉も落ちたり燻んだり，日常の風景からも寒さを感じるようになってきました．最近は，そんな日常に彩りを加えるべく，お花のサブスクリプションサービスを契約し始めました．私自身花に詳しいわけではないですが，なんとなく気分が上がるのでおすすめです． さて，本エントリでは 10/15-10/24 の日程で開催いたしました「Sansan × atmaCup #12」について，遅ればせながらのレポートをお届けしたいと思います． atma.connpass.com atmaCupとは? atmaCupとは，atma株式会社 様が主催するオンサイトデータコンペティションです．データコンペティションは，主催者から出題されるデータに対して，参加者が分析・予

こんにちは。 Eight事業部プロダクト部でデータアナリストをしている林田です。 本記事は Sansan Advent Calendar 2021 13日目の記事です。 adventar.org Eightのデータ分析チーム「データマネジメントチーム」にはデータアナリストが3人所属しており、メンバーはそれぞれが担当するサービス領域において意思決定やKPIマネジメントの支援をしています。 データ分析チームのお仕事については以前記事を書いているので、宜しければこちらもご覧ください。 Eightのデータ分析チームのお仕事 - Sansan Builders Blog 今回はそんなデータ分析チームの仕事の中でも、開発チームと伴走してデータ分析していく手法についてお話したいと思います。 なぜデータ分析が重要なのか プロダクト開発においてデータ分析が必要になる場面は2つあります。1つは機能の企画段階に

人事部 高橋 です。 本記事は Sansan Advent Calendar 2021 - Adventar の10日目の記事です。 このたび、社内で人事評価に使うシステムを内製しました。 このたびと言いつつ1年ほど前から運用が始まっていたのですが、やり残し等も落ち着いたこのタイミングで記事にしてみます。 背景 従来は Kintone に人事評価のためのシステムがあり、4年ほど運用していました。Kintone の設計、カスタマイズは外注でした。 以下の要因から、システムを内製する判断が下りました。 評価設計の定期的な見直しやデータの増加に Kintone のカスタマイズ性と性能が耐えきれなくなった。 今後も人事評価の仕組みは柔軟に（同時に、効率的に入力できるように）見直していきたいという経営陣の意志があった。そのためパッケージを導入するリスクが強かった。 人事部に所属しながらWeb開発がで

3行で アクセスに基づいた推薦のために、文書のどのような情報を使うべきか考えた。 ニュースの中の名詞、固有名詞、名詞×ジャンル、固有名詞×ジャンルの４つに分けて推薦を行い、ユーザーが興味を持ちそうなニュースを推薦できているかを定性的に確認した。 結果として、今回のデータ・手法では、下記３点が分かった。 名詞抽出による近傍探索で、ユーザー興味に沿ったニュースが推薦できる 固有名詞について、より上手な抽出方法を次の記事で検討する 推薦にジャンル情報を活用すると、うまく推薦できなかった場合でもユーザー興味を大幅には外さない推薦となりうる 目次 3行で 目次 初めに 実装 手法 文書から抽出する要素を決める 文書から要素を抽出する アクセスしたと想定するニュース 名詞、固有名詞を抽出 学習済みの分散表現がアクセスしたニュースのキーワードを含むかどうか 抽出された分散表現のt-SNEによる可視化 類

こんにちは。CSIRT の吉山です。 私は2020年の4月にセキュリティエンジニアとして新卒入社し、現在は主にログ基盤（SIEM）の構築・運用やインシデント対応などの業務に取り組んでいます。 今回はそのログ基盤構築や運用、その他検証で得た知見などについて紹介します。 まず初めにログ基盤の技術的な概要についてここで簡単に触れておきます。 ちなみに基盤構築の背景などについては、以前に同じく CSIRTの松田が記事にしているのでこちらもぜひ一読いただければと思います！ buildersbox.corp-sansan.com 構成 ログの集め方 ログの取り込みスクリプト（es-loader） について ユーザーの管理と権限設定 アラーティング コスト 基盤の負荷 検証について 課題 最後に 構成 基盤は AWS 上で構築しており、Amazon OpenSearch Service (以下、Open