サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
Wikipedia
tech.layerx.co.jp
こんにちは。バクラク事業部 機械学習・データ部 データグループの@civitaspoです。みなさんは「人生で一番美味しいと思ったキムチ」に出会ったことはありますか?キムチって美味しいですが、あまり強い感情は抱かないですよね。ところが先日、近所のスーパーの駐車場の端っこに、謎のプレハブ小屋があるのを発見しました。興味本位で中を覗いてみると、そこはキムチ屋でした。そのキムチ屋が販売する自家製キムチは絶品で、私にとって「人生で一番美味しいと思ったキムチ」でした。みなさんも「人生で一番美味しいと思ったキムチ」を探してみてください。 さて、先週に引き続き、Snowflakeに関する記事を書こうと思います。先週は『Don’t Use Passwords in Your Snowflake Account』というタイトルで、Snowflakeのアカウントレベルでパスワード認証を禁止する方法を紹介しました
すべての経済活動を、デジタル化するために、すべての業務活動を、デジタル化したいコーポレートエンジニアリング室の @yuya-takeyama です。 週末は Festival Fruezinho という音楽フェスに参加し、アルゼンチンの音響派フォークシンガー・Juana Molina を観てきました。デジタルなサウンドを活用しつつも、ライブ感のあるバンドサウンドで、非常にスリリングなライブでした! 今回の話はアナログ寄りのデジタルな気がします。 Microsoft Entra ID の PIM とは PIM (Privileged Identity Management) については、少し前に Fintech 事業部の piroshi さんが書いてくれた記事があるので、概要はそちらをご覧ください。 最小権限の原則に一歩近づく - Entra ID の "Just-in-time appli
LayerX Fintech事業部 (※) の piroshi です。※ 三井物産デジタル・アセットマネジメント (MDM) に出向しています。 入社から 9ヶ月が経ちました。現職では業務領域がだいぶ広がったな〜と感じたので、その点についてササッと振り返ってみたいと思います。 業務領域の広がり 私が所属するMDM のコーポレートシステム部は、社内の従業員が利用するクラウドサービス(情シス) および、自社開発サービス・プロダクトのインフラの統制・セキュリティ周りを担当しています。 前職までは情シスの領域が主担当でしたが、プロダクトを動かしている AWS や GCP といったプラットフォームまで幅が広がりました。 また、インハウスなエンジニアリング (内製) で対応する領域が増えたなと感じています。ここが一番の変化したところです。 スキルセットの変化と学び 例えばセキュリティの高度化を目指すた
こんにちは!Fintech事業部でVPoEをしています @takochuu です。 仕事の傍ら、インターネットウォッチをして保護猫を3匹育てています。(保護猫はいいぞ) 先日社内でインタビューしてもらったのでよろしければ読んでみてください。 note.layerx.co.jp 今回は、Fintech事業部が開発・運営するデジタル証券を活用した資産運用サービスALTERNA(オルタナ)の立ち上げを総まとめしたいと思います。 alterna-z.com LayerX Fintech事業部は三井物産デジタル・アセットマネジメント(以下MDM)に出向し「Operation DX」と呼ばれるアナログ業務のデジタル化を行うことと、個人向け資産運用サービス「ALTERNA(オルタナ)」の2つの開発チームが存在しています。その中で今回は個人向け資産運用サービス「ALTERNA(オルタナ)」の立ち上げについ
こんにちは。バクラク事業部 機械学習・データ部 データグループの@civitaspoです。最近、仕事で使用するPCを新調したのですが、Nixとhome-managerを使って環境構築していたおかげで、爆速で環境移管が完了しました。MacOSのセットアップをする場合は、nix-darwinというnix moduleを使うのですが、MacOSのdefaultsコマンドを使用して変更するパラメータ(たとえばInitialKeyRepeatやKeyRepeatなど)も宣言的に書けるので便利です。PAMの設定を変更してsudo実行時にTouch IDを使えるようにする設定もあったりします。非常に便利なので是非試してみてください! さて、本記事のタイトルである「Don’t Use Passwords in Your Snowflake Account」は、先月開催されたSnowflake Data C
こんにちは!バクラク事業部 Platform Engineering 部 DevOps チームの id:sadayoshi_tadaです。 7月はエンジニアブログがたくさん出る #ベッテク月間です。今後も記事が出ますので、どんな記事がでるのかこちらのカレンダーからよければチェックしてみてください!7/2にSRE Lounge#17にて開発者が安心して実行可能なSQL実行基盤の取り組みという発表させていただきました。この記事では当該発表で時間の関係で触れきれなかった内容や補足を行っていきます。 従来のデータベースのデータ変更における課題 課題に対する解決策の検討 Bytebaseの利用にかかるコスト Bytebaseの導入及びデータ変更のフロー整備 データ変更のフロー整備 Bytebase導入後の変化 データ変更オペレーション上の課題 まとめ 最後に 従来のデータベースのデータ変更における課
こんにちは!LayerXのバクラク事業で機械学習・データ周りを担当しております、たかぎわ (@shun_tak) と申します。 みなさま、ChatGPTの登場に衝撃を受け、これを日々の生活やビジネスに活用されていることかと思います。わたしも社内でChatGPT活用の勉強会を開催したところ、大変大きな反響をいただきました。 tech.layerx.co.jp ChatGPTの登場以来、AIを前提としたユーザー体験の構築、すなわちAI-UXの実現を目指すことがLayerX社内の共通認識になりました。LayerXは、プロダクトだけでなくあらゆるビジネスプロセスにおいて、ユーザー体験をAIを前提に再構築するAI Transformation (AX) を推進することで、生産性革命を実現しようとしています。 comemo.nikkei.com AI-UXやAXの実現を通じて、仕事や暮らしの中にある摩
すべての経済活動を、デジタル化するために、すべての業務活動を、デジタル化したいコーポレートエンジニアリング室の @yuya-takeyama です。 7月はBet Technology Monthということでブログがたくさん出てくる月です。 そして7月といえば、第二四半期の始まりですね。 今月から転職や異動によって新しい環境で働き始める方も多いのではないでしょうか。 LayerXでは毎月のように入社・異動があるため、その度にやらないといけないことがあります。 それは、各種グループのメンバーの更新です。 LayerXにおけるグループメンバーの管理 LayerXではID基盤としてMicrosoft Entra IDを利用しています。 また、SCIMプロトコルを利用した自動プロビジョニングにより、そこから各種SaaS (Google Workspace, Slack, Notion, AWS,
はじめに こんにちは。バクラク事業部 機械学習チームの機械学習エンジニアの上川(@kamikawa)です。 バクラクではAI-OCRという機能を用いて、請求書や領収書をはじめとする書類にOCRを実行し、書類日付や支払い金額などの項目内容をサジェストすることで、お客様が手入力する手間を省いています。 書類から特定の項目を抽出する方法は、自然言語処理や画像認識、近年はマルチモーダルな手法などたくさんあるのですが、今回は項目抽出のための物体検出モデルを構築するまでの手順について紹介します。 Document Layout Analysisとは Document Layout Analysisとは、文書のレイアウトを解析するタスク(直訳)のことを指します。具体的には、文書内のさまざまな要素(例えば、テキスト、画像、表、見出し、段落など)を抽出し、それぞれの位置や意味などを明らかにすることを目的とし
すべての経済活動を、デジタル化したい松村(@yu-ya4)です。LayerXのバクラク事業部機械学習グループにおいて機械学習エンジニア兼マネージャーを務めています。 先日、代表の福島(@fukkyy)が以下のnoteを公開しました。LayerXの発信を見てくださっている社外の方々から「もう入るには遅い会社だよね?」と言われることが最近増えたことに対して、LayerXがまだ全然完成されていない、成長機会だらけのこれからの会社であるということを綴った内容となります。 note.com 今回はこの内容を受け、LayerXのバクラク事業部においてAIや機械学習を活用した機能の開発・顧客価値の提供に責任を持っている機械学習グループについても、まだまだこれからの組織であり、今入っていただくことで様々な挑戦や成長の機会を提供できるということをお伝えしたいと思います。 現在のLayerX バクラク事業部
こんにちは。 LayerXのバクラク事業部 機械学習チームのテックリードを務めております機械学習エンジニアの島越(@nt_4o54)です。 最近、カジュアル面談や学会などで「AI-OCRってもうほぼ完成で、運用フェーズですよね」「やることあるんですか?」など頻繁に聞かれることがあります。 「いやいや課題が山のようにあるんです」という話をいつもしているので、今回は我々が作っているAI-OCRがどれだけ複雑で難しい問題を扱っているか、という部分についてお話しさせていただければなと思います。 少し、経理ドメインの話が多く恐縮ですが、お付き合いいただけると嬉しいです。 AI-OCRについて AI-OCRが扱う問題の複雑さ ドメインへの深い理解が必要 同じ書類であってもコンテキストによって抽出したい値が異なる まとめ 最後に AI-OCRについて まず、そもそも弊社のバクラクで提供しているAI-OC
機械学習をプロダクトに取り入れて磨き上げているいるみなさん。機械学習モデルのオフライン評価とビジネス上のKPIとを近づける難しさを感じてませんか? はじめに 深澤 (@qluto) です。 LayerXという会社で、経理業務をはじめとした業務支援を行うバクラクシリーズの開発に携わっています。私はその中でも、非定型の書類から的確に情報を読み取るAI-OCR機能の開発を担当しています。 私は、機械学習を根幹に据えつつ、ビジネス上や直接的なユーザーの課題解決のために複合的な問題に対処してきたソフトウェアエンジニアです。 今回は、機械学習とビジネスゴールの狭間で生じがちな問題を俯瞰し、バクラクのAI-OCR機能において直面した問題とその解決方法についてご紹介します。 機械学習とビジネスゴールとの間にギャップが生まれてしまうのはどういう時か? まずは、機械学習とビジネスゴールとの結び付けが難しくなり
はじめに こんにちは!バクラク事業部 機械学習・データ部 データチームの@TrsNiumです。 弊社では、データの意味やデータの質、データの利活用を一元的に管理することを目的として、データカタログソリューションの一種であるOpenMetadataを導入しました。OpenMetadataを利用することで、様々な種類のデータベースやBI、CRMと連携し、データの管理と可視化を効率化しています。 弊社では主にBIツールとしてLooker Studioを使用しています。また、Google SheetsはConnected Sheetsの機能を使い、BigQuery上に構築されたデータ基盤のデータを用いて簡易的にデータ分析や可視化を行うツールとして利用しています。しかし、これらのツールはOpenMetadataのビルトイン機能ではサポートされていませんでした。そのため、データ変更時の影響範囲の把握や
機械学習エンジニアの吉田です。前回は NVIDIA Triton Inference Server の性能を検証した話を書きましたが今回はその続編となります。 tech.layerx.co.jp 前回の記事以降も継続してTriton Inference Serverの検証を重ねた結果、推論サーバの性能を大幅に改善することができ、無事本番に導入することができました。 この記事では本番導入までにどのような改善や検証を行ったのか書きたいと思います。 はじめに 背景 バクラクでは請求書OCRなどの機械学習モデルを開発しており、リアルタイムで推論結果を返す必要があります。 推論APIはNginx、Gunicorn w/ Uvicorn、FastAPIで実装され、PyTorchモデルをGPUで推論、SageMaker Endpointでサービングしており、 リリース以降問題なく稼働してきましたが、お客
こんにちは。バクラク事業部 機械学習・データ部 データグループの@civitaspoです。2024年6月3日から6日にかけてサンフランシスコで開催されたSnowflake Data Cloud Summit 2024に現地参加してきました。本記事では、その様子や感想をレポートしようと思います。 Snowflake Data Cloud Summit 2024 とは? Snowflake Data Cloud Summit 2024(以下、Summit)は2024年6月3日から6日にかけてサンフランシスコのモスコーニ・センターで開催された、Snowflake社が年次で主催する最大のユーザーカンファレンスです。Snowflakeの最新技術やデータクラウドの未来を語る基調講演に始まり、450を超えるセッションやハンズオンが行われました。参加者は全体で約1万5000人にのぼり、日本からは250人が
LayerX Fintech事業部 (※) の piroshi です。 ※ 三井物産デジタル・アセットマネジメント (MDM) に出向しています。 今回は、上長の ken5 さんとの 1on1 の中で「センス」について言語化した話を紹介させていただこうと思います。 現職で実装する機会が増え、力不足から「自分にセンスが無い」と感じた時、それを曖昧な状態にせず、要素に分解して改善に繋げようとしているお話の共有です。 問題の具体例 Fintech という領域ではセキュアな業務環境が求められます。その一環として、ECS を使ったセキュリティ施策の検証を進めています。 しかし私がこれまで Docker や ECS を扱った開発経験がほとんどないため、検証を進めるスピードは遅く、手探りの状態が続いていました。 1on1 での気づきと学び 長らく詰まっていた問題を ken5 さんに相談したところ、彼は
こんにちは。機械学習・データ部の @irotoris です。 どこからかダウンロードしてきた Excel ファイルのデータを BigQuery に入れてほしいという話があり、Python と pandas で Excel を読み込んでシュッと BigQuery にロードしたときの作業備忘録です。 TL;DR Google Colaboratory に Google ドライブをシュッとマウントできて便利 pandas の ExcelFile() で Excel ファイルがシュッと読めて便利 備忘録 まずは人に聞いたりファイルをいくつか眺めてデータの仕様を把握します。どうやら以下のようなファイルのようです。 ファイル数は200以上、合計 5GiB 程度 Excel 内のシート数は 3つ Excel のシート名は「データの内容を表す文字列_ランダム文字列のサフィックス」※ 例: シート1: tr
こんにちは、LayerX 人事・新卒エンジニア採用担当 @shiz_layerx です! 今回は、LayerXの『新卒採用に対する考え』や、今年初開催する2職種のエンジニア・サマーインターンの内容等をお伝えしていきます。 文末には、各サマーインターンの設計責任者(マネージャー・テックリード)からのメッセージも掲載しています。ぜひご覧ください! 全員採用!全社を挙げて『新卒採用』にも注力するLayerX 各種インターンの構成 サマーインターン(2職種)の紹介 ソフトウェアエンジニアのサマーインターン 機械学習エンジニアのサマーインターン 各インターン責任者からのコメント ソフトウェアエンジニア・サマーインターン設計責任者 @upamune 機械学習エンジニア・サマーインターン設計責任者 @yu-ya4 ご興味をお持ちいただいた方へのご案内 【26卒エンジニア向け】LayerX SWEサマーイ
機械学習・データ部 / データチームの @irotoris です。こんにちは。 データチームでは社内で使うデータプラットフォームやデータマートの開発をしています。今日は弊チームの開発スタイルの中から「プレスリリース駆動開発」を紹介します。 データチームの開発スタイル データチームの開発は1週間のタイムボックスで、月曜日にバックログやプロジェクトから今週取り組むタスクを計画し、金曜にスプリントレビューを行っています。デイリーでは夕会を行っています。ベロシティの計測などは今のところできていませんが、いわゆるスクラムっぽい開発です。 その月曜朝の計画会で、まずプレスリリースを書いています。 プレスリリースとはなにか? 本来プレスリリースは新商品や新サービス、経営・人事などの企業情報を、ニュースとしてメディアに掲載する文書ですが、ここではデータチームが開発・提供する機能や改善をユーザーに伝えるため
LayerX Fintech事業部(※)の piroshi です。 ※三井物産デジタル・アセットマネジメント (MDM)に出向しています。 沖縄からリモートワークで働いており、蒸し暑い日が続いています。クーラーをつけないと寝苦しくなってきました。 ところでみなさん、特権 (ちから) が欲しいですか?ここでの権限はシステム上の各種権限です。私は小心者で、大きすぎる力は持ちたくない派です。特権をもっていると「オレは今、セキュリティリスクの塊だ...」と気になってしまい、輪をかけて夜も眠れません。 さて、Microsoft の IdP サービスである Entra ID には Privileged Identity Management (PIM) という特権管理機能があります。PIM により「必要最低限の権限」を「必要な期間」に限定して付与することが可能です。ユーザは特権へのエスカレーションを自
LayerX Fintech事業部(※)で、ガバナンス・コンプラエンジニアリングをしている 鈴木 (@ken5scal )です。 ※三井物産デジタル・アセットマネジメントに出向しています。 今回は、AWS IAMポリシーの条件における「ForAllValues」の仕様を誤って理解していたことから、安全でないアクセス制御を実装していたという内容です。もし同様の勘違いをされている方がいたら参考になれば幸いです。 ユースケース AWS IAMユーザーを、ロールの trust policy がユーザーのタグで制御するケースで考えます。 具体的には、「Group A あるいは Group B」に所属し、且つ「Admin」権限のあるユーザーのみが行使できる役割「AdminABRole」があるとしましょう。 この場合、Group と Admin のタグが存在し、下記のようなパターン(※)が考えられます。
こんにちは!LayerX バクラク事業部 機械学習・データ部 データチームの石橋(@saaaaaaky)です。 Looker Studioのカスタムクエリが1日300回以上実行される課題 弊社ではBIツールとしてLooker Studioを利用しています。 データマートがまだまだ整備できていないので、Looker StudioからGoogleのBigQueryに接続し、カスタムクエリをデータソースとしてダッシュボードが作成されています。 ダッシュボードが閲覧される毎やパラメータの変更をする毎にクエリが実行されるため、よく見られているダッシュボードだと同じクエリの実行数が1日に300回ほどになるものも存在しました。 スキャン量での課金であることと、単純にクエリが実行されることでダッシュボードの表示速度も遅くなり作業効率も落ちてしまいます。 ヒアリングしたところ、リアルタイムのデータが必要とさ
こんにちは。バクラク事業部 機械学習・データ部 データグループの@civitaspoです。僕は定期的にエディタを変えるのですが、最近CursorからNeovimに移行しました。LazyVimを使ってセットアップするとシュッと使いやすい環境ができあがったので、Neovimのコミュニティ・エコシステムは素晴らしいなと感動してしまいました。Javaも普通にNeovimで書けちゃう。 さて、弊社ではSnowflake導入に向けた大規模な検証を進めています。これまで弊社ではデータウェアハウスソリューションとしてGoogle CloudのBigQueryを利用してきました。もちろんBigQueryも素晴らしいソリューションの一つですが、弊社のサービス提供環境がAWSであるという都合上、Snowflakeとは親和性が高く、またSnowflakeはBigQueryとは異なる素晴らしい機能を持ち合わせている
先日2024/04/16にタイミーさんのオフィスで開催された、AWS知見共有会というイベントで発表してきました。この会のテーマは「運用のスケーラビリティとセキュリティ」ということで、私は「コンパウンドスタートアップのためのスケーラブルでセキュアなInfrastructure as Codeパイプラインを考える」というタイトルで発表してきています。 イベントの動画もあります。 私の発表は 1:43 ぐらいからです。 この発表については資料と動画を見ていただければ!という感じで特に付け加えることもなかったのですが、イベントの開催後にGitHubから発表された新機能Push rulesがとても便利で、新たなベストプラクティスとなるインパクトがあると思ったので、この記事で紹介します。 Push rulesとは つい昨日発表された機能で、現在はpublic betaという状態です。なので、仕様変更と
機械学習エンジニアの吉田です。今回は機械学習モデルの推論サーバとして NVIDIA Triton Inference Server の性能を検証した話です。 背景 バクラクでは請求書OCRをはじめとした機械学習モデルを開発していますが、これらの機械学習モデルは基本的にリアルタイムで推論結果を返す必要があります。 請求書OCRを例にとると、お客様が請求書をアップロードした際にその内容を解析し、請求書の金額や日付などを抽出します。 このような推論用のAPIサーバはNginx, Gunicorn/Uvicorn, FastAPIで実装し、PyTorchモデルをGPUで推論する構成となっており、SageMaker Endpointを使ってサービングしています。 バクラクの推論APIはこのような構成でリリース以降特に問題なく稼働してきていますが、ご利用いただくお客様が増えるにつれてリクエストも増加し
こんにちは! LayerXで機械学習エンジニアをしている伊藤 (@sbrf248) です。直近はOCRモデルの学習・評価に使うデータセット周りの改善に取り組んでいます。 今回は、データセット作成におけるアノテーションに注目し、関連する研究分野や、LayerXにおける改善にどう繋げられそうかを紹介したいと思います。 アノテーションに関する研究分野 アノテーションは、機械学習に利用する教師付きデータの正解ラベルを人間が付与する作業を指します。 高い精度のモデルを作るためには高品質かつ大量のデータセットが用意できると理想ですが、人間が作業する以上一定の時間的・金銭的コストは必要になるため、品質を高めつつ効率を上げるための工夫が必要になります。 アノテーション品質・効率を高めるための研究分野は、大きくサンプリングと品質管理と効率化の2つに分けられます。 以下では、それぞれについての代表的な手法や最
こんにちは。機械学習チームでソフトウェアエンジニアをしているTomoakiです。 バクラクはMLOpsエンジニアを必要としており、今回はバクラクでMLOpsをやる面白さや現状抱えている課題について紹介します。 バクラクとは bakuraku.jp バクラクは経費精算、稟議申請、法人カード、請求書処理など企業の支出関連業務をAIのサポートで簡易化、効率化するサービス群です。これにより企業は経理業務の労力を大幅に削減することが可能となります。 2021年1月に初のプロダクト「バクラク請求書受取」をリリース。その後は「バクラク申請」「バクラク経費精算」「バクラク請求書発行」「バクラクビジネスカード」「バクラク電子帳簿保存」と半年に1つのペースで新規プロダクトをリリース。現在は6つのプロダクトを提供し、それぞれが企業の経理業務を支援しています。2024年2月にはお陰様で導入社数が10,000社を突
三井物産デジタル・アセットマネジメントで、ガバナンス・コンプラエンジニアリングをしている 鈴木 (@ken5scal )です。 いきなりですが、ログ管理はどの職種どの場面でも重要です。セキュリティにおいても、古生代よりサーバー、ネットワーク機器、アプリケーションなどから出力されるログを一元的に収集し、監視や分析を行うことで、セキュリティインシデントの早期発見や対応、コンプライアンス要件の達成が可能になります。 このようなログ一元管理を実現する代表的なソリューションは、そう、皆様よくご存知のSIEM。我らが「Security Information and Event Management」であります。 私はSIEMを、新卒で入社した大手企業でSOC(Security Operation Center)として触れ、その後ユーザー企業でもOSSやAWS GuardDuty(?)などの形で利用す
こんにちは!たかぎわ @shun_tak と申します!バクラク事業で機械学習・データ領域のマネジメントを担当しています! 先日社内でChatGPT入門の勉強会を実施して、参加者からは好評だったので、資料をこちらで共有させてください!わりと社内資料そのままコピペです。 背景 羅針盤15を体現した例 早速やってみよう! ChatGPTを触り倒す Step1 : ChatGPTを開く (0min) Step2 : まずは挨拶してみよう! (5min) Step3 : Google検索の代わりに使ってみよう! (5min) 他のトピックも聞いてみよう! Step4 : ペルソナ設定済みのGPTを使ってみよう! (10min) まずはConsensusというGPTを使ってみましょう! ChatGPT Teamに加入していると、社内の人が作ったGPTにアクセスできます! わいまつさんが作った企業リサー
次のページ
このページを最初にブックマークしてみませんか?
『LayerX エンジニアブログ』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く