こんにちは!LayerXエンジニアの高際 @shun_tak です! この記事では、LayerX インボイスの請求書AI-OCRを支える非同期処理の仕組みについて解説したいと思います。 いきなりサマリーですが、今回お伝えしたいのは以下の2点です。 請求書は突然大量にアップロードされるので(大歓迎です!)、Amazon SQSとGoの machinery を活用して非同期処理しているよ! AI-OCRの処理は重たいけど、AWS Lambdaを活用してシステム全体の負荷を分散し、スケーラビリティと可用性を確保し、コストも抑えることができたよ! では早速ですが、前回のブログ LayerX インボイスにおける請求書AI-OCRの概要 の復習です。LayerX インボイスの請求書AI-OCRは、以下の図のように複数の処理によって構成されています。 図にするとあっさりしてますが、前処理も後処理も複数の
バーチャルの世界でもロマンチックな旅をしたい? 天まで届きそうな大きな水槽のワールド、ステンドグラスが素敵なダークファンタジーなワールド、あの国民的定番ボードゲームが遊べるワールドなど、今月のおススメをピックアップ! Aquarium 部屋一面に広がる大きなアクアリウム。 こちらのワールドは“水族館の最高峰”と呼ばれる『モントレーベイ水族館』をヒントに作られたワールドなんだそうです。 背丈をはるかに超える海藻、水槽内を自由に泳ぐジンベエザメ… そのスケールの大きさは圧巻です。 ワールドにはお魚は図鑑が置いてあるので 『今泳いでるお魚はこれじゃない?』なんて会話で盛り上がれそう。 ベッドやソファ、バスルームも併設されているので、魚たちが泳いでいる姿を見ながらくつろぐことが出来ます。 仲のいいお友達との雑談や、恋人同士でのリラックスタイムを過ごす空間として、何時いても飽きないワールドですね。
ブラウザにテキストファイルや画像ファイルをドラッグるすと、テキストや画像が表示され、URLが「file:///」で始まるのは皆さんご存知かと思います。 Windowsであれば、「file:///」「file:///C:/」と入力すれば、エクスプローラーのような表示を行うこともできます。 で、「何でスラッシュが3つ並んでるんだろう?」と疑問に感じていたものの、「まぁそういうものなんだろう」と、ほったらかしにしていました。 ということでこの疑問を解消すべく、「file:///」について真面目に調べてみました。 1.「file」について まず「file」は、ホストコンピュータ上でアクセス可能なファイルを示すもので、RFC1738(URL仕様)の3.10に以下の記載がありました。 3.10 FILES The file URL scheme is used to designate files a
今回はソケット通信の最終回ということで、Unixドメインソケットについて紹介します。 UnixドメインソケットはPOSIX系OSで提供されている機能です。 コンピュータ内部でしか使えない代わりに、高速に通信が行えます。 TCP型(ストリーム型)と、UDP型(データグラム型)の両方の使い方ができます。 WindowsではこのUnixドメインソケットをそのまま使うことはできません。 似た概念の機能として、「名前付きパイプ」というものが存在します。 以降の説明では、まずUnixドメインソケットについて説明したあとで、 Windowsの名前付きパイプについても説明します。 (Windowsメインの方は、前半のUnixドメインソケット固有の説明については軽く流して読んでください。) Unixドメインソケットの基本 TCPとUDPによるソケット通信は、外部のネットワークに繋がるインタフェースに接続しま
JavaScript チュートリアル: 初級編 JavaScript の基礎 JavaScript の第一歩 JavaScript の構成要素 JavaScript オブジェクト入門 JavaScript ガイド 入門編 文法とデータ型 制御フローとエラー処理 ループとイテレーター 関数 式と演算子 数と日付 テキスト処理 正規表現 インデックス付きコレクション キー付きコレクション オブジェクトを利用する Using classes プロミスの使用 イテレーターとジェネレーター メタプログラミング JavaScript モジュール 中級編 クライアントサイド JavaScript フレームワーク クライアントサイド Web API Language overview JavaScript のデータ構造 等値比較と同一性 プロパティの列挙可能性と所有権 クロージャ 上級編 継承とプロトタイ
AWSソリューションアーキテクト-アソシエイト認定試験を受験し、合格してきましたので対策方法など書き留めておきます。 対策としてはやや特殊というか中途半端かもしれません。 前提 AWSソリューションアーキテクト-アソシエイト 結果 私について 対策方法 実機学習 参考書による学習 公式模擬 公式ドキュメント WEB問題集 本番試験について 試験の流れ 出題傾向 まとめ 前提 AWSソリューションアーキテクト-アソシエイト 一番の注意点は今回私が受験してきたのは「2020年3月」までの試験ということです。 なので、この記事を作成してから同じバージョンを受験できるのは2か月のみしかないので、自分が受けようとしているのはどの試験なのか確認して詳細などについては必要に応じて別のソースも確認することを推奨します。 なお、今の時期に合格しても有効期間は3年みたいなので、情報が多く出回っている私と同じバ
先日のアップデートで AWS Glue がストリーミング ETL をサポートするようになりました! AWS Glue now supports serverless streaming ETL New – Serverless Streaming ETL with AWS Glue なにが嬉しいのか まず、AWS Glue?ナニソレ?という方は、是非、以下の再入門ブログをお読みください。 AWS Glue はフルマネージドでサーバーレスな ETL(抽出/変換/ロード)サービスですが、これまでデータソースとしては S3、RDS、Redshift・・・etc といったデータストレージのみが対象でした。そのため、Kinesis Data Streams や Apache Kafka といったストリーミングデータに対して Glue を組み込んだ ETL 処理は出来ませんでした。 従来であれば、例え
Sqliteviz is a single-page offline-first PWA for fully client-side visualisation of SQLite databases or CSV files. With sqliteviz you can: run SQL queries against a SQLite database and create Plotly charts and pivot tables based on the result sets import a CSV file into a SQLite database and visualize imported data export result set to CSV file manage inquiries and run them against different datab
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く