ドキュメントファイルの解析と変換に特化したオープンソースツール「docling」を試してみた | DevelopersIO
AWS事業本部コンサルティング部の石川です。最近、文書ファイルの解析と変換に特化した オープンソースツール「docling」 が注目を集めています。このツールは、最先端のAIモデルを活用して、ドキュメントの構造を理解し、様々な形式に変換することができます。今回、実際にdoclingを使用して日本語のドキュメントファイルからMarkdownファイルとJSONファイルへ変換を試してみます。 doclingとは doclingは、ドキュメントの変換と解析に特化したオープンソースのPythonパッケージです。最先端の人工知能モデルを活用し、レイアウト解析にDocLayNetモデル、表構造認識にTableFormerモデルを使用しています。一般的なハードウェアで効率的に動作し、少ないリソースで高性能を発揮します。JSONやMarkdown形式への変換が可能で、拡張性も高く、新機能やモデルの追加が容易
神奈川県立高校ネット出願システムのGmail到達性問題、改めて深堀りしてみた | DevelopersIO
神奈川県ネット出願システムのGmailへのメール到達性問題は、不適切なサーバー設定、大量メール送信、DNSミス、バウンスメール処理不備、急激な送信量増加、準備不足、新ドメインの低信頼性が複合的に作用して発生したと推測されます。 2024年1月、神奈川県のネット出願システムでGmailにメールが届かないトラブルが発生しました。 身内が受験するため、出願システムのトラブルに巻き込まれた当事者として原因調査を試みていました。 先日『日経クロステック』より、本件について取材を受ける機会がありました。 取材協力した記事で取り上げられた問題について、さらに深堀り、詳細な分析を行った内容を以下に紹介いたします。 問題の概要 概要 志願者登録時、二次元コード読み取りと空メール送信が必要 "@gmail.com"アドレスへの返信メールが届かない不具合発生 原因 システムのメールサーバ設定が不十分 大量メール
C言語のアロー演算子ってどこまで繋げられるんだろうか | DevelopersIO
#include<stdio.h> #include<stdlib.h> struct PointerLimit{ struct PointerLimit* next; int value; } typedef PointerLimit; PointerLimit* getTail(PointerLimit* base){ while(base->next != NULL){ base = base->next; } return base; } PointerLimit* add(PointerLimit* base, int value){ PointerLimit* new = (PointerLimit*)malloc(sizeof(PointerLimit)); new->value = value; new->next = NULL; PointerLimit* tail =
[Python] 図を見て理解するPythonの集合型演算 | DevelopersIO
こんにちは。サービス開発室の武田です。 プログラミング言語にはデータ構造がありますね。代表的なものとしては配列があり、リスト、連想配列、そしてセットがあります。連想配列は言語によって、辞書とかマップとかハッシュなどとも呼ばれたりします。またこれらは複数の値をまとめて管理できるためコレクションあるいはコンテナと呼ばれることもあります。 Pythonでは組込み型のコレクションとしてリスト、タプル、辞書、セットなどを提供していますが、特にセットの知名度が低いと感じています。セットは 集合型 と訳されますが、いわゆる 数学の集合 の概念で値を操作できる型です。集合といえば ベン図 ですよね。そんなわけで、目で見て操作の概要を把握しましょう。 なお操作全般についてはこちらのエントリにまとまっていますので、こちらも参考にしてください。 真偽判定 2つの集合の関係について真偽判定をします。 isdisj
![[Python] 図を見て理解するPythonの集合型演算 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/47371cd63121a4cc67ed74841e706530c7e548f8/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Fpython.png)
1Passwordを利用したSSH時のToo many authentication failuresを回避する | DevelopersIO
SSHキーを1Passwordに保存しておき、 ~/.ssh/configに IdentityAgent "~/Library/Group Containers/2BUA8C4S2C.com.1Password/t/agent.sock" という設定を書いておくと秘密鍵を1Passwordから出すことなくサーバに接続することができます。 こちらの内容については下記ブログなどをご参照ください。 https://dev.classmethod.jp/articles/1Password-git-ssh/ 私はこの方法を愛用していたのですが、 ある日次のエラーが出るようになりました。 Received disconnect from UNKNOWN port 65535:2: Too many authentication failures Disconnected from UNKNOWN p
メール診断ツール「mail-tester」でGmailに届かない神奈川県立高校の出願システムのメールを診断してみた | DevelopersIO
迷惑メール判定サービスの mail-tester を利用して神奈川高校入試出願サイトのメールを診断。 SPF、DKIM、DMARCなど送信者ドメイン認証や、SPAM判定される要素が無い満点の診断結果であっても、Gmailにメールが届かない原因を推察してみました。 神奈川県立高校の入試出願システムで、Gmailへメールが届かない問題が再発しました。 令和6年1月24日14時掲載(第1報(新)) 本日より募集期間となりましたが、@gmail.comのメールアドレスのみを登録している志願者に、出願システムからのメールが遅延している、あるいは届かない不具合が発生しています 神奈川県公立高等学校入学者選抜インターネット出願システムの稼動状況について 以前、出願システムから送信されるメールにYahooメール、Gmailに届いたメールより、送信者ドメイン認証などは正しい事を確認できていました。 Gmai
Gmailに届かない神奈川県立高校入試のインターネット出願システムのメールを調べてみた | DevelopersIO
Gmailに届かないと報告されている2024年神奈川県立高校入試の出願システム自動返信メール、 2024年1月15日にYahooメールに届いたメールヘッダー情報などから、送信ドメイン認証(SPF、DKIM、DMARC)の確認を試みました。 2024年2月の神奈川県立高校の受験を予定している家族から、 "インターネット出願システムの登録を試みたが、システムからの返信メールがGmailのアドレスが届かないため、代わりにYahooメールを利用した。" との報告を受けました。 今回、2024年1月15日にYahooメールで受信したインターネット出願システムのメールを調査する機会がありましたので、紹介させて頂きます。 2024年1月19日 追記 ネット出願システムの不具合解消後のメールの調査結果を公開しました。 2024年1月18日 追記 ネット出願システムのメールサーバ側の問題について調査結果を公
【レポート】インフラエンジニアは働かない～AWSのフルマネージドサービスでメンテフリーになるまで～ #AWSSummit | DevelopersIO
DA事業本部の春田です。 AWS Summit Online絶賛開催中！ということで、本記事では「CUS-60: インフラエンジニアは働かない～AWSのフルマネージドサービスでメンテフリーになるまで～」の内容についてまとめていきます。 セッション情報 株式会社カプコン システム開発部 中村 一樹 氏 株式会社カプコン システム開発部 中島 淳平 氏 DL数500万を超える大型タイトル、モンスターハンターライダーズ。 メンテフリー、省コスト、最先端、をテーマにしたカプコン史上最大のインフラアーキテクチャはどの様に設計され、どう運用されているのか。コンテナって実際どうなの、Kubernetes？ECS？RDBMSを使わずしてサービスを提供することは可能？大量アクセスにより生成されるログを安全に回収するにはどうする？実際に運用してみた経験や事例を踏まえて、カプコンの考えるクラウドネイティブ時代の
テレワークの準備 AWS Client VPNを使って社内システム利用環境を整える | DevelopersIO
こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きな吉井 亮です。 急な全社的なテレワークが決まり慌ただしくなっている情報システム部門の方々へ向けて 前回は WorkSpaces を経由してオンプレミスのシステムへ接続する方法を紹介しました。 今回は同じ考え方で Client VPN を使った方法を紹介します。 社内に VPN 設備がない、または、設備はあるが全社員のアクセス数に耐えられるか不安といった悩みを解決します。 既存のオンプレミス VPN を使う社員、Client VPN を使う社員を振り分けるためのアイデアになれば幸いです。 何をするのか Client VPN 接続後のインターネットアクセスを NAT GW 経由にします。 このようにすることで Clinet VPN へ接続した PC からのアウトバウンド IP
リモートワークがごっつはかどる機器の紹介 | DevelopersIO
「みなさん、リモートワークしてますか？」 クラスメソッドでは、基本的に働く場所についての制約がなく、やることやっていればそれが雪山の上だろうが夢の国だろうが関係ありません。やることやってればですが。全ては自己責任の世界。 自分も子供がたまに熱をだして看病が必要なときや、私用で出社が難しいときなどは積極的にリモートワーク活用しています。リモートワーク制度、非常にありがたいのですが、家でオフィスと同じかそれ以上の生産性だすためにはそれなりの準備も必要です。 この記事では、クラスメソッドに入社して2年の自分が、そのリモートワーク歴の中で「おー、これはあったら便利やん」と思ったものをモノ中心で紹介していきます。皆さんのリモートワークの参考になればええと思います！ この記事はガジェ獣 Advent Calendar 2019 - Adventar18日目の記事です！ （祭） ∧ ∧ Y ( ﾟДﾟ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
