はじめに こんにちは、GMOソリューションパートナーのTKです。 当社には、AWSの学習用のアカウントがあります。 今回はそれを活用して、ローカルのdocker環境上で動かしていたSeleniumを ECSのFargateで動作させてみることにしました。 構成 root ├ python │ └ Dockerfile │ └ requirements.txt │ └ script.py ├ selenium │ └ Dockerfile └ docker-compose.yml コード pythonディレクトリ配下 FROM python:3.12 ENV TZ Asia/Tokyo RUN apt-get update && \ apt-get install -y sudo vim && \ apt-get clean COPY ./ /app RUN pip install -r /
Gamedev in Lisp. Part 1: ECS and Metalinguistic Abstraction - cl-fast-ecs by Andrew
Gamedev in Lisp. Part 1: ECS and Metalinguistic Abstraction In this series of tutorials, we will delve into creating simple 2D games in Common Lisp. The result of the first part will be a development environment setup and a basic simulation displaying a 2D scene with a large number of physical objects. It is assumed that the reader is familiar with some high-level programming language, has a gener
Amazon Linux 2023.2 で zram swapping がサポートされました | DevelopersIO
2023年9月にリリースされた Amazon Linux 2023.2 で サポートされた新機能、 zram を利用した swapについて確認しました。 2023年3月にGAとなった Amazon Linux 2023、4半期毎のマイナーバージョンアップが計画されており、 2023年9月、新しいマイナーバージョン Amazon Linux 2023.2 がリリースされました。 今回 Amazon Linux 2023.2 で サポートされた新機能、 zram を利用した Swap について確認を試みる機会がありましたので、紹介させて頂きます。 Amazon Linux 2023 version 2023.2.20230920 release notes ZRAM Amazon Linux 2023.2 では、Fedora 33 以降でサポートされた zram を利用した Swap をサポー
はじめに PyAirbyteがリリースされました。(2024/03/16時点ではBeta版なのでご注意を) PyAirbyteはExtractのコネクタ部分をPythonのライブラリとして提供してPandasに格納するという機能を提供しているらしい。 つまり、BigQueryのクライアントと合わせればExtractとLoadの部分を過疎結合にしつつ、スケジューラーでPythonを呼び出すだけのシンプルなData Injest Pipelineを作ることが可能なのでは！？ということで検証します。 個人的に考えるData Injestツールの抱える課題点 FivetranのようなSaaSを使い始める際は規約確認や、契約がとても面倒 Airbyteは契約関連の面倒な部分は無いが、運用工数が大きすぎる worker, sever, temporal, api, dbなどなど(ちゃんと拡張性を考えて
UnstructuredでWebのURLもローカルのPDFも読み込める！ さらにユーザはpartition関数を呼ぶだけととっても簡単！ （arXivの論文を例に） - nikkie-ftnextの日記
はじめに #ラブライバーに見て欲しいアイマス公式絵 で涙腺崩壊😭😭 異次元フェスの余韻で夢見心地なnikkieです。 存在を知った興味深いライブラリの素振り（初手）です。 目次 はじめに 目次 Unstructured LangChainが使ってます1 partition 動作環境 WebのURLから ローカルのPDFから ファサードpartition 終わりに Unstructured We get your data LLM-ready 訳してみると「あなたのデータにLLMで使う準備を」といった感じでしょうか。 どんなソースのデータもUnstructuredで扱えるのが売りのようです。 80% of enterprise data exists in difficult-to-use formats like HTML, PDF, CSV, PNG, PPTX, and more.
Why I like Tcl
In this blurb, I'll try to convince you that Tcl isn't just an old clunky language for contrarian weirdos and that it is in fact (well, has become) a hidden gem for the power-hungry hacker who wants a simple (but not barren!) glue language, like a mix of sh and Scheme. Pros §Extremely consistent and elegant syntax described in 12 rules fitting in a short man page and no reserved keyword, nearing a
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ECS FargateでSeleniumを実行する
PyAirbyteで始める簡単Data Injest Pipeline