Pythonで利用できるSQLのリネージュ分析ツール「SQLLineage」を試してみた | DevelopersIO
こんにちは！DA(データアナリティクス)事業本部 サービスソリューション部の大高です。 データウェアハウスにおいて、データを「あるテーブル」から「あるテーブル」へSQLで投入するときに「データの流れを知りたい」というケースがあります。これは一般的に「データカタログ」と呼ばれる製品の中の機能として存在する「データリネージュ」と呼ばれるものになります。 この「データリネージュ」に関して、Pythonで利用できるSQLリネージュ分析ツールとして「SQLLineage」というツールを見つけたので、試してみたいと思います。 前提 今回利用する環境は以下のような環境です。 MacOS Python 3.9.7 pyenv と Poetry を導入済み 事前準備 まずは適当なフォルダを作成して、Pythonの仮想環境を作成します。 私はpoetryを利用しているので、以下のように作成していますが、適宜必
RとQGISとPostgreSQLと - Ｒで統計解析して一儲けできるだろうか
FOSS4G Advent Calendar 2017 18日目の記事です。 毎年皆さま新しい技術記事のなか、今さらながらＲを始めたのでQGISのプラグインから使ってみた記事です。 R：オープンソースの統計解析向けプログラミング言語。初心者です。 QGIS：オープンソースのGISソフト。お世話になってます。 PostgreSQL：オープンソースのデータベースソフト。お世話になってます。 Python：いろいろ使えるスクリプト言語。チューニング次第で早くなったり遅くなったり。 で、この方々の関係がどうなっているかとゆうと R - QGIS プロセッシングでＲスクリプトを利用できる。 https://docs.qgis.org/2.18/ja/docs/training_manual/processing/r_intro.html R- PostgreSQL RPostgreSQLパッケージで
sqlmap を使って SQL インジェクションの脆弱性を検証する - CUBE SUGAR CONTAINER
sqlmap は SQL インジェクションに特化したオープンソースのペネトレーションテストツール。 これを使うと Web アプリケーションの特定のパラメータに SQL インジェクションの脆弱性があるか否かを確認しやすい。 注意: 外部のサーバに使うことは攻撃となるので絶対にしないように。 今回使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.12.6 BuildVersion: 16G29 $ sqlmap --version 1.1.8#stable $ python --version Python 2.7.10 インストール sqlmap は Homebrew でインストールできる。 $ brew install sqlmap これで sqlmap コマンドが使えるようになる。 $ sqlmap --vers
Python コードから PostgreSQL に可変な SQL 文を投げてみた | DevelopersIO
こんにちは、みかみです。 はじめに やりたいこと Python コードと SQL 文を分離したい テーブル名や指定条件などを動的にしてクエリを発行したい Python から可変な SQL を投げるにはどんな方法（ライブラリ）があるのか知りたい 確認環境 OS：Windows10（Mac VMware Fusion） Python：3.6.0 PostgreSQL：9.6.1（環境変数に PGPASSWORD 設定済み） 確認用データ準備 id と name カラムを持つ test テーブルを作成し、データを insert しました。 postgres=# create table test(id int, name varchar(20)); CREATE TABLE postgres=# \d test テーブル "public.test" 列 | 型 | 修飾語 ------+----
SQLライクな構文でTwitterにアクセスするtweeql | TRIVIAL TECHNOLOGIES 4 @ats のイクメン日記
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー tweeqlを使うとTwitterにSQLのような構文でアクセスできる。Pythonとeasy_installさえインストールされていれば，導入は簡単。 sudo easy_install tweeql のようにすればOK。 tweeqlはPythonのライブラリだけど，コマンドラインからも簡単に試せる。 動かすのに設定ファイルが必要なので，以下のようにして設定ファイルのひな形をダウンロードしておく。 wget http://github.com/marcua/tweeql/raw/master/settings.py.template -O settings.py その後，コマンドラ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
