複数の企業でデータエンジニアとして求められたスキル - yasuhisa's blog
最近「ああ、これ前職でも前々職でもやったことあるなぁ」という仕事があった。データエンジニア(やその関連職種)として働き始めて約5年、3社でフルタイムとして働いてきて「このスキルは業界や組織規模が変わってもデータエンジニアとしてスキルを求められることが多いな」と感じたものをまとめてみることにした。棚卸し的な意味はあるが、特に転職用などではないです。 前提 どこでも必要とされたスキル データマネジメントに関する概要レベルの知識と実行力 セキュリティや法令に関する知識 事業ドメインに関する興味関心 他職種とのコミュニケーション能力 コスト管理 / コスト削減のスキル ソフトウェアエンジニアとしてのスキル DataOpsやアラートのハンドリング能力 分析用のSQLを書く力 古いテーブルやデータパイプラインを置き換えていくスキルや胆力 あるとやりやすいスキル 関連部署の動きを何となく把握しておく力
SHIFT the Oracle - Oracle DBA, Oracle SQL and PL/SQL Tips
Oracle DBA, Oracle SQL and PL/SQL Tips Top ｜ Knowledge｜ DB構築｜ 文字列関数｜ 日付関数｜ 集計関数｜ SQL関数（アルファベット順） SQL（抽出・更新）｜ SQL*Plus｜ PL/SQL｜ Utility｜ Structure｜ スキーマ｜ チューニング｜ 用語｜ 参考書 SHIFT the Oracle オラクルマスターの取得や業務でオラクルを使って開発しているシステムエンジニアを目指している人のためのサイト オラクル入門者向けの Oracle SQL 入門、PL/SQL プログラミングから初歩的なチューニング・運用に関する情報、SQL のリファレンスやサンプル、Oracle Tips を取り扱っています IT News Oracle Database 18c XE 公開 Oracle Database Blog 2018/
色々なPHPフレームワークのパフォーマンスを比較 - cakephperの日記(CakePHP, Laravel, PHP)
PHPフレームワークの速度比較では、HelloWorldを表示するのみの単純なアプリを用いた計測を元に比較表が作られることが多いです。特に後発のフレームワークは分かりやすい特徴付けとして速度をアピールする傾向にあるため、その比較表を元に N倍速いというアピールをしています。 PHPフレームワークを使うということは、DBまで絡めたWebアプリを作ることがほとんどなため、HelloWorldアプリの比較よりは、DBからレコード取得して表示するまでの処理速度を比較したほうがより現実に近い指標になると思います。特にCakePHP1系ではDBのデータ取得も独自ドライバになっていますし、モデルの処理も重いのでそこまで含めて他と比較したほうが良いと思ってます。 今回はDBから1レコード取得して表示するという簡単なアプリで各フレームワークの速度を評価しました。フレームワークに備わっているViewキャッシュ
ストアドプロシージャでシステムを構築するとDBサーバの負荷が増えるか - SQLer 生島勘富 のブログ
結論から書くとストアドプロシージャでシステムを構築するとDBサーバの負荷は減ります。WEBシステムと仮定してDBサーバとAPサーバの関係で書きますが、C/Sも同じになるので、C/Sで考える人は、APサーバをクライアントと置き換えて読んでください。 その理由は単純 極めて単純な話です。APサーバで処理しても、DBサーバで処理しても結果は同じになります。 つまり、システム全体で最低限行わなければならない処理量は同じなわけです。APサーバで処理してDBサーバの処理が減るならば、APサーバがDBサーバの処理を肩代わりしなければいけません。 APサーバが肩代わりできる処理 ・四則演算 ・ソート処理 ・マスタ類のキャッシュ（すればの話） APサーバが肩代わりさせるために増える処理 ・SQL文を大量に受け取るネットワークのコスト（AP/DB双方） ・SQL文を実行するためのオーバーヘッドの繰り返し ・A
第8回 Let's Master ストアド・プロシージャ！（前編）（1/4） - ＠IT
今回は、ASP.NETアプリケーションからストアド・プロシージャを実行する方法について紹介します。 ストアド・プロシージャ（Stored Procedure）とは、その名のとおり、データベース・サーバ上に保存（Stored）された一連の手続き（Procedure）のことです。ストアド・プロシージャは、データベース上で解析／コンパイル済みの状態で用意されていますので、実行時のオーバーヘッドを軽減することができます。 また、複雑なデータベース操作を実行する場合にも、データベース・サーバ内で処理を完結できるので、アプリケーション・サーバとデータベース・サーバとの通信量を軽減できるというメリットもあります。クライアントからテーブルを直接に操作させるのではなく、常にストアド・プロシージャからのみアクセスさせるようにすることで、予期せぬ操作を防ぐという、セキュリティ上の効果も考えられるでしょう。 スト
emacs 上で SQL をそれなりに整形する - わからん
動作サンプル ▼ こんな感じのログバッファで ▼ 確認したい SQL をリージョン選択し、M-x sqlf RET すると ▼ 整形される。必要ならアンドゥする。 説明 symfony.el で emacs の一時バッファで SQL を含むログを監視していて欲しかったので書いた、簡易 SQL 整形関数です。SQL のキーワードのあとに改行とスペースを挿入するしくみです。symfony.el 以外でのログ監視ができる拡張には詳しくないけど、需要がある気がします。 コード (defun sqlf (start end) "リージョンのSQLを整形する" (interactive "r") (let ((case-fold-search t)) (let* ((s (buffer-substring-no-properties start end)) (s (replace-regexp-in-
情報処理推進機構：情報セキュリティ：脆弱性対策：安全なウェブサイトの作り方
「安全なウェブサイトの作り方」は、IPAが届出(*1)を受けた脆弱性関連情報を基に、届出件数の多かった脆弱性や攻撃による影響度が大きい脆弱性を取り上げ、ウェブサイト開発者や運営者が適切なセキュリティを考慮したウェブサイトを作成するための資料です。 「安全なウェブサイトの作り方」改訂第7版の内容 第1章では、「ウェブアプリケーションのセキュリティ実装」として、SQLインジェクション 、OSコマンド・インジェクション やクロスサイト・スクリプティング 等11種類の脆弱性を取り上げ、それぞれの脆弱性で発生しうる脅威や特に注意が必要なウェブサイトの特徴等を解説し、脆弱性の原因そのものをなくす根本的な解決策、攻撃による影響の低減を期待できる対策を示しています。 第2章では、「ウェブサイトの安全性向上のための取り組み」として、ウェブサーバの運用に関する対策やウェブサイトにおけるパスワードの取扱いに関す
SQLのORDER BYにCASE式が使えてちょっと嬉しかったお話 - aike’s blog
SQLで検索結果をソートするときってorder by使うよね。でもさ、単純に大きい順とか五十音順とかじゃなくて、ひと工夫したいときってあるじゃないですか。 たとえば、国名のリストをアルファベット順でソートして一覧表示するけど、利便性を考えて日本は一番上に表示したい、とかね。 で、まあ、そういうときは表示順のソートキーを別項目として持ったりするのがいいんだろうなって思ってたんだけど、最近シンプルな解決策を教わりました。 select country_name from t_country order by case country_name when 'Japan' then 1 else 2 end, country_name ソートの第１条件として'Japan'かどうかを判断して、第２条件として国名を見る、という方法。 やー、SQLは奥が深いな。
Google Spreadsheets を簡易 SQL DB に！「Google Visualization API」 - WebOS Goodies
WebOS Goodies へようこそ！ WebOS はインターネットの未来形。あらゆる Web サイトが繋がり、共有し、協力して創り上げる、ひとつの巨大な情報システムです。そこでは、あらゆる情報がネットワーク上に蓄積され、我々はいつでも、どこからでも、多彩なデバイスを使ってそれらにアクセスできます。 WebOS Goodies は、さまざまな情報提供やツール開発を通して、そんな世界の実現に少しでも貢献するべく活動していきます。 皆さん、 Google Docs のガジェット機能はもう使ってみましたでしょうか。データをさまざまな方法で可視化するガジェットをシート上に配置できるというもので、このガジェットは自作することもできます（iGoogle ガジェットベース）。その際にスプレッドシートの情報を取得するために使われるのが、本日ご紹介する Google Visualization API で
MOONGIFT: » SQLiteをGUIで管理「SQLite Database Browser」:オープンソースを毎日紹介
SQLiteはDLLファイルだけですぐに利用できる簡易的なDBではあるが、思っているよりもしっかりと動作してくれる。 他のDBのようにインストールも手間もなくすぐに利用できるのが便利だ。最近はPHP5をインストールしているサーバも増えたので、ファイルをアップするだけですぐに利用できるというのも手軽でいい。 そんなSQLiteであるが、管理インタフェースは標準では用意されていない。普及のためには高機能、かつ手軽な管理インタフェースの存在は欠かせないだろう。 今回紹介するオープンソース・ソフトウェアはSQLite Database Browser、SQLiteをGUIで操作できるソフトウェアだ。 SQLite Database Browserを使うと、GUIベースでデータベースの作成はもちろん、テーブルの設計やデータの編集ができる。SQLを実行して結果を見ることも可能だ。もちろん、日本語に対応
SQLite ControlCenter 日本語版
SQL C Library の SQLite の DB を GUI で参照できるツール SQLiteCC (SQLite Control Center) を日本語化したものです．本家の SQLiteCC では対応していない SQLite3 のデータベースファイルも扱えます． 本家 SQLiteCC の特徴 新しいデータベースの作成，既存のデータベースファイルの作成が可能 表データ，フィールド，スキーマ，インデックス，トリガーを参照可能 グリッド上で表データを編集可能 文法解析によるハイライト可能なエディター搭載 日本語版の特徴 日本語表示できるようにしています 表に日本語 (UTF-8/Shift-JIS) が表示でき，表で直接変更する部分も日本語が通るようになっています クエリー部にも日本語が使えます． SQLiteCC3 系のデータベースファイルも操作可能． グリッドやエディタ部のフォ
SQLite入門:SQLiteのデータ型:SQLiteで利用可能なデータ型
テーブルには値を格納するためのカラムを定義しますが、どのカラムにどのような値を格納するかに応じてデータ型を指定することができます。ここでは SQLite のカラムで指定可能なデータ型について解説します。 格納される値のデータ型 多くのデータベースではカラム毎にデータ型を指定します。その為、カラム毎に格納できる値が決められています。SQLite3 ではテーブルを定義する時にカラム毎にデータ型を指定することは必須ではありません。データ型を指定しなかったカラムには色々な型の値が格納されることがあります。 ただデータ型を指定しなかった場合でもカラムに格納された値がどんなデータ型なのかは区別していて「NULL」「INTEGER」「REAL」「TEXT」「BLOB」の5種類のデータ型に分類します。 NULL NULL値 INTEGER 符号付整数。1, 2, 3, 4, 6, or 8 バイトで格納
つゆだくのSQLite
スポンサードリンク SQLite3をつかってみよう SQLiteとは http://www.sqlite.org/ には SQLite is a small C library that implements a self-contained, embeddable, zero-configuration SQL database engine SQLiteは、自己完結的で組み込み可能な設定が必要ないSQLデータベースエンジンを実装する小さなC libraryです とあります(訳は自分なりにがんばってみました)。 個人的には、SQLiteはDBが１つのファイルですので、"ファイルをSQLで操作するためのC library" というカンジです。 ライセンスはありません。パブリックドメインですので自由に使う事が可能です。 バージョンが2系と3系がありますが、今から使うのでしたら3系を使う
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - kripken/sql.js
リレーショナル・データベースの世界
IDEA * IDEA