「SQLアンチパターン」を避けるためのチェックリスト②（DB物理設計編） - log4ketancho
引き続き「SQLアンチパターン」について、自分なりのチェックポイントを言語化していきたいと思います。下記の記事の続きです。 www.ketancho.net 本題に入る前に、ふたつ。嬉しかったこととお詫び（？）を。 t_wada さんからコメントを頂けた😂 素晴らしいエントリをありがとうございます。『SQLアンチパターン』は名著であると胸を張って言えます。ご興味をお持ちの方はこの機会にぜひ。 / “「SQLアンチパターン」を避けるためのチェックリスト①（DB論理設計編） - log…” https://t.co/Vjj0Yh2cqU— Takuto Wada (@t_wada) 2018年3月8日 スーパーなエンジニアの方からコメントをいただけるなんてと、帰り道ニヤニヤしてましたｗ 色々拙い部分があると思いますが、自分の理解のために拙くてもいいので言語化を続けていこうと思っています。引き
RedshiftとBigQueryでよく使うSQLの違いTips - Gunosyデータ分析ブログ
データ分析部インターン生の小川です。インターンでは主に動画収集のロジック実装に取り組んでいました。 Gunosyではログの管理にRedshiftとBigQueryを使用しています。 サービスはAWS上で動いているものも多いので基本はRedshiftで、ログの量が多いものやアドホック分析に用いるものはBigQueryに格納しています。 この2つのサービスでSQLの書き方が微妙に異なるところがあり、もどかしい経験をしたので、今回は、よく使うSQLの文法でRedshiftとBigQueryで表現が異なる所をまとめてみようと思います。 BigQueryの導入についてはこちらの記事をご覧ください。 また、この記事ではBigQueryはStandard SQLで記述していきます。 data.gunosy.io 日付・時刻関数 現在時刻(UTC) 現在時刻(JST) 現在の日付(UTC) 現在の日付(J
ProxySQLをつかったRDSの切り替え - so what
ProxySQLとは ProxySQLはMySQL用のL7のプロキシサーバで、プロキシサーバのレイヤでR/W Splittingできたり、クエリの書き換えをできたり、負荷分散などができたりする便利ミドルウェアです。 www.proxysql.com Dropboxの中の人が書いているみたいで、Perconaの推しミドルウェアみたいです。（開発にも関わっているのかな？） あとQiitaにもいくつか記事が上がってます。 https://qiita.com/search?q=ProxySQL 設定の管理が結構独特で、MySQLっぽく振る舞うsqliteで管理されていて、動的にバックエンドのサーバを書き換えたりすることができます。設定まわりの概念的なものは『ProxySQL触ってみた - Qiita』がわかりやすいかも。 動的なバックエンドの切り替え 管理用インターフェースに対して、以下のようなク
SQL, Pandas, 関数型言語におけるそれぞれの集計・分析方法の比較と類似 - にほんごのれんしゅう
SQL, Pandas, 関数型言語におけるそれぞれの集計・分析方法の比較と類似 乱立するデータ集計技術 ビッグデータだの、人工知能だのバズワードが様々に叫ばれていますが、今でも主流はエクセルで分析しているということを聞いたりします。 エクセルを超えた量のデータを扱う時には綺麗に成型されている時に限り、SQLなどが使えますが、データが汚かったり、膨大な量になってくると関数型言語からヒントを得たMapReduce系の集計フレームワークが使われます。 また、さすがにVBScriptでデータ集計したくないという人もそれなりにいて、Excelのデータをpandasに投入して必要なデータを集計している人もいます。 昔からデータを貯める、分析するということを生業にしていた人は、ビッグデータの考えをそのままSQLを適応して、SQLで集計したりしています。 色々な集計方法が出てきた今、改めて、主に私の周り
BigQueryのおとーさん達、JordanとFelipeに話しを聞いてきた - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに これは2017/06/14のGoogle Cloud Community fes @ Google Cloud Next'17 Tokyoでの#bq_sushiにて開催されましたセッション『Jordan本人だけどなんか質問ある？』の内容となります。 端折っている部分や記憶が若干曖昧な部分、ごにょごにょもありますが、ご了承ください。 お題１：スロットとは何か？もう少し教えてください！あと、事前にTierを知る方法はありますか？ Jordanおとーさん： その質問は良く聞かれる。知りたい理由も知っている。 現在、1スロットに割り当
SQL Notebook
Open source app for casual data exploration in SQL Import your data from CSV, Excel, Microsoft SQL Server, PostgreSQL, and MySQL. Then use a Jupyter-style notebook interface for exploratory queries, and write stored procedures for reusable logic. SQL Notebook is powered by an extended SQLite engine, supporting both standard SQL queries and SQL Notebook-specific commands and functions. Download SQL
マイクロソフト、次期SQL Serverとなる「SQL Server 2017」発表。DBMS内でTensorFlowやCNTKなどのディープラーニングを実行可能に
SQL Server 2017ではグラフオブジェクト対応、過去の処理から学んで自己チューニングするAdaptive Query Processing、SQLクエリにPythonやRを組み込めるなどの新機能を備えています。Windows版とDocker対応を含むLinux版が同時にリリース予定です。リリース時期は未定。 グラフオブジェクトとクエリに対応したことで、ソーシャルネットワークの分析やIoTネットワークのモデリングなど、これまでのリレーショナルデータベースでは困難だった処理が容易になります。 ストアドプロシージャでディープラーニングを実行可能に 新機能のなかでも最大の特徴は、SQLクエリにPythonを組み込むことが可能になり、ストアドプロシージャのなかでTensorFlowやCNTKといったディープラーニングライブラリが実行可能になったことです。 マイクロソフトはSQL Serve
PostgreSQLで排他制約がめっちゃ便利！！ - そーだいなるらくがき帳
中国地方DB勉強会っていう控えめに言っても最高の勉強会があるんだけどそこで排他制約について教えてもらいました。 ikkitang1211.hatenablog.jp 排他制約って雑に説明すると重なりを拒否する制約です。 僕は使った事なかったのですが勉強会の中で事例紹介を受けて、めっちゃ便利だったのでここでご紹介します。 どんなときに使うの？ 実際にはどんなときに重なりを制御したいかというとよく使うのは次の2つ。 図面の重なり 時間の重なり 1つ目は幾何学的な図面を表現するときです。 実際にPostgreSQLは円や四角をSQLで表現できます。例えば地図上で特定の座標から半径100メートルの円を書き、その中に特定の円(場所)があればErrorにするような制約が書けます。 そもそもSQLで位置計算もめっちゃ便利なので是非使ってみてください。 soudai1025.blogspot.jp そして
SQLiteのクォートにまつわる奇妙な仕様
SQLiteでは、ISO SQL標準同様に、文字列リテラルはシングルクォートで囲み、識別子をクォートする場合は、ダブルクォートで囲むことになっています。 'foo' : 文字列リテラル "foo" : 識別子（テーブル名、列名等） しかし、マニュアルによると、SQLiteのクォーティングには例外があります。それを実例で紹介しましょぅ。まずは、実験の準備として、列 a だけを持つテーブル a を作成します。 $ sqlite3 test.db sqlite> CREATE TABLE a(a integer); sqlite> INSERT INTO a VALUES(1); sqlite> SELECT * FROM a; 1 sqlite> 続いて、以下を実行します。実行結果はどうなるでしょうか? sqlite> SELECT 'a', "a", [a], `a`, "aa" FROM
MySQLのレプリケーション手法の違い | Yakst
ソリューションエンジニアチームに所属する筆者が、今では様々な手法が存在するレプリケーション機能について、改めて特徴や注意点を解説しつつ、レプリケーションのよくある「誤解」に対してもお答えしています。 このブログ記事では、MySQL（および Percona Server）環境におけるレプリケーション手法に関して改めて考察を行いたいと思います。あわせて、時折見受けられるレプリケーションの間違った考え方についても考えてみます。 私がソリューションエンジニアとして働き始めてからというもの、沢山の情報が公開されているにも関わらず、レプリケーションに対する「誤解」や「不完全な理解」が無くならないことを日々感じていました。 そもそもレプリケーションとは何か？ レプリケーションは、1つのデータベースにデータを蓄積するだけでなく、別のデータベースにデータを複製し、転送することを保証してくれる機能です （複製
ディレクターがSQLを覚えて捗った話 | CyberAgent Developers Blog
こんにちは、サイバーエージェントのメディア広告部門、 通称MDHで開発局の局長をやっている小越と申します。 我々の部署は「メディアの為の広告テクノロジー」というミッションで 日々配信サーバーやDMPの開発を通じてメディアの広告収益を 上げる事を仕事にしています。 今回は、我々の部署で導入して、とても捗った話を紹介したいと思います。 ■何をやったのか？(やっているのか？) 簡単に言うと、(1)ディレクターがSQLを覚えて、(2)データ分析に 必要なデータ抽出はディレクターがやるというルールを導入し、 実際に運用しています。 導入前の課題、導入後の効果、 そしてそれから更に何が起こったかを順番に説明していきます。 ■導入前の課題 皆さんの開発組織では、PDCAサイクルはどのように回ってますか？ PDCAとは我々の部署では以下のような行為と定義付ける事ができます。 P:プラン データ分析や戦略策
Transactd 高速・高機能なNoSQLプラグイン
6. 予備知識 ISAM (1) Indexed Sequential Access 6 ISAM: Indexed Sequential Access Method インデックス順にアクセスする方式 MySQLの内部はISAMで処理している → MySQLを使う上でも大切な基礎 でも案外知らない人も多い 昔はみんな使っていたけど、今はSQLで隠蔽されている 7. 予備知識 ISAM (2) インデックスとアクセス 7 id name group 1 akio 3 2 yoko 1 3 naoko 2 4 takeshi 1 先頭 seekFirst 最後 seekLast 前後 seekNext (++) seekPrev (--) キー値 seekEqual (=) キー値の前後 seekLessThan (<=) seekGreater (>=) アクセスメソッド （カーソルの移動と
Oracle Database に 新しい元号(年号)「野球」を追加してみる。(NLSカレンダ・ユーティリティlxegen) ※2019/4/1追記：新元号「令和」の設定方法を追記 - ねら～ITエンジニア雑記
元号「野球」を Oracle Database に設定 時代は野球や！彡(ﾟ)(ﾟ) Oracle Database の NLSカレンダ・ユーティリティで 新しい元号(年号)「野球」を追加してみるやで。マニュアルは下記の通り。 Oracle Databaseグローバリゼーション・サポート・ガイド 12cリリース1 (12.1) B71319-05 12 ロケール・データのカスタマイズ NLSカレンダ・ユーティリティを使用したカレンダのカスタマイズ https://docs.oracle.com/cd/E57425_01/121/NLSPG/ch12custlocale.htm#GUID-8F9C2D9F-C6D0-447D-8780-33D6982D5B2C > Oracle Databaseは、複数のカレンダをサポートしています。 > 場合によっては、その中に、今後の元号の追加が必要なも
PostgreSQLで全角半角大文字小文字ひらがなカタカナを区別せず検索したい！というよくあるわがままに応える - ほんじゃらねっと
したいしたい！絶対したい！と駄々をこねられたので調査してみた。 こういった区別なし検索を実装する方法としてパッと思いつくのは、 あらかじめ検索対象となるカラムの検索用カラムを用意して、 データ変更時にトリガーで 元カラムの内容を半角小文字英数字カタカナに変換したデータが入るようにしておき、 検索時はその検索用カラムを使用する、という方法。 これはめんどくさそうだ。 SQL Serverは照合順序の設定で制御できるらしい。 照合順序と Unicode のサポート PostgreSQLも同じことができないかと調べてみたけど、対応してなさそう。 第22章 多言語対応 他に方法がないか調べてみると、 「式インデックス」を使って、自作の変換用関数で変換したデータを インデックスに登録しておく方法を試しているページがあった。 PostgreSQLで全角半角を区別しない問い合わせ この方法なら少なくとも
SQL でファイル検索するコマンド selects を書いた話 | blog.jxck.io
Intro UNIX コマンドを SQL で抽出できるツール qq を作った。 というエントリを読んで、そういえば似たようなものを作ってたなと思い出した。 自分の dotfiles の中にある、便利コマンド集の中にある selects についてである。 このコマンドは SQL という検索を記述的に表現する共通言語をファイル検索に応用し、 Ruby の動的言語として表現力を使って実装したものといえる。 その実装方法と実行例などについて記す。 selects 結論からいうとこういうコマンドだ。 $ selects mtime, size, basename from './entries/**/*' where extname '==' '.md' and size '>' 1000 order by mtime 2016-07-06 22:45:44 +0900 18437 web-font
それでは“ダメ”な「トラブル対応例」
本連載は、「Microsoft SQL Server」で発生するトラブルを「どんな方法で」「どのように」解決していくか、「SQL Serverで起こりがちなトラブル」を厳選して、具体的な対処方法を紹介していきます。第1回目は「トラブルを適切に対処するための考え方」を解説します。 連載バックナンバー 長年「Microsoft SQL Server（以下、SQL Server）」の運用、システム構築、サポートに携わってきた筆者にとって、SQL Serverは「設計や運用でエンジニアに大きな負担が掛からないよう考慮されている」と評価しています。しかし、さまざまな原因でトラブルが発生することもよくあります。 本連載では、そんなSQL Serverの管理者やエンジニアが「今すぐ解決できる」を主目的に、これまでの経験を生かした「トラブルシューティング」テクニックを余すところなく紹介していきます。なお、
マーケティング担当者にSQLを完全マスターさせた話 - Qiita
普段開発とかしない人達にもデータベースに簡単に触れられるようにしたお話です． 安全なデータベースを作る 本番サービスのデータベースと同等，だけど個人情報的なものは隠しておきたい，よく聞く話ですね． これについては様々なアプローチがあるようですが，できる限り安定させたい＆バッチでやるにしてもサーバの面倒を見たくない，とう方針のもと，RDSのスナップショットを利用して作成することにしました． 処理の流れ RDSが1日1回スナップショットを取っている(これはRDSの機能) RDSのスナップショットが取られると，RDSからイベント通知が投げられるので，SNS→SQSへ届くようにしておく(これもRDSの機能) CloudWatchでSQSのキュー数を監視するようにしておき，キューが1つ以上になると処理用のインスタンスを立ちあげる設定にしておく(CloudWatch，AutoScalingの機能) イ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PlaySQLAlchemy: SQLAlchemy入門
TechCrunch | Startup and Technology News
麻豆影视文化传媒app下载tⅴ 官网进入_麻豆影视文化传媒官网进入_麻豆影视下载_麻豆影院
