Databases
As well as working with local in-memory data like data frames and data tables, dplyr also works with remote on-disk data stored in databases. Generally, if your data fits in memory there is no advantage to putting it in a database: it will only be slower and more hassle. The reason you’d want to use dplyr with a database is because either your data is already in a database (and you don’t want to w
欠損値置換や因子ベクトル化をmutate_eachで - python, R, vimでデータマイニング
欠損値置換や因子ベクトル化をmutate_eachで kanosuke 2015年10月17日 Rでのデータ加工がいつも捗らなくて困っていた。 dplyrをより活用することでもっと効率的にしたい。 そのなかでもmutate_eachは使う場面が多そうなので慣れておきたい。 全変数を因子ベクトル化 例えば、カテゴリ型の変数名を指名して対象変数を因子ベクトルにしたいことは多い。 自作のコードが煩雑になり困っていた。 そこでdplyr:mutate_eachを使用してみる。 irisの全変数をfactorで因子ベクトル化する。 それから関数はmutate_eachとmutate_each_がある。 （違いは他を当たってください） library(dplyr) ## ## Attaching package: 'dplyr' ## ## 以下のオブジェクトは 'package:stats' からマ
dplyr : データベースを操作する — 苦労する遊び人の玩具箱 1 documentation
このページでは dplyr を使って sqlite のデータベースを操作します． dplyr のコンセプトはあらゆるデータ形式を統一的な文法で処理をすることです ので，ここに記述した内容は他のデータ形式（例えば, data.frame や:command:data.table ) でも使用可能です・ 私の手元にある一番アクセスのしやすいデータベースは CSJ RDB <http://www.ninjal.ac.jp/corpus_center/csj/data/rdb-outline/> なのでこれを利用します． このデータベースを使用するには登録が必要です． >>> library(dplyr) >>> csj_db <- src_sqlite("~/Documents/data/csj.db") >>> phoneme <- tbl(csj_db, "segPhoneme") >>>
週刊アスキーに「わくわくどうぶつパズルパレード」が紹介記事が掲載されました。 - GCO
週刊アスキーに「わくわくどうぶつパズルパレード」が紹介記事が掲載されました。 第３位となっております。 http://weekly.ascii.jp/elem/000/000/395/395599/ ありがとうございます。
[SQL]データの縦持ち、横持ちを入れ替える | DevelopersIO
はじめに 弊社のデータ分析案件において、RedshiftにてSQLを実行してデータを抽出することが増えてまいりました。SQLはデータの抽出には強力なのですが、JavaやRubyなどのプログラミング言語と比べると独特であることも事実です。 例えば(PL/SQLなどは除いてですが) ループがない 変数に代入して次の処理に行くことができない メソッドやクラスに処理を分割できない などです。 これらの特徴からSQLでデータ抽出を行う為には、JavaやRubyなどとは異なった手法を取る必要があります。そこで「JavaやRubyとかでは・・・というやり方でやるのだけど、SQLではどうやるのだろう」というケースについて、シリーズ形式で何回かに分けて取り上げたいと思います。 尚、SQLの基本的な構文(select、join、group byなど)については説明しません。またデータベースの種類に関わらず使用
![[SQL]データの縦持ち、横持ちを入れ替える | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/d9d7a9e19a3c5979fc0b83efa7beeec666f705bb/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2015%2F07%2Fsql.png)
SQLでデータベーステーブルの縦･横変換
2006年07月10日 クエリを思いつかなかった子のために。これはあくまでヒントだぞ。 以降の例では Oracle9iリリース２で説明しています。 データベースのテーブルには、何故か無駄に横長のものがあったりします。 ホスト時代のデータセットイメージをそのままテーブルフォーマットにしちゃったようなやつですね。項目名に「FILLER1」とか名前がついている（￣▽￣； こんなテーブルがあるとします。 SQL> DESC 売上ランキング横; 名前 NULL? 型 ---------------------------- -------- -------------------------- 売上年 VARCHAR2(4) １位製品 VARCHAR2(10) １位売上 NUMBER(5) ２位製品 VARCHAR2(10) ２位売上 NUMBER(5) ３位製品 VARCHAR2(10) ３位売上
テーブル構造を変更する(ALTER TABLE文)
テーブル名/インデックス名/カラム名を変更する(ALTER TABLE RENAME文) 作成済みのテーブルに対してテーブル名の変更やカラム名の変更を行うには ALTER TABLE RENAME 文を使います。書式は次の通りです。 テーブル名の変更 ALTER TABLE tbl_name RENAME [TO|AS] new_tbl_name インデックス名の変更 ALTER TABLE tbl_name RENAME INDEX old_index_name TO new_index_name カラム名の変更 ALTER TABLE tbl_name RENAME COLUMN old_col_name TO new_col_name
SELECT構文：レコードを選択する - 第3章 SQL構文 - [SMART]
顧客テーブルの性別には"男性"と"女性"という属性がありますが、ここでは、それらの値を数値に対応させてフィールドに格納しています。値が1の場合は男性、値が2の場合は女性を意味します。 性別のように、いくつかの決まった文字列が複数のレコードで繰り返し使われる場合、一般的に、その文字列を数値と対応させて、フィールドには数値の方を格納するといった方法がよく使われます。理由としては、文字列で管理するよりも、数値で管理したほうがデータ容量が少なくて済み、検索処理で発生する負荷を軽減させることができるからです。 SELECT命令文で全レコードを選択 SELECT命令文を使ってテーブルに登録された全レコードを選択する場合は、SELECTの後に続くアスタリスク( * )を指定し、FROMで表示対象のテーブル名を指定します。 SELECT * FROM テーブル名; アスタリスク( * )は全フィールドを意
![SELECT構文：レコードを選択する - 第3章 SQL構文 - [SMART]](https://cdn-ak-scissors.b.st-hatena.com/image/square/efeb6493234f33406d242c048873a805fca99c63/height=288;version=1;width=512/https%3A%2F%2Frfs.jp%2Fwp-content%2Fthemes%2Fsmart%2Fogpimage.png)
UNIQUEインデックスを作成する
対象となるカラムに重複した値が格納されているとユニークインデックスは作成することができません。またユニークインデックスを作成したあと、ユニークインデックスの対象となっているカラムに既に格納されている値を持つようなデータはテーブルに追加することができません。 複数のカラムの組み合わせに対してユニークインデックスを作成した場合には、それぞれのカラムの中では重複した値が含まれていても、指定した全てのカラムの値の組み合わせが重複していなければユニークインデックスを作成することができます。 それでは実際に試してみます。次のようなデータを持つテーブルの name カラムを対象にユニークインデックスを作成します。 name カラムにには現在重複した値が格納されていませんので name カラムを対象としたユニークインデックスを作成します。
テーブルから取得したデータを別のテーブルに追加
テーブルにデータを追加する場合、 INSERT 文でデータを指定して追加する方法の他に、他のテーブルに格納されているデータを SELECT 文で取得し追加することもできます。ここでは SQLite でテーブルから取得したデータを別のテーブルに追加する方法について解説します。
第4回 データベースの正規化｜OSS-DB入門｜OSS-DB道場｜受験対策｜DBスペシャリストを認定する資格 OSS-DB技術者認定試験
今回はデータベースの正規化について取り上げます。 PostgreSQL固有ではなく、RDBMS全般に関わる一般的なテーマですが、データベースを扱う上で重要な下地となる部分ですので、ぜひ基礎固めとしてご利用ください。「正規化」はOSS-DB Exam Silverの出題範囲にも含まれていますので、受験を考えている方も気を抜かずに取り組みましょう。 正規化とは データの重複をなくし整合的にデータを取り扱えるようにデータベースを設計することを、データベースの正規化と呼びます。正規化を行っておくと、データの追加・更新・削除などに伴うデータの不整合や喪失が起きるのを防ぎ、メンテナンスの効率を高めることができます。 正規化の段階には、第1～第5正規形およびボイスコッド正規形がありますが、ここでは、データベースを設計する際に一般的に用いられる第1～第3正規形までを、前回登場したテーブルをもとにして説明し
重複データを除外して取得(DISTINCT)
テーブルからデータを取得した時、まったく同じデータが含まれている場合がありますが、 DISTINCT を指定すると重複したデータを除外した上でデータを取得することができます。ここでは SQLite で DISTINCT を使って重複したデータを除外する方法について解説します。
Design Hints 設計のヒント
設計のヒント 設計の基本 SQL は非常に便利な上、データを格納しておく専用のソフトウェアだけあって、多量のデータの扱いは非常に得意です。しかし、それも適切に設計し、適切にコーディングした場合です。簡単に、そこら辺の説明をしたいと思います。 まず、よく言われることですが、データベースの設計だけが良くても、プログラムの設計だけが良くてもダメです。とはいっても、実際は全く同時に設計が行えるわけではありません。多くの場合、データベースの設計が出来ない限り、プログラムの設計は途中までしかできないからです。 データベースの設計は大きく分けて次の二点があります。 物理的な構成 内部オブジェクト（テーブルとか）の仕組み 物理的な構成とは、どのマシンで動かすか、からに始まり、データベースを格納するディレクトリをどこにするかといことまでです。現実的に、PostgreSQL はクラスタリング構成が出来ないので
SQLite Tutorial
Copyright (c) 2004 by Mike Chirico mchirico@users.sourceforge.net This material may be distributed only subject to the terms and conditions set forth in the Open Publication License v1.0, 8 June 1999 or later. The latest update of this document . Updated: Thu Jan 11 17:35:19 EST 2007 This article explores the power and simplicity of sqlite3, starting with common commands and triggers. It then cove
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
dplyr : データベースを操作する — 苦労する遊び人の玩具箱 1 ドキュメント
SELECT命令の結果をテーブルに追加する - 覚え書き ExcelVBAでデータベース操作
いぬごやねっと
データベース設計徹底指南
リレーショナル・データベースの世界
逆引きSQL構文集