データベース事始め - Qiita
TensorFlowのような機械学習にはデータベースは必要不可欠です。ただ、このデータベースについての知識がゼロでしたので、まずはRDBMSからNewSQLまでの初心者向けの知識を簡単にまとめてみました。データベースに関わっている人からすれば当たり前の内容です RDBMS RDBMS(リレーショナルデータベース管理システム)は、下記のMySQLなどに代表されるRDB管理のための専用ソフトウェアです。RDBは、データを「行」と「列」からなる２次元の表（テーブル）形式で表し、複数の表と表の間でデータ同士を関連付け（リレーションシップ）を行うことができます。 MySQL PostgreSQL MariaDB Oracle Databasr SQL Server DB2 また、汎用的かつ高機能なSQLと呼ばれる言語が使用でき、ACIDなトランザクションが行えることが特徴です。ACIDとは、次の４つ
NoSQLについて勉強する。 - Qiita
と名だたるIT企業が立て続けにRDBMS製品をリリースし、この時期にリリースされた上記のDBによって現在のRDBMSシェアは9割を超えると言われています。 このように、多数のデータベース製品がリリースされた背景には、1970年～1990年頃においてビジネスフィールドへのITシステム導入が急速に進んだことがありました。 この時代ではまだ世の中はパソコン/インターネット時代には到達していないため、この時代のITの中心は正にこうしたデータベースによる情報管理そのものにあったと言っても過言ではありませんでした。 広義のDBMS(データベース管理システム)としてはリレーショナル型の他にネットワーク型、カード型、階層型などがありますがビジネスモデル(トランザクションの必要性など)に最もよく合致したのがRDBMSでした。RDBMSにおける"リレーショナル"とは 個々のデータ(レコード)がいくつか属性(カ
FirebaseのRealtime Databaseのざっくり概要 - Qiita
個人的に作っているアプリで簡単にリアルタイムにデータが同期される機構を組み込みたく調べていたところ、Firebaseにたどり着いたのでまずはざっくり概要をまとめました。 Firebaseとは Googleが運営しているMBaasです。 Firebaseの特徴としては、他のMBaasと同じ様に、オンラインでサインアップするだけで、オンラインのデータベースにデータを保存 / 取得ができることに加え、 HTML / CSS / JS / 画像などの静的ファイルをホスティングし、CDNを通じSSLで提供するとこまでを提供するFirebaseHostingやユーザーの行動を分析するFirebase Analyticsなど、Googleさまさま(?)な強力な機能も利用することができます。 Firebaseの機能一覧 サービス 概要 対応プラットフォーム
Mnesia の同期テストを slave モジュール使って行う - Qiita
環境 Mac OS X 10.9.4 Erlang/OTP 17.1 概要 Erlang VM を複数立てて、Mnesia の同期テストを CommonTest ではなく EUnit ではどうやるのか調べていたところ slave モジュールを使えばよいという事だったので、slave モジュールを使ってみることにした。 CommonTest には ct_slave という専用モジュールがある模様。 フロー ノード名を自分に付けます net_kernel:start/1 クッキーをセットします erlang:set_cookie/2 ノードを 3 つ起動します slave:start/3 -setcookie でクッキーを指定する 3 ノード全てで mnesia を起動します mnesia:start/0 1 ノードに対してテーブルを生成します mnesia:create_table/2 テー
mnesiaをelixirから使ってみる - Qiita
はじめに 本記事はElixir Advent Calendar 2017の21日目です。 mnesiaはErlang/OTPについてくる高速、高可用性が売りのRDBMSです。 今回はこれをElixirで少し便利に使ってみようという話です。Elixir特有というよりmnesia特有の話かつhow to的なものになっています。内容は - テーブルの作成 - 分散モードへの移行とレプリケーションの構成 - 障害復旧方法 - シャーディング その他曰く云い難い何かになります。 分散モード elixir/erlangランタイムOSプロセス(群)はノードと呼ばれ、スタンドアローンと分散の二つのモードがあり、分散モードのノードはさらに、ホスト内で有効なショートネームとホストを超えて有効なロングネームのモードがあります。 モードの切り替えは、
Redis ClusterのマネジメントツールReddieがすごい - Qiita
Reddieとは 2017年8月17日にbeta版がリリースされた、マネジメントツール(公式的にはcompanion app)。 https://get-reddie.com/ twitter: https://twitter.com/ReddieApp 何が出来るのか トップページに動画のデモがあるので、それを見てみるのがオススメです またDEMOページでは、実際に動かすことも出来ます Redis Clusterのmaster-slaveを可視化できる Drag&Dropでslaveの付け替えが出来る 新規にnodeを追加できる Web上から全nodeの設定変更が出来る Web上からリシャーディングが出来る Web上からSLOWLOGが見える 死活監視やメモリやNW IOなどのリアルタイム可視化 個人的嬉しポイント 認証付きのRedis Clsuterにも対応している 公式のredis-
redis_storeを使っているときRails.cache.clearはDBをまるまる吹っ飛ばすから注意 - Qiita
... ... config.cache_store = :redis_store, { url: 'redis://localhost', port: 6379, db: 0 } ... ... # 書き込み > Rails.cache.write('aaa', 'aaa') => "OK" > Redis.current.with { |redis| redis.set('bbb', 'bbb') } => "OK" # 読み込み > Rails.cache.read('aaa') => 'aaa' > Redis.current.with { |redis| redis.get('bbb') } => 'bbb' # キャッシュクリア後読み込み > Rails.cache.clear => nil > Rails.cache.read('aaa') => nil > Redis.cu
ドキュメント指向DBの論理的側面と物理的制約 - DDDと絡めて - Qiita
この記事のモチベーション RDB(Relational DataBase)の歴史は長く、ノウハウも蓄積されている。 関係代数という学問もあるなどアカデミックにも研究されており、 国家資格である「データベーススペシャリスト」も、ほとんどこのRDBのことを扱うなど、 RDBは一定の体系が確立した技術と言える。 一方で、2010年ごろより広まったNoSQL、特にドキュメント指向DBに関しては、 当然ながらRDBに比べると未成熟な段階であろう。 また主観だが、NoSQLは、スケーラビリティといった物理的側面にfocusが当たることが多かったのではと思う。 一方で、論理的側面 = モデリング に関して、および物理的側面と論理的側面のトレードオフの関係について、 議論されつくされているとは言えない。 本稿では、DDD(ドメイン駆動設計)というプログラミングの論理的側面の手法を、 各DBがいかに扱えるか
Redis 4.0の目玉機能解説 - Qiita
redis 4.0 GA release ついに昨日(2017/07/15)に、redis 4.0のstableがリリースされました。 今までのredisと何が変わったのか？というのを、軽くまとめたいと思います。 間違いなどありましたら、指摘いただけると幸いです。 前回のqiita記事 プロダクションで2年間RedisClusterを運用してみて release notes 一部抜粋すると Note that 4.0 is probably one of the most extreme releases of Redis ever made in terms of changes inside the internals: all the aggregated data types no longer use Redis Objects structures but directly S
AWS Lambda & DynamoDBのベストプラクティスを求めて - Qiita
こんにちはsekitakaです。 serverlessな環境での開発も随分慣れてきましたが、コードの再利用性についてどうしようか悩んでいるので考えたこと&暫定結論を公開します。 ベストプラクティスを模索中なのでコメントでの議論も大歓迎です。 前提条件 共通するDynamoDBのテーブル(例:User)を参照する3つのプロジェクトがある。 プロジェクトP1 プロジェクトP2 プロジェクトJ1 以下のような状況になっている。 プロジェクトP1には既にUserデータのデータを取得する関数がある プロジェクトP1,P2はPythonで実装されており、プロジェクトJ1はJavaScriptで実装されている。 プロジェクトは全てLambda関数郡としてデプロイされる。 お題 Userテーブルからのデータ取得を各プロジェクトに組み込むにはどんな方法がよいか考える 案 案1 - 車輪の再発明を恐れない 各
DynamoDB Streamのデータをsocket.ioを使ってブラウザに流す - Qiita
やること TwitterのストリームデータをKinesisを経由してDynamoDBに保存します。 DynamoDB Streamにデータを流し、ブラウザでストリームデータを可視化する 構成図 Twitter Stream → Kinesis → DynamoDB AWS Lambda Reference Architecture: Real-time Stream Processing awslabsのアカウントにそのままやりたいことがありました。動かすとKinesisにデータを流して、キャプチャの通りDynamoDBにデータを保存してくれます。 DynamoDB → DynamoDB Stream → Lambda → SNS http Notification DynamoDB Streamの有効化 キャプチャの箇所からDynamoDB Streamを有効化します トリガーを有効化し
なぜ私のredisはこんなにも遅かったのか - Qiita
RedisってKVSやしチョー早いんやろ？ と、そう思っていた時期が私にもありました。 Redisを利用する上で、適切に利用しないと性能が1/10以下に陥ってしまいます。 この記事では、redisの性能を発揮する実装と発揮できない実装で性能測定を行いました。 結論 最初に結論 Redisの読み書きはmget/msetなどの複数のデータを一度に読み書きするコマンドを用いることで本来の性能が発揮できる。 逆に単純にforを用いてget/setなどのコマンドで１件単位でループを回すと大きな性能劣化が発生する。 環境 python3で計測します。 redisはdockerで動かしました。 $ docker run --name redis -d -p 6379:6379 redis:3.2.8 $ redis-cli 127.0.0.1:6379> ping redis-cliは別途インストールし
[ AWS ] 初めてLambda-PythonとDynamoDBに触る人に参考になるかもな話 - Qiita
はじめに 最近サーバレスアーキテクチャに興味を持っています。以下2エントリーはGoogle Apps ScriptでJava Scriptを使った時の記事ですが、今回はAWS上のLambdaを使って、サーバーレスでPythonコードを実行させることをやっていきたいと思います。記事の内容は、Pythonほぼ初めまして&&AWSほぼ初めましての人が、LambdaとDynamoDBでいろいろできるようになるまでの記録を書いていきます。 また最初AWS分かんなさすぎて最初は絶望していたし、Lambdaはエラー出まくって初見殺しだし、Python興味はあるけど使ったこと少なめと、かなり初心者目線で記事を書いていきたいと思ってます。写真多め、初心者がわかる程度の内容を、ひとつずつ書いていく感じですので、PythonistとAWS上級者の方は新しいことはないかと思いますが、どうぞよろしくお願いします。
![[ AWS ] 初めてLambda-PythonとDynamoDBに触る人に参考になるかもな話 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/f8ed2a0f7eabbe01aefae28e920b64d957e53f61/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJTIwQVdTJTIwJTVEJTIwJUU1JTg4JTlEJUUzJTgyJTgxJUUzJTgxJUE2TGFtYmRhLVB5dGhvbiVFMyU4MSVBOER5bmFtb0RCJUUzJTgxJUFCJUU4JUE3JUE2JUUzJTgyJThCJUU0JUJBJUJBJUUzJTgxJUFCJUU1JThGJTgyJUU4JTgwJTgzJUUzJTgxJUFCJUUzJTgxJUFBJUUzJTgyJThCJUUzJTgxJThCJUUzJTgyJTgyJUUzJTgxJUFBJUU4JUE5JUIxJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz01OGMwNjg2NzE4NTA5M2U2Nzc4Nzc0MzQxOTgzZjBkMg%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB5a2hpcmFvJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0xNGJiZDgzOTg5Yjg3MGYwMDE1MDhhZTFlN2QxOTU5NA%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Da1146732dec048732bec38e9517ece31)
開発基盤チームが目指す事 #pixiv_night - Qiita
（当日はesaのプレゼンテーションモードで発表しました） （pixiv night in Fukuoka #02 - ピクシブを取り巻く技術がわかる一夜！ - connpass の発表資料です） 自己紹介 各種SNSをcatatsuyでやっている かたついと呼ばれることが多い ピクシブ株式会社で開発基盤チームと広告チームの兼任 2014年度新卒（2013/10入社） pixivの技術的な改善が主な業務（後で詳しく） 単著『pixivエンジニアが教えるプログラミング入門（星海社新書） ピクシブ社内の非エンジニア向けのプログラミング研修の書籍化 pixiv社内ISUCONやISUCON6本選の問題作成 pixivのチーム分け pixivというサービスは巨大 www.pixiv.net/touch.pixiv.net/スマートフォン用APIなどなど 提供しているサービスも多い pixivという1
AWS+Serverless+DynamoDB+APIGateway+Lambdaでアプリ用サーバーAPIを簡単？に作成する - Qiita
.... provider: name: aws runtime: nodejs4.3 iamRoleStatements: # ロールを新たに追加します - Effect: Allow Action: - dynamodb:DescribeTable - dynamodb:Query - dynamodb:Scan - dynamodb:GetItem - dynamodb:PutItem - dynamodb:UpdateItem - dynamodb:DeleteItem Resource: "arn:aws:dynamodb:us-east-1:*:table/dev-test-*" #us-east-1リージョンの dev-test-なんたらってテーブル全部に権限あたえますよって感じ functions: hello: handler: handler.hello userCre
ScrapyCloud + DynamoDBでサーバーレス・スクレイピング - Qiita
はじめに スクレイピングの本を読んで何かしたいなーと思ったので、その成果とやったことをまとめました。 主にはScrapyCloudの設定を書いています。 コード https://github.com/mishan88/trpgLetter やりたかったこと 某アナログゲームの"公式"の更新情報が知りたい！（Twitterとかはあるけど、シート類は公式ページにしかないので） RSSすらないサイトも多いのでスクレイピングしよう 最近流行りのサーバーレスで動かしたい インスタンスを24時間動かすのはコストがかかるので 全体概要 クローリング・スクレイピング ： Scrapy + Scrapy Cloud DB : DynamoDB TODO: DynamoDBの更新情報をLambdaで受け取り、どこかに投稿 Oauthの認証周りが理解できていないので時間がかかりそう 手順 Scrapyをローカル
データベースとしてのElasticsearch - Qiita
はじめに Elasticsearchはスケーラビリティに優れた全文検索エンジンですが、Relational Database(以下RDB)が持つ汎用性や機能の豊富さも追求しているように思います。この記事ではRDBの基本機能がどこまでElasticsearchで実現できるかをまとめました。データベースの知識だけで、全文検索を知らなかった私がElasticsearchを勉強し始めた頃に意外に感じた事を中心に両者の違いを比較しています。APIについては言語ごとの違いは言及せず、REST APIについてのみ述べています。特にバージョンの記述がない場合はElasticsearch 5.1を前提にしています。RDBは近年ポピュラーなOracle, SQLServer, DB2, Sybase, PostgreSQL, MySQLなどが準拠しているSQL92標準を前提としています。 基本的な違い RDB
Redis の Sorted Sets でランダムにメンバーを取得する - Qiita
Happy Elements 株式会社 カカリアスタジオ Advent Calendar 2016 19日目の記事です。 概要 自分の所属チームのアプリではユーザーランキングの実装に Redis の Sorted Sets を使用しています。Redis についての基本的な解説は別の記事に譲り、この記事ではそのスクリプティング機能（EVAL コマンド）を使った実装について紹介します。 以下のような状況を考えます。（架空の設定です） 100万人のユーザーがそれぞれ自分のスコアを持っており、それによってリアルタイムにランキングされています。スコアはユーザー同士のバトルによって変化します。例えば自分より大きなスコアのユーザーに勝利すれば自分のスコアが大きく加算され、小さなユーザーに勝利すれば小さく加算されます。対戦相手の選択には自分と同程度のスコアをもったユーザーを選択するのが望ましく、また、毎回
今更 DynamoDB 入門 - Qiita
あいさつ Serverless(2) Advent Calendar 2016 15日目の記事です。 こんにちは。GS2 CEO の丹羽(@kazutomo)です。 サーバレスアーキテクチャでゲームサーバを開発し、AWSのサービスのように1時間あたり数円〜利用できる Game Server Services を提供しています。 このシステムのバックエンドDBの多くには DynamoDB を利用しており、サーバレスアーキテクチャと DynamoDB は切っても切り離せない関係にあると感じています。 これからサーバレスアーキテクチャを勉強しようと思っている皆さんの中には 「まだDynamoDBとかよくわかってないんだよなあ」 という人も多くいらっしゃるとおもいます。 この記事ではプログラムのコードを示して使い方を説明するというよりは、 DynamoDB とはどういうものか？どういうことに気をつ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Memcached, MongoDB, Redis, DynamoDB 簡易比較 - Qiita
