NewSQL 2020年前半のリリースを振り返る - Qiita
上表の「特徴的な追加/改善内容」の列を見てもらうと分かる通り、下記3つのポイントが機能改善の傾向として共通している（なお、YugabyteDBは2020年2月に2.1をリリース済で2.2の差分が小さい）。 OLAP向け機能の強化（カラムナストア、ベクター化実行） 悲観的ロックのサポート バックアップとリカバリの機能強化 それぞれがどんな意図を持って追加されたのか、次節以降で私なりに解説をしていく。 1. OLAP向け機能強化 このテーマについて議論する前に一つ触れるべきなのは、 「NewSQLは分析系クエリ、つまりOLAP処理に適しているのか？」 という疑問である。 個人的にこれに回答するならば、現時点では"No"となる。 シンプルな言い方をすればRedshiftやBigQuery、最近であればSnowflakeなど分析クエリを専門とするデータベースとは方向性が異なり、まともには競えない。
[#JTF2020 解説版]理解して拡げる 分散システムの基礎知識 - Qiita
はじめに July Tech Festa 2020において、「マイクロサービスの今だからこそ！理解して拡げる 分散システムの基礎知識」のタイトルで登壇をしてきました。スライドはこちらにありますが、資料内や当日のトークで話せていない部分を含めて、こちらでblogとして解説をしておきたいと思います。 1. セッションの導入 - 新たなムチャブリ - 今回は昨年の#JTF2019で私が話した、「Cloud Native開発者のためのDatabase with Kubernetes」からの続編という形にしてみました。 昨年は、 「せっかくKubernetesを使うのにアプリケーションだけじゃもったいない。 DB、そしてステートフルなワークロードにも適用していきましょう」 という話をしましたが、Kubernetes-native Testbedなど、そうした取り組みが増えつつある傾向にはとても興味を
![[#JTF2020 解説版]理解して拡げる 分散システムの基礎知識 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/540dafbb2d21efa93f97eb638299552222ffcfa6/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJTIzSlRGMjAyMCUyMCVFOCVBNyVBMyVFOCVBQSVBQyVFNyU4OSU4OCU1RCVFNyU5MCU4NiVFOCVBNyVBMyVFMyU4MSU5NyVFMyU4MSVBNiVFNiU4QiVBMSVFMyU4MSU5MiVFMyU4MiU4QiUyMCVFNSU4OCU4NiVFNiU5NSVBMyVFMyU4MiVCNyVFMyU4MiVCOSVFMyU4MyU4NiVFMyU4MyVBMCVFMyU4MSVBRSVFNSU5RiVCQSVFNyVBNCU4RSVFNyU5RiVBNSVFOCVBRCU5OCZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9YzUyZmQxMmVmNzQ0Njk3MmZkNTE4MTFjNjU5NjFjNWM%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB0emtvYmEmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTUwYjMwODQ5NTExOTRhNGNmZTJlYjc4ZmFkZDY4MTkw%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D6745e3ed7f05f6f48209356eaa985cd6)
CNDT2020のCFPダッシュボードを作ってみた - Qiita
CNDT2020のCFPを確認しよう 2020年9月8日-9日にオンラインで開催されるCloudNativeDays Tokyo 2020のCFPが出揃いました。 このカンファレンスでは全てのCFPをこちらから確認することが出来ます。今年も続く素晴らしいポリシーだと思います。そして、好きなCFPを「いいね」や「リツイート」で応援することが出来ます。 もちろん、応援したら結果も気になりますよね？ それを確認するためにダッシュボード的にツイートを並べてみました。CFP応募数が 77 件だそうでまさか1ブログに納まりきらない！むりやり詰め込みますが。 実は昨年も同じことをやっています。比べてみたいという方はこちらも見てみて下さい。 CFP紹介ツイート(update 6/1 23:00) #CNDT2020@tjun による「メルペイにおけるマイクロサービス運用の苦労と改善」を受け付けました。この
NewSQLのコンポーネント詳解 - Qiita
4.2.1 Shardingの手法 先ほどの表1を理解するにはSharding手法の列にあげられた各用語の理解が必要となる。 YugaByteDBのブログ「Four Data Sharding Strategies We Analyzed in Building a Distributed SQL Database」には、非常に詳しくShardingの手法が紹介されている。この記事では、大きく以下4つの分類があるという。 Algorithmic Sharding (例: Memcached/Redis) Linear Hash Sharding (例: 過去のCassandra) Consistent Hash Sharding (例: DynamoDB、Cassandra) Range Sharding (例: Spanner、HBase) 詳細は割愛するが、1つ目のアルゴリズム・シャー
2020年現在のNewSQLについて - Qiita
Disclaimer 当記事はNewSQL開発ベンダの技術ブログや各種論文、その他ニュースサイト等の内容を個人的にまとめたものです。 そのため、理解不足等に起因する誤解・誤認を含む可能性があります。更なる理解が必要な方はリファレンスに挙げた各種文献を直接参照下さい。技術的な指摘は可能であれば取り込み修正しますが、迅速な対応はお約束できません。 NewSQLの解説は二部構成 当記事は前編でNewSQLの概要編となる。 全体の目次は下記である。 NewSQLとは何か NewSQLのアーキテクチャ NewSQLとこれまでのデータベースの比較 NewSQLのコンポーネント詳解 1章から3章までの内容を当記事で解説する。 4章はさらに詳細な技術的解説となり、後編の「NewSQLのコンポーネント詳解」で記述している。 こちらも合わせて一読いただきたい。 1. NewSQLとは何か NewSQLとは、海
シェルスクリプトで作る、ゆるふわ Kubernetes Operator - Qiita
この記事は 武蔵野アドベントカレンダー の 15 日目の記事です。武蔵野にある施設には1回しか行ったことがない @ktateish が品川からお送りします。 Kubernetes 界隈で注目されているもののひとつに、Operator があります。 Operator とは、 Kubernetes 上で、ステートフルなアプリケーションのインスタンス生成／設定／管理をユーザに代わって実行してくれるソフトウェアのことです。 有名な Operator としては、 etcd-operator や prometheus-operator などがあります。例えば、 etcd-operator の場合、 これを一旦導入すれば、次のようなマニフェストを Kubernetes に投入するだけで、所定の etcd クラスタを構築、維持してくれます。 apiVersion: "etcd.database.coreo
Istio入門 その1 -Istioとは?-
はじめに Istioの全体像がわかるよう、数回に分けて入門してみます。今回はコンセプトやざっくりとしたアーキテクチャの話、次回からはサンプルのbookinfoアプリケーションを元に各機能を深掘りしていく予定です。 Istio入門シリーズ * その1 -Istioとは?- * その2 -Istio構築とサンプルアプリのデプロイ- * その3 -Blue/Greenデプロイメントによるカナリアリリース- * その4 -基礎から振り返る- Istio1とはマイクロサービスをセキュアにマネージメントするためのOSSで、Kubernetes同様CNCFの一員です。 マイクロサービス化が進むにつれてA/Bテストやカナリーリリースに20%のアクセスのだけ割り当てたいなどの要望により、サービスメッシュ2はより大きく、より複雑になりました。Istioは、このような「複雑なサービスメッシュの管理が追いつかない
ad3e04e50357a1e758fc#_reference-a1b4100c3771c36dfbe6
SELECT COUNT(*) INTO before_count FROM table1; ... INSERT INTO table1 ...; ... SELECT COUNT(*) - brefore_count INTO registered_count FROM table1; なにかTABLEへの追加処理をしてますが、意図通りにできたかどうか、前後で COUNT(*)をとって、その差分を報告させようとしています。 複数のプロジェクトの複数のオーナーのコードで見かけたので、こんな初級アンチパターンも共有しときます。 なにがまずいの? COUNTは、シーケンシャル・スキャンしないと出てこない値なのです。アンチパターンでは、テーブル全体が対象ですから、主キーインデクスを総なめです。小さいテーブルのうちはいいのですが、運用の1000万行を越えるような巨大テーブルだと、主キーインデック
DialogflowのwebhookにNode-REDを使ってみる - Qiita
はじめに スマートスピーカー Advent Calendar 2017 の 7日目の記事です。よろしくお願いします。 Actions on Google で使用する自然言語対話プラットフォームの DialogFlow と、IBM Cloud のNode-RED を使って、簡易翻訳ツールを作ってみようと思います。 構成 Dialogflow の Webhook に IBM Cloud (旧Bluemix) の Node-REDを使用します。 事前準備 以下の資料および記事を参考にさせていただきました。 （１）IBM Cloud のアカウント作成と、Node-RED環境が使えるまで IBM Cloud ハンズオン・セミナー 初級編 資料 （２）Dialogflow（旧api.ai）を使用するまで Actions on Googleでapi.aiを使ってGoogle Homeに何か言わせてみる
Google Homeで子供の朝支度を促してみる - Qiita
はじめに うちには幼稚園に通う子供がいます。「バス来ちゃうよ、ご飯急いで！」「遅れちゃうよ、早くトイレに行ってきて！」そんなやり取りが繰り返される毎日。少しだけ険悪なムードになることもあって、はぁ、なんだか朝から嫌だなぁ...。 と、Google Homeで任意の言葉を読み上げることができると知った妻より「これ、使えないの？」との発言。人に指摘されるのを嫌うのは、幼稚園児だって同じはず。ナイスアイデア！ やりたいこと 妻から指定された要件は以下でした。 指定時刻に、指定した文章を読み上げて。 各曜日ごとに読み上げる文章は変更したいな。 読み上げ以外にも、指定時刻に特定の処理を実行できるようにしておいて。 お、おっけー...。 どうやったか 処理フロー 処理フローは、Googleスプレッドシート→Firebase→ラズパイ→Google Homeとしました。 それぞれの連携では（1）Goog
Dialogflow入門 - Qiita
はじめに これはDialogflowを初めて触るための記事です。 Dialogflow関連の記事を見ていても全体図が見えてこなかったので、ここでは全体図を紹介することに専念しています。 全体像 やたらと多い登場人物 Google Home関連の話を聞いていて最初に躓いたのがココ。 Google HomeがいたりGoogle on Actionがあったり、DialogflowがいたりFirebaseがいたりと、とにかくやたら登場人物が多い。 Google Home いわゆるスマートスピーカーで音声の入出力を取り扱う。 OK Googleや ねぇGoogleでマイクをONにして、受け取った音声をGoogle Assistantに流す。 Google Assistant 受け取った音声を解析してニュースや音楽などを流す。 また、場合によりActions on Googleのサービスを起動する。
Amazon Auroraの先進性を誰も解説してくれないから解説する - Qiita
TL;DR; Amazon AuroraはIn-Memory DBでもなくDisk-Oriented DBでもなく、In-KVS DBとでも呼ぶべき新地平に立っている。 その斬新さたるやマスターのメインメモリはキャッシュでありながらWrite-BackでもなくWrite-Throughでもないという驚天動地。 ついでに従来のチェックポイント処理も不要になったのでスループットも向上した。 詳細が気になる人はこの記事をチェキ！ Amazon AuroraはAWSの中で利用可能なマネージド(＝運用をAWSが面倒見てくれる)なデータベースサービス。 ユーザーからはただのMySQL、もしくはPostgreSQLとして扱う事ができるのでそれらに依存する既存のアプリケーション資産をそのまま利用する事ができて、落ちたら再起動したりセキュリティパッチをダウンタイムなしで(!?)適用したりなどなどセールストー
Google Homeでやったことまとめ - Qiita
はじめに この記事は スマートスピーカー Advent Calendar 2017 10日目の記事です。 Google Homeを購入してからこの2ヶ月でやってきたことをまとめたいと思います。 が、ほとんどQiitaへ投稿した記事の紹介になってしまいました。 大体見たことあるという方はこちら以降をどうぞ。 なお記事の後半でコスト計算していますが、本記事で紹介した内容は最低6,000円あれば大体実現できます。 ※各所で本日までのGoogle Home半額セール前提。まだ購入されてない方はお急ぎを ※ツクモは25日までセール実施のようです 薬の服用ログ Google Home、IFTTT、Googleスプレッドシートを使って独自音声コマンドでログをとる（ついでにNode.jsやngrokやらも使ってLINEやGoogle Homeに通知する） Google Homeを買って最初に作ったのがこれ
RDSとS3でファイルのやり取りを行う => 2022年11月からは EFS がサポートされました！ - Qiita
データベースサーバ上にファイルを置いて、PL/SQLのUTL_FILE経由で読み書きするような処理があった場合、RDSに移行しようとすると、データベースサーバにファイルが置けないなあ・・・などという場合に、S3を間に置く方法があります。 2022/11/16更新！ RDS が Amazon Elastic File System (EFS) をサポートするようになりました！2019年にリリースされた S3 を使う方法からさらに進化して、EFSに対するOracle Directoryオブジェクトを直接定義してファイルをやり取りできるようになっています。この記事の手法ではなく、ぜひ EFS に対して直接アクセスするための PL/SQL ファンクションを使用して下さい！ Amazon EFS integration BEGIN rdsadmin.rdsadmin_util.create_dire
trdsqlというコマンドラインツールを作った - Qiita
trdsqlというコマンドラインツールを作りました。 Goで作ってます。 githubの trdsqlからダウンロード出来ます。 またLinux/Windows/macOSのバイナリもあります。 以下は、古くなっている内容もいくつかあります。 最新版に対応した、より詳細な内容は trdsql 目次 | Noboru Saito's page を参照して下さい。 これは何？ 簡単に言えばCSV(TSV含む)やLTSVに対してSQLを実行できるツールです。 同様のツールが q や textql 等いくつかあります。 trdsqlはPostgreSQLドライバとMySQLドライバを含んでいて実際にDBに接続することでSQLite以上の機能を使用できるようにしています。 PostgreSQLやMySQLの構文が使えるだけではなく、CSVファイルと実テーブルでJOINしたり、CSVファイルからテーブ
目指せ！落ちない高可用性サーバ、ハードウェアの選び方 - Qiita
10年以上金融機関で働いているインフラエンジニアの落ちないサーバにするための考察です。 ハードウェアの専門家ではないので、正確ではないかもしれません。 今までの経験からの個人的考え方になります。 私たちオンプレ重視のインフラエンジニアは、 クラウドサービスではできない高可用性サーバを導入したり、 複数台構成で１台故障しても問題ない構成のサーバはコスト重視するなど、 システムに最適なサーバを導入しようとしています。 高可用性サーバを追求する目的 ■アプリに影響を与えないように Active/Standby構成にしていて、インフラ的にはダウンタイムが数秒だとしても、 アプリによっては復旧に時間がかかったり、問題ないことの確認にも時間がかかってしまいます。 また、正しくサーバが落ちればアプリが問題ないとしても、 サーバが中途半端な状態のままになってしまい、なんだかおかしいということもあります。
JavaEEをはじめよう！ - Qiita
Advent Calendarの１０日目です 最近JavaEE7の本「わかりやすいJavaEE」を書きました。ウェブシステムの作り方を解説した本です。 Java言語初心者でも読めるJavaEEの本というコンセプトなんですが、そもそも「JavaEEと言われても･･･」と思う人、多いでしょうね。 そこで、今日は、JavaEEのあれこれをいろいろお話します。 JavaEE未経験者のためのガイダンスです。 この記事を通じて、「わたしもやってみよう」と思ってもらえれば幸いです。 はじめのはじまり Javaを使ってずいぶんになります。まだ、Javaコンパイラに日本語が通らない頃、"write once , run anywhere"ということばにひかれてやってみたのが最初でした。Javaでソケット通信の小さなプログラムを作ってみました。これが違うOSのマシンであっけなく動いたので、「こりゃすごい」と感
いまさら聞けないLinuxとメモリの基礎＆vmstatの詳しい使い方 - Qiita
さくらインターネット Advent Calendar最終日は、硬派にLinuxのメモリに関する基礎知識についてみてみたいと思います。 最近はサーバーを意識せずプログラミングできるようになり、メモリの空き容量について意識することも少なくなりましたが、いざ低レイヤーに触れなければいけないシチュエーションになった際に、OSを目の前に呆然とする人が多いようです。 基本的にLinux のパフォーマンスについて、メモリをたくさんつめばいいとか、スワップさせないほうが良い とか、このあたりは良く知られたことだと思います。 ただ、なんとなく ps コマンドや free コマンド などの結果を見るだけでなく、もう少しメモリのことについて掘り下げてみてみたいと思います。 メモリとキャッシュ Linux におけるメモリの状態を大きく分けると「使用中のメモリ」「キャッシュ」「空きメモリ」「スワップ」の 4 つに分
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Docker-Compose の変数定義について - Qiita