Azure Purview : 概要とセットアップ - Qiita
この記事は、先日発表された Azure Purview について、概要とセットアップを紹介します。 Azure Purview とは 仕事でデータにアクセスする際、以外と多くの課題があります。例えば: どこにデータソースがあるか、そもそも分からない データソースは見つけたがアクセス権がなく、また依頼先が分からない それっぽいファイル/データベース名は見つけたが、中身は開くまで分からない データカタログが複数あり、検索が面倒 またデータの管理者としても、多くの課題があります。例えば: 組織内のデータソースを把握しきれない データソースに個人情報が含まれるかは、開かないと分からない 管理者が分からないデータソースがある データの出所や、利用先が分からない Azure Purview はこれらの課題を解決するマネージドソリューションであり、データソースをカタログ化するサービスです。多くのデータソ
Fluentd&Kinesis&Lambdaによる柔軟で高可用性なログ収集基盤の構築 - Qiita
概要 Fluentdによるログ収集基盤を、Lambda&Kinesisを利用した形で構成を変更したので、その時のメモ。 先に一言で感想を述べるのであれば、巷の噂通り、Kinesis&Lambdaは素敵でした。 Fluentd Aggregatorが抱える問題点 ログデータをFluentdのForwarder & Aggregatorを経由し、S3とRedshiftに保存するような構成でしたが、Aggregatorは冗長化しづらくボトルネックとなっていました。 ログ収集に求める要件 ログ収集の構成を改善するにあたり、先に挙げた目の前の問題点を解決するのは勿論ですが、他にも様々な要件があり、大別すると以下4つ。 信頼性: データをロスなく収集することができる。 安定性: ログ量に関係なく安定的なパフォーマンスを維持できる。 冗長性: 安全かつ簡単にスケーリングが可能 汎用性: 複数ログを複数サ
Exometer の使い方 - Qiita
書きかけです Exometer って何？ https://github.com/Feuerlabs/exometer Erlang/OTP に組み込めるほぼ完璧な統計ツール、もうこれでいいよ。 大まかに統計機能と統計出力機能がある。さらに既存に関数を統計機能化するのもある。 基礎編 基本的には exomter:new/3 と exomter:update/2 を使い、取得は exomter:get_value/2 で取得する。 色々特殊な仕組みはあるがまずは counter と gauge と histogram が使えれば十分だとおもう。 new するときのキーは [atom()] でつける。[mqtt,recv,bytes] みたいな感じ exometer:new(Key, Type, Opts) という感じ。 counter counter はシンプルな ets ベースのカウンター
embulk-filter-column および embulk-filter-row プラグインのご紹介 - Qiita
Embulk Advent Calendar 2015の7日目の記事です。 こんにちは @sonots です。淡々と拙作のプラグインの紹介をしていこうと思います。文量が多くなったのと明日、明後日が空いていたので、記事を分けて ７日目: embulk-filter-column および embulk-filter-row ８日目: embulk-output-vertica ９日目: embulk-parser-none および embulk-filter-stdout のように紹介していこうと思います。 URL: https://github.com/sonots/embulk-filter-column カラムの絞り込みをするための filter プラグインです。 弊社での Embulk のユースケースは、主に HDFS に格納されているログを Vertica に移し替えるという作業なの
embulk-output-vertica プラグインのご紹介 - Qiita
Embulk Advent Calendar 2015の8日目の記事です。 こんにちは @sonots です。昨日に引き続き、淡々と拙作のプラグインの紹介をしようと思います。 本日紹介するのは embulk-output-vertica プラグインです。 URL: https://github.com/sonots/embulk-output-vertica 弊社以外にまだユーザがいなさそうなプラグインですが、Vertica 運用の知見を盛り込んだ出来になっているのがこちらのプラグインです。なんと Vertica にデータを投入することができます。See Also 何故DeNAがverticaを選んだか？ 先日書いた embulk-filter-column や embulk-filter-row はパフォーマンスを考えて JRuby ではなく Java で書いているのですが(See Al
Embulkのリジューム実行/差分実行について - Qiita
まずはリジューム実行についてです。 Embulkの場合は以下のようなコマンドで-r(--resume-state)オプションを使用して実行可能です。 # 初回実行 embulk run config.yml -r resume-state.yml # コケたところから再実行(resume-state.ymlに成功したタスクの情報が書かれている) embulk run config.yml -r resume-state.yml # 諦めてcleanup処理 embulk cleanup config.yml -r resume-state.yml ロードが一部失敗した場合には、resume-state.ymlに以下のように成功したタスクの情報が保存されます。 これはGoogle Cloud Storageに入っているgzip圧縮されたCSV3ファイルの中の1ファイル(sample_03.c
embulk-parser-grokの紹介 - Qiita
URIPATH (?:/[A-Za-z0-9$.+!*'(){},~:;=@#%_\-]*)+ WORD \b\w+\b NUMBER (?<![0-9.+-])(?>[+-]?(?:(?:[0-9]+(?:\.[0-9]+)?)|(?:\.[0-9]+))) ACCESS_LOG %{URIPATH:request} %{WORD:method} %{NUMBER:duration} パターン名のあとにスペースをあけてパターンを記述します。パターンは正規表現で記述できます。 パターンの中で%{パターン名:id}と記述することで、パターンを再利用することができます。 idはパターンにマッチした文字列を取り出すための識別子になります。パターンにマッチした結果を利用しない場合はidに"UNWANTED"を指定します。 なお、パターンファイルは自分で書かなくても、汎用的なものをlogstashの
YAML生成を工夫してembulkの設定ファイルを使い易く - Qiita
embulk meetupの後にsonots先輩に何か書いてくださいよーって言われたので、 embulkに限った話ではないのですが、関連する話題なのでEmbulk Advent Calendarに書かせてもらおうと思います。 embulkは設定ファイルがYAMLです。 現時点ではテンプレート機能はまだ限定的な機能しかなくて、それ程表現力がありません。 それならもう、YAMLの生成を別に任せようと思って簡単なgemを作りました。 joker1007/yaml_master YAMLの設定ファイルの大本になるマスターファイルを作っておいて、そこから特定の範囲だけを別のYAMLとして出力するだけのgemです。 その際にerbでRubyを埋め込めるようにしているので、Rubyで表現できることは何でもできます。 環境変数から日付を取ってそれをRangeにしてループしたり、ActiveRecordから
embulk bundleだけでJavaで書かれたプラグインをインストールし利用する方法 - Qiita
以前embulkのjava pluginをbundlerっぽくgithubからインストールして実行できるラッパーを作った - Qiitaという記事を書いた。 要はJava製のプラグインをgithubから直接インストールしてリリース前のものを使いたいというものだ。 で、コマンドをラップするgemを作ってみたのだが、DSLの挙動をちゃんと制御するのは面倒だしコマンドをラップするのは色々とポータビリティが悪い。 しかし、ある時天啓が降りてきた。 「Bundlerを弄ればいいや」と。 で、ソースコード読んで、gemspecの判別がどうなってるのかとモンキーパッチを当てるのにちょうど良い場所を探して試してみた所、とてもシンプルなハックで上手くいった。 Gemfile上でBundlerにモンキーパッチを当てるというダーティさに目を瞑れば割と便利ではないだろうか。 こんな風に書く。 require 'b
巨大なバッチを分割して構成する 〜SQLバッチフレームワークBricolage〜 を使ってみた - Qiita
テーブルの名前をちょっとだけ変えてcreate tableしたりデータをinsert intoすることがしたくなり、なにか良いツールはあるかな？と探していたところ、Cookpadの青木さんが「たべみる」で使われているbricolageを見つけました。 不思議と使ったという情報がみつからず、使用した記録をまとめました。 bricolageの利用例など是非教えてください。 参照サイト 巨大なバッチを分割して構成する 〜SQLバッチフレームワークBricolage〜 GitHub Wiki 試した環境 OS: OSX 10.11.1 Ruby: 2.2.3 PostgreSQL: 9.4.5 MariaDB: 10.0.21 導入 PostgreSQLとMySQL(mariadb)等が必要になるようなので事前に導入しておきます。 本体はgem install bricolageで導入できます。
Redshiftを使って、もっとも幸福な青空文庫を判定してみる - Qiita
最近Redshiftを業務で使う機会があったので、概要や使い方などをまとめてみようかと思います。 今回はRedshiftの立ち上げからはじめ、青空文庫さんが公開してくださっている、形態素解析データをRedshiftにいれて解析してみます。 解析といっても、一番多く幸せそうなワードを使っている文庫はどれかを調べるだけ。 一番多く幸せそうなワードを使っていた文庫を、「もっとも幸福な青空文庫」と判定します。 また、今回使用する、6.1GB、8770万行のデータをデフォルト設定でどのくらいでさばけるかなども試してみたいと思います。 今回やること 今回は以下の様なことをします。 ・Redshiftとは何かをまとめ ・青空文庫のデータセットをダウンロードして、S3にアップ ・PostgreSQLが扱えるDBクライアントを用意する ・Redshiftを立ち上げる ・Redshiftにクライアントから接続
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Embulk の LocalExecutor プラグインの振る舞いについて整理 - Qiita