Embulk＋DigdagでExcelのデータをPostgreSQLにロードする | DevelopersIO
データインテグレーション部 大矢です。 DBのテストデータをExcelで書くことはよくあると思います。 今回はExcelで書いたデータをEmbulkでDBにロードする、ということをやってみようと思います。 使用した環境は以下のとおりです。 Embulk v0.8.13 Digdag v0.8.16 PostgreSQL 9.5.3 Mac OS X El Capitan version 10.11.6 ExcelのデータをPostgreSQLにロードする 作業ディレクトリ 先に今回の作業で使用するディレクトリ構成を示しておきます。最終的にはこうなります。 excelload ├── allsheet.dig └── embulk ├── sales.yml ├── testdata.xlsx └── users.yml Excelのテストデータ ロードするデータ Excelのテストデータシ
MySQLインデックスのお手入れの基本 | Yakst
Percona Database Performance Blogの翻訳。既に運用を始めたデータベースで、インデックスが正しく使われているか、無駄や不足がないかを確認する方法のまとめ記事。クエリをひとつひとつ確認するのではなく、統計情報を元に判断する分かりやすい方法。 このブログ記事では、MySQLインデックスに手入れする基本的なステップについて見ていこうと思います。 データベースは、インデックス次第でハイパフォーマンスにも、役立たずで遅くて大変にもなりうることはご存知でしょう。インデックスは、時々手入れをする価値がある非常に重要なものです。それでは、何をチェックすればよいのでしょうか？順不同ですが、確認すべき点を挙げてみます。 1. 使われていないインデックス sysスキーマで、使われていないインデックスをとても簡単に見つけられます。 schema_unused_indexes ビューを
図で理解するJavaScriptのプロトタイプチェーン - Qiita
JavaScriptのリファレンスといえばMDNですよね。 JavaScriptで調べものをする際に、真っ先に見る方も多いでしょう。 そんなMDNですが読めていますか？ 例えばArrayのページを見てみましょう。 さらっと書かれているprototype JavaScriptを理解するにはプロトタイプチェーンを知る必要がある 本記事の目的 プロトタイプチェーンを理解する MDNをより読めるようにする JavaScriptのObjectやArrayなどの基本型の構造を理解する 確認環境や記述について Chrome 52のコンソールで動作確認 ES5で記述 説明のしやすさを重視、プロトタイプをあらわすのに__proto__を使って記述 まずはオブジェクトについてみていく シンプルなオブジェクトを作る
フロントエンジニア必見！フロントエンド界隈で注目を集めるRiot.js入門資料まとめ
JavaScriptのフレームワークはReact、Angularなどが人気ですが、ここ最近フロントエンド界隈を中心にRiot.jsが注目を集めています。 軽量でHTMLに似通った文法を採用しており、扱いやすいJSフレームワークとして人気急上昇中です。 そこで今回は、これからRiot.jsを始めるエンジニア、Riot.jsに興味のあるエンジニアに向けて、Riot.jsの入門資料（記事・スライド）をまとめました。 比較的扱いやすいJSフレームワークなので、難しく考えずにまずは使ってみてください。 JavaScript案件を提案してもらう Riot.js入門記事 Riot.js — A React-like user interface micro-library http://riotjs.com/ja/ Riot.jsの日本語公式サイトです。 ガイド、FAQ、APIなど、各メニューが日本語化
ドキュメント作成時のあるあるアンチパターン20 - Qiita
業務でドキュメントを作成するケースは多々ある 例：仕様書・設計書・提案書・メール・障害票．．． ここでは各ドキュメント共通してありがちなアンチパターンをまとめてみました。 1. 表記がバイト表示・マイクロ秒表示 プログラムが出した数値をありのままに表示するパターン ファイルサイズが100MB, 1GBあろうと、バイト表示にする 桁数が多い数値に、桁区切り（,）を入れない 時間を何でもマイクロ秒・ミリ秒にする（1/100万秒までの精度が必要？体感で分かる？） 桁数が多い＝精度が高い＝良い文書、ではなく、見る人が必要とする精度に切り上げることが重要（売上で１円単位まで出すことが無いのと同様） 悪い例 No ファイル名 ファイルサイズ(byte) 処理時間(秒)
Unixプロセスとリソースの基礎を再確認した - えいのうにっき
前置き 最近、「なるほどUnixプロセス ― Rubyで学ぶUnixの基礎」という本を読んでいる。 tatsu-zine.com 僕の所属している会社・はてなでは「メンター制度」というものがある。はてなに所属する全てのエンジニアに、誰かしら（グレード的に自分より上となるエンジニア）をメンターとしてつける、という制度。メンターとメンティーは月に一度、1on1を実施する。 自分はセールスエンジニアという特殊な職種ではあるが、メンターとしてシスプラ（インフラ）部門のエンジニアの方に付いて頂くことになった。このことは僕にとって、とても有り難く、心強い。 というのも、入社から2ヶ月ちょっと、実際にセールスエンジニアとして業務を進めてみて、インフラ周りの基礎知識・ローレイヤーに関しての基礎知識が強く求められるなぁと...、、というか、それを知っているといないとでは、問題や課題についての理解の仕方も違っ
ElectroCRUD - Electron製のMySQL管理
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました Electronの利用される場面が広がっています。これまでWebベースで提供されていたものまでElectronを通してデスクトップアプリになっています。従来と逆の流れと言えそうです。 今回はElectronを使ってデータベース（MySQL）管理を実現するElectroCRUDを紹介します。 ElectroCRUDの使い方 まずは新しい接続を作成します。SSHトンネルもできるので、開発時だけでなく利用もできそうです。 プロセス一覧画面もあります。 テーブルのカラム一覧です。表示するものを選択できます。 データ一覧です。 面白いのがウィジェットと呼ばれる機能で、特定のデータを表示しておくことができます。 このようにデータの上に表示しておけます。累計ユーザ数や平均購買額など興味あるデータ
SQLのANY, SOME, ALL, USINGについて - No Programming, No Life
どうも、ふもです。 なんだか今年の夏は雨ばっかりですね。 さて、今日はSQLについてです。 現在携わっているお仕事ではOracleデータベースを使っているのですが、とある事情でSQLのリファレンスを眺めていたら、ほとんど使わないキーワードに出会いました。 タイトルにあるように、ANY, SOME, ALLとUSINGについてです。 ちなみにいままで、業務で取り扱ってきた様々なシステムで見かけたことは無かったと記憶しているので、そうとう珍しいんじゃないかなと思います。 機能の詳細はググってもらうとして、ANYとUSINGだけ軽くどんな感じなのか紹介して終わりにしたいと思います。 ANY ANYはINとほぼ同じ感じで利用できるようです。 SELECT * FROM デーブル WHERE AAA = ANY(10, 20, 30) 個人的に強力だなぁと思ったのは、複数の値の組み合わせでマッチでき
Elastic社公式のDockerイメージ(Beta版)が提供されるようになりました | DevelopersIO
こんにちは、藤本です。 Elastic社が公式のDockerイメージの提供を開始したので早速試してみました。 詳細は下記ページをご参照ください。 Introducing Docker images for Elasticsearch and Kibana 以前からDocker HubにてElasticsearch、Kibanaが提供されていました。こちらはElastic社公式のDockerイメージではなかったのかな。。 Elastic社公式Dockerイメージ 今回、Elastic社が持つDockerレジストリサーバーでイメージの提供を開始しています。また簡単にコンテナを利用できるようにElastic社のGithubリポジトリにて、Dockerfile、docker-compose.ymlを提供しています。 elastic/elasticsearch-docker elastic/kiba
Anaconda は Environment Isolation Tool (環境分離ツール) ではない
pyenvが必要かどうかフローチャート 私の周りでも pyenv に対して良い印象をもって語らない風潮はあってその理由がよく分かりました。ここで @shibukawa が書いていることを私は正しいと思うし、pyenv というツールそのものを批判しているのではなく、目的や用途を理解せずに pyenv を勧めたり使ってしまったりしてしまう人への懸念があるというのは理解できました。 ちなみに私は普段 OS X と Linux (Ubuntu) を使っているのですが、Linux では pyenv を、OS X では MacPorts を使って複数の Python バージョンの管理をしています。件の記事の分類でいうと「ライブラリの開発者」のところだと思います。 pyenv の議論は件の記事を読んでもらうとして、そこでは Anaconda についても触れています。Anaconda を pyenv の議
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
