[MySQL]巨大なCSVをインポートする - QiitaDeleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
![[MySQL]巨大なCSVをインポートする - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/31472cc81ed0a8252c7c77a1877f12229f803847/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFwLW5vcnRoZWFzdC0xLmFtYXpvbmF3cy5jb20lMkYwJTJGODYwNzUlMkZwcm9maWxlLWltYWdlcyUyRjE2Mzk5OTc3Mjk_aXhsaWI9cmItNC4wLjAmYXI9MSUzQTEmZml0PWNyb3AmbWFzaz1lbGxpcHNlJmZtPXBuZzMyJnM9YjUzOTYwYjMwNTlmYjcxNTM2ZDg5YTUzMDBhNjk2ZDQ%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D1e70476a1a17aabe70be40bc09ef5743%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCTXlTUUwlNUQlRTUlQjclQTglRTUlQTQlQTclRTMlODElQUFDU1YlRTMlODIlOTIlRTMlODIlQTQlRTMlODMlQjMlRTMlODMlOUQlRTMlODMlQkMlRTMlODMlODglRTMlODElOTklRTMlODIlOEImdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtcGFkPTAmcz0xODdmZTI3NzM0ZGRlNjg2ZWVlYjFjNWZhMzhlMWYzNw%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBzYW95YWdpMiZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPTRiN2U3YmM0MWFlZTVlNDQxNzQ5NmIwODQ3ODU5OGVk%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Dd05b6ad86ed8be9d61636b3bcae882f8)
embulk-filter-copy の紹介 - Qiita
main の Embulk のstdoutと embulk-filter-copy が実行する Embulk のstdout(idカラムが除かれている方) が出力されていることが分かると思います。 このように input 以外の embulk 実行設定を embulk-filter-copy の config に渡すことで embulk-filter-copy に渡ってきたデータを input として embulk を別途起動するプラグインです。 つかいかた なにするやつか でほぼ説明してしまっていますが、 embulk-filter-copy は以下のオプションを持っています。 config: in: を除いた embulk の config を書きます。 これら以外に必要なオプションはありません。 利用に際しての注意点 Java8 EmbulkとJava7 という記事で紹介されています
Aurora小ネタ／MySQLレプリケーションでのしくじりポイント - Qiita
先に、**オンプレMySQL～RDS for MySQL／Aurora間のレプリケーションにおけるタイムゾーン設定**という記事を書きましたが、それ以外にもAuroraでのMySQLレプリケーションでいくつか問題に遭遇しましたので、書き残しておきます。 しくじり1. そもそもレプリケーションが開始できない Auroraがマスターになるケースで、 バイナリログの出力をON（MIXEDまたはROW）にした バイナリログの保存期間も設定した（mysql.rds_set_configurationプロシージャで） スレーブに対してREPLICATION SLAVE・REPLICATION CLIENT権限を付与した スレーブ側でCHANGE MASTER TOコマンドはエラーにならずに通った にもかかわらず、スレーブ側でSTART SLAVE後にレプリケーションが開始されない場合、セキュリティグル
Redis 4.0の目玉機能解説 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? redis 4.0 GA release ついに昨日(2017/07/15)に、redis 4.0のstableがリリースされました。 今までのredisと何が変わったのか？というのを、軽くまとめたいと思います。 間違いなどありましたら、指摘いただけると幸いです。 前回のqiita記事 プロダクションで2年間RedisClusterを運用してみて release notes 一部抜粋すると Note that 4.0 is probably one of the most extreme releases of Redis ever m
Googleスプレッドシートをプログラムから操作 - Qiita
2017/05/18 APIの高速化方法について追記記事を書きました。 GoogleスプレッドシートAPIの高速化 GoogleI/O 2016でSpread Sheet API v4がリリースされました。 動画はこちらです。 盛り上がるのはAndroidなどデバイスにかかわる話だったり新サービスだったりするのですが、私が一番盛り上がったのはこのリリースだったりします 簡潔に書くと 今までの貧弱だったAPIがものすごく強化されシステムに組み込めるレベルになりました。 本記事ではスプレッドシートをプログラムから操作する方法と、実際に何ができるのかを解説していきます。 サンプルとして以下の様なスプレッドシートを作成します。 スプレッドシートAPIとは その名の通りGoogleスプレッドシートをWebシステムやスマホアプリなどプログラム経由で操作することが可能なAPIです。 元々バージョン3があ
AWS Lambda & DynamoDBのベストプラクティスを求めて - Qiita
こんにちはsekitakaです。 serverlessな環境での開発も随分慣れてきましたが、コードの再利用性についてどうしようか悩んでいるので考えたこと&暫定結論を公開します。 ベストプラクティスを模索中なのでコメントでの議論も大歓迎です。 前提条件 共通するDynamoDBのテーブル(例:User)を参照する3つのプロジェクトがある。 プロジェクトP1 プロジェクトP2 プロジェクトJ1 以下のような状況になっている。 プロジェクトP1には既にUserデータのデータを取得する関数がある プロジェクトP1,P2はPythonで実装されており、プロジェクトJ1はJavaScriptで実装されている。 プロジェクトは全てLambda関数郡としてデプロイされる。 お題 Userテーブルからのデータ取得を各プロジェクトに組み込むにはどんな方法がよいか考える 案 案1 - 車輪の再発明を恐れない 各
ブロックチェーンについての所感 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? こんにちは、freee でCTO 兼 概念のほうを担当しています、 @yokoji です。 この記事は freee Engineers Advent Calendar の最終日になります。 freeeでは、「スモールビジネスに携わるみんなが創造的な活動にフォーカスできるように」というミッションの実現を目指す中で、金融機関との連携をすすめており、昨今ではFintechの文脈で取り上げられることも増えてきました。 Fintechの流れの頻出トピックとしては、機械学習、ブロックチェーン、サイバーセキュリティなどいろいろありますが、今回はその中
Docker for Mac で Hyperledger Fabric の開発環境を立ち上げる - Qiita
チェーンコードの実装やアプリケーションの開発にあたって、開発環境が必要になります。 今回は開発環境の立ち上げを行ってみました。 開発環境を構築する3つの方法 Vagrant を利用 :note: http://hyperledger-fabric.readthedocs.io/en/latest/Setup/Chaincode-setup/#option-1-vagrant-development-environment Hyperledger Fabric リポジトリの devenv ディレクトリ下に、Vagrantfile とプロビジョニング用のスクリプトが用意されているため、それを使用して構築します。 Vagrant, VirtualBox をインストール refs: https://github.com/hyperledger/fabric/blob/master/docs/dev
オープンソースのブロックチェーン Hyperledger Fabric を試してみる - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? オープンソースのブロックチェーン基盤の一つ、Hyperledger Fabric を試してみました。 環境構築からチェーンコードの設置・実行まで挑戦してみましたので、今から始める方の参考になれば幸いです。 Hyperledger とは Hyperledger (ハイパーレッジャー) とは、オープンソースのブロックチェーン技術推進コミュニティです。 ブロックチェーン技術とは、ネットワーク接続された数多くのコンピュータ群で分散処理/データ管理を行うことで、1つの巨大高性能システムと同等の機能を実現するという技術です。"変更不可能な形でデータ
Hyperledger Fabric の REST API メモ - Qiita
オープンソースのブロックチェーン Hyperledger Fabric を試してみる の続き Hyperledger Fabric の REST API を一通り試したときのメモです。 Bluemix 上の IBM Blockchain を使っています。 REST Endpoints Blockchain API GET /chain ブロックチェーンの現在の状態を取得するAPI Block API GET /chain/blocks/{block-id} ブロックチェーンから特定のブロックの内容を取得するAPI Transactions API GET /transactions/{UUID} ブロックチェーンから個々のトランザクションの内容を取得するAPI Network API GET /network/peers ピアノードの一覧と、それぞれのネットワークに関する情報を取得するAP
Postgresql サーバを移行したらAUTO VACUUM が実行されず、データベースが肥大化した時の話 - Qiita
Postgresqlデータベースの引越しを検討されている方や、引越し後にデータベースの肥大化に悩まされている方の参考になればと。 What happened Live環境のPostgresqlデータベースの引越しを行って数週間後、Postgresqlのdata volumeがこれまでにない異常なペースで消費されていることに気付く。 Drill down record数の増加状況は移行前後で特に大きな違いはない。 Liveのデータベースを定期的にstaging環境にrestore (+ データのクレンジング) しているが、staging環境と比較しても明らかに大きなサイズになっている。stagingにrestoreすると15GB程度のテーブルが、liveでは100GB以上。。 以上の２つから、vacuum周りに何か問題があるのでは？とあたりをつける。 Check auto-vacuum ex
DynamoDB Streamのデータをsocket.ioを使ってブラウザに流す - Qiita
やること TwitterのストリームデータをKinesisを経由してDynamoDBに保存します。 DynamoDB Streamにデータを流し、ブラウザでストリームデータを可視化する 構成図 Twitter Stream → Kinesis → DynamoDB AWS Lambda Reference Architecture: Real-time Stream Processing awslabsのアカウントにそのままやりたいことがありました。動かすとKinesisにデータを流して、キャプチャの通りDynamoDBにデータを保存してくれます。 DynamoDB → DynamoDB Stream → Lambda → SNS http Notification DynamoDB Streamの有効化 キャプチャの箇所からDynamoDB Streamを有効化します トリガーを有効化し
EmbulkをJavaに組み込んで実行する - Qiita
こちらのIssueで紹介されている通りです。 https://github.com/embulk/embulk/issues/421 （Issueだとあんまり気付かれないので、Issueと内容は同じですが、qiitaでのシェアを目的としてます。） EmbulkEmbedというクラスを呼び出して、下記にようにすればJavaからEmbulkを実行できます。 EmbulkのJarはhttps://dl.bintray.com/embulk/maven/とかから最新版をダウンロードすると良いと思います。 import java.io.File; import org.embulk.EmbulkEmbed; import org.embulk.EmbulkEmbed.Bootstrap; import org.embulk.config.ConfigLoader; import org.embulk
運用中のシステムにも導入可なGo製のマイグレーションツール「mattes/migrate」 - Qiita
データベースマイグレーションツールでフレームワーク非依存のもので有名所といえばflywayだが、Java製のツールであるためJVMを入れておく必要がある。JVMを入れるというのが意外とハードルで、稼働中の環境に入れる場合は影響範囲が怖かったり、CIのたびに容量が小さくないJVMを入れるのはちょっと・・・というケースもある。 そんなときにオススメしたいのがGo製のマイグレーションツールmattes/migrateだ。flywayと同じくCLIツールだが、JVMのようなランタイムは不要だ。ビルド済みのバイナリがGitHubで提供されていて、インストールはcurlやwgetですぐにできる。容量も7.1Mと小さい。MySQLやPostgreSQLなど主要なデータベースに対応している。Go製であるが、マイグレーションファイルは素のSQLで書くから、ユーザにはGo言語の知識は必要ない。 mattes/
（翻訳）毎秒10GBでArrowからpandasへ - Qiita
始めに：pandasの作者であるWes McKinneyさんがPythonのデータツール関連でとても興味深いblogを書かれているので、翻訳して日本のPyDataコミュニティに公開してもいいでしょうか、とお聞きしたところ、快諾をいただきましたので少しずつ訳して公開していこうと思っています。 毎秒10GBでArrowからpandasへ （原文：http://wesmckinney.com/blog/high-perf-arrow-to-pandas/ ） 2016/12/27 このポストでは、汎用的なArrowの列指向のメモリを、pandasのオブジェクトに高速に変換できるようにするための最近のApache Arrowでの作業について述べます。 pandasのDataFrameオブジェクトを高速に構築する際の課題 pandasのDataFrameオブジェクトを高速に構築する際に困難なことの1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
技術者向け Ethereum 学習情報 まとめ - Qiita
わかりやすいブロックチェーン(blockchain)とは何か? の説明 - Qiita
Rails+PostgreSQLでprimary keyにUUIDを使うための設定をするgemを作った - Qiita
Embulkを使ってRDSのslow query logをElasticsearchに投入する。 - Qiita
MySQLでcount(*)の結果がある一定数以下である場合にのみカウントしたい - Qiita
