はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

$ embulk Embulk v0.9.4 Usage: embulk [-vm-options] <command> [--options] Commands: mkbundle <directory> # create a new plugin bundle environment. bundle [directory] # update a plugin bundle environment. run <config.yml> # run a bulk load transaction. cleanup <config.yml> # cleanup resume state. preview <config.yml> # dry-run the bulk load without output and show preview. guess <partial-config.yml>

諸事情により古いiOS SDKが必要な時の対応をまとめました。 今回追加インストールするSDK iPhoneSimulator7.0.sdk iPhoneOS7.0.sdk Xcodeのダウンロード developer.apple.com より、欲しいバージョンのSDKがバンドルされているXcodeのバージョンをダウンロードします。 古いバージョンのSDKをインストール # ダウンロードしたXcodeのdmgファイルをマウントし、そのディレクトリへ移動します $ cd /Volumes/Xcode/Xcode.app # iPhoneSimulator7.0.sdk をコピーします $ sudo cp -R Contents/Developer/Platforms/iPhoneSimulator.platform/Developer/SDKs/iPhoneSimulator7.0.sdk

年額399ドルだったGoogle Earth プロが無料で使えるようになりました。 主な特長 Google Earth プロについてによると、これまでのFreeと異なり、次のことができるようです。 高度な測定 ポリゴンの面積測定を使って駐車場や土地開発の面積を測定したり、円測定を使って影響範囲を判断したりできます。 高解像度印刷 最大 4800 x 3200 ピクセルの解像度で画像を印刷できます。 Google Earth プロだけのデータレイヤ 人口統計、土地区画、交通量を表示できます。 スプレッドシートの読み込み 住所を一度に 2500 件まで取り込めます。その際、目印やスタイル テンプレートを一括で割り当てられます。 GIS の読み込み ESRI シェープファイル（.shp）や MapInfo（.tab）ファイルを視覚化できます。 ムービーメーカー Windows Media や Q

ユニコード正規化をすると、半角英数字や機種依存文字などの表記が統一できます。 表記ブレが吸収されることで検索性が高まったり、データの比較なども行いやすくなります。 正規化の手法にはNFD, NFC, NFKD, NFKCがありますが、その中でもNFKCという次のような正規化を行う方法をコードを交えて紹介します。 ウ゛ェ → ヴェ ＡＢＣ → ABC ① → 1 ㊤ → 上 Ⅲ → III ㌶ → ヘクタール ﾊﾝｶｸｶﾅ → ハンカクカナ ﹣ → - ※ 左辺はU+FE63 Small Hyphen-Minus: 小さいハイフンマイナス － → - ※ 左辺はU+FF0D Fullwidth Hyphen-Minus: 全角ハイフンマイナス 動作環境

Prestoを利用し始めましたので、クエリのチューニング話も行いたいと思います。 SELECT句のチューニング SELECT * FROM ...は大変遅いので、データがあるかを確認する用途ならSELECT COUNT(1) FROM ...としましょう。 それでも中のデータを色々見たい場合には、カラムをなるべく限定して記述しましょう。 もちろん、SELECT *として取れる同じ数のカラムを指定したら同様に遅くなります。 特にvarchar型の数十文字以上の文字列が入るカラムは必要の無い限り外すべきです。格段に速くなります。 もしカラム名が分からないのであれば、WHERE句を指定せずに一瞬で結果が返ってくる次のようなクエリで確認すると速いです。 例）SELECT * FROM ... LIMIT 1; JOINのチューニング Prestoにはcost-based JOIN optimiza

HiveQLではスピードに難を感じていたため、私もPrestoを使い始めました。 MySQLやHiveで使っていたクエリを置き換える時にハマったTipsをまとめていきます。 執筆時点で最新版であった、Hive4 (Hive 2023.1)と、Presto 350を想定しています。 AWS AthenaでPrestoを使っている方も増えてると思うので、Presto標準関数での記述例も拡充していきます。 Prestoとは Prestoはオンメモリで動く分散SQLエンジンで、その進化は目を見張る物です。 発表された当時は色々な成約があり使うことを躊躇していましたが、2015年頃からはもう使わない理由はなくなりました。 アドホックに使えるとても高速なSQLエンジンですので、バッチ向けのHiveのように実行結果を待つ時間はほとんどありません。 Hiveですと1つ1つの実行に時間が掛かるので、クエリに

float型は小数部を含んで6桁までであれば、入力した値そのままに保存出来ます。 簡単に用途をまとめると、こんな感じでしょうか。 小数点以下桁数を揃えて正確に扱うならば、demical型またはdouble型を使う （例:緯度経度情報） 小数部を含んで6桁まで入力された通りに保存する用途であれば、float型を使う そのまま保存したい場合には、varchar型を使う double型とdemical型との違いは次のページがとても詳しいです。 緯度経度情報などdemicalの方が望ましいのですが、double型の方がパフォーマンスは良いです。 Decimal’s declaration and functioning is similar to Double. But there is one big difference between floating point values and de

次のようなユースケースで、HTTPリクエストを並列発行したいことがあるでしょう。 URLのコンテンツ内容の監視（Webレスポンス監視） コンテンツの応答監視（ページの更新チェック） Webページのクロール（スクレイピング） 非同期処理と言ったらコールバックですね。ただ、コールバック地獄は避けたい。 そんな時には次のようにEventMachineとFiberを用いると、読みやすい非同期処理の実装が出来ます。 URLの数だけ並列実行する方法 とにかく速いですが、URLリストが増えた場合には次の問題が起きうるので注意が必要です。 ファイルディスクリプタの上限を叩く可能性 接続先Webサーバの最大同時接続数を使い果たす可能性 NATルータ機器を通してインターネットに出ている場合には、そのNATテーブルが溢れる可能性 スパイク的なリクエストを発生させることで、下りネットワーク帯域を埋め尽くす可能性

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

gzip通信を有効にしてWebページのフェッチを行うと、帯域や通信量が節約できるだけでなく、回線次第では応答速度も速まります。 PHPであればどの環境でも基本的に使えるfile_get_contents関数を用いて、gzip通信を行うサンプルを紹介します。 まず、file_get_contentsと併用してgzipをデコードする実装は大きく分けて2つあります。 PHP 5.4 からはgzdecode関数が使える PHP 5.4 未満は次のような実装を自前で用意する必要がある // その1 if(!function_exists("gzdecode")) { function gzdecode($data){ return gzinflate(substr($data, 10, -8)); } } // その2 function gzDecodeWithTmpFile($data) { $g

はじめに 数値を丸められること無く、記録したとおりに緯度経度情報を保存したい。 もちろん文字列型ではなく浮動小数点型を使う方が処理効率が良いですよね。 どのようなカラムを使えば意図通りに保存出来るのかまとめてみました。 結論 VARCHAR型やDECIMAL型を利用する手もありますが、どちらも計算コストが高いため、 基本的にdouble(9,6)を利用すれば問題ないでしょう。 最大値と最小値 それぞれの最小値と最大値は次の通りです。 緯度 (latitude) : -90 〜 90 経度 (longitude) : -180 〜 180 小数点桁数と精度の関係 どの程度の精度を求めるには、どの程度の桁数が必要となるか、まとめてみましょう。 ざっくりと計算しますと地球の円周は約40,000,000mで 緯度はぐるっと360度ですから緯度1度は 40000000/360≒111111.1111

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?