trdsqlというコマンドラインツールを作った - Qiita
trdsqlというコマンドラインツールを作りました。 Goで作ってます。 githubの trdsqlからダウンロード出来ます。 またLinux/Windows/macOSのバイナリもあります。 以下は、古くなっている内容もいくつかあります。 最新版に対応した、より詳細な内容は trdsql 目次 | Noboru Saito's page を参照して下さい。 これは何？ 簡単に言えばCSV(TSV含む)やLTSVに対してSQLを実行できるツールです。 同様のツールが q や textql 等いくつかあります。 trdsqlはPostgreSQLドライバとMySQLドライバを含んでいて実際にDBに接続することでSQLite以上の機能を使用できるようにしています。 PostgreSQLやMySQLの構文が使えるだけではなく、CSVファイルと実テーブルでJOINしたり、CSVファイルからテーブ
API Server | データベースから簡単にREST API を開発・運用
CData Drivers あらゆるSaaS / DB へのリアルタイム連携を実現する高機能コネクタ。
JMeterの実行結果CSVデータをローカルMacにたてたElasticsearchとKibanaで可視化する | DevelopersIO
「JMeterの結果CSV、216万行か〜。これくらいだったらJMeterの「グラフ表示」で読み込んで見られるかな〜」 CPU「ブオオオオオオオオン！」 はじめに システムの負荷試験において、Apache JMeterのようなツールを使って試験を実施・結果を出力するケースもあると思います。結果ファイルのサイズがそれほど大きくない場合は、全データを計算する（JMeterでいう「統計レポート」）で問題ありませんが、例えば、長時間負荷をかけたので時系列でデータをグラフ化したい、といったことになると事情が変わってきます。JMeterの結果CSVは手元にあるので、なんとかこれを活用したいところではありますが、数百万行レベルのデータになると、とたんにExcelなどでは辛くなります（というか最大行数的に無理な気がします）。 そこで、ちょうど、弊社木戸がElasticsearchシリーズを連載しているとこ
なるべく短い正規表現で住所を「都道府県/市区町村/それ以降」に分けるエクストリームスポーツ - Qiita
rex = /ごにょごにょ/ p "東京都文京区後楽１丁目３−６１".match(rex).captures #=> ["東京都", "文京区", "後楽１丁目３−６１"] みたいなやつ。なるべく短く。 実用性？ そんなもの、うちにはないよ。 TL;DR 「読むのめんどくさい」という人用に最初に最終結果を置いておきます (...??[都道府県])((?:旭川|伊達|石狩|盛岡|奥州|田村|南相馬|那須塩原|東村山|武蔵村山|羽村|十日町|上越|富山|野々市|大町|蒲郡|四日市|姫路|大和郡山|廿日市|下松|岩国|田川|大村)市|.+?郡(?:玉村|大町|.+?)[町村]|.+?市.+?区|.+?[市区町村])(.+) あまり厳密ではないのでちゃんとしたとこでは使わないほうがいいです 住所データを用意する 郵便局からデータをダウンロードしておく。一ヶ月毎に更新されている。 → 郵便番号データ
URLを入力するだけ！コンテンツをスクレイピングしてデータ化してくれる無料ツール「import.io」
import.ioとは import.ioは、データ化したいページのURLを入力するだけで、自動でデータ箇所を判断して情報を集めてくれるスクレイピングサービスです。 無料で利用することができ、セットアップも、データ収集用のトレーニングなども必要ありません。 URLを入力して、ボタンを押すだけという簡単さから、誰にでも利用できるデータ収集ツールだと思います。 以下では、その簡単な使い方や、利用例などを紹介したいと思います。 定期的なサイトへのスクレイピングは相手サイトの負荷になるので、一日に何度も何度も同一サイトに使用するのはやめましょう。加えて、取得したデータを、そのまま何かに利用すると著作権違反になる恐れもあります。 基本的な使い方import.ioの最大の特徴は、使い方の簡単さです。 以下では、その使い方の例として、IKEAのソファー検索結果ページのデータを取得してみたいと思います。
競合サイトを丸裸に！SEO対策や検索順位などがわかるWeb分析ツール7選 | 株式会社LIG(リグ)｜DX支援・システム開発・Web制作
Pooleリーダーの鮫島です。 競合、丸裸にしてますか？（ライバル視しているサイトの、アクセス数やどこからトラフィックがあるのか、どういったキーワードを選定しどのくらいの検索数があるのかなど、SEO周りの対策を分析していますか？） 私は、主に提案資料を作成するときや、サイト設計をするときなどにします。 そういうときは、競合分析ツールを使うと効率的に情報を取得することができます。 というわけで、今回は私が普段使用している競合分析ツールを厳選して7ツールご紹介します。 無料で使える！ 競合サイトを分析できる7つのツール 1. Dockpit（ドックピット） https://www.valuesccg.com/dockpit/ 最近、認知度が高まりつつある競合分析ツールです。 機能の一部が無料で使えるのがかなり助かりますね。 無料登録で取得できる指標はざっと下記の通り。 自社サイトと競合サイトの
開発者がビッグデータ分析にPythonを使う時によくやる間違い | POSTD
システムの構築、新しい技術の習得、PythonやDevOpsなどに情熱を注ぐソフトウェア開発者です。現在はチューリッヒを拠点とするビッグデータのスタートアップで働いており、データ分析およびデータ管理ソリューションのためのPythonの技術を磨いています。 1 はじめに Python は開発時間を短縮できるという点で一般的に評価の高い言語です。しかし、Pythonを使って効率よくデータ分析をするには、思わぬ落とし穴があります。動的かつオープンソースのシステムであるという特徴は、初めは開発を容易にしてくれますが、大規模システムの破綻の原因になり得ます。ライブラリが複雑で実行時間が遅く、データの完全性を考慮した設計になっていないので、開発時間の短縮どころか、すぐに時間を使い果たしてしまう可能性があるのです。 この記事ではPythonやビッグデータで作業をする時に、最も時間を無駄にしがちな事柄につ
Rでスポーツデータ解析がしたい: データを作るのって大変ですね - 300億円欲しい
はじめに R advent calendar 2014, 12月3日担当分です. Rのコードは出てきません. 野球のデータで遊びたい 私は普段, メジャーリーグのデータで遊んでいます. というのも, 整形されたメジャーリーグの詳細なデータが簡単に取得できるからです. 半年前に作ったスライドで申し訳ないのですが, こんな感じです. Rで野球データ解析がしたい ( pitchRxを使う ) from Takuma Hatano Rで野球データ解析がしたい ( pitchRxを使う ) pitchFxは, メジャーリーグの投球に関するデータ(を集めるシステム)です. RでpitchRxパッケージを使うと簡単に取得できます. 他にも, メジャーリーグのデータは簡単に取得できます. retrosheetという団体がデータをまとめてくれているので, ダウンロードして整形してcsvを出力してくれるスクリ
それでも独自のCSVを書くつもりですか？ | POSTD
一部誤訳の指摘があったため、修正しました！ご迷惑おかけして申し訳ございません！ あなたは自分でCSVを書いてみたいですか？ フィールドはコンマで区切り、行は改行で分けます。簡単ですよね。数行書けば勝手が分かるというものです。 でも、ちょっと待ってください。 フィールド内にコンマがある場合は？ ダブルクォート（”）で、該当のフィールドを囲みましょう。簡単ですね。 では、ダブルクォートで囲めるフィールドに例外はあるのでしょうか？ フィールド内にダブルクォートがある場合は？ フィールド内の各ダブルクォートに対して、ダブルクォートを二重化して適用しましょう。そうすれば元のダブルクォートをエスケープすることができます。 なお、二重化したダブルクォートと空フィールドを囲んでいるダブルクォート（ ...,"",... ）を勘違いしないように気を付けてください。 フィールド内に改行がある場合は？ その場合
茨城県と栃木県のデータがおかしいときに確かめること - Qiita
都道府県別のデータを扱う機会ってありますよね． 私もとあるサービスの都道府県別データを解析しておりました． $ wc -l location_data/location-*.csv | sort | head 0 location_data/location-8.csv 0 location_data/location-9.csv 12 location_data/location-38.csv 14 location_data/location-36.csv 20 location_data/location-31.csv 26 location_data/location-32.csv 29 location_data/location-16.csv 33 location_data/location-18.csv 48 location_data/location-39.csv 52
米Appleのデザインアワード受賞チームが作った、シンプルで美しい時間記録アプリ「Hours」 | ライフハッカー・ジャパン
Hours - taking the pain out of time tracking from Tapity on Vimeo. iOS：忙しい1日が過ぎたあとで「今日は何をしていたんだろう？」と、ふと思うことはありませんか？ どんなことにどれだけ時間を使ったかが分かれば、新しい問題に気づいたり、新しい気づきが生まれたりして、日々の改善に繋がります。逆に、データがないと時間は過ぎ去る一方なのかもしれません。 あなたの1日を色グラフでキレイにまとてくれる『Hours』というアプリは、米Appleのデザインアワード受賞チーム「Tapity」が開発した時間記録アプリです。機能的なタッチ動作と美しいUIデザインで、毎日の時間管理にピッタリです。時間を記録するには、新しいタイマーを作成して、名前を付けてから、時計ボタンをタップするだけです。すると、『Hours』はバックグラウンドで動作し、タスク
Vimでとても簡単かつ直感的にCSVを編集する方法 - Qiita
Vimでとても簡単かつ直感的にCSVを編集する方法は以下の通り。 1. 以下のVimプラグインをインストールする。 https://github.com/rbtnn/rabbit-ui.vim https://github.com/rbtnn/rabbit-ui-collection.vim 2. Vimから以下のコマンドで編集したいCSVファイルを選択する。 :RabbitUICollectionEditCSV ./a.csv 3. 使い方は以下の通りです。 jキー: カーソルを下に移動する kキー: カーソルを上に移動する hキー: カーソルを左に移動する lキー: カーソルを右に移動する eキー: セルの値を編集する Enterキー: 終了する（保存する） qキー: 終了する（保存しない） ※ 結構重くなるんで、実際運用するのには向いてませんよｗ。Vimでこういうこともできるんだ程度
開発者向けプラグイン 25＋
WordPressには便利なプラグインが沢山あり、それらを使うことであまり知識がない方でも様々な機能を実装して自分好みのブログやサイトを作ることができます。 ソーシャルボタンやページネーションを簡単に設置できたり、関連記事や人気記事を手軽に表示できるといったような見栄えを変えたりするユーザー向け（表向き）の機能を実装するタイプのプラグインはよく見かけるのでご存じの方も多いと思いますが、WordPressにはこういったプラグインだけでなく、何かと捗る開発者向けの裏方タイプのプラグインも便利なものが数多くあるので、それらの中から自分が覚えておいて損はないと思うものを紹介します。 全部のプラグインを普段の開発時に使用しているというわけではありませんが、以下で紹介しているものはいずれも個人的に開発時に便利だと思ったプラグインです。 有名なデバッグ系プラグインをはじめ、テンプレートファイルやIDを容
Excelデータを最速でWebアプリ(Heroku)にする<del>１０</del>９のステップ
ローカルには映画の視聴記録とか食べ歩きのお店評価とか投資履歴とかガラクタコレクションリストとかの自身の活動記録的なデータが溜まります。そしてどういうわけかそれらのデータは大概表計算ソフト「Excel」の上に置かれているのです。その結果、溜めたはいいが有効に活用されない、場合によっては見ることすらしないという事態に陥ります。それらのデータが本来的に置かれる場所が「データベース」であり、その活用によりデータ価値が向上するということに誰も異論はないとしても、データはExcelに置かれるのです。 理由は一つ。そう、データベースは敷居が高いのです。 データベースの敷居が下がれば、みんながローカルのデータをもっともっと大量に公開して世の中はもっと便利になるに違いありません。 まあ、実際のところはよくわかりませんが。 そんなわけで… データベースの敷居を下げるべく、CSVデータを簡単にデータベース化する
土日で作るWebサービス入門 - toyoshiの日記
先週日曜日に総額480円、プログラムコード200行、作業時間8時間で「給与明細.net」(http://www.給与明細.net)というWebサービスを作ってリリースをしました。これは給与支払明細書のPDFをWebで簡単に作れるWebサービスです。 シンプルな内容なので開発を開始してから8時間以内の作業でリリースできました。このエントリではサクッとサービスを開発してリリースするまでの僕なりの方法を紹介します。 特長 無料 会員登録不要 Excelから一括作成できる（CSVではない） オープンソース（MITライセンス） 目次 解決したい課題を見つける ドメインを取得する サイトマップとURLを決定する よいツールを集める まずデプロイ（公開）する そこそこのデザインにする 最低の機能をつけたらリリースする 広めるための準備をする おまけ：コードをかく 解決したい課題を見つける これがないとそ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
機械学習によるデータ分析 実践編
キトー君の悪い口コミ・失敗談と効果・販売店舗情報・安全と危険性・代用自作方法
ソニック速報
統計くん - 国勢調査を簡単にCSV化できる無料Webサービス