kjw_junichiのブックマーク - はてなブックマーク

Pythonででっかいテキストファイルをソートする - Qiita
経緯 Windows環境で動作しているPythonスクリプトでテキストファイルのソートが必要になりました。要件としては次のようなものです。 Windows環境で実行対象ファイルは数GBのCSVファイルソートキーは複数のカラムで数値のカラムもある Windowsコマンドプロンプトにはsortコマンドがあり、巨大なファイルのソートには対応しています。しかしLinuxのsortコマンドと違い、区切り文字を指定したり(-t)、数値としてソート(-n)することはできません。サイズが小さければPythonスクリプトで全データをメモリに読み込んでsorted関数を呼べば済むのですが、サイズが大きい場合はメモリ不足になる可能性があります。仕方がないのでPythonで巨大なファイルに対応したソート処理を実装することにしました。処理手順巨大なデータをソートするにはマージソートの考え方で以下のよ
kjw_junichi 2019/01/11
あとで読む
リンク
Qiita Advent Calendar 2016 で削除されたカレンダーを調べてみた - Qiita
はてな匿名ダイアリーでこんなのが書かれていてあるカレンダーが削除されたのを知ったのですが、どうやら他にも削除されたカレンダーがあるようなので調べてみました。調べ方 AdventCalendarのページには削除されたカレンダーのリンクは当然ないのでここからは調べようがありませんが、幸いにカレンダーのURL一覧が載っている投稿があったのでこれを使用しました。 Advent Calendarを立てた人自身は何日目にエントリーするのか調べてみた - Qiita 12/3(木)22時頃の時点でQiitaに開かれていたAdventCalendar 499件です。だそうです。ここに載っているURLにアクセスして、404 Not Found ならば削除されたカレンダーということになります。約500件を手作業で確認するわけにはいかないのでPythonで書きました。 import re import
kjw_junichi 2017/01/13
あとで読む
リンク
React.js使ってQiitaトレンド作ってみた - Qiita
2017/03/01 WebサービスとしてリニューアルしてHerokuで公開しました。 QiiTrend QiitaトレンドをリニューアルしてQiiTrendを作った - Qiita データ取得方法を変更したので、長期間のデータが高速に取得できるようになりました。サーバーサイドでデータをキャッシュしているので、一度表示したデータは次回から高速に表示できるようになりました。 Qiitaの検索オプションがそのまま使えるようになり、タグ以外の検索もできるようになりました。以下、2015/04/06の内容最近話題になってるReact.jsを使ってクライアントサイドだけで動く簡単なアプリを作ってみた。ソース https://gist.github.com/tag1216/819ded0722cedf75996f デモ http://bl.ocks.org/tag1216/raw/819ded
kjw_junichi 2015/04/06
あとで試す

プログラミング

web
リンク
1