JSON を行単位にわかりやすく展開してくれるコマンド gron がピンポイントでとても便利
JSON を行単位にわかりやすく展開してくれるコマンド gron がピンポイントでとても便利 2022-06-13-1 [Programming] コマンドラインでの JSON の操作には jq (軽量JSONパーサ)[2017-10-24-1] を使っています。万能で便利なんですが、奥まったところにある値だけを取りたいときとかちょっと面倒なんですよね。ちらっと値を見たいだけなのにおおげさになっちゃいがち。 ということで、 gron というのを使ってみました。 GitHub - tomnomnom/gron: Make JSON greppable!JSONをgrepしやすくするコマンドラインツールgronの紹介 - Qiitagronでjsonの扱いが楽になった話 – Tower of Engineers あ、これでいいや。 いわゆる「顧客（＝私）が本当に必要だったもの」だわ。 例えば、
生まれてこのかた私が眼鏡と無縁なのは「明視棒」のおかげ
生まれてこのかた私が眼鏡と無縁なのは「明視棒」のおかげ 2012-02-28-3 [HealthCare][Goods][LifeHacks] もうすぐ40になる私ですが、子供の頃から視力は悪くなく、今に至るまで眼鏡やコンタクトレンズを必要としない生活を送ることができました。 なぜでしょう？ その秘密はこれ、「明視棒」（めいしぼう）です。 なんの変哲もない長さ30cmほどの木の棒です。「30cm」と「視力」というキーワードで気づいた人もいるかもしれません。小学校のころに「本を読むときには目から30cm離しなさい」と言われた記憶がありませんか？ そうなのです。この棒は目と本が近づきすぎではないかを確認するための道具なのです。 小学生のころ本を読むとき姿勢が悪かったりするとついつい目が近づいてしまいました。 それに気づくと父はこの明視棒を私の目と本の間に差し込みます。目が近すぎたな、と気づける
Google Chart API で日本の都道府県に自由に色が塗れる！すごい！
Google Chart API で日本の都道府県に自由に色が塗れる！すごい！ 2011-02-16-3 [WebTool][WebAPI][Geography] Google Chart API のページを見ていたら地図に色塗りできる API があるのを知りました。地域コードと色を指定すると色塗りされた地図画像が返ってくるという API です。世界中の地域の地図が対象です。これは使える！ Map Charts - Google Chart Tools / Image Charts (aka Chart API) - Google Code http://code.google.com/intl/ja/apis/chart/docs/gallery/new_map_charts.html 私としては地域情報＋テキストマイニングの結果を日本の都道府県に色塗りしたいです。さっそく使ってみよっと
行単位のデータをカウントしてランキングする手順
行単位のデータをカウントしてランキングする手順 2011-02-09-2 [Programming] 1行1件のテキストファイル形式のデータに対して、カウントしてランキングする方法は昔からこれ。ほとんどの環境に入っている sort と uniq と cat を使用。 sort FILENAME.txt | uniq -c | sort -nr | cat -n 以下のように alias しとくとよいかも (zsh)。 alias ranking='sort|uniq -c|sort -nr|cat -n' 実行例： perl -le 'for(1..100){print int(rand(5))}' | ranking 1 26 0 2 21 2 3 20 1 4 17 3 5 16 4 ls | cut -c1 | ranking 1 39 a 2 7 t 3 7 m 4 6 s 5 6
アマゾンAPIでカスタマーレビューのテキストや星数が取得ができなくなる
アマゾンAPIでカスタマーレビューのテキストや星数が取得ができなくなる 2010-09-09-1 [WebAPI][Programming][Affiliate][News] 2010年11月9日以降、PAAPI でのカスタマーレビューのテキストやレーティング（星の数）などが取得できなくなります。代わりに iFrame の URL を返すようになります。 な、なんだってーーーー！！！！！ これはちょっと大きな変更です。 - 重要：Product Advertising APIの仕様変更について (Reviews) http://developer.amazonwebservices.com/connect/ann.jspa?annID=761 2010年11月9日 をもちまして、Product Advertising APIのReviewsレスポンスグループにおいて、カスタマーレビューの本
形態素解析と検索APIとTF-IDFでキーワード抽出
形態素解析と検索APIとTF-IDFでキーワード抽出 2005-10-12-1 [Programming][Algorithm] 形態素解析器と Yahoo! Web 検索 API と TF-IDF を使ってキーワード抽 出するという先日の検索会議でのデモ、KEYAPI[2005-09-30-3]。 教科書に載っているような基本中の基本ですが、あらためてエッセンスを 簡単な例で解説したいと思います。 目的：キーワード抽出対象テキストから、そのテキストを代表する キーワードを抽出します。TF-IDF という指標を用います。（この値が大 きいほどその単語が代表キーワードっぽいということでよろしく。） TF-IDF を計算するためには、 (1) キーワード抽出対象テキスト中の代表キーワード候補出現数 (TF)、 (2) 全てのドキュメント数 (N)、 (3) 代表キーワード候補が含まれるドキュメ
Yahoo!ウェブ検索APIの利用制限のルール変更
Yahoo!ウェブ検索APIの利用制限のルール変更 2009-10-14-5 [Programming][News] Yahoo!デベロッパーネットワークからのお知らせ。 Yahoo!の検索API使っている人は要注目！ - 2009年10月13日 Yahoo!検索Webサービスの利用制限単位が変わりました http://developer.yahoo.co.jp/newslist/1#64 検索Webサービスの利用制限単位を、他のWebサービスと同様に1IPアドレス単位から1アプリケーションID単位に切り替えました。今後ともYahoo!デベロッパーネットワークを宜しくお願いいたします。 一日あたり50,000アクセスという制限のある検索API。 今までは同一 IP からのアクセス数でカウントしていたのですが、同一アプリケーションID(appid)でのカウントに切り替わったのです。 大学や会
Google Chart API で QRコードも生成してくれるようになった
Google Chart API で QRコードも生成してくれるようになった 2008-07-04-3 [WebTool] URL をなげるとグラフなどの図を画像として生成してくれる Google Chart API ですが、新たに QRコードを生成してくれるオプションができました。 QR codes (Developer's Guide - Google Chart API) 基本となるパラメータは chs（サイズ指定）cht（QRコードなのでqrを指定）chl（エンコードしたテキストを指定） の３つです。 では実例。 このブログのトップページ「https://chalow.net/」のQRコードを作ります。 URLを組み立てるとこうなります： https://chart.apis.google.com/chart?chs=150&cht=qr&chl=https%3a//chalow.
MacBook の HDD を交換した話
MacBook の HDD を交換した話 2009-02-11-3 [Mac][Tips] 今使っている MacBook (MA701J/A) の HDD の容量は 120Gバイト。 残り容量がギリギリで困っていて、 「HDD を交換して容量増やさなきゃ」と日々思いつつも、 面倒そうなので後回しにしていました。 (ref. [を] MacBook の HDD を交換する話[2008-09-22-2]) このたび、週の真中の水曜日がなぜか休日だったので、えいやっと交換しました。 一気に 500G にしました。 空き領域がたくさん！これは嬉しい！ ということで、交換までの道のりをご報告しますー！ 参考サイト まずは参考にしたサイトです。 私がここで書く内容はこれらの情報に基づいています。 ありがとうございました。 - MacBookのHDD増設 (Underconstruction by Ta
[を] Mac OS X から ssh 接続してもすぐ切れちゃう問題に対処
Mac OS X から ssh 接続してもすぐ切れちゃう問題に対処 2008-02-26-2 [Tips][Mac] ここ最近、私を悩ます Mac OS X での困り事。 (1) Terminal から ssh でログインしてもしばらくすると切れちゃう。 (2) sshfs を使ってると同様に接続が切れるんだけど、 そのときうっかり Finder で変なところをいじると OS が固まっちゃう[2008-01-27-1]。 どうしたものかなあ、と思ってたらこんなページを発見！ - keep-alive for ssh ttp://www.geocities.co.jp/AnimeComic/1098/documents/unixmemo/\ ssh-keepalive.html http://hnw.jp/documents/unixmemo/ssh-keepalive.html (追記08
アマゾンの商品ページでASINを取り出すブックマークレットの雛形
アマゾンの商品ページでASINを取り出すブックマークレットの雛形 2008-12-02-3 [Programming][Bookmarklet] 「アマゾンの商品ページのURLって、SEO対策で長くなってる上に、 いろいろなパラメータがくっついてて複雑で扱いづらいので、ASIN だけ取り出してそれだけを使って何かをするぜ！」 ということをやりたいので、そのためのブックマークレットの雛形を作りました。 参考にしたサイトは以下： amazletツール http://app.bloghackers.net/amazlet/G-Tools ブックマークレット http://a-h.parfe.jp/einfach/archives/2004/0413103647.html で、まずは雛形となる JavaScript コード： var u = location.href; if (u.search(
はてブ八分にされてから復活するまで
はてブ八分にされてから復活するまで 2008-10-02-2 [WebTool][Evil] 9月26日の記事、 『「想定読者」と「ブログを書き続ける目的」について』 [2008-09-26-2]が「はてブ八分」にされてました。 多くのユーザがブックマークしたサイト(URL)が ランキング上位に現れるという ソーシャルブックマークの特徴を利用して、 徒党を組んで（または一人で複数アカウントを使って） 一つのURLを集中的にブックマークし、 無理矢理ランキング上位に送り込み、 アクセスを稼ぐというあさましい行為が 最近よく多く行われています。 日本でメジャーなソーシャルブックマークサービスである 「はてなブックマーク」では、 これに対抗するため、 そのようなことが行われたらしきURLを 「アクセス稼ぎ行為がなされたあさましいウェブページである」 と自動判定して、 ランキングに現れないようにペ
RSS を読み込んでランダムな文章を生成する
RSS を読み込んでランダムな文章を生成する 2008-09-07-3 [Programming][NLP][IIR][WebAPI] 今日のIIR輪講[2008-09-07-2]の内容のフォローも兼ねて、ちょっとしたハックを紹介。 bigram language model に基づく、ランダム文生成を行います。 って、まあ、単純にある単語の次に現れる単語の分布を用いて、文章を生成していくだけですが。 以下、サンプルプログラムと実行例です。 サンプルコード rss-lm.pl #!/usr/bin/perl use strict; use warnings; use XML::RSS; use LWP::Simple; use XML::Simple; use URI::Escape; use utf8; binmode STDOUT, ":utf8"; my $appid = "Yaho
ヤフーの日本語係り受け解析APIとサンプルプログラム「なんちゃって文章要約」
ヤフーの日本語係り受け解析APIとサンプルプログラム「なんちゃって文章要約」 2008-08-21-1 [WebTool][NLP][Programming][Algorithm] Yahoo!デベロッパーネットワーク(YDN)に 「日本語係り受け解析Webサービス」が登場しました。 Yahoo!デベロッパーネットワーク - テキスト解析 - 日本語係り受け解析 http://developer.yahoo.co.jp/jlp/DAService/V1/parse.html 「係り受けってなに？」という方もいると思うので、 以下、まったくもって厳密ではない、適当な解説を試みます。 (1) 日本語をコンピューターで処理するには、 まず形態素解析というのをやって、 文を形態素（≒単語）単位に分割します。 YDN の「日本語形態素解析Webサービス」[2007-06-18-1] で試すことができ
[を] ImageMagick でGIFアニメ
ImageMagick でGIFアニメ 2008-08-17-1 [Tips][Software] ImageMagick[2008-08-15-3] で GIF アニメを作る手順。 「フリーソフトで快適生活 : ＩｍａｇｅＭａｇｉｃｋ」 (http://webtool.exblog.jp/1049634/) を参考に。 複数の画像を指定して一つのアニメーションGIFファイルを作ってみる。 元となる複数の画像： % ls *.JPG P1040094.JPG P1040096.JPG P1040098.JPG P1040100.JPG P1040095.JPG P1040097.JPG P1040099.JPG P1040101.JPG これらを指定してアニメーションGIFに変換： % convert -delay 50 -loop 0 *.JPG animation.gif って、ファイ
Yahoo! Search BOSS が出たので試してみました
Yahoo! Search BOSS が出たので試してみました 2008-07-11-3 [Programming] 米Yahoo!のBOSSが出ました。 なんのことやら、という方は下記のニュースなどで。 ■米Yahoo!、検索技術をオープンにする「BOSS」発表 http://enterprise.watch.impress.co.jp/cda/foreign/2008/07/11/13395.html ■米ヤフー、オープン検索プラットフォーム「Yahoo! Search BOSS」を発表 http://japan.cnet.com/marketing/story/0,3800080523,20376947,00.htm ■Yahoo!、独自の検索サービス作れる「Search BOSS」を公開 http://www.itmedia.co.jp/news/articles/0807/11/
[を] 転置インデックスによる検索システムを作ってみよう！
転置インデックスによる検索システムを作ってみよう！ 2007-11-26-5 [Algorithm][Programming] 転置インデックス[2007-06-17-6]による検索システムの実装は パフォーマンスを無視すれば意外と簡単です。 それを示すために Perl で簡単な検索システムを作ってみました。 検索方式は転置インデックス(Inverted Index)、 ランキングには TF-IDF[2005-10-12-1] を用いました。 検索対象ファイルは一行一記事で以下のフォーマットとします。 [記事ID][SPC][記事内容]\n 記事IDは数字、記事内容は UTF-8 の文字で構成されるものとします。 以下のようなサンプル test.txt を用意しました。 1 これはペンです 2 最近はどうですか？ 3 ペンギン大好き 4 こんにちは。いかがおすごしですか？ 5 ここ最近疲れ
GNU SCREEN メモ
GNU SCREEN メモ 2005-12-20-2 [Tips] Let's use SCREEN! <http://www.dekaino.net/screen/> USING SCREEN EXAMPLE part1 <http://www.dekaino.net/screen/02example.html> 新しい仮想画面の生成^Z^C ^Zc仮想画面の切替^Zn ^Z[SPC] ^Z@仮想画面リストの表示^Z^W ^Zw仮想画面のタイトル変更^ZA仮想画面への直接移動^Z[画面番号]仮想画面の切替(降順)^Z^H ^Z[DEL] ^Z^P ^Zp USING SCREEN EXAMPLE part2 <http://www.dekaino.net/screen/03example.html> バックスクロール(コピーモードに移行)^Z[ESC] ^Z[コピーバッファへのコピー範囲
Yahoo!知恵袋の検索結果RSSでQA検索サイトを作る
Yahoo!知恵袋の検索結果RSSでQA検索サイトを作る 2006-09-14-1 [YahooHacks] 今回の YahooHacks は、 Yahoo!知恵袋(http://chiebukuro.yahoo.co.jp/)の検索結果RSSを用いた QA検索サイトの作り方です。 前回の「Yahoo!商品検索」のハック[2006-09-13-1]とやっていることは 同じです。今回は、CGI.pm のタグ生成メソッドは使わずに、 テンプレートエンジン HTML::Template を使いました。 (一時的にデモを置いておきます。そのうち消えます。ご了承ください。 http://chalow.net/misc/yahoohacks-samp/hack_csearch.cgi) 使用している Web API の提供が終了となったため、現在動作しません。ご了承ください。 ■■■Yahoo!知恵袋
はてな投げ銭はなぜ日本の PayPal になれなかったのか
はてな投げ銭はなぜ日本の PayPal になれなかったのか 2007-08-06-3 [WebTool] はてな (http://www.hatena.ne.jp) が提供してきたサービスのうち、 私にとって衝撃的だったというか未来を感じさせたものが二つある。 一つは「はてなわんわんワールド」、もう一つは「はてな投げ銭」だ。 今となってはどちらも、廃れた、とは言いすぎかもしれないけど、 はてなのサービス群の中でも非常に目立たないポジションになっている。 わんわんワールドは置いといて、ここでは投げ銭の話をする。 投げ銭ははてなのユーザ同士がお金をやりとりできるサービスで、 手数料はかかるけど簡単な小額決済ができるのが素晴らしく、 マイクロペイメントの本命か！？と興奮したものだ。 もう二年も前の話になるのか…。 (ref. [2005-08-12-3][2005-08-11-6][2005-0
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
