タグ

textに関するyassのブックマーク (12)

  • GitHub - harelba/q: q - Run SQL directly on delimited files and multi-file sqlite databases

    You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

    GitHub - harelba/q: q - Run SQL directly on delimited files and multi-file sqlite databases
    yass
    yass 2014/02/19
    " Treating Text as a Database "
  • バイナリとテキストの本当の違い : 404 Blog Not Found

    2009年04月09日00:15 カテゴリLightweight LanguagesCode バイナリとテキストの当の違い うーむ、Wikipediaですら「見た目」の違いしか説明していない。 バイナリ - Wikipedia コンピュータが扱うすべてのデータはバイナリデータ(バイトの並び)であり、プレーンテキスト(または単にテキスト)もバイナリデータの一種ではあるが、通常バイナリとテキストは対比して用いられる。テキストとはデータの内容すべてを人間が読んで理解できる (human-readable) 表現形式を指し、バイナリとはそうでない表現形式を指すことが多い。 Binary file - Wikipedia, the free encyclopediaA binary file (.bin) is a computer file which may contain any type

    バイナリとテキストの本当の違い : 404 Blog Not Found
    yass
    yass 2013/08/25
    " 仕様、メタデータ、またはヘッダーで「終わり」を先に決めておくのがバイナリー / 「データはここで終わり」という信号が来るまで「終わりがない」のがテキスト"
  • テキストとバイナリ

    テキストとバイナリの一番特徴的な違いはひとかたまりのデータの長さを知る/伝える方法にあると思う. バイナリの場合は一般には0x00から0xFFまで全てのビットパターンが有効な意味を持つ. 対して文字は使わないビットパターンがある. この使わないビットパターンに特別な意味を持たせる事でデータの区切りに利用したり, 次の 8bit が連続したデータである事を示す事ができる. 前者の代表例が制御文字, 後者の 代表例はマルチバイト文字で良く使われる最小上位 1bit のフラグ. 最近, ネットワーク越しにアプリケーションを利用する事が多くなってきているけどそこで利用されているプロトコルでは XML などのテキストデータを利用する場合がほとんどだ. 通信にテキストを利用する場合, エンコーディング(の合意とサポート)が問題になったり, データサイズが大きくなったりっていう問題がある. それでもテキ

    yass
    yass 2013/08/25
    " だからテキストデータを利用する. テキストなら取り合えず送信を開始して, 全部済んだら, これで終わりって意味の特別なビットパターンを送れば良い."
  • バイナリデータとテキストデータ:プログラマー社長のブログ:オルタナティブ・ブログ

    このところ受託開発の仕事のプログラミングの納期間近ということで、私も手伝って慌ただしくプログラミングをしているのですが、そのシステムでは通信データの形式にバイナリ形式を使っています。バイナリ形式とテキスト形式の違いをあらためてプログラマー視点で書いてみましょう。 バイナリ形式とはCPUがそのまま値として扱える状態のことで、例えば数値データとして一般的に使われている32ビット整数や、64ビット浮動小数点などがあります。C言語では、char,short,long,float,doubleなどの型が使われます。32ビットコンパイラならintはlongと同等ですね。 一方、テキスト形式は、人間がそのまま読める形式で、一般的にはアスキー形式とも呼ばれますが、ASCII文字を使用し、数値も「1.234」という感じに文字列で表現します。 昔はフロッピーディスクなどの記憶媒体の容量が少なかったため、少ない

    バイナリデータとテキストデータ:プログラマー社長のブログ:オルタナティブ・ブログ
    yass
    yass 2013/08/25
    " 昔はフロッピーディスクなどの記憶媒体の容量が少なかったため、少ない容量で多くのデータを保持できるバイナリ形式が多用 / メモリー使用可能容量がさらに少なかったので、バイナリー形式が好まれた "
  • basE91

    basE91 is an advanced method for encoding binary data as ASCII characters. It is similar to UUencode or base64, but is more efficient. The overhead produced by basE91 depends on the input data. It amounts at most to 23% and can range down to 14%.

  • Jarmor (Java ASCII armor)

    yass
    yass 2012/08/27
    Jarmor supports encoding and decoding using the Base64, Base32, Base16, UUCP and ASCII85 encodings.
  • Excelの表を罫線ごとテキストに変換する

    テキストファイル上で表組みを表したい場合、「┌」や「┬」といった外字を用いて罫線を作る方法がある。例えばメール文の中に表を挿入したい場合など、数行程度のちょっとした表であれば、これでじゅうぶんに表組みであることが伝えられる。いちいちExcelファイルを参照してもらわなくても済むというわけだ。

    Excelの表を罫線ごとテキストに変換する
  • CSVファイルフォーマットの解説:CodeZine

    はじめに CSVファイルは最も普及したデータ交換用フォーマットですが、さまざまな方言があります。 稿ではCSVファイルフォーマットの仕様とデータ交換時のポイントを説明します。 対象読者 CSVファイルを扱うDB管理者、開発者。 CSVとは? CSVとはComma-Separated Valuesの略で、カンマ区切りで並べた値という意味です。 CSVファイルの例として、一般的なアドレス帳データを示します。 "姓","名","生年月日","郵便番号","住所","電話番号" "山田","太郎","2001/1/1","100-0002","東京都千代田区皇居外苑","03-1234-5678" "山田","次郎","2001/1/2","251-0036","神奈川県藤沢市江の島1丁目","03-9999-9999" カンマで区切られたデータの横一列を"行"(英:Row)

  • livedoor Developers Blog:String::Trigram でテキストの類似度を測る - livedoor Blog(ブログ)

    こんにちは。検索グループ解析チームの nabokov7 です。 今回は、livedoor キーワードでの事例より、テキストの類似度を測るのに便利な手法を紹介します。 livedoor キーワードは、livedoor ブログでその日その日で話題になった語をランキング表示するサービスです。 当初、はてなキーワードやWikipediaを足して2で割ったようなサービスを作れといった開き直った指示のもとで開発が開始されたともいう、分社化前の芸風の名残で、キーワードの検索結果にはユーザが自由に解説を書き込める Wikipedia 的スペースもついています。 で、この解説部分に、さまざまなサイトから文章をまる写ししちゃう人がとても多いのですね。 特に多いウィキペディア日語版からの剽窃を防止するために、livedoor キーワードでは以下のような対策を講じることにしました。 ウィキペディア日語版の解説

  • テキスト選択からあらゆることができちゃう Firefox 用拡張機能 | Hyperwords - Forgot the Milk.

    久々に強力な拡張機能を発見しました。Firefox用のアドオン「Hyperwords」 は、テキスト選択に反応してサブメニューが表示され、そこから選択ワードの検索など、様々なことができるようになるツールです。 ほんの一例をあげると、メニューから以下のようなことができます。 ・Web、画像、ビデオ、SNS、ブログ、ユーザ、ニュースなどの様々な検索 ・Wikipediaを始めとする様々な辞典検索 ・14ヶ国語をサポートした翻訳(選択されたテキストが置換されます!) ・リンク先のURL&テキストコピーなどの拡張コピー ・Amazonなどのショップ検索 ・Gmailの新規作成画面への転送などのメール機能 ・Googleマップ、Yahooマップなどの地図検索 すばらしいですね。いちいちコピーして、他のページを立ち上げて、検索を実行して・・・という手順を全て省くことができちゃいます。 でも、このツール

    yass
    yass 2007/06/09
    [right click
  • 窓の杜 - 【NEWS】ログファイルなど巨大なテキストファイルを1MBずつ表示できる「GigaReader」

    ログファイルなど巨大なサイズのテキストファイルを効率よく開けるテキストビューワー「GigaReader」v2.1.4が、10日に公開された。Windows 98/Me/2000/XP/Vistaに対応するフリーソフトで、現在作者のホームページからダウンロードできる。なお、商用利用時は作者への連絡が必要。 「GigaReader」は、ログファイルなど巨大なファイル向けのテキストビューワー。Webサーバーのアクセスログなど、数百MBから数GBものサイズになってしまったテキストファイルを、指定したサイズ位置から1MBずつ表示できるのが特長。 ソフトは、ファイルを開く際にあらかじめファイルサイズの総容量を表示し、指定したサイズの位置から1MB分のみを表示する仕組み。そのため、GB単位のテキストファイルでも素早く表示することが可能。 テキストビューワーとしては、検索機能や印刷機能のほか、現在表示し

  • IBM Developer

    IBM Developer
    yass
    yass 2006/09/29
    head、tail、grep、egrep、fgrep、cut、paste、join、awk
  • 1