タグ

unixとデータに関するpapiroのブックマーク (5)

  • 早く、安く、うまくシステムを刷新! 驚異的なパフォーマンスを誇るユニケージ開発手法【デブサミ2019夏】

    ユニケージ開発手法は、Unix系OSにおいてコマンドとシェルスクリプトでシステムを開発する手法である。Unix系OSの基機能のみを使用して、高速にデータ処理を実行できる。ユニバーサル・シェル・プログラミング研究所はこの手法の商標権を持ち、かつ独自コマンドの開発を続けている企業だ。同社 SI統括部長の井上祐一氏が、ユニケージ開発技法の持つ利点をデモンストレーションを交えながら解説した。 有限会社ユニバーサル・シェル・プログラミング研究所 SI統括部長 井上祐一氏 実装が用意。かつパフォーマンスに優れるユニケージ開発手法 ユニケージ開発手法は、データをテキストファイルで持ち、単機能のコマンドをパイプラインやリダイレクトなどと組み合わせてデータ処理を行うことに特徴がある。 Unix系OSが持つ既存コマンドでは処理ができなかったり、コンピューターの計算コストが高くなったりしてしまう場合には、新規

    早く、安く、うまくシステムを刷新! 驚異的なパフォーマンスを誇るユニケージ開発手法【デブサミ2019夏】
  • データフロープログラミング - Wikipedia

    データフロープログラミング(英: dataflow programming)は、データフローの原理とアーキテクチャに準拠したプログラミングパラダイムであり、コンピュータプログラムをオペレーション間のデータフローの有向グラフとして模型化する。データフロー言語は、関数型言語の特徴を共有しており、より数値処理に適したものになっている。 概要[編集] データフロー言語は、命令型プログラミングモデルなどの他の主要のプログラミング言語とは対照的である。命令型プログラミングではプログラムは一連の命令文で構成され、データの流れは見えない。この違いは瑣末に思われるかもしれないが、パラダイムとしての違いは非常に大きく、データフロー言語はマルチコアシステムやマルチプロセッシングシステムを自由に使える。 プログラミングにおける重要な概念として「状態」がある。状態とは基的には、システムの各種条件(変数)の測定値の

    データフロープログラミング - Wikipedia
    papiro
    papiro 2015/02/24
    シェル芸ってデータフロープログラミングですよね?
  • データ集計コマンドを極めてシステム処理と業務速度を爆速化するお話 - Y's note

    Index データ集計コマンド 爆速で検索したいぜ! lookを使う LC_ALL=Cを設定する データのランダムサンプリングがしたいぜ! sedを使う awkを使う sortの--random-sortを使う Script言語を使う shufを使う ランダムサンプリング速度比較 合計と平均値を集計したいぜ! 列データ取得 重複行のカウント 合計値出力 平均値出力 複数ファイルのデータ結合がしたいぜ! 共通項目での結合 同じ行数での結合 まとめ データ集計コマンド joinコマンドが便利過ぎて生きるのが辛い - Yuta.Kikuchiの日記 lookコマンドによる二分探索が速すぎて見えない - Yuta.Kikuchiの日記 今日はデータ集計を行う上で絶対に覚えておいた方が良いコマンドと知識を紹介したいと思います。これを身につければシステム処理と業務効率化に大きく繋がると思います。この記

    データ集計コマンドを極めてシステム処理と業務速度を爆速化するお話 - Y's note
    papiro
    papiro 2015/02/04
    テキスト処理系のデータ操作コマンド
  • 技術/UNIX/od, hexdump, xxd : 16進数 or 2進数ダンプ - Glamenv-Septzen.net

    id: 1224 所有者: msakamoto-sf 作成日: 2013-07-27 18:46:41 カテゴリ: Linux UNIX [ Prev ] [ Next ] [ 技術 ] 使うたびにググってるので、いい加減、よく使うパターンについてメモ。 16進数(od, hexdump, xxd)と2進数(xxd)ダンプ出力の、よく使うコマンド例のまとめ。 (unix上でのバイナリファイルの編集については 技術/vim/メモ6, バイナリデータの編集 とか参照。) od -v : 直前と同じ内容を持つ行も表示する。事実上、必須。 -Ax : 基数を16進数に。 -t : GNU od : -tx1z : 1バイトずつ16進数で、対応する文字を行末にまとめて表示。 BSD, Solaris : -tx1c : 1バイトずつ16進数で、対応する文字を次の行に表示。 $ echo "abcde

    papiro
    papiro 2015/01/12
    データのダンプコマンドの使い方。od、hexdump、xxd。
  • USP研究所所長 當仲氏に聞く「ユニケージ開発手法」で何が出来るのか?~特別インタビュー

    大体どこの会社にも「エクセル名人」と言われる方がいて、僕もいろんな会社に行ってびっくりするんですけど、A3の紙に出したら虫眼鏡で見ないといけないような、ものすごいエクセルの表やグラフがたくさんあるんです。これを作るには、ものすごいエネルギーがいる。また、そのエクセルを簡単に作るにはどうしたらいいかっていうことに、しのぎを削っている会社もあるんですね。ただエクセルを使えば使うほど、みんな限界を感じていると思うんです。エクセルやアクセス、ノーツなどのアプリケーションを使いこなしたら、全て何とかなるというわけではないんですね。アプリケーションというのは、ある目的のために専用で使用することを前提としています。例えばエクセルは表計算が出来ますが、実はそれ以外のことはあまり出来ないんです。エクセルに不向きな処理を行うと、果てしなく時間が掛かることもあります。 「ユニケージ開発手法」を用いると、エクセル

    USP研究所所長 當仲氏に聞く「ユニケージ開発手法」で何が出来るのか?~特別インタビュー
  • 1