タグ

shellとデータに関するpapiroのブックマーク (4)

  • MNIST 手書き数字データを画像ファイルに変換する - y_uti のブログ

    MNIST 手書き数字データは、0 から 9 までの手書きの数字 70,000 点を収録したデータセットです。機械学習やパターン認識の手法を確認するために利用できます。以下のウェブサイトからデータをダウンロードできます。 MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges データは、訓練データ 60,000 点 (train) とテストデータ 10,000 点 (t10k) に分けられています。それぞれ、手書きの数字を表すピクセルデータ (images) と、それが 0 から 9 のどの数字なのかを示すラベルデータ (labels) からなります。いずれも、バイナリ形式で提供されています。 今回は、これらのデータをバイナリ形式からテキスト形式に変換して、簡単に、データの内容を確認したりス

    papiro
    papiro 2016/09/28
    バイナリデータを扱うシェル芸人発見・・・
  • データフロープログラミング - Wikipedia

    データフロープログラミング(英: dataflow programming)は、データフローの原理とアーキテクチャに準拠したプログラミングパラダイムであり、コンピュータプログラムをオペレーション間のデータフローの有向グラフとして模型化する。データフロー言語は、関数型言語の特徴を共有しており、より数値処理に適したものになっている。 データフロー言語は、命令型プログラミングモデルなどの他の主要のプログラミング言語とは対照的である。命令型プログラミングではプログラムは一連の命令文で構成され、データの流れは見えない。この違いは瑣末に思われるかもしれないが、パラダイムとしての違いは非常に大きく、データフロー言語はマルチコアシステムやマルチプロセッシングシステムを自由に使える。 プログラミングにおける重要な概念として「状態」がある。状態とは基的には、システムの各種条件(変数)の測定値のスナップショッ

    データフロープログラミング - Wikipedia
    papiro
    papiro 2015/02/24
    シェル芸ってデータフロープログラミングですよね?
  • USP研究所所長 當仲氏に聞く「ユニケージ開発手法」で何が出来るのか?~特別インタビュー

    大体どこの会社にも「エクセル名人」と言われる方がいて、僕もいろんな会社に行ってびっくりするんですけど、A3の紙に出したら虫眼鏡で見ないといけないような、ものすごいエクセルの表やグラフがたくさんあるんです。これを作るには、ものすごいエネルギーがいる。また、そのエクセルを簡単に作るにはどうしたらいいかっていうことに、しのぎを削っている会社もあるんですね。ただエクセルを使えば使うほど、みんな限界を感じていると思うんです。エクセルやアクセス、ノーツなどのアプリケーションを使いこなしたら、全て何とかなるというわけではないんですね。アプリケーションというのは、ある目的のために専用で使用することを前提としています。例えばエクセルは表計算が出来ますが、実はそれ以外のことはあまり出来ないんです。エクセルに不向きな処理を行うと、果てしなく時間が掛かることもあります。 「ユニケージ開発手法」を用いると、エクセル

    USP研究所所長 當仲氏に聞く「ユニケージ開発手法」で何が出来るのか?~特別インタビュー
  • 「大事なのは情報の自由度です」~當仲寛哲氏・ユニバーサル・シェル・プログラミング研究所 代表取締役所長

    UNIXのシェルスクリプトを使って、大量データを高速で処理する開発手法が流通業などで利用されている。この「ユニケージ開発手法」を提唱するユニバーサル・シェル・プログラミング研究所の當仲寛哲代表取締役所長は、自らプログラムを書く人物だが、もともとはスーパーのダイエー社員でコンピュータとは無縁、コマンドやシェルスクリプトなどはまったく知らなかった。 情報システムの世界に入るきっかけは、衣料品の改革プロジェクトに呼ばれたことだった。当時のダイエーでは紳士服の販売が好調だったが、それが悪くなりかけた時期だった。店舗や商品部の聞き取り調査をしていく間に「それぞれの意見がバラバラ」なことに気づいた。 人は自分が見たものや経験したものを基準に意見を言う。会社が大きくなればなるほど、分業になり経験範囲が限られるため、意見がバラバラになってしまう。根拠が違うから結論も違う。方向性を合わせていくのは大変だ。

    「大事なのは情報の自由度です」~當仲寛哲氏・ユニバーサル・シェル・プログラミング研究所 代表取締役所長
  • 1