200行のコードへのブロックチェーンの実装 | プログラミング | POSTD
ブロックチェーン の基本的な概念は非常にシンプルです。分散型データベースで、順序付けられたレコードのリストが連続的に増加していきます。しかしシンプルとは言え、ブロックチェーンやそれを使うことで解決しようとしている問題について話をする際に、頭を悩まされることがよくあります。これは、 ビットコイン や イーサリアム といった、一般にもよく知られているブロックチェーンベースのプロジェクトでよく聞かれる話です。「ブロックチェーン」は、 取引 や スマートコントラクト 、または 暗号通貨 といったコンセプトと強い結びつきがあります。 そのため、本来シンプルであるべきブロックチェーンの理解がより困難になってしまっています。抜け目のないソースコードであれば尚更です。 そこで、 NaiveChain という、200行のJavascripitに実装した、非常にシンプルなブロックチェーンを紹介したいと思います
Python pandas + folium で Leaflet をもっと使いたい - StatsFragments
先日参加させていただいた Japan.R でこんな話を聞いた。 RPubs - leafletではじめるRによる地図プロット Python でも folium というパッケージを使うと JavaScript を書かなくても Leaflet.js の一部機能が使えるのだがあまり情報がない。上の資料に書いてあるようなことが folium でもできるのか調べたい。 folium については前にこんなエントリを書いた。 sinhrks.hatenablog.com データの準備 import numpy as np np.__version__ # '1.10.2' import pandas as pd pd.__version__ # u'0.17.1' サンプルデータとして Wikipedia にある アメリカの国立公園 のデータを使う。まずは pd.read_html でデータを読みこむ。
データサイエンスのワークフロー ― データ分析を効率に行うために | POSTD
データを扱うときに、きちんと定められたワークフローがあると助かります。具体的には、「ストーリーを伝える」（データの可視化／ジャーナリズム）ことだけを目的として分析を行いたいのか、それとも一定のタスク（データマイニング）をモデリングするためにデータに依存するシステムを構築することが目的なのか、プロセスが重要です。前もって方法論を定めておくことによって、チームの足並みが揃い、次に何をすべきか考え出そうとして無駄な時間を費やさなくて済みます。それによって早く結果が得られ、資料の公表も早くなります。 これを念頭に、Ashley Madisonの漏洩データ分析に関する 前回の記事 に続いて、私たちが現在使用しているワークフローをご紹介します。このワークフローは、データ漏洩（Ashleyのケースなど）を分析するためだけでなく、社内のデータの分析にも使用されます。ただし、重要な点として、このワークフロー
簡単なデータ操作を PySpark & pandas の DataFrame で行う - StatsFragments
Spark v1.3.0 で追加された DataFrame 、結構いいらしいという話は聞いていたのだが 自分で試すことなく時間が過ぎてしまっていた。ようやく PySpark を少し触れたので pandas との比較をまとめておきたい。内容に誤りや よりよい方法があればご指摘 下さい。 過去に基本的なデータ操作について 以下 ふたつの記事を書いたことがあるので、同じ処理のPySpark 版を加えたい。今回は ひとつめの "簡単なデータ操作〜" に相当する内容。 pandas 版 簡単なデータ操作を Python pandas で行う - StatsFragments Python pandas でのグルーピング/集約/変換処理まとめ - StatsFragments 準備 環境は EC2 に作る。Spark のインストールについてはそのへんに情報あるので省略。サンプルデータは iris を
SECCON CTF 2013 online予選 forensics 400
SECCON CTF 2013 オンライン予選のフォレンジックス400点の解法です。 競技中は解けませんでしたので、終わってからじっくり解いてみました。 問題：QRコードの断片を読み取れ 富士山麓で焼け落ちたQRコードの断片が発見された。 損傷が激しい。内容を復元することはできるだろうか？ qr-photo.jpg QRコードの仕様について詳しく知らなかったので、調べました。 http://ja.wikipedia.org/wiki/QR%E3%82%B3%E3%83%BC%E3%83%89 ・バージョンがある(1〜40) ・誤り訂正レベルがある(L,M,Q,H) ・モードがある(数字、 英数字、8ビットバイト、漢字) ・どのモードを使っているかを表すモード指示子がある ・文字列/データの長さを表す文字数指示子がある ・QRコードは読み取り精度を高めるためにマスク処理が行われている ・どの
時系列分析による異常検知入門
2. AGENDA ● 自己紹介 ● 異常検知とは ● 3つの異常検知 ● 変化点検出 ● グラフ時系列の異常検知 ● 最後に
Amazon Redshiftへのデータ投入からBIツールによる可視化までの手順
データの入手、整形 Amazon S3へのデータのアップロード Amazon Redshift：テーブルの作成 Amazon Redshift：データの投入 Amazon Redshift：SQLによるバッチ処理（ETL） BIツールからの接続確認 また、利用するBIツールはTableau社が提供している『Tableau Desktop』というデスクトップツールを利用したいと思います。文中『Tableau』という言葉が出て来た際はこの『Tableau Desktop』のことを示しているとご理解ください。 データの入手・整形 では分析を行いたいデータを準備するところから見ていきましょう。Tableau社では各種デモで用いることができるようなサンプルデータを公開していますが、今回はそのサンプルデータを利用したいと思います。 以下のリンクで公開されているものは、架空の店舗別・地域別売り上げデータ
並列データ転送ツール『Embulk』リリース！ - Blog by Sadayuki Furuhashi
こんにちは。古橋です。 先日の*1 データ転送ミドルウェア勉強会で、新しいオープンソースツール Embulk をリリースしました。 Embulk, an open-source plugin-based parallel bulk data loader from Sadayuki Furuhashi Embulk は、リアルタイムなログ収集では常識となった fluentd のバッチ版のようなツールで、ファイルやデータベースからデータを吸い出し、別のストレージやデータベースにロードするためのコンパクトなツールです。 fluentd と同様にプラグイン型のアーキテクチャを採用 しているため、RubyやJavaで簡単なコードを書くことで、様々なファイルフォーマットやストレージに対応することができます。一方で fluentd とは異なり、高速性やトランザクション制御、スキーマを使ったデータのバリ
データ構造と メソッドのネーミング - codic ブログ
データ構造など技術的な背景をちゃんと知っていれば、データ操作に関する正しい英語を使えるねーて話です。用語のイメージもつかめるようにしていますので、shift / unshift とかイメージできない方もどうぞ。 1. push / pop = スタック push pop は、スタックの用語で、それぞれ pop はスタックから取り出す、push は挿入する事を意味します。JavaScript や Ruby の Array には、スタックとしてのコンセプトもあるので、push / popという用語が使われます。 対して、Javaの ArrayList (インターフェースは Collection） は、単なる集合を表すインターフェースなので、抽象化のために add / remove というネーミングが使われます。そういえば、Javaには、Stackというクラスも別途用意されていますね。Stack
NYSOL – 超高速な大規模データ解析を実現するソフトウェアツール
超高速な大規模データ解析を 実現するソフトウェアツール NYSOL makes it easier and faster to analyze big data. NYSOLver2.4.2 SOFTWARE LIST GitHub NYSOL Manual ※NYSOLは日本発のオープンソース（無料）です。 *NYSOL is open source software in Japan LICENSE 最新情報NEWS 2019.06.05 SOFTWARE NYSOLのDockerイメージ公開 2019.05.23 SOFTWARE nysol_pympiのインストールメモ 2018.09.20 INFORMATION WebbleバージョンのKIZUNAを公開しました。 Back Number NYSOLとはABOUT NYSOL 大規模データの解析に関する様々な大学やプロジェクトで
有機農薬は効果なし？有機農法はデマ？
有機農薬は、化学合成された農薬に比べ、天然由来の原料から作られた農薬のことを指します。有機農薬は、環境に対する影響が少なく、残留農薬のリスクが低いとされていますが、使用方法によっては環境への悪影響や健康被害を引き起こすこともあります。また、有機農薬でも過剰な使用や誤った使い方をすると、農作物や土壌に悪影響を及ぼすことがあるため、適切な使用方法を守ることが重要です。 有機農薬は効果あり？ 有機農薬は実際に効果が認められており作物につく害虫や病原菌を退治してくれます。ですが、当たり前ですが化学農薬(普通の農薬)のほうが圧倒的に効果が高く、値段も安いです。また、最近の農薬は害虫以外の生き物にとってほとんど無害な物が多く、人間はもちろん自然環境にも優しい製品がほとんどです。 また、品種改良によって病気に強い作物が増えており、有機農薬自体が使用する意味があるのかどうかは賛否が分かれることとなっていま
センサーと機械学習の論文をまとめてみる | DevelopersIO
本記事は Machine Learning Advent Calendar 2014 の 24日目のトピックです。 増え続けるセンサーデータ M2M(Machine to machine), IoT(Internat of things) というキーワードが叫ばれて久しい今日、インターネットに接続できるデバイス数の上昇が見込まれるなか、デバイスに搭載された各種センサーデータの分析、活用も今後目が離せない分野です。 データはAWSなどのクラウドサービスのデータセンターに置かれた後、分析、フィルタリングされ、エンドユーザの役にたつ情報を提供していくものと思われます。 各種センサーが農業などの分野で使われ、そこから取得されたデータが分析され、活用されているという話題も多数上がってきています。 センサデータ解析におけるJubatus活用事例 - Slideshare Blue River Tech
多層パーセプトロンの動きを可視化する - StatsFragments
概要 多層パーセプトロン記事の補足。下の記事の最後で、入力されたデータを隠れ層で線形分離しやすい形に変換している、ということを確かめたかったが、MNIST データでは次元が高すぎてよくわからなかった。ということで、もうちょっとわかりやすい例を考える。 可視化シリーズとしては以下の記事のつづき。 ロジスティック回帰 (勾配降下法 / 確率的勾配降下法) を可視化する - StatsFragments 多層パーセプトロンとは 詳細は上記の記事参照。この記事では、以下のような多層パーセプトロンを例とする。 入力層のユニット数が 2 隠れ層のユニット数が 3 出力層のユニット数が 2 つまり、入力層として 2 次元のデータを受けとり、隠れ層で 3 次元空間へ写像してロジスティック回帰 ( 出力は2クラス ) を行う。 サンプルデータ 2 次元で線形分離不可能なデータでないとサンプルの意味がない。こ
改訂版: プログラマーが効果的な可視化を作成する （前編） - Qiita
改訂版について (5/7/2019公開) この記事は、私がこちらに公開したもの中では最も読まれているようです。そこで、執筆後に気づいたこと、古くなった情報、新しい技術動向などを考慮に入れて改訂をしました。主な変更点は以下の通りです： 新しいセクションの追加 最近の本の紹介 細かな表現の修正 この記事は複数のセクションに分かれていますので、前編から始め、順番にアップデートして行きたいと思います。何かお気付きの点などありましたら、コメント欄、もしくはkonoアットマークucsd.eduにお願いいたします。 はじめに この記事は、可視化の専門家ではない人がコンピュータを使ってデータ可視化を実際に行う場合に必要な、一般的なノウハウをお伝えするシリーズの第一回です。 前編: 効果的なデータ可視化とはどのようなものか？ （本稿） 中編: 分かりにくい可視化を避けるための手法の選択 後編: Part 1
機械学習とかに使えそうなデータセット - pixyzehn blog
photo by Régis Gaidot データセットとかの知見を集めました。 いいデータセットないかと調べる機会があったので、得た知見をまとめてみました。 これについてはすでに良い情報がすでにあったのでそのリンクも紹介します。 奥 健太 - 情報推薦研究ツールボックス grouplensのデータセットは、論文などにも利用されているのを見かけました。 注意点としては ・EachMovieなどは利用できない ・MovieLensやDelicious、Last.fmはdat形式のファイル ・WikiLensはdumpして使うようにされている ・Book-Crossingはcsvとsql ・jesterはExcelファイル ということです。 それ以外だと ようこそ - the Datahub 情報学研究データリポジトリ データセット一覧 livedoor グルメの研究用データセットです。 20
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データファースト開発
http://necochan.com/2014/06/14/python-for-economist-7/
サービス改善はログデータ分析から
【CEDEC 2014】データの見方を間違えて失敗した5つの例・・・DeNAの分析担当者が語る | インサイド
『Cassandraのデータ設計で注意していること』
