スマートニュースは昨年の 10/1 に米国版をローンチするにあたり、ログ解析基盤のリニューアルを行いました。日本に加えて米国やその他の国が入ってくることにより、単なるユーザ数の増加に加え、OS x 国 x タイムゾーン x 多種多様なメトリクスのような集計軸が増えることで、ログの前処理、集計、可視化に様…
スマートニュースは昨年の 10/1 に米国版をローンチするにあたり、ログ解析基盤のリニューアルを行いました。日本に加えて米国やその他の国が入ってくることにより、単なるユーザ数の増加に加え、OS x 国 x タイムゾーン x 多種多様なメトリクスのような集計軸が増えることで、ログの前処理、集計、可視化に様…
ソフトウェア製作者に衝撃が走った判決 2015年1月中旬、北海道大学の町村先生、HASHコンサルティングの徳丸先生による下記のエントリが話題になりました。 2015/01/13 privacy:個人情報漏洩で脆弱なシステムの責任をソフトメーカーに問う事例 http://matimura.cocolog-nifty.com/matimulog/2015/01/privacy-8cc8.html 2015/01/22 SQLインジェクション対策もれの責任を開発会社に問う判決 http://blog.tokumaru.org/2015/01/sql.html これは東京地裁平成23年(ワ)32060号、東京地判平成26年1月23日の損害賠償請求事件です。 システム開発における判例は増えてきていますが、具体的に根拠として経産省やIPAの文書を出した上で「SQL分の組み立てにバインド機構を使用
2015/03/22 JAWS-UG 2015 ~ クラウドへダイブ
February 9, 2015 - This post is the first of a series of blog posts on Flink Streaming, the recent addition to Apache Flink that makes it possible to analyze continuous data sources in addition to static files. Flink Streaming uses the pipelined Flink engine to process data streams in real time and offers a new API including definition of flexible windows. In this post, we go through an example th
Embulkの並列処理 Embulkは、処理を複数のタスクに分割して並列に実行する仕組みを備えている。 しかし、標準のファイル入力プラグインでは、単純に1つのファイルを入力すると1タスクにしかならないようだ(こちら参照)。 ソースを読んでみると、複数ファイルを読むと複数タスクになるようだ。 試しにこんな感じに4ファイルを用意して、 /test └in ├in1.csv ├in2.csv ├in3.csv └in4.csv こんなymlファイルを用意して実行したら、 in: type: file path_prefix: '/test/in' parser: type: csv columns: - {name: id, type: string} - {name: name, type: string} out: type: file path_prefix: '/test/out' fi
SNSの普及や相互依存性の高いデータの増加に伴い、従来型のリレーショナルデータモデルの処理効率の問題を解決するために登場し、近年使われるようになったのが、「グラフデータモデル」です。本書ではこのグラフデータモデルと、このモデルを使ったグラフデータベースについて、グラフデータベースの代表的な存在であるNeo4jを使って解説。Neo4jの中心的な開発者たちによる執筆のため信頼性が高く、また、実例も随所に織り込まれ実用性も高いものとなっています。内部アーキテクチャについてもていねいに書かれており、なぜリレーショナルデータモデルよりもグラフデータモデルの方がグラフ処理に適しているのかを理解できるでしょう。本書は、グラフデータモデルとグラフデータベースの特徴と使い方をまとめた優れた入門書です。 序 まえがき 1章 はじめに 1.1 グラフとは何か 1.2 グラフ領域の概要 1.2.1 グラフデータベ
覚えられなくて使うたびにググってしまうので、以後楽をするためにスニペットを記す。 パッケージ strconvパッケージを使う。 文字列 → 数値変換(パース) func Atoi(s string) (i int, err error) 文字列を10進数のint型にパースする。ParseInt(s, 10, 0)の省略形。 var i int i, _ = strconv.Atoi("255") fmt.Println(i) // => 255 func ParseBool(str string) (value bool, err error) 文字列をbool型にパースする。 var b bool b, _ = strconv.ParseBool("true") fmt.Println(b) // => true 受け付ける値は1, t, T, TRUE, true, True, 0,
Call your consultant! This is not a database ;) History Pills 1960s: From tapes and batch to disks, shared access and interactivity Late 1960s: Navigational Databases, links Early 1970s: Relational Model Late 1970s: SQL Early 1980s: Desktop Databases Late 1980s: Object Oriented Database 2000s: speed and scale, NoSQL Early 2010s: never let a beautiful abstraction go to waste, NewSQL The tiranny of
Google、1GB当たり1セントながら3秒以内にデータ取得できるニアラインストレージ「Cloud Storage Nearline」提供開始 一般にITのシステムおいてストレージはシステム全体の性能を左右する重要なコンポーネントであるため、高性能なSASドライブやSANストレージ、最近ではフラッシュストレージなどが多く用いられます。 こうした性能重視のストレージは一般にオンラインストレージ、あるいはプライマリストレージなどと呼ばれますが、これに対してバックアップ用途や、容量あたりのコストなどを重視したストレージを「ニアラインストレージ」と呼びます。低価格なSATAハードディスクなどを用いたストレージなどがこれに相当します。 長期保存やアーカイブが主目的となり、光学ディスクや磁気テープのように読み出し時にメディアを交換したりマウントするようなストレージのことを「オフラインストレージ」と呼び
GTC 2015 2日目の基調講演は、Google Senior Fellowのジェフ・ディーン(Jeff Dean)氏。同氏は、ニューラルネットワークの研究者だ。講演のタイトルは「Large Scale Deep Learning」で、やはりディープラーニングがメインテーマ。 講演は、基本的なところから入り、後半でGoogleでのディープラーニングを語るもので、ディープラーニングの入門としては非常にわかりやすいものだった。 最初に「How Can We Build More Intelligent Computer System?」(どのようにしてもっと知的なコンピュータシステムを作ることができるか?)と聴衆に問いかけたディーン氏。続いて、「世界を知覚して理解するために必要なこと」として基本的な会話や視覚、言語の理解、ユーザーの振る舞いの予測などのさまざまな項目を挙げた。 しかし、これら
PostgreSQL 9.4 GINインデックスの評価、JSONBデータ型の使い方:PostgreSQLガイダンス(1)(1/2 ページ) PostgreSQL 9.4は実務ニーズに即した機能追加が豊富 PostgreSQLは、その名の通りSQL言語で問い合わせをするリレーショナルデータベースマネジメントシステム(RDBMS)です。近年、NoSQLと総称されるスケールアウト拡張の容易さに強みのあるキーバリューストア型のデータベースが注目されていますが、汎用性、データ整合性、データ保全性、蓄積されたデータ設計技法との親和性、などの強みから、システム中核要素としてのリレーショナルデータベースの地位は揺らぎそうにありません。 PostgreSQLは長い歴史を持つオープンソースソフトウェアです。組織立ったコミュニティによって開発とメンテナンスが活発に継続されており、年に数度のバグ修正リリースの他、
Software WebSecurity ウェブアプリケーションを開発しながら、手軽に脆弱性検査する方法※当サイトにはプロモーションが含まれています。 以前、OWASP ZAP に追加された attack mode の概要 というエントリを書きましたが、このATTACK modeを使った簡単なセキュリティ検査の手順をメモしておきます。この機能を使えば、ウェブアプリケーションの開発中にZAPが勝手に脆弱性スキャンしてくれます。 ※ この機能が追加される バージョン 2.4 はまだリリースされていないのですが、こちら から ZAP Weekly をダウンロードすれば試すことができます。 概要基本的には、ウェブアプリケーション開発時にウェブブラウザのプロキシとして ZAP を指定おくだけです。この時、ZAP 側で コンテキストというものを設定して、ATTACK mode にしておけば、アクセスし
3月21日、プロ棋士と将棋ソフトによる5対5の団体戦「将棋電王戦FINAL」の第2局・永瀬拓矢六段対Seleneの対局が行われ、Seleneがプログラム上の問題で「角成らず」を認識できず反則負けになるという異例の結末を迎えました。 Seleneの「反則負け」という裁定に 将棋は一進一退の攻防が続きましたが、終盤、永瀬六段が王手で「2七角不成」という手を指したことで解説陣やニコニコ生放送の視聴者から大きなどよめきが。成ることで明らかに駒が強力になる「飛車・角・歩」は、「打ち歩詰め」という反則を避けたいというごく一部の例外を除き、実戦ではまず登場しない異例の手。そのためSeleneにはこの3駒の「成らず」がプログラムされておらず、別の指し手を入力してしまったため、「王手放置」で反則負けと判断したとのことです。 永瀬六段は直後の解説会に登場し、ほぼ勝ちを読みきっていた局面だったことを証明 コンピ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く