本当は怖いパスワードの話 ハッシュとソルト、ストレッチングを正しく理解する － ＠IT
PSN侵入の件から始めよう 今年のセキュリティの話題の中でも特に注目されたものとして、4月20日に起こったPSN侵入事件があります。5月1日にソニーが記者会見をネット中継したことから、ゴールデンウィーク中にもかかわらず多くの方がネット中継を視聴し、感想をTwitterに流しました。もちろん、筆者もその1人です。 このときの様子は、「セキュリティクラスタまとめのまとめ」を連載している山本洋介山さんが、Togetterでまとめています。 Togetterのまとめを読むと、漏えいしたパスワードがどのように保護されていたかが非常に注目されていることが分かります。Togetterのタイムラインで、14:48ごろにいったん「パスワードは平文保存されていた」と発表されると、「そんな馬鹿な」という、呆れたり、驚いたりのつぶやきが非常に多数流れます。 しかし、15:03ごろに「パスワードは暗号化されてなかっ
ログを分析するには？ XMLデータを分析するには？ pandasでデータを分析できる状態にする
ログを分析するには？ XMLデータを分析するには？ pandasでデータを分析できる状態にする：ITエンジニアのためのデータサイエンティスト養成講座（4）（1/3 ページ） データと情報は似て非なるもの。意味のある情報を取り出すために、データを「使える」状態にするには意外と地道な手続きが必要です。手短に実行するために必要なスキルを紹介していきます。 連載バックナンバー はじめに 前回はデータを取り込んだり書き出したりする方法を紹介しましたが、実際の分析対象となるデータのほとんどは、そのまま分析できる状態にはありません。Webログなどはカンマ区切り形式ではなくスペースやカッコで区切られていますので、データを分割する必要があります。また、時系列に関する項目もフォーマットがまちまちなので統一する必要がありますので時系列データのクレンジングについても解説します。では早速具体的な例を使って説明してい
プロマネ初心者に送るプロジェクト管理の基礎知識まとめ
計画――「WBS」を作成 「計画」フェーズで一番重要なことは、WBS（Work Breakdown Structure）を作成してスケジュールとコスト計画を立てることです。 プロダクト・サービスの機能一覧や立ち上げフェーズの「スコープ定義書」を基に、WBSを作成します。WBSの各アクティビティ（最小のワークパッケージが望ましい）に対してリソースを配分し、当初リソースで足りなければ、パートナーや協力会社からリソースの協力を得ます。こうした「リソース計画」は「計画」フェーズで非常に大切な要素の一つといえます。 しかしながら、昨今はどの業界でもエンジニア不足が取り沙汰されています。「現在のプロジェクトにおいて、調達管理は品質管理の次に難しいのではないか」と個人的には考えています。 また、品質を計るための「メトリクス」は「計画」フェーズで作成されるのが一般的であり、定性的・定量的な指標と共に定義し
いまさら聞けないKVSの常識をHbaseで身につける
いまさら聞けないKVSの常識をHbaseで身につける：ビッグデータ処理の常識をJavaで身につける（3）（1/3 ページ） Hadoopをはじめ、Java言語を使って構築されることが多い「ビッグデータ」処理のためのフレームワーク／ライブラリを紹介しながら、大量データを活用するための技術の常識を身に付けていく連載 ビッグデータの要！ KVSとは何なのか 「KVS（Key-Value Store）」とは、Key値を指定してValue値の格納や取得を行う方式です。それに対して、RDBではキー（プライマリキー）が必須ではなく、逆に複数のカラムをセットしてキーにすることもできます。 テーブル構造だけを見れば、KVSとRDBは似ています。例えば、RDBでプライマリキーと1つのBLOB型を持ったテーブルを作れば、KVSと同じような構造にもなります。しかし、RDBでKVSのまねごとをするのと、KVSとして
「あなたはデータ分析のアーティスト」、支持を広げる米Tableau Software
米アップルが2014年9月9日（米国時間）、iPhone新製品やApple Watchを発表したころ、シアトルでは、米Tableau Software CEOのクリスチャン・シャボー（Christian Chabot）氏が5000人以上の聴衆を前に、データ分析はクリエイティブなプロセスだと訴え、ある種の興奮を生み出していた。 「現代の社会や組織において、データを駆使する人たちは、クリエイティブな問題解決ができる、もっとも重要な人々として台頭しつつある。こうした人たちのクリエイティブな能力を解き放つことが、現代のビジネス・インテリジェンス戦略における最も重要なゴールだ」。 Tableauの製品は、BIツールに分類されている。だが、必ずしもデータウェアハウスを前提とした、フロントエンドとしての目的しか持たないツールではない。データウェアハウスがなくとも、Excelスプレッドシート、ソーシャルメ
NoSQLはRDBMSに取って代わるものなのか？
NoSQLはRDBMSに取って代わるものなのか？：RDB開発者におくるNoSQLの常識（1）（3/3 ページ） NoSQLもいろいろ NoSQLデータベースはその出自から「目的特化型のデータストア」という性格が強く、製品ごとに得意分野が異なります。つまり、すべてのNoSQLデータベースを同列に扱うことはできません。ただし「RDBMSと比較して」という視点から見れば、NoSQLデータベースは以下のような特長を持っているといえます。 最大の特長としては、RDBMSと比べて単純な読み書きの性能が高いという点が挙げられます。しかし、先に説明したように、NoSQLはRDBMSでは当たり前のことを一部あきらめて性能を向上させています。性能向上の引き替えに、次のような欠点を抱えています。 まず、一般にデータ構造がシンプルであるということ。リレーションもなく、読み取り時の結合はできません。また、データ検索
SQLでストリーム分析ができる「Norikra v1.0.0」公開
SQLクエリでストリームデータ分析系の操作ができるNorikraを、LINEに勤務する田籠氏がOSSで公開。「ユーザーフレンドリーなストリーム処理を理解している初のソフトウェア」だという。 SQLでスキーマレスなストリーム処理ができるオープンソースのサーバーソフトウェア「Norikra」が2014年5月20日、「バージョン1.0.0」としてリリースされた。作者の田籠聡氏がブログで発表した。併せて新しいロゴも公開している。 NorikraはLINEに勤務するプログラマーの田籠氏が開発したソフトウェアで、ライセンスはGPLv2を利用している。スキーマレスなイベントストリーム（「target」と呼ばれる）を特徴としており、データのインプット／アウトプットはJSONオブジェクトとして扱える。 NorikraはEsperというストリームデータ用ライブラリをベースに、より使いやすい実装を目指して開発さ
時系列分析Ｉ ――ARMAモデルと時系列分析
連載バックナンバー はじめに 今回は時系列分析について紹介します。ビジネスで生成されるデータの多くが“時間“の項目を含む時系列データで、1週間の傾向や季節変動などを分析する際など、さまざまな場面で時系列の分析が必要となります。 時系列分析（Time Series Analysis）とは？ 時系列分析（Time Series Analysis）は、株価や為替レートなど金融関連の時間とともに変化するデータを分析し予測するために発達してきました。「時系列計量経済学（Time Series Econometrics）」などの学問の中で論じられているデータ分析の中では、比較的歴史のあるテーマです。それだけに、定式化するためのさまざまなモデルが提案されていて、1つの変量を分析するためのモデルだけでも、表1のように多くのモデルがあります。 略称 説明 AR
スルー防止も？ BLEがもたらすビジネスチャンス
スルー防止も？ BLEがもたらすビジネスチャンス：ものになるモノ、ならないモノ（53）（1/2 ページ） 最近、Bluetooth Low Energy（BLE）に関するニュースを目にする機会が多くなった。この新しいスキームを利用した、さまざまなサービスの可能性について考えてみたい。 最近、Bluetooth Low Energy（BLE）に関するニュースを目にする機会が多くなった。AppleがiOS7のフレームワークにおいて、BLEを利用して位置情報の取得や端末特定を行い、個別の情報をやりとりする仕組みを実装したことがきっかけで、この新しいスキームを利用した、さまざまなサービスの可能性が取り沙汰されているからだろう。Appleは、プログラミングガイドの中でこの技術を総称して「iBeacons」と呼んでいる。 メジャーリーグは、2014年シーズンから球場に「iBeacons」を導入し、座席
C#で解説する「データ処理の直交化と汎用化」（1/3） - ＠IT
本稿では、LINQ（Language Integrated Query）の生い立ちについての話をしてみたい。 LINQは、C# 3.0の目玉機能として、2005年夏に発表、2008年に初頭に製品化されたものである。製品化から数えてももう3年が過ぎたわけだが、いまだ誤解の多い機能だろう。LINQの一側面だけを見て、 O/Rマッパーの一種 C#やVB（Visual Basic）のコード中にSQL風のクエリを埋め込める機能 などといわれることもある。これは、一側面が見えているだけいいかもしれない。まれに、 if文やfor文が書ければ、プログラムは書ける C# 3.0／VB 9で何だかいきなり機能が増えすぎてもう付いていけない というような声さえ聞こえてくる。 しかし、そう身構えないでほしい。LINQが目指すものは実のところ単純で、「データ処理の直交化と汎用化」である。この考え方は何もLINQで初
SQLライクにHadoop Hiveを使い倒す!
パーティションを利用する 今回は少し凝ったテーブルを定義をしてみましょう。 郵便番号データは毎月更新されるので、テーブル指定時にバージョンも指定できるようにします。このような場合、Hiveではパーティションを使います。 以下に郵便番号を保存するテーブル「zip」を定義しますが、日付型DATEのパーティションverを設定するようにします。 hive> CREATE TABLE zip (zip STRING, pref INT, city STRING, town STRING) > PARTITIONED BY (ver DATE) > ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' > LINES TERMINATED BY '\n'; OK Time taken: 0.128 seconds
「OAuth」の基本動作を知る
デジタル・アイデンティティの世界へようこそ はじめまして、OpenID Foundation JapanでエバンジェリストをしているNovです。 この連載では、僕を含めOpenID Foundation Japanにかかわるメンバーで、OpenID ConnectやOAuthなどの「デジタル・アイデンティティ（Digital Identity）」にかかわる技術について紹介していきます。 APIエコノミー時代のデジタル・アイデンティティ 世界中で9億人のユーザーを抱える「Facebook」や5億人のユーザーを持つ「Twitter」など、巨大なソーシャルグラフを持つサービスが、日々その存在感を増しています。日本でも、グリーやモバゲーなどがそれぞれソーシャルゲームプラットフォームを公開し、国内に一気に巨大なソーシャルゲーム市場を作り上げました。最近では、ユーザー数が5000万人を突破し、プラット
スマホ技術者も知らないと損する「O2O」の基礎知識
スマホ技術者も知らないと損する「O2O」の基礎知識：Androidで使えるO2O技術まとめ解説（1）（1/5 ページ） O2Oを4つのパターンで整理し、今注目される理由や事例、パーソナル情報との関連性、O2OクライアントとしてAndroidアプリを作成する際に必要な技術などを徹底解説します マーケターじゃなくても「O2O」の範囲ぐらい知っておこう 本連載では、今注目の「O2O」で使われる技術をスマートフォン（特に、Android）のアプリとして実装し、具体的に「O2O」を活用していく方法を解説していきます。 「O2O」こと「オンラインtoオフライン」は、バズワードとしてすっかりおなじみになった感があります。多くの場合、「O2O」の意味は「オンラインとオフラインが融合し相互に影響を及ぼす購買活動」と説明されますが、これだと範囲が広すぎ、話の論点がぼけてしまいます。 そこで連載初回としては、ま
GoogleのMapReduceアルゴリズムをJavaで理解する
GoogleのMapReduceアルゴリズムをJavaで理解する：いま再注目の分散処理技術（前編）（1/2 ページ） 最近注目を浴びている分散処理技術「MapReduce」の利点をサンプルからアルゴリズムレベルで理解し、昔からあるJava関連の分散処理技術を見直す特集企画（編集部） いま注目の大規模分散処理アルゴリズム 最近、大規模分散処理が注目を浴びています。特に、「MapReduce」というアルゴリズムについて目にすることが多くなりました。Googleの膨大なサーバ処理で使われているということで、ここ数年の分散処理技術の中では特に注目を浴びているようです（参考「見えるグーグル、見えないグーグル」）。MapReduceアルゴリズムを使う利点とは、いったい何なのでしょうか。なぜ、いま注目を浴びているのでしょうか。 その詳細は「MapReduce : Simplified Data Proc
インターリュード: TwitterとR
今回はTwitterという身近な題材を使って、Rによるデータ収集と可視化をやってみます。Rの豊富なライブラリを使えば意外に手軽にできます。 今回は間奏的にIT寄りの話題を この連載は＠ITの連載でもかなり毛色の違う内容です。それにもかかわらず前回までの4回は、統計的検定をいきなり導入したり、日本政府や世界銀行の経済統計にアクセスしてみたり、さらにはWikiLeaksの暴露データを統計解析してみたりと、かなりハードコアな内容に走ってしまいました。 第4回の「あとがき」では同じ路線で突っ走ろうということを申し上げていたのですが、今回は間奏（インタリュード）として、より＠ITらしく、IT寄りの話題を取り上げたいと思います。 TwitterとR Twitterの人気は世界的にまだまだ続いているようです。2010年8月後半に発表された2010年6月分の統計によれば、現在はインドネシアやブラジル、ベネ
インターリュード: TwitterとR
Twitterテキストマイニングの入門の入門 次にTwitterをネタにしてRで解析したいと思うことは、日々大量に生み出されるtweetの統計解析・テキストマイニングでしょう。ただ、テキストマイニング自体は非常に大きな分野ですから、ここでは紙幅の関係上多くを書くことができません。とはいえ、テキストマイニングの入門の入門までなら可能だと思います。tweetに対して形態素解析を行い、その形態素の数を数えてみましょう。 テキストマイニングをするためには、何より素材となるtweetを取得する必要があります。今回はTwiiter検索のAPIを利用します。具体的には、twitteRのsearchTwitterを利用します。これから行う処理にどんな意味があるかは置いておいて、例えば「素敵」と「ステキ」が含まれているtweetの形態素数の比較をしてみましょう。まずは、tweetを検索して取得します。今回は
アクセス解析ツールを比べてみよう ― ＠IT
前のページではアクセス解析ツールが必要な理由、3タイプのデータ取得方法、導入までの費用と運用について説明しました。このページでは、国内で販売されている主な企業向けアクセス解析ツールを紹介していきます。 IMJビジネスコンサルティング ・分類 ログ形式 ・製品POINT サーバまたはクライアントにインストールしたソフトウェア経由で解析データを確認します。特長の1つにユーザーの分類機能があります。ランディングページ（自社サイト内で初めて見たページ）のURLに細工をすることで、そのページごとに訪問者を分類することができます。この機能を使うことで、例えば「メルマガ」と「キャンペーンバナー」経由での訪問者など、ユーザー属性ごとの特徴をつかむことが可能です。 ソフトウェアの価格は10万5000円から。必要な機能に合わせて高機能版を選択することもできます。 オーリック・システムズ ・分類 パケットキャプ
ピギーバック － ＠IT リッチクライアント用語事典
GASで棒、円、折れ線など各種グラフを作成、変更、削除するための基本 （2017/7/12） 資料を作る際に、「グラフ」は必要不可欠な存在だ。今回は、「グラフの新規作成」「グラフの変更」「グラフの削除」について解説する GET／POSTでフォームから送信された値をPHPで受け取る「定義済みの変数」【更新】 （2017/7/10） HTMLのフォーム機能についておさらいし、get/postメソッドなどの内容を連想配列で格納するPHPの「定義済みの変数」の中身や、フォーム送信値の取り扱いにおける注意点について解説します【PHP 7.1含め2017年の情報に合うように更新】 PHPのfor文＆ループ脱出のbreak/スキップのcontinue【更新】 （2017/6/26） 素数判定のロジックからbreak文やcontinue文の利点と使い方を解説。for文を使ったループ処理の基本とwhile文
スクリプト言語をサポートするEclipseプラグイン - @IT
Eclipseは主にJavaアプリケーションの開発に利用されますが、Eclipse自身はJavaに特化した開発環境というわけではなく、プラグインによりC/C++、Perl、Ruby等のほかの言語にも対応することができます。今回はその中でもPerlをサポートするEPIC、RubyをサポートするRDT、PythonをサポートするPyDevをご紹介します。 1.EPIC（Eclipse Perl Integration）プラグイン EPIC（Eclipse Perl Integration）プラグインは、Eclipse上でPerlのプログラムを開発するためのプラグインです。文法チェック、コードアシスト、perldocサポート、コードフォーマッタ、テンプレート、アプリケーションの実行をサポートしています。 ■入手方法 次のアップデートサイトからプラグインをインストールします。 http://e-p
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
