プライバシーフリーク、就活サイト「内定辞退予測」で揺れる“個人スコア社会”到来の法的問題に斬り込む！――プライバシーフリーク・カフェ（PFC）前編 #イベントレポート #完全版
2019年9月9日（月）に一橋講堂で一般財団法人情報法制研究所主催の「第2回JILIS情報法セミナー in 東京」が開催された。 学生の就職活動（就活）を支援する大手企業が、行動履歴などを人工知能（AI）で分析し、5段階にスコア化した「内定辞退予測」を一部本人に無断で企業に販売していたことが広く報道され、社会的に問題となった他、行動履歴などを分析し販売する「信用スコア」を問題視する声も聞かれていた。 本稿は、本セミナーの冒頭で行われた4人の有識者による討論（プライバシーフリーク・カフェ）の模様をお伝えする。 内定辞退予測スコア 山本一郎（以降、山本） われわれは「プライバシーフリーク・カフェ（PFC）」という名称で5年にわたって活動しております。情報法と社会についてのいろいろなお話を、主に新潟大学の鈴木正朝先生、高木浩光先生、そして板倉陽一郎先生と私山本一郎の4人でやらせていただいているも
【Google Chrome】拡張機能「Password Checkup」でパスワード漏えいに備える
もし自分のアカウント名／パスワードの漏えいが明らかになった場合は、言うまでもなくパスワード変更などの対処を速やかに実施する必要があります。しかし、そもそも漏えいに気付くまでは、対処のしようがありません（予防措置は別として）。 そしてユーザーが漏えいの事実を素早く把握するのは簡単ではありません。例えば上記のようなセキュリティ系ニュースをタイムリーにチェックできるとは限りません。またネットサービス運営元が漏えいについて電子メールやSNSで告知することはよくありますが、これも広告やプロモーションに紛れてしまって気付けない可能性はあるでしょう。 本稿で紹介するGoogle Chrome（以下、Chromeと略）の拡張機能「Password Checkup」は、パスワード漏えいを素早くチェックするのに役立ちそうなツールです。本稿ではWindows OS／macOS版Chromeを対象として、その使い
どのようなデータ基盤を作ったのか？ データ収集／蓄積／加工／活用、パイプライン管理の設計
どのようなデータ基盤を作ったのか？ データ収集／蓄積／加工／活用、パイプライン管理の設計：開発現場に“データ文化”を浸透させる「データ基盤」大解剖（2）（1/3 ページ） 「ゼクシィ縁結び・恋結び」の開発現場において、筆者が実際に行ったことを題材として、「データ基盤」の構築事例を紹介する連載。今回は、データ基盤システムの構成要素や採用技術の選定理由などをお伝えします。 「使われるデータ基盤」を構築するために筆者が取り組んだ試行錯誤を紹介する本連載『開発現場に“データ文化”を浸透させる「データ基盤」大解剖』。前回はデータ活用の事例やデータ基盤が必要になった理由について解説しました。第2回となる今回は基盤システムの設計、構築についてお伝えします。 なお、技術要素としてはPythonやBigQueryを扱いますが、技術選定の考え方に比重を置いて解説します。細部にとらわれずにご自身の担当する業務や
なぜデータ基盤を作ったのか？「ゼクシィ縁結び・恋結び」で必要になった理由
システム、プロセス、カルチャーをいかにエンジニアリングするか 本連載『開発現場に“データ文化”を浸透させる「データ基盤」大解剖』では「データ基盤」の構築事例を紹介します。具体的には、オンライン婚活サービス「ゼクシィ縁結び」ならびにその姉妹サービス「ゼクシィ恋結び」の開発現場において、筆者が実際に行ったことを題材としています。 データ基盤を実際に構築するのは容易ではありません。構築したデータ基盤を実際に利用し続けてもらうのはさらに難しいことです。 多くの関係者がデータを加工すると、似ている意味を持っていても微妙に異なるデータが生成されてしまい、どのデータが正しいのか誰も分からなくなってしまいます。きちんと全員に使われるためにはデータの持つ意味や加工ロジックを誰かが整理しなければいけません。 また、モダンなツールを使って派手なダッシュボードを構築しても、それだけでは1週間後には誰も見なくなって
BFF（Backends For Frontends）超入門――Netflix、Twitter、リクルートテクノロジーズが採用する理由
BFF（Backends For Frontends）超入門――Netflix、Twitter、リクルートテクノロジーズが採用する理由：マイクロサービス/API時代のフロントエンド開発（1）（1/2 ページ） マイクロサービス/API時代のフロントエンド開発に求められる技術の1つBackends For Frontends（BFF）について解説する連載。初回は「超入門」としてBFFの概要や事例を中心に紹介する。 本連載「マイクロサービス/API時代のフロントエンド開発」では、今注目のBackends For Frontends（BFF）について数回にわたって解説します。初回である今回は「超入門」としてBFFの概要や事例を中心に紹介します。第2回はBFFの作り方について、第3回はBFFを使ったフロントエンド開発者主導のマイクロサービス／API化の手順について解説します。 想定読者は、Webア
SREの現場はどうなっているのか――従来型の運用との決定的な違いとは
SREの現場はどうなっているのか――従来型の運用との決定的な違いとは：特集：情シスに求められる「SRE」という新たな役割（3）（1/2 ページ） Site Reliability Engineering（以下、SRE）の現場はどうなっているのか。SREの日常的な仕事とはどのようなものなのか。開発エンジニアと運用担当エンジニアは、実際どのように役割分担し、協力し合っているのか。「SRE本」の監訳者などが語った。 Site Reliability Engineering（以下、SRE）の現場はどうなっているのか。SREの日常的な仕事とはどのようなものなのか。開発エンジニアと運用担当エンジニアは、実際どのように役割分担し、協力し合っているのか。 2017年9月25日に、書籍『SRE サイトリライアビリティエンジニアリング ―Googleの信頼性を支えるエンジニアリングチーム（以下、SRE本）』の
AWSのデータセンターの中身を、設計総責任者が話した
AWSのデータセンターの中身を、設計総責任者が話した：「ここまで話していいの？」（1/2 ページ） Amazon Web Services（AWS）のバイスプレジデント兼ディスティングイッシュド・エンジニア、ジェームズ・ハミルトン氏は、AWSが11月11～14日に開催した「AWS re:Invent 2014」で、データセンターの構成、サーバーやスイッチの自社設計、SR-IOVなどについて語った。 [2014/11/21訂正]記事の初出時に、ハミルトン氏がAZ間の距離を「数キロメートル」と言ったと記述しましたが、数十キロメートルである可能性もあります。ハミルトン氏はAZ間が「multiple kilometers」であると表現しています。後出のハミルトン氏の議論では、例えばロサンゼルスとニューヨークの間の伝送遅延は74ミリ秒だが、これを1、2ミリ秒に抑えるためにAZ間は近くなくてはならない
Amazon Kindleの本当の「怖さ」をあなたは知らない － ＠IT
2012/09/10 9月6日のKindle新製品群の発表で、米アマゾンCEOのジェフ・ベゾス（Jeff Bezos）氏は、「ガジェット」という言葉に×をつけ、「サービス」だと強調した。にもかかわらず、Kindle Fireに関するメディアの記事のほとんどは（米国メディアを含めて）ハードウェアスペックの話に終始している。 「昨年、2ダース以上のAndroidタブレット機種が市場に投入されたが、誰も買わなかった。なぜか。ガジェットだからだ。人々はもはやガジェットを求めていない。サービスを求めている。時が経つに連れて改善していくサービスを求めている。毎日、毎週、毎月、毎年よくなっていくサービスだ。Kindle Fireはサービスだ」とベゾス氏は話している。 ベゾス氏が「サービス」という、ある種陳腐化した言葉を担ぎ出して表現したために、目新しさを感じた人が少なかったのかもしれない。ハードウェアは
エンジニアが正しく「好き」と伝えるための実装法
4月18日、技術者のためのトークライブイベント「TechLION vol.12」が開催された。そこで語られたエンジニアと文系女子のセキララな日常風景をレポートする。 4月18日、技術者のためのトークライブイベント「TechLION vol.12」が開催された。今回のテーマは「出会い」。さまざまな「出会い」が語られる中、ITを通じて出会った夫婦、ショウジ ヨシオリ氏とショウジ ユウコ氏によって繰り広げられたプレゼンテーションの一部を紹介する。ショウジ ヨシオリ氏はクックパッドのサービス開発エンジニア、ショウジ ユウコ氏はグルーヴノーツで広報を担当している。 エンジニアと文系女子が結婚するとどうなるのか。日常の風景をセキララに語ってくれた。 自転車に乗って2人で仲良く帰宅しているときの会話 ユウコ氏：ヨシオリさんの方が速い！ ヨシオリ氏：へへへ、勝った！！ ユウコ氏：私の方が軽いから遅いんだも
Hadoopによるテキストマイニングの精度を上げる2つのアルゴリズム
Hadoopによるテキストマイニングの精度を上げる2つのアルゴリズム：テキストマイニングで始める実践Hadoop活用（最終回）（1/3 ページ） Hadoopとは何かを解説し、実際にHadoopを使って大規模データを対象にしたテキストマイニングを行います。テキストマイニングを行うサンプルプログラムの作成を通じて、Hadoopの使い方や、どのように活用できるのかを解説します Passive-Aggressiveとロジスティック回帰で精度向上 前回の「実践！ 「MapReduceでテキストマイニング」徹底解説」では、「青空文庫」の作品から学習を行い、テキストデータから著者の寿命を推定するMapReduceプログラムを作成しました。 今回は、前回のプログラムを少し変更するだけで、精度が上がる「Passive-Aggressive」というアルゴリズムを実装します。また、テキスト分類のアルゴリズムと
実践！ 「MapReduceでテキストマイニング」徹底解説
「青空文庫」をテキストマイニング！ 前回の「いまさら聞けないHadoopとテキストマイニング入門」では、Hadoopとテキストマイニングの概要や構成、MapReduceの仕組み、Hadoopの活用場面などを解説し、Hadoopの実行環境を構築しました。今回から、Hadoopを使い、テキストマイニングのMapReduceプログラムを作成していきます。 「青空文庫」というサイトをご存じでしょうか。青空文庫は、著作権が切れた日本の文学作品を掲載しているWebサイトで、青空文庫の全データをDVDや、BitTorrentによる配信で入手できます。今回は、このデータを使ってテキストマイニングを行いましょう。 前回、テキスト分類で、著者の性別、年齢、地域、職業などの属性も推定できると書きましたが、青空文庫は、他のデータにはない、著者属性があります。青空文庫の作品は、著作権が切れて、作者がなくなっている場
並列分散処理の常識をHadoopファミリから学ぶ
Hadoopプロジェクトは3つの「サブプロジェクト」で構成されています。 Common：Hadoopの基本機能FileSystem、RPC、Serializationのライブラリ HDFS：分散ストレージを仮想的に1つに扱うためのファイルシステム MapReduce：膨大なデータセットをクラスタ上で分散処理するためのソフトウェアフレームワーク これらが、「Hadoopファミリ」の核であり、並列分散処理機構を支えています。それ以外の「関連プロジェクト」は2011年12月時点では下記のようになっています。 Avro：Commonの持つ機能を拡張したデータシリアライズシステム Cassandra：単一障害点のないスケーラブルなマルチマスタデータベース Chukwa：大規模な分散システムでのデータ収集システム HBase：大規模な構造化データをサポートする、スケーラブルな分散データベース Hive
いまさら聞けないKVSの常識をHbaseで身につける
いまさら聞けないKVSの常識をHbaseで身につける：ビッグデータ処理の常識をJavaで身につける（3）（1/3 ページ） Hadoopをはじめ、Java言語を使って構築されることが多い「ビッグデータ」処理のためのフレームワーク／ライブラリを紹介しながら、大量データを活用するための技術の常識を身に付けていく連載 ビッグデータの要！ KVSとは何なのか 「KVS（Key-Value Store）」とは、Key値を指定してValue値の格納や取得を行う方式です。それに対して、RDBではキー（プライマリキー）が必須ではなく、逆に複数のカラムをセットしてキーにすることもできます。 テーブル構造だけを見れば、KVSとRDBは似ています。例えば、RDBでプライマリキーと1つのBLOB型を持ったテーブルを作れば、KVSと同じような構造にもなります。しかし、RDBでKVSのまねごとをするのと、KVSとして
Hadoopの死角、COBOLバッチ処理の並列化
Hadoopの死角、COBOLバッチ処理の並列化：現場にキく、Webシステムの問題解決ノウハウ（8） 本連載は、日立製作所が提供するアプリケーションサーバ「Cosminexus」の開発担当者へのインタビューを通じて、Webシステムにおける、さまざまな問題／トラブルの解決に効くノウハウや注意点を紹介していく。現在起きている問題の解決や、今後の開発のご参考に（編集部） クラウドで可能になった大量データ処理とバッチ処理 クラウド・コンピューティングを前提として、多数のサーバを使い大量のデータ処理をするための手法として、「MapReduce」や、MapReduceをJavaで実現するフレームワーク「Hadoop」に代表される分散並列処理に注目が集まっている。 多数のサーバを使い計算処理を並列化し、それまで非現実的と思われていた大量の計算処理も可能とする手法で、まさに「クラウド時代の技術」といえるだ
いまさら聞けないHadoopとテキストマイニング入門
ビッグデータ時代の救世主「Hadoop」とは 「Apache Hadoop」は今、最も注目を集めている技術の1つです。Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 Hadoopを活用している企業は年々増え続けていて、不可欠な技術になりつつあるといえるでしょう。 本連載では、Hadoopとは何か、Hadoopがどう活用できるのかということを、「テキストマイニング」に焦点を当てて解説していきたいと思います。 重い処理を複数のマシンに分散させる 複数のマシンに処理を分散させるには、プロセス同士の通信、監視、障害時の対応などを考えなければならず、プログラマにとってハードルが高いものです。しかし、Hadoopはそういった面倒くさい処理を一手に引き受けてくれ、プログラマは、やりたい処理だけに集中できます。 例えば、Hadoopを使うと、1
ガベージコレクタの仕組みを理解する
GCを適切に行わせるためのヒープサイズの設定 JVMにGCを適切に行わせるにはヒープサイズを適切に設定（New領域サイズ、Old領域サイズ、領域サイズのバランスなど）する必要があります。当然、適切なヒープサイズはアプリケーションに依存します。一般にヒープサイズが小さいとGCが頻発してアプリケーションのパフォーマンスが低下します。さらに、ヒープサイズが必要量を下回る場合はOutOfMemoryErrorが発生してアプリケーションが停止してしまいます。一方、ヒープサイズが大きいと、GCの起動回数は減りますが、GC1回当たりの処理時間、すなわちアプリケーション停止状態が長くなり、アプリケーションの応答時間に問題が出る場合もあります。システムの物理メモリのフリー領域が不足するまでヒープサイズを大きくすると、物理メモリからスワップ領域へのページングが起こってしまい、かなりのパフォーマンスが劣化する可
特権ユーザーの安全性向上を行うsudoの設定例
コマンドの実行履歴を残す sudoでは、コマンド実行ごとに実行結果がログに保存される。そのため、sudoで「いつ、だれが、どこから、どのコマンドを実行した」を知るためには、保存されたログを参照すればよい。 例えば、「sudoless /var/log/secure」を実行した場合、syslogを介して以下の内容がログファイル/var/log/messagesに保存される。 Oct 8 03:35:19: atmarkit sudo: kimu : TTY=ttyp7 ; PWD=/home/kimu ; USER=root ; COMMAND=/usr/bin/less /var/log/secure
「1人ブレスト」や「タスク管理」ができるEvernoteとは（1/4）- ＠IT
それではEvernoteの各機能をチェックしてみましょう。 さまざまなデバイスに対応している Windows、Mac、iPhone、Windows Mobileなどのデバイスに対応しています。Webブラウザからでも各種機能を利用することができます。 使いやすい専用クライアントがある iPhone、Windows Mobile、Mac、Windows向けの使いやすい専用クライアントが提供されています。 同期の仕組みがある 複数のデバイスでEvernoteを使っていても、専用クライアントが自動でデータの同期を行ってくれます。 画像内の文字を検索することができる Evernoteには検索機能があるのですが、写真に写っている文字も検索対象となります。ただし現在は残念ながら日本語には対応していません。 Webクリップ機能 ブックマークレットを利用することによって、IE、Firefox、Safari、
自分戦略研究室 ― ＠IT自分戦略研究所
人間関係でトラブったとき、あなたはどんな手段でコミュニケーションを取っていますか？（2024年9月18日）
APIアクセス権を委譲するプロトコル、OAuthを知る ― ＠IT
クロスドメインでのデジタルアイデンティティを守る APIアクセス権を委譲するプロトコル、 OAuthを知る 作島 立樹 NRIパシフィック 2008/1/21 マッシュアップと呼ばれる仕組みで、既存のWebサービスが次々とつながり、新たなサービスが登場している。しかし、メールアドレスなど重要な個人情報が意図せずに「つながれてしまう」可能性もある。そこで登場したのがアクセス権の「委譲」を目的としたプロトコル、OAuthである。本記事ではOAuthの仕組みとともに、なぜそれが登場したのかという背景にも触れる（編集部） マッシュアップの犠牲になるユーザーのアイデンティティ GETなどのHTTPメソッドをもちいてURLへリクエストする、いわゆる「RESTful」【注1】なWeb APIを使ったアプリケーション同士の交流は、いままさに隆盛を極めている。「マッシュアップ」と呼ばれているこのサービス形態
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
