データ分析の対象となる不正対策の分野 一口に「不正」と言っても、世の中にはさまざまなタイプの不正が存在します。データ分析がどのような分野で不正対策に利用されているか、いくつか例を示します（表1）。クレジットカードの不正利用など、比較的早い段階からデータ分析に基づく対策が行われてきた分野もありますが、多くはビッグデータに関する技術革新により分析が可能となった分野です。近年の傾向として、保険や公共の業種まで対象が広がっているほか、企業の内部不正対策や、サイバーセキュリティの分野でもビッグデータが活用されています。 表1: 不正対策にデータ分析が利用されている分野 日本で高まる不正リスク 欧米と比較すると、日本における不正対策のレベルはまだ十分とは言えません。その一方で、企業や個人が不正行為により被害を受けるリスクは日々高まっています。2016年5月には、南アフリカのスタンダード銀行から流出した

石井さんがPostgreSQLに出会ったころ 谷川：DB Onlineは立ち上げから5年が過ぎました。当初は2011年4月を予定していたところ、東日本大震災があり。しかしこんな時だからこそ新しいサイトを立ち上げようと、5月か6月にスタートしたのが始まりです。 当初、コンテンツを提供してくれる企業はオラクル、マイクロソフト、IBMくらいと予想していましたが、2011年くらいからビッグデータやNoSQLのキーワードが出てきて、コンテンツは苦労しないくらいになりました。OSS関連記事は人気があり、じわじわと長く読まれるのが特徴です。 今回はPostgreSQLに注目したイベントができるようになるほど、日本での盛り上がりを感じます。ここではPostgreSQLをよく知っている石井さんに公開インタビュー的にお話をおうかがいします。早速簡単に自己紹介をしていただけますか。 石井：SRA OSSの石井で

Tutorial: Running a Dockerized Jupyter Server for Data Science At Dataquest, we provide an easy to use environment to start learning data science. This environment comes preconfigured with the latest version of Python, well known data science libraries, and a runnable code editor. It allows brand new data scientists, and experienced ones, to start running code right away. While we provide a seemle

書籍「データサイエンティスト養成読本 機械学習入門編 (Software Design plus)」を参考に、numpy・scipy・matplotlib・scikit-learn パッケージをインストールした Python 3.5.0 の環境を Docker イメージとして作成してみました。 サンプルソースは http://github.com/fits/try_samples/tree/master/blog/20151029/ python イメージをベースに作成 まずは、Docker の最新 python イメージ （この時は Python 3.5.0） をベースに Docker イメージを作成します。 なお、書籍では libblas-dev をインストールしていましたが、ここでは代わりに libatlas-base-dev をインストールしています。 Dockerfile FRO

最近、ハッカソンやメイカソンといったイベントが増えています。大抵は、チームを組み、短期間で、サービスや商品のアイデア出しからプロトタイピングまでを行い発表するという、非常に魅力的なイベントです。 私も、これまでにいくつかのアイデアソンやハッカソン、ものづくりプロジェクトに参加してきました。例えば、Engadgetが主催している電子工作部のハッカソン。それから、プロジェクションカード「心霊写真」の企画～製造販売のプロジェクトなど。ハッカソンはエンジニアのイベントというイメージを持つ方も多いかもしれませんが、私はエンジニアではありません。 今回は、「私のような非エンジニアが、どんな役割でハッカソンを楽しんだらいいのか？」をテーマに、アイデアや留意点を紹介できたらと思います。どうすればチームに貢献できて楽しめるのかを試行錯誤してきた経験や、エンジニアの方へのヒアリングをもとに、初級編から上級編ま

はじめまして。サーバーサイドエンジニアのrihoです。 私は、とあるweb系大企業に新卒として入社し、1年働いた後にVASILYに転職してきました。 VASILYで働いて3ヶ月が経ち、同じweb業界でも職場環境が大きく違うことを実感しています。 そこで大企業とベンチャー企業の2社で働いた私から見た、それぞれの企業の特徴をまとめてみました！ web業界での就職を考えている方や、現在就活中の方の参考になれば幸いです！ 大企業編 専門分野に特化して学べる 前職では効率的に業務を進めるため、部署や業務が細分化されていました。そのおかげで、自分が担当している業務や技術に集中して学ぶことができ、業務に対する深い知識やスキルを身につけることができたと思います。 また、部署内にその分野のスペシャリストがいて普段から接することにより、スキルを高めやすい環境であることもよかったと思います。 大規模サービスの裏

こんにちは。Cacooチームのイニエスタこと、とおのぶです。CacooはデータベースのPostgreSQLのバージョンアップを実施しました。基本的には公式のpg_upgradeの手順に従っています。ここではドキュメントには記載の少ない具体的な作業内容の流れを紹介したいと思います。 理由 ユーザアンケートからみる Cacoo のコア・バリューで記されたとおり、全体的なパフォーマンスの向上については重要度の高い課題の一つです。PostgreSQL 9.5ではソート性能の大幅な改善が強化点の一つで、パフォーマンスの改善が見込まれます。またフェイルオーバ後、新しいマスターに追従するスタンバイとして、古いマスターサーバをオンラインに戻すことができるpg_rewindも、PostgreSQL 9.5の魅力の一つです。 バージョンアップ前の構成 構成は、マスタとスレーブのストリーミング・レプリケーション

「解決できる技術を持っていないと、目の前の課題に気が付かない」。2016年8月25日開催の「Enterprise Development Conference 2016」で、トレタの開発部CTO 増井 雄一郎氏が聴衆に語りかけた言葉だ。トレタは予約や顧客台帳の管理など、飲食店運営者向けITサービスを提供している。増井氏はトレタ創業以来のメンバーであり、今でも個人でWebアプリやスマホアプリの開発も続けているという（写真1）。 「速い馬問題」にどう対処するか トレタでは当事者が課題に気付けない状況を「速い馬問題」と呼んでいる。「自動車の技術を知らない、速い馬のオーナーに課題を尋ねても、馬についてしか答えは返ってこない」と増井氏。より新しい技術を学び、持っている道具を増やすことが、課題発見の幅を広げるという。 とはいえ、日進月歩のWebテクノロジーをキャッチアップするのは大変だ。そこで増井氏は

最適輸送問題（Wasserstein 距離）を解く方法についてのさまざまなアプローチ・アルゴリズムを紹介します。 線形計画を使った定式化の基礎からはじめて、以下の五つのアルゴリズムを紹介します。 1. ネットワークシンプレックス法 2. ハンガリアン法 3. Sinkhorn アルゴリズム 4. ニューラルネットワークによる推定 5. スライス法 このスライドは第三回 0x-seminar https://sites.google.com/view/uda-0x-seminar/home/0x03 で使用したものです。自己完結するよう心がけたのでセミナーに参加していない人にも役立つスライドになっています。 『最適輸送の理論とアルゴリズム』好評発売中！ https://www.amazon.co.jp/dp/4065305144 Speakerdeck にもアップロードしました: https

The world’s most trusted open ecosystem for sourcing, building, and deploying data science and AI initiatives

国立大学が国から受け取る運営費交付金など「基盤的経費」から、大学の研究者に配分する「個人研究費」が減少傾向にあることが文部科学省の調査で分かった。研究者の４割が「１０年前より減った」、２割が「半減以下」と回答した。年間金額は６割が「５０万円未満」と少額の状態。公募事業など「競争的資金」を獲得しないと、多くの研究者は十分な研究ができない現状が浮き彫りとなった。 近年、基盤的経費が抑えられ、研究者全体を支える個人研究費の削減が問題になっていたが、実態は不明だった。文科省は７月、科学研究費助成事業（科研費）の採択上位２００大学から抽出した各５０人にアンケートを実施。回答率３６％に相当する３６４６人（国立大４割、公立大１割、私立大５割弱）を分析した。 その結果、年間金額が「５０万円未満」と答えたのは非実験系で８割弱、研究費がかかる実験系でも５割に上った。分野を問わず全体の８割は「１００万円未満」で

コンテンツブロックが有効であることを検知しました。 このサイトを利用するには、コンテンツブロック機能（広告ブロック機能を持つ拡張機能等）を無効にしてページを再読み込みしてください。 ✕

第３回東京Webスクラッパーのライトニングトークで発表した資料。 スクレイピングの実演した時のサイトとJavascriptコードは下記を参照 https://www.facebook.com/note.php?note_id=767355399997255

伊勢丹新宿本店地下1階の和酒売り場に、人工知能（AI）搭載アプリを利用したサービス「AI利き酒師」が登場した。3種類の日本酒を試飲後、感じた味覚を店頭のタブレットで選択すると、30種類の日本酒の中から好みに合う1本をAIが選んでくれるという。利用は無料。これはITmedia ニュースの酔いつぶれ担当として試してみなければと使命感にかられ、行ってきた。 店頭には、カラフル・ボードが開発した独自の人工知能アプリ画面を開いたタブレット端末が数台置かれ、その前には1～3と書かれたコップが用意されている。 お酒は1番から甘味の強いもの（節五郎 出品酒）、スッキリとしたもの（越野寒梅 白ラベル）、コクのあるもの（大七 純米生もと）の順。これら3種類の日本酒を試飲し、「甘味」「酸味」「旨味」「芳醇（コク）」「余韻」をそれぞれ5段階で評価すると、自分の味覚を分析したグラフが登場する。 最後に、日本酒と一緒

Deep graphs—A general framework to represent and analyze heterogeneous complex systems across scales

もし、あなたが「“ビッグデータプロジェクト”を任せる。何とかするように」と言われたら：「ビッグデータプロジェクト」の進め方（1）（3/3 ページ） ビッグデータ基盤の利点 ビッグデータ基盤を導入するメリットは、まず「システム統合が容易になること」が挙げられます。 古くなったDWH（データウェアハウス）や、分析／レポート用RDBMS（リレーショナルデータベース管理システム）を更改するのではなく、それらもビッグデータ基盤に統合してしまえば、比較的簡単に大幅なコスト削減を実現できるでしょう。 ビッグデータ基盤は、ほとんど活用しないけれど、業務上／コンプライアンス上の目的で捨てられないデータ（コールドデータ）を格納するのにも向いています。例えば、3年以上前のログファイルを全てDWH上に置いておくのは、リソースがもったいないと感じるでしょう。コストが掛かりすぎます。だからといってテープメディアなどに

■ 「法とコンピュータ」No.34に34頁に及ぶ論考を書いた 法とコンピュータ学会の学会誌「法とコンピュータ」の最新号（No.34 July 2016）に論考を書いた*1 。この学会では例年、11月ごろに開かれる研究会での依頼講演とパネル討論を各登壇者が後に文章にしたものが、翌年に学会誌として発刊されている*2。今回書いた論考も、30分の依頼講演で話したストーリーに沿って文章化した。 高木浩光, “IoTに対応した個人データ保護制度のあり方”, 法とコンピュータ, No.34, pp.47-81（2016年7月） 頁数に制限なしとのことだったので、講演スライドに沿って文章化していったところ、34頁もの長編になってしまった。前半の8頁は一般向けの導入部なので、これまで私の話を耳にしたことのある方には冗長に思われるかもしれない。9頁目からの「3.個人情報保護法の改正」と、14頁目からの「4.定

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます クラウド分野において、SaaSベンダーがこれまで利用してきたIaaSを乗り換える動きが目立つようになってきた。果たしてSaaSベンダーの思惑とは何か。 IBMのIaaSを財務・人事管理SaaSのWorkdayが採用 米IBMと財務・人事管理のSaaSを提供する米Workdayが先ごろ、戦略的提携を結び、その一環としてWorkdayがIBMのIaaSを採用したと発表した。WorkdayはこれまでIaaSとして米Amazon Web Services（AWS）のサービスを利用してきたが、開発・テスト環境の基盤についてはIBMのIaaSに乗り換えた形となる。 これにより、Workdayはアプリケーションおよびサービスのイノベーションを加速し続

Amazon Elasticsearch Service を試してみた 近々導入する可能性もあって，検証も兼ねて，先月に Elasticsearch 2 系に対応した Amazon Elasticsearch Service を試してみた． Elasticsearch domain を作成する 作成完了までのステップは計4個ある． Step 1: Define domain Step 2: Configure cluster Step 3: Set up access policy Step 4: Review 今回は以下のスペックで作成した．実際に運用する環境なら Node を増やして，Storage は gp2 以上にして，インスタンスタイプはユースケースに応じて考える必要がある． Domain Name Elasticsearch domain name kakakakakku Ve

ここからはiOSアプリでの位置情報取得の方法をステップごとに説明して行きます。まずはXcodeでSingle View Applicationのプロジェクトを作成してから以下の説明に進んでください。（このブログの最後にサンプルプロジェクトのGitHubのリンクがあります。） まずは下のようにCoreLocation frameworkをプロジェクトに追加します。 このframeworkを使うためにはSwiftのコードでCoreLocation frameworkをインポートします。 このチュートリアルでは、CoreLocation周りの処理をハンドルするクラスLocationServiceクラスを作ってこちらに位置情報取得処理を一任します。下のように LocationServiceクラスの中でCoreLocationをインポートしてください。 これ以外にコードの外でやらなければいけない設定

今回のソリューション：【Google Apps Script/グーグル アップスクリプト】 日本語入力アプリ「Simeji（シメジ）」の開発者としても有名なAndroid開発の第一人者、adamrockerこと足立 昌彦さん。同アプリのバイドゥ株式会社への売却を経て、現在は株式会社カブクを立ち上げCTOを務めている。 同社では3Dプリンターを活用したモノづくりマーケットプレイス「Rinkak（リンカク）」を企画・開発・運営し、まだBtoB領域でも3Dプリントの代行サービスを展開中だ。 足立さんの信条は「ドキュメントはスケールする！」 同社ではその理念に基づき、Markdownのカスタマイズ記法と「Google Apps Script（グーグルアップスクリプト）」を駆使することで作業コストを下げ、10数名の組織体の中で年間1,000以上の議事録を残している。「プログラムを書ける人にとってGo

こんなん作りました STNS＋AWS API Gataway＋DynamoDBでサーバレスユーザ統合管理 https://github.com/shogomuranushi/stns-apibackend これなんなん？ STNSという簡易LDAP的なユーザ管理のOSSとAPI Gateway、DynamoDBを組み合わせたもの 何が出来るん？ 複数台のLinuxユーザ管理を手軽にサーバレスで出来る 今までのユーザ管理は何があかんかったん？ How Use

ソーシャル化とモバイル化が加速し、インターネットの世界がこの数年の間にすっかり様変わりしてきた。先進国だけではなく新興国も含めてである。世界中のインターネットユーザーが今や、モバイル端末（主にスマホ）からSNSを介してネットに接するのが当たり前になってきたのだ。 かつてソーシャルやケータイのサービスで先行していた日本が、「ソーシャル+モバイル」時代においてもトップランナーとして突っ走ているに違いない。と思っていたのだが、どうも日本はいつもの特異性を発揮して、少し他国とは違った道を歩んできているようである。 インターネットユーザーのうち、SNSを利用している割合を国別に見てみよう。英調査会社GlobalWebIndex（GWI）によると、グローバルのオンラインユーザー（16～64歳）の93%は、少なくとも一つのSNSアカウントを有しているとレポートした。注目すべきは、図1で示す国別（34カ国

構築、運用工数、利用の便利さ、セキュリティ、コストなどのあらゆる面から総合的に考慮した結果、DockerRegistry on EC2に決めました。 1.1. システム構成： 構成図は以下のとおり： 特に難しいことはなく、一般的なELB-Autoscaling構成になります。ストレージはS3を利用します。 1.2. 構築手順とポイント S3にイメージ格納用のバケットを作成 ELBを作成: Health Checkはtcpの5000番ポート（registryコンテナの動作ポート） HTTPSの443ポートからHTTPの5000番ポートへトラフィックを転送 HTTPS証明書はAWSのCertificate Managerサービスを利用 （最初に構築時ACMはまだ東京リージョンに来ていませんでしたが、5月に東京リージョンでも利用可能になりました。便利なサービスなのでぜひ利用してみてください。）

This document provides an overview and agenda for an AWS webinar on AWS Glue. It introduces AWS Glue as a fully managed and serverless ETL service that can manage metadata for various data sources. The webinar will cover the background of AWS Glue, its key features including being serverless and enabling secure development in notebooks, use cases, pricing, and a conclusion. It also provides detail

応用範囲が広く幅広い視点からの説明になりがちなベイズ最適化について、本記事では機械学習のハイパーパラメータ探索に利用することに限定して解説します。 1. はじめに 最近、ベイズ最適化という手法が注目を集めています。 ベイズ最適化 (Bayesian Optimization) とは、形状がわからない関数 (ブラックボックス関数) の最大値 (または最小値) を求めるための手法です。 ベイズ最適化についての入門記事は Web 上にすでにいくつかありますが、ベイズ最適化は応用範囲が広く、入門記事は様々な応用に向けた幅広い視点からの説明になりがちです。 本記事では、機械学習ユーザに向けて、ベイズ最適化を機械学習のハイパーパラメータ探索に利用することに限定して説明します。 これにより、機械学習に対して、ベイズ最適化がどのように利用できるのかを分かりやすく解説したいと思います。 2. ハイパーパラメ

IT&ビジネス　業界ウォッチ IT業界で話題の新サービス・新製品のニュース、これから話題になりそうな新ツール、知っておきたい各種の統計調査……などなど、経営効率化に寄与するIT業界の今のうごきをレポートします。 バックナンバー一覧 2014年7月に、ソニーのPC事業が独立して設立されたVAIO株式会社が、事業開始から3年目に入った。初年度は営業赤字だったものの、2年度目にして早くも黒字化を達成。3年度目はさらなる成長を目指す。そして、そのVAIOの成長を支えているのが、長野県安曇野市の安曇野工場だ。本社や開発部門もここに統合。ソニー時代からの資産をそのまま活用し、それが、VAIOがこだわる高い品質と、新たな事業の地盤づくりにつながっている。いま、VAIOはどうなっているのか。生産拠点でもある長野県安曇野市の同社本社を訪れ、VAIOのいまを探った。 長野県安曇野市は、長野県中部に位置し、北ア

2016年7月7日から10日まで仏パリ・ノール・ヴィルパント展示会会場で開催された「Japan Expo（ジャパン・エキスポ）」を訪れたというCerevo代表取締役社長の岩佐琢磨氏。その目的は、同社が2月に発売したアニメ関連製品の出展だ。出展者として、ハードウエアスタートアップとして岩佐氏の目にジャパン・エキスポはどのように映ったのか？ ──「日本と日本文化に恋する人たちが一同に集結する」というジャパン・エキスポですが、報道ではとても盛り上がっていると聞いています。実際に現地を訪問して、どのような印象を持たれましたか？ 岩佐：　すごい人でびっくりしました。サイン会をやっているブースでは3時間待ちの列ができているところもあり、弊社の1小間だけのブースにもひっきりなしに人が押し寄せるぐらいでした。 ──Cerevoの商品を来場者に展示していたそうですが、どんなものを展示していたのですか。 岩佐

IT&ビジネス　業界ウォッチ IT業界で話題の新サービス・新製品のニュース、これから話題になりそうな新ツール、知っておきたい各種の統計調査……などなど、経営効率化に寄与するIT業界の今のうごきをレポートします。 バックナンバー一覧 2014年7月の事業開始から3年目に突入したVAIO。当初は、ソニーブランドがつかないVAIOに対する価値喪失の懸念が指摘されたり、独自性を持たないVAIO Phoneの登場に不満の声が集まるといったつまずきもあったりしたが、PC分野では、フラッグシップモデルであるVAIO Zの登場や、起死回生とされたVAIO Phone Bizの投入で、VAIOに対する評価は上昇。さらに、ソニー時代からの資産を生かしたロボット生産などの受託事業への取り組みが功を奏し、2年目にして黒字化を達成。3年目は、PC事業、受託事業に続く、第3の事業を創出し、成長路線を加速するという。同

LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog saegusa2017-04-16Yoshihiro was a network engineer at LINE, responsible for all levels of LINE's infrastructure. Since being named Infra Platform Department manager, he is finding ways to apply LINE's technology and business goals to the platform. こんにちは。LINEでネットワークやデータセンターを担当している三枝です。2017年1月にJANOG39で登壇する機会を頂きましたので、今回

答え：暗号は「数学的問題」に基づいています TLSにも使われている公開鍵暗号では、公開鍵と秘密鍵のペアを作成して使用する。ペアの片方で暗号化したデータは、対となる鍵でしか復号できない。公開鍵と秘密鍵の数学的な関係はわかっているのに、公開鍵からは秘密鍵を求めらない──。このような巧みさを実現できるのは、「公開鍵から秘密鍵を求めることは困難で、秘密鍵と公開鍵を生成するのは容易」という、非常に都合のよい一方向性を備えた数学理論（数学的問題）を基にしているからだ。 現在使用されている公開鍵暗号は、「素因数分解問題」「離散対数問題」「楕円曲線上の離散対数問題」のいずれかに基づいている（図9）。素因数分解問題は、桁数の大きな合成数▼を素因数分解する問題だ。RSAなどがこれに基づいている。2つの素数 p 、q を作った人は、その積 n を容易に求められるが、n から p と q それぞれを求めるのは困難

一昔前、「厚い財布」は、お札をどっさり入れて高級店に出入りする「お金持ち」の象徴だった。貨幣と交換でモノやサービスを買う社会では、お財布の厚みによって受け取れるモノやサービスの量が決定されたからだ。 しかし、クレジットカードや電子マネーが普及して高額の現金を持ち歩く必要性がなくなった現在では、厚い財布は「スマートさに欠ける人」を指す表現になっている。大量の現金を持ち歩くのは不用心だし、クレジットカードやポイントカードなどで財布が膨らんでいると「お得」や「特典」といった言葉に踊らされている人だと思われがちだからだ。 情報システムの納品物となるドキュメントも、かつてはその厚みが数億円ものコストを象徴していた。基幹系システムなら、ドキュメント一式でキャビネットが数段占有されるのが当然のことだった。 しかし、いまや紙のドキュメントはお荷物。更新が大変なのでソースコードと乖離しやすいうえ、同時に複数

2016年8月24日に始まったコンピュータゲーム開発者向けのイベント「CEDEC 2016」では、ゲーム開発に役立つ様々な技術が紹介されている。その中の一つが、「4k intro」。4MBではなく、サイズがたったの“4KB”以下のプログラムでド派手な映像をリアルタイムに生み出すプログラムだ。北欧やドイツなどで活発な「デモシーン」と呼ばれるプログラミング文化の一つ。YouTubeで「4k intro」と検索すると、素晴らしい作品が多数見付かる。 デモシーンに関するセッションに登壇したエンジニアの石橋誠也氏（写真1）が4k introの具体的な作成方法を体系的に紹介した。CEDECのような大きなイベントでこのような内容が語られるのは、日本では初めてではないだろうか。

強い企業とは、継続的にビジネスモデル変革や業務プロセス変革を実現できる企業のことだ。しかし、個別最適化された情報システムが、これを妨げることが珍しくない。 柔軟なシステムアーキテクチャーを実現するための基本的な考え方を、なじみ深い都市の構造に見立てて学んでいこう。今回は、クラウドの扱い方を、福岡の歴史になぞらえて考える。 クラウドを活用したいが、社内のセキュリティポリシーと適合しない――。クラウドが普及するにつれ、こうした障壁に突き当たる企業は少なくない。多くの企業が、セキュリティポリシーを定めている。ただし、旧来のオンプレミス環境を想定したものだったり、クラウドが登場し始めた数年前に作られたものだったりすることあるようだ。 企業のビジネスモデル変革を推進するには、クラウドをいかに使いこなせるかが鍵を握る。迅速な導入が可能で柔軟にスケールアウトできるというクラウドの長所は、新ビジネスをスタ