本稿は「本当は書籍『評価指標入門』に書きたかったんだけど諸般の理由により書ききれなかった内容をgihyo.jpを借りて成仏させていく企画」の第一段「カリブレーション（Calibration、確率較正⁠）⁠」です。特に「機械学習のカリブレーションとビジネスの関係性を検討」してみたいというモチベーションで執筆します。 日本語では“⁠確率較正⁠”とも呼ばれるこの計算ですが、個人的にはカリブレーションという方が好きなので、ここではカリブレーションと統一して書きます。 早速ですが、まずカリブレーションとは「分類問題において、機械学習モデルの出力（[0, 1]の値）をデータのクラス分布に近づける」ことです。例えば、二値分類問題において、モデルがあるデータ点に対して1を予測する確率が0.8である場合、そのデータ点が実際に1である割合も0.8になるように確率の数値を修正してしまう（これが較正）ということで

Twitter、Card Validatorからプレビュー機能を削除。カード情報のキャッシュは最大7日 Twitterは今月、開発者コミュニティサイトにおいて、Card Validatorからプレビュー機能を削除したことを告知した。また、Twitterカードの情報が通常、最大7日キャッシュされることもあわせてコメントした。 Card Validator - preview removal - Twitter Developer すこし前まではCard Validatorを使うことでTwitterカードをプレビューできていたが、Twitterは、異なるプラットフォーム環境において正しいプレビューとは限らなかったとし、プレビュー機能を削除することにした。Card Validatorは引き続き、ほかのデバッグ目的で提供を続けるとのこと。 Twitterカードのプレビューについては、ブラウザやiO

この記事はMySQL Casual アドベントカレンダーの25日めの記事になります。 メリークリスマス！ 皆さんMySQL好きですよね！ そしてケーキが好きな人も多いと思います。なので今回は、12月25日ということでMySQLでパウンドケーキを焼いてみたいと思います。 仕組みとしては、MySQLのUDFからArduinoのPINの値を変更します。そして、Arduinoの値でリレーつき電源を動かしてオーブントースターにつながるコンセントの電源をON/OFFするという方法を取りました。 注意事項 また、今回の記事を見て試してみようと思った方は、通常の「道普請」の記事とは違い、圧倒的にやけど、感電等の怪我や事故に直結する可能性が高いので、追試を行う際には気をつけて試してみてください。 検証環境 今回はYumでインストールをしたMySQL 8.0.13と、システムワイドにインストールしたrbenv

昨年IPv4アドレス在庫が枯渇したため、新規IPv4アドレスブロックを確保するための手段として「IPv4アドレス移転」が注目されつつあります。 前回は、IPv4アドレス返却の現状やIPv4アドレス移転についての話題でしたが、第7回はIPv4アドレス移転に伴って金銭的な対価が発生する、通称「IPv4アドレス売買」の実際です。 日本で行われたIPv4アドレス移転はJPNICのWebサイトで公開されていますが、それを見ると、日本で最もIPv4アドレス移転を行っている企業は、さくらインターネットであると推測可能です。同社は、IPv4アドレス移転に関する発表をJANOGなどのイベントで行っており、「⁠IPv4アドレス移転の仕組みを積極的に活用している企業」としても知られています。 今回は、さくらインターネット代表取締役社長の田中邦裕氏、さくらインターネット研究所上級研究員の大久保修一氏にIPv4アド

Linux Daily Topics 2016年11月21日MicrosoftがBash on Windowsユーザに注意喚起「Linuxファイルを作成／変更してはダメ、絶対！」 サティア・ナデラがCEOに就任して以来、「⁠Linux Love」「⁠オープンソースLove」とことあるごとに訴えているMicrosoftだが、ときにはその愛をもってしてもどうしてもできないことがある。 11月17日（米国時間⁠）⁠、Microsoftのシニアプログラムマネージャで"Bash on Windows"プロジェクトのリーダーでもあるRich TurnerはMicrosoftの開発者向けブログで「どんな環境であっても、Windowsアプリやツール、スクリプトを使ってLinuxファイルを作成／変更しないで！」とBash on Windowsユーザを中心に強く注意を促した。Windowsツールを使ってLin

今回は、IkaLogの開発をふりかえりながら、IkaLogの画像処理の基本的な考え方、そしてその背景などについて説明します。 はじめての画面認識の検討 第1回で紹介したとおり、まずはゲームの画像に対してどのような処理をすれば画像認識を達成できるかを検討し始めました。 最初に、スプラトゥーンのプレイ動画を録画してみて、録画を何度か眺めてみました。幸いなことに、スプラトゥーンのゲーム中では、多くのメッセージはたいてい白色で、いつも画面上の同じ位置に表示されます。このため、白色の部分だけを抜き出して、OpenCVのテンプレートマッチング機能を利用して表示内容を検出すればいいのではないかと考えました。 スプラトゥーンのシステムメッセージが真っ白な色で表示されるということは、256階調のグレースケール画像として処理したときに、文字に近いところは255に近い値であり、つまりは非常に高いスレッショルド（

昨年、筆者は「PyCon JP 2014」の基調講演で、「⁠新しいものに気づくためには視点を変えることが必要だ」という話をしました。 みなさんはゾウの全体像を把握していますよね。もしゾウの鼻にだけ注目して「ゾウは太いホースのような生き物だ」と言う人がいたら、変な人だと思うでしょう[1]⁠。 でも彼は自分の正しさを確信しています。鼻だけを見ている彼にとって、見えるすべての情報は「ゾウはホースのよう」という信念を肯定するからです。もしゾウの耳にだけ注目し「ゾウは薄っぺらい」と言う人がいたら、互いに相手の主張を根拠のないデタラメだと思うでしょう。 彼らが「自分の視点から見えた風景」に基づいて他人の発言を判断している限り、この不毛な状態は解消しません。判断を保留し「相手にはそう見えている」と受け入れ、なぜ自分の視点と見え方が違うのかを考えることが大事です。それによって、あなたは全体像の把握に一歩近

お客様各位 ■発売延期について 2015年2月27日に発売を予定させていただいておりました『理論から学ぶデータベース実践入門 』につきまして，編集側の内容に関わる重大な作業ミスにより誤りが混入したため，該当個所を修正のうえ刷り直しを行うことになり，発売日を2015年3月10日に延期とさせていただくこととなりました。 ■テスト販売ご購入者への書籍交換対応について 本書籍は2015年2月20～23日，以下の書店においてテスト販売を実施しました。 紀伊國屋書店 新宿本店 紀伊國屋書店 新宿南店 ジュンク堂書店 池袋本店 三省堂書店 神保町本店 八重洲ブックセンター 本店 書泉ブックタワー 有隣堂 ヨドバシAKIBA店 丸善 丸の内本店 丸善 ラゾーナ川崎店 この間にご購入されたお客様につきましては，本書籍のお問い合わせフォームより，以下の項目についてご連絡いただければ，刷り直し後の本書籍と交換さ

エンジニアサポート CROSS 2015 レポート 「Webアプリケーションから機械学習まで ～ PythonとPythonコミュニティの2015年大展望 」レポート 去る1月29日（木）に通算4回目となる「エンジニアサポートCROSS 2015」が開催されました。本レポートでは、「⁠Webアプリケーションから機械学習まで～PythonとPythonコミュニティの2015年大展望」の当日の様子をお届けします。 はじめに このセッションでは（⁠株⁠）ALBERTの池内孝啓氏がオーナーを努め、各Pythonコミュニティのコアメンバーである次の方々が登壇しました。 池内孝啓氏 （⁠株⁠）ALBERT　池内孝啓氏 PyData Tokyo／（⁠株⁠）白ヤギコーポレーション　シバタアキラ氏 一般社団法人PyCon JP／（⁠株⁠）CMSコミュニケーションズ　寺田学氏 PyLadies Tokyo／（

一昨年が15回のリリース、昨年は上記のとおり17回のリリースと、リリースの回数が増えています。10月31日に2バージョンを同時リリースしているのは偶然ではなく、意図的に行われたものです。 ほかにも特徴的なことが2つありました。その1つが4.2.0と4.2.1のリリース間隔が非常に短いことです。4.2.1は中間（intermediate）リリースで、予定にはありませんでした。不具合修正が進んだことから4.2.1をリリースし、4.2.1としてリリース予定だったのを4.2.2としてリリースするに至りました。これ以降、バグハンティングセッションと称してX.Y.0のリリース前のテストを広く呼びかけるようになりました[1]⁠。このようなことが再び起きないように、可能な限り事前に不具合を発見するよう配慮していることが窺えます。 もう1つ特徴的なのは4.2.8のリリースです。X.Y.8がリリースされたのは

株式会社ミツエーリンクスの渡邉卓です。昨年の「2014年のWeb標準」と同様に、2015年もWebコンテンツのフロントエンド設計および実装に関連した各種標準や、周辺領域の動きに関する短期的な予測を寄稿させていただきます。 2015年のWeb標準については「より広範なHTML5仕様の一般化・HTML5.1仕様の利用増加」「⁠ECMAScript 6仕様の利用増加」「⁠IE7・IE8 未サポートWebサイト増加」をキーワードとして取りあげます。 より広範なHTML5仕様の一般化・HTML5.1仕様の利用増加 2014年10月28日、ついにHTML5がW3C勧告 (Recommendation) となりました。すでに多方面で利用されているHTML5仕様ですが、勧告になったことで、今まで利用を躊躇していた方々にも確実に浸透していくと予想できます。詳細は後述しますが、現役のWebブラウザでありながら

弊社ホームページにおいて、2014年12月6日11時～14時のあいだ、第三者からの不正アクセスによりサイトが改ざんされていた事が判明いたしました。ご利用頂いておりますユーザの皆さまにおかれましてはご迷惑をお掛けいたしまして、深くお詫び申し上げます。 なお、現在は被害を受けたサーバは復旧作業を実施済みです。ご利用ユーザーの皆さまの個人情報流出等は、現在のところ確認されておりません。 被害対象サイト／コンテンツ URL：http://gihyo.jp 改ざん内容とその影響 サーバの中身を入れ替えられ、外部のサイトにリダイレクトされるように設定されていた。 リダイレクトされていたサイト（アクセスしないようご注意ください⁠）⁠ www.koushin-lawfirm.net live.livelistingreport.com 現在把握している改ざんされていた可能性がある期間 2014年12月6日

10月に入り、9月までに起こったことをざっと振り返るというお題がどこかから聞こえてきたので、「⁠じゃあ……」という感じで振り返ってみることとします。 わずか1週間程度でBashが大幅な進化を遂げた　～Shellshock大暴れ～ まだ現在進行形の事案ではありますが、9月下旬に発覚したBashの脆弱性に起因して、10月上旬までまだ収束していないShellshock。 Bash 4.3の例で説明すると、Patchlevel 25～30までは以下のような軌跡をたどっています。 9月24日にPatchlevel 25 9月26日にPatchlevel 26 9月27日にPatchlevel 27 10月1日にPatchlevel 28 10月2日にPatchlevel 29 10月5日にPatchlevel 30 この間に発見、修正された脆弱性は、CVE-2014-6271、CVE-2014-71

日本よ、これが2014年のHadoopだ！─「Hadoop Conference Japan 2014」基調講演レポート 7月8日、東京・ベルサール汐留において「Hadoop Conference Japan 2014（主催: 日本Hadoopユーザ会⁠）⁠」が開催されました。2009年の初開催以来、今回で5回目となる同カンファレンスですが、今回の参加登録者数約1,300名のうち、65％（約840名）が初参加とのこと。「⁠Hadoopの裾野の拡がりを確実に感じる」（⁠NTTデータ 濱野賢一朗氏）との言葉通り、HadoopもHadoopユーザもこの5年で大きく変化を遂げていることを示したカンファレンスとなりました。 基調講演会場の模様。今回のテーマは「和風⁠」⁠、来場者には扇子が配られ、登壇者は障子をバックにはっぴ姿で講演を行いました 本稿では基調講演の内容をもとに、最初に公開されてから10

byobuで利用されているtmuxは、非常に多くのカスタマイズが可能です。今週はtmuxのカスタマイズを進め、より多くの機能を実現できるようにしてみましょう。なお、tmuxのカスタマイズは、「⁠本来やるべきことを忘れて設定の修正に専念してしまう」という病気を発症する可能性があります。とくに、emacs.elや.vimrc、.zshrcなどに時間を費やしたことのある方はかなり危険なので、なるべく時間を確保してから触ることをお勧めします。 byobu環境との親和性を保つ byobu（tmuxバックエンド）環境でtmux的なカスタマイズを行う場合、~/.byobu/.tmux.confを編集します。通常のtmuxが利用するファイルは~/.tmux.confなので、競合する設定を投入することも可能です。とは言え、最も簡単なのは、~/.byobu/.tmux.confをbyobu・tmuxそれぞれを

1,000人超の大規模開発者イベント「YAPC::Asia Tokyo 2013」を支えたネットワークインフラ構築の舞台裏～プロフェッショナルのボランタリーが生み出したチカラ 1,000人を支えたネットワークインフラ 今年9月に開催されたPerl開発者のためのイベントYAPC::Asia Tokyo 2013⁠」⁠。過去最大となるのべ1,000名を超える参加者が集まりました。非常に高い品質のセッションが数多く見られ、gihyo.jp読者の皆さんの中にも会場まで足を運んだ方がいらっしゃるのではないでしょうか。会場では、快適なネットワーク環境が用意され、発表者から聴講者までインターネットを十分に活用できたかと思います。 ここでは、その来場者に向けたインターネット接続サービス提供を実現した専用の会場ネットワーク環境の構築について、準備から当日の模様までを紹介します。 リアルの熱気とネットの熱気の

本日12月1日より、プログラマ有志による2013年の技術系Advent Calendarが各所ではじまる 本日12月1日より、プログラマ有志による2013年の各技術系Advent Calendar（アドベントカレンダー）が一日目を担当する人のblogではじまっている。 昨年以上に細分化されたため、昨年よりも今年のAdvent Calendarの数が多くなっているようだ。また、技術系以外の人に対してもこのような形式のAdvent Calendarの認知度が上がり、技術系以外のAdvent Calendarも昨年より増えている。 一般的なAdvent Calendarは、12月25日のクリスマスを楽しみに待つために、12月1日から24日までのカレンダーの日付の部分（扉だったりする）を開けるようになっており、1日ずつその日の日付の部分を開くと天使や動物の絵などが見えるという仕組み（もちろん、様々

なぜ、エンジニアの採用は難しいのか？ 第7回エンジニアが考える「コミュニケーション能力」と採用担当者が求める「コミュニケーション能力」の間に横たわるもの エンジニアはコミュ障ではない この連載の内容は、このサイトのメイン読者であるエンジニアの皆さんにとっては「そんなこと、わかりきっている話だよ」というものが多いはず。ソーシャルメディアで感想を共有してくれる人たちの反応を見ていても、「⁠エンジニアの気持ちが、採用担当者にはわからない」という意味のものが多いので、「⁠ああ、わかってほしいけれど、なかなか伝わらないのだな」と思ってしまいます。 こういう話を書いていると「なんだ、結局『エンジニアはコミュ障』という話の流れか？」という声が聞こえてきそうですが、その通りです（汗⁠）⁠。ただし、エンジニアがコミュ障であると、実は私は思っていません。 たとえば、ちょっとしたイベントやセミナーに参加して、エ

JavaScriptで文字数を削減する11のポイント じつは今回のコードゴルフ問題、ただ文字数を削るだけでは駄目で、上位に食い込むには自分でアルゴリズムを工夫しないといけないように設計されていました。 それはどこでしょうか？ その答えはメインディッシュとして後に置いておき、まずは前菜として、JavaScriptの文字数を削る手法をいくつか紹介します。今回順位が振るわなかった方々の多くが、JavaScriptの仕様レベルで文字数を削減できる部分を取りこぼしていたためです。 文字数を削減すると、難読化を招き、可読性が低下し、仕事においてはデメリットにしかなりません。しかし、コードゴルフではこれらの手法は有効です。パズルを解くためのツールのようなものです。 ポイントは以下の11個です。 その1　動作に影響しない文字を削る 具体的には以下がポイントです。 変数宣言のvarを削る（ただし、再帰関数内

今回は実践編、前回導出した確率的勾配降下法でのロジスティック回帰の学習を実装してみましょう。 環境はこれまでと同じくPython/numpy/matplotlibを用います。インストールなどの準備は第6回を参照してください。 パーセプトロンの実装の復習 今回のロジスティック回帰の実装は、連載第17回のパーセプトロンの実装と非常によく似たものになります。 そこでパーセプトロンの実装を再掲しておきます。パーセプトロンそのものの復習はここではしませんので、必要なら連載第15回をご覧ください。 import numpy as np import matplotlib.pyplot as plt import random # データ点の個数 N = 100 # データ点のために乱数列を固定 np.random.seed(0) # ランダムな N×2 行列を生成 = 2次元空間上のランダムな点 N