Web開発におけるコンピュータサイエンス - 機械学習編2 - Hatena Developer Blog
この教科書は、はてなサマーインターンの講義資料として作成されたものです: https://github.com/hatena/Hatena-Textbook 機械学習編1（基礎編）では、最も初歩的な分類器である単純パーセプトロンを題材に、機械学習の基本について勉強しました。機械学習編2（実用編）では、実問題に機械学習を適用する上でのコツや、各種の機械学習アルゴリズムの使い分け、高次元データへの対処法、といったトピックについて解説していきます。 実問題に機械学習を適用する タスクを定義する データを特徴ベクトルに変換する 評価方法を決める 正解データの正例と負例は均等に ベースラインとなる手法を実装する 実データに向き合うときの心構え 機械学習のワークフロー 1. 前処理 データセット作成 サンプリング 特徴抽出 欠損値・欠測値への対応 値のスケーリング 特徴選択 次元削減 2. 学習 モデ
Web開発におけるコンピュータサイエンス - 機械学習編1 - Hatena Developer Blog
この教科書は、はてなサマーインターンの講義資料として作成されたものです: https://github.com/hatena/Hatena-Textbook この章では機械学習について、Webサービスの開発で必要とされる知識を中心に、とくに自然言語処理にフォーカスしながら解説します。 Webサービス開発と機械学習 実現困難な機能の例 闇雲な実装 もう少しましな実装 機械学習によるパラメータ決定 分類問題のための機械学習手法 パーセプトロン 判別アルゴリズム 学習アルゴリズム 特徴量のとり方 形態素解析 量をともなう特徴 組み合わせ特徴量 モデル 機械学習の種類 教師あり学習 分類 (質的変数の予測) 回帰 (量的変数の予測) 教師あり学習でのデータセット 教師なし学習 クラスタリング 次元削減(次元圧縮) 頻出パターンマイニング 異常値検出 アルゴリズムの評価 訓練データとテストデータ 学
機械学習をやりたいけれど、どこから手をつけていいか分からない人のために - Qiita
要約 機械学習をやりたいけれど、どこから手をつけていいか分からない。 → まずは機械学習の全体像を調べて、自分が解きたい問題にあった分野の見当をつけよう！ 投稿の目的 機械学習について、自分の学習記録を投稿いたします。 学習記録とは書いていますが、ただの備忘録ではなく、以下の目的から誰かに読んでいただくことを想定しています。 自分の解釈についてフィードバックを得たい。 自分の考えをわかりやすく人に伝える力を付けたい。 せっかくだし、自分と同じ内容を勉強している人には役立ててもらいたい。 はじめに これは機械学習以外にも言えることですが、専門技術というのは理論と実践が１セットになっています。 この両輪を回して初めて専門技術を習得することができます。 そして、理論と実践を修めるには大きく２つのアプローチ方法があります。 先に理論を修め、それを実問題に適用する人（理論（1）→実践先（N）） 先に
何かを極めるということ。 - chokudaiのブログ
この記事は、社長としてではなく、競技プログラミングの１選手としての記事になります。あんまり初心者への配慮とかしてません。 おそらく多くの人は、実践的に使えるアルゴリズムとかの記事を望んでるんだと思うんだけど、僕はどちらかというと、精神論のほうが得意なので。 近頃、本当に弱くなったなぁ、と感じることが多い。 いや、周りが強くなったのかもしれない。昔判らなかった問題でも、今なら解ける。そういう問題は多い。それを考えると、昔よりは強くなっているが、相対的に弱くなっているだけかもしれない。 そりゃまぁ、RedCoder（Rating2200以上。日本で30人程度の水準）を保つ程度なら出来る。確かにRedCoder手前に壁はある。だが、まともにコンテストに取り組んで、解けなかった問題をすべて復習する、それを数年間続けてれば、ある程度のセンスがあれば辿り着ける領域だ。さすがにそこから滑り落ちることはな
プログラミングをスマホで学べる時代がきた！ほぼ無料のプログラミング学習アプリ7選 - paiza times
Photo by Laura Bittner こんにちは。谷口です。 最近スマホでプログラミング学習できるアプリが増えてきました。いつでもどこでもスマホで手軽に学べるアプリがあれば学習がはかどりますよね！ 実際に本格的なシステムを実装する…となると環境設定なども必要になりますし、PCを使わないとできないことが多いです。しかし、初心者の方が学習をするのであれば、現在はスマホでもかなりのことができるようになっています。 そこで今回はスマホでプログラミング関連の学習ができるアプリを7個ご紹介していこうと思います。 ■プログラミングの概念が学べるアプリ ◆プログラミング基本中の基本入門 あなたの素質をチェック 【iOS】 ■子供向けビジュアルプログラミングアプリ ◆Foos コード学習 【iOS/Android】 ◆Digital Puppet (デジタル パペット) - プログラミングパズル 【
GolangのGCを追う
Go1.5とGo1.6でGoのGCのレイテンシが大きく改善された．この変更について「ちゃんと」理解するため，アルゴリズムレベルでGoのGCについて追ってみた． まずGoのGCの現状をパフォーマンス（レイテンシ）の観点からまとめる．次に具体的なアルゴリズムについて，そして最後に実際の現場でのチューニングはどうすれば良いのかについて解説する． GoのGCの今 最初にGoのGCの最近の流れ（2016年5月まで）をまとめる． Go1.4までは単純なStop The World（STW）GCが実装されていたがGo1.5からは新たなGCアルゴリズムが導入された．導入の際に設定された数値目標は大きなヒープサイズにおいてもレイテンシを10ms以下に抑えることであった．Go1.5で新たなアルゴリムが実装されGo1.6で最適化が行われた． 以下は公開されているベンチマーク．まずはGo1.5を見る． Gophe
プログラミング初心者が読んでおきたい基礎入門書５選 | UX MILK
プログラミングと聞くと、以前は理系の人向きなイメージがありましたが、最近では様々なバックグラウンドの人が挑戦するようになって、言語・環境ともに参戦の敷居はだいぶ低くなってきました。 ですが、「初心者向け」「簡単」と銘打たれた本の中でも、完全初心者にとっては依然として難しく感じるものもあり、結局のところ、入門中の入門の本というのはなかなか探しづらいものです。 本記事は、プログラミング学習を始める前の基礎の基礎を身につけるために最適な５冊の本を紹介したいと思います。 これからはじめるプログラミング基礎の基礎 何から初めていいかわからない人は、この本から始めるのがベストです。技術書には「これは決まりだから、これを書きなさい」としか書かれていませんが、この本は「なぜこれが便利で、どういった機能なのか」までやさしく説明されており、「考え方」を学ぶことができる点が魅力の１冊です。 おうちで学べるプロ
プログラマが入門書の次に読めばよさげな書籍 - Qiita
はじめに 本記事は2010年10月に某所で書いた記事を2016/2/2に編集したものです。 プログラムの入門書を読んだ上でプログラムを書いた経験があるけれども、そこからステップアップするために何をしていいのかわからないという人向けの本をいくつか紹介したいと思います。なるべく平易な文書で書いてあるものを選びました。ただし、筆者の趣味の問題で、Linux/UNIX関連の本が多いです。 「これらを読むだけで凄腕エンジニアになれます」などという無責任なことは言わないですが、飛躍するための1ステップとしては十分役立つのではないかと思います。 珠玉のプログラミング コンピュータシステムを使って物事を解決しようとするとき、どんな状況でどのようなデータ構造、アルゴリズムを使うことによって、結果がどうなったかという面白いエッセイを掲載しています。データ構造やアルゴリズムを扱った本は数式がたくさん出てきて一目
アリスとボブはパスワードつきzipをメールに添付したりしない - 暗号技術入門を読んだ - - だいくしー(@daiksy)のはてなブログ
パスワードつきzipの添付メールと鍵配送問題 ボブのもとに届けられたアリスからのメール。このメールにはzipファイルが添付されていて解凍にパスワードが必要だ。このパスワードは、添付ファイルの後、アリスから別のメールに記載されて送られてくる。この手順により、最初のメールをイブが盗聴したとしても、イブはパスワードを知らないので添付ファイルを解凍することはできない。 一見すると安全に情報をやりとりしているようにみえるこの形式は、実はまったく安全ではない。ファイルが添付されている最初のメールが盗聴できるのであれば、当然イブは次に送られるパスワードが記載されたメールも盗聴できるからだ。 zipに施されるパスワードの強度はとりあえず気にしないこととして、この情報のやりとりは暗号におけるとても重要な問題をないがしろにしている。それは鍵配送問題と呼ばれる。 暗号の中には、かなり早い段階で「絶対に解読不可能
定番アルゴリズム本リスト - カレーなる辛口Javaな加齢日記
どうせ何度も使い回ししそうなので，独立した項目に切り離した． アルゴリズムイントロダクション 第3版 第1巻: 基礎・ソート・データ構造・数学 (世界標準MIT教科書) 作者: T.コルメン,R.リベスト,C.シュタイン,C.ライザーソン,浅野哲夫,岩野和生,梅尾博司,山下雅史,和田幸一出版社/メーカー: 近代科学社発売日: 2012/08/02メディア: 単行本購入: 1人 クリック: 16回この商品を含むブログ (21件) を見るアルゴリズムイントロダクション 第3版 第2巻: 高度な設計と解析手法・高度なデータ構造・グラフアルゴリズム (世界標準MIT教科書) 作者: T.コルメン,R.リベスト,C.シュタイン,C.ライザーソン,浅野哲夫,岩野和生,梅尾博司,山下雅史,和田幸一出版社/メーカー: 近代科学社発売日: 2012/12/26メディア: 単行本購入: 1人 クリック: 4回
ITエンジニアなら知っておきたい、今更聞けないアルゴリズムの種類一覧 - paiza times
Photo by Oferico 皆さんはアルゴリズムやデータ構造について勉強したことはありますか？そして、基本的なアルゴリズムについて、どのようなものがあって、どのようなときに使うとよいかといったことを説明することができますか？ 仕事をしていると、プログラミング言語等の勉強や業務に忙しくて、正直アルゴリズムどころではないという場合がほとんどでしょう。しかし、いつか勉強しようと思っていたけど、基本的なアルゴリズムにどんなものがあるのかなんて今更聞けないな……ということもあるかと思います。 今回はそんな方に向けて、基本的なアルゴリズムの一部の概要に加え、アルゴリズムの勉強に役立つサイト、書籍をご紹介したいと思います。 ■アルゴリズムを学ぶ意味 例えば、ソート等については、通常はすでにソート関数があるので、自分で作らなくても済む＝アルゴリズムも勉強しなくていいと思ってしまうかもしれません。しか
手続き型のダンジョン生成アルゴリズム | プログラミング | POSTD
この投稿では、以前に TinyKeepDev が こちら で述べたランダムなダンジョンを生成する技法について説明しようと思います。元の投稿に比べて、もう少し具体的に話を進めるつもりです。まずは、以下に示したアルゴリズムの一般的な動作をご覧ください。 部屋の生成 はじめに、幅と高さを持つ部屋を円の中にランダムに配置しましょう。TKdevのアルゴリズムは、各部屋のサイズを生成するのに正規分布を用いています。これは一般的にとてもいいアイデアです。なぜかと言うと、これによってより多くのパラメータを扱うことができるようになるからです。幅/高さの平均と標準偏差間の異なる比率を選ぶと、通常は見た目の違うダンジョンとなります。 ここで実行すべき関数は getRandomPointInCircle です。 function getRandomPointInCircle(radius) local t = 2
マイナンバーの漏えい対策にも利用される「検索可能暗号」とは――安全性と利便性の両立を目指す注目の暗号技術
マイナンバーの漏えい対策にも利用される「検索可能暗号」とは――安全性と利便性の両立を目指す注目の暗号技術：クラウド時代の暗号化技術論（7）（1/2 ページ） マイナンバー制度の施行を目前に控え、個人情報の管理に対する不安の声も高まっています。第7回では、マイナンバーを管理するシステムにも利用される注目の暗号技術「検索可能暗号」について紹介します。 連載目次 近年、さまざまな個人情報が一元的に管理される機会が増えています。例えば、2015年10月からマイナンバー制度が導入される予定です。マイナンバー制度は、住民票を持つ人全てに個別の番号を割り当てることで、社会保障、税などについての効率的な情報管理を行うためのものです。 ところが、機密情報を扱うサーバーへの不正侵入や、内部の人の不注意・不正な行動が原因となって個人情報が漏えいしたという事件がよく報道されています。マイナンバー制度に関しても、内
初心者でもアルゴリズムが学べる・身につく書籍とサイト一覧 - paiza times
Photo by Anders Sandberg こんにちは、谷口です。 皆さんは、アルゴリズムの勉強はどのようにしていますか？ 情報系の学部出身の方は授業で勉強したことがあるかもしれませんが、文系の方や、プログラミングの業務経験のない方は、「そういえばちゃんと勉強したことない」という方も多いかと思います。（私もかつてそうでした……） アルゴリズムとは、「問題を解くための手順を定式化した形で表現したもの」のことです。例えば、複数のデータを並べ替えるソートの方法として、バブルソートやヒープソートといったアルゴリズムがあるということは、アルゴリズムをきちんと勉強したことがなくても、知っている方は多いかと思います。 仕様書の通りにコーディングをしていくだけの業務であれば、アルゴリズムを勉強する必要はないかもしれません。さらに前述のようなソート等に関しては、多くの場合既に関数が用意されており、アル
本当に実用的なたったひとつのソートアルゴリズム - CARTA TECH BLOG
コンテンツメディア事業本部の新卒エンジニア坂本がお送りいたします。 突然ですが、皆さんの好きなソートアルゴリズムはなんですか？ 私は基数ソートのスマートでストイックな雰囲気に惹かれます。 とはいえ、普段の開発では「どのソートアルゴリズムを使うか」を意識することは少ないのではないでしょうか。 むしろ現実世界で「トランプが全部揃ってるか」を手作業で確認するときとかのほうが、実はソートアルゴリズムが必要なのかもしれません。 ということで（？）、そのような現実的な場面で、本当に実用的なソートアルゴリズムを決める戦いが始まりました。 選手紹介 今回試したソートアルゴリズムは、独断と偏見で選んだ以下の5種類。 1 挿入ソート シンプル・イズ・ベスト！正直言ってベンチマークの噛ませ犬！ 2 クイックソート 「クイック」の名前はダテじゃない！王者の貫禄を見せてやれ！ 3 マージソート 安定感のある隠れた実
あなたのPythonを爆速にする７つの方法
最近プロコン（プログラミング・コンテスト）をはじめました。 基本的にはアルゴリズム勝負なのですが、とにかく速度を競うプロコンです。 小手先の速度チューニングもバカにできません。 何が速くて何が遅いのかはっきりさせるため、ボトルネックになりそうな操作のベンチマークを取りました。 実行環境は下記のとおりです。 python2.7.5 OS: MacOSX 11 CPU: Core i7 2GHz (4core) MEM: 16GB その1. 配列の初期化を高速化する まずはプロコンの基本中の基本、配列の初期化です。 下記７つの初期化方法を比較してみます。 空配列へappendして配列をつくる for内包表記で配列をつくる サイズ1(None)の配列を乗算してから値を代入する サイズ1(None)の配列を乗算する サイズ1(ゼロ)の配列を乗算する すべてゼロのarrayをつくる 0〜nのarra
前置インクリメント vs 後置インクリメント | 闇夜のC++
後置インクリメントにはひと目で遅くなりそうな処理が見て取れますね。 前置インクリメントがインクリメント処理後、単純に自身の参照を返すのに対し、後置インクリメントではインクリメント前に一時オブジェクトの生成、そしてインクリメント後にはその前に生成した一時オブジェクトを値で返しています。 前置と後置では、単純にオブジェクトをコピーして返す分、普通に考えたら後置の方が遅いよね。というのが従来の認識でした。 「C++ Coding Standards -101のルール、ガイドライン、ベストプラクティス」の中でも、特に後置インクリメントの必然性が無い時は迷わず前置インクリメントを使うことが推奨されてきました。 元の値を必要としないときは前置形式の演算子を使おう ＿＿C++ Coding Standards (p50) 新たな主張 「ゲームエンジン・アーキテクチャ第二版」の中の一節を紹介します。 しか
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
大規模グラフデータ処理
Deep Learningの基礎と応用
「ネット荒らし」を予測するアルゴリズム