Jacob Kaplan-MossのPyCon 2015における基調講演: プログラミングの才能という都市伝説
Keynote - Jacob Kaplan-Moss - Pycon 2015 - YouTube The programming talent myth [LWN.net] PyCon 2015で、Djangoの貢献者であるJacob Kaplan-Mossが興味深い基調講演をしているので紹介する。LWM.netでほぼ全面書き起こしに近いまとめがあったので助かった。 自己紹介 Kaplan-MossはDjangoの貢献者であり、Herokuのセキュリテイ部門の部長である。PyCon参加者としては歴史が長く、その他のカンファレンスでもよく発表している。Pythonコミュニティは「自分にとってこの業界におけるとても重要なもの」であり、PyConの基調講演を行うということは、「自分のキャリア上の絶頂」である。 自分の最初のPyConの発表は2005年のことで、PythonとAppleScri
データ分析における関数の使い方については様々な記事が上がっています。関数を知らなかったり使い方が分からないときは調べればだいたい答えが見つかります。 一方で、実際に分析を始めようとすると、たとえ関数の使い方がわかっていても、データをどのような切り口から何を分析・可視化していけば良いのか困ってしまうことがよくあります。 この記事では、あんちべさんが書いたデータ解析の実務プロセス入門という本をベースに、どのようなデータから何を見たいときにどのような可視化手法を使えばよいのかを、具体例を交えながら整理していきます。 探索的データ解析とは データ解析のアプローチは、大きく分けて仮説をデータで検証する「仮説検証型」とデータから仮説を生み出す「探索型」に分けられます。 実際にデータ解析を行うときは、仮説検証型と探索型を行き来しつつ知見を見出していきます。 データ解析には検証すべき仮説を設定することが必
Pythonの可視化ライブラリ「Bokeh」ではじめるデータビジュアライゼーション Bokehではじめるデータビジュアライゼーション 2019年1月22日、freee株式会社にて、Data Driven Developer Meetupが主催するイベント「Data Driven Developer Meetup #4」が開催されました。サービスをより良いものにするために日々データと向き合っているデータサイエンティストやエンジニアなど、様々な職種で活躍する人々が集い、知見を共有する本イベント。今回は日本経済新聞社とエムスリー株式会社の2社がメインセッションに登壇し、自社の取り組みについて語りました。プレゼンテーション「Bokehではじめるデータビジュアライゼーション」に登場したのは、YukiyoshiSato氏。デモを交えながら、Pythonのインタラクティブビジュアライゼーションライブラリ
プログラミングでお絵かきする試みを続けるうちにスケッチが100個ほど溜まりました。 似たようなことをして遊んでみたい人のために、過去のスケッチを例に出しつつ、アイディアというかネタというか、そういうのを列挙してみます。 これはProcessing Advent Calendar 2018 - Qiitaの6日目の記事です。遅刻！ 序 初めて作り、完成したのはライフゲームだったと思います。簡単なプログラミングだけで複雑怪奇な振る舞いをするシステムを作れるという事実に、目の覚めるような驚きを感じつつ、魔法の金槌を手に入れたような気分になりました。 プログラミングさえあれば新鮮な驚きと感動に飢えることなく、人生はずっと面白いままなのだろうという予感を覚えました。 ── ポーン（ゲーム制作者）*1 この文章がずっと印象に残っています。 それはたぶん私も似たような原体験を持っているからで、そういう人
先月、詳解MySQL 5.7を発刊したばかりであるが、MySQL 5.7自体は去年の10月にリリースされたバージョンである。それから約1年弱、MySQLは開発の手を緩めること無く日々改良を重ねている。 そう、MySQL 8.0の登場である。 現在はDevelopment Milestone Release（通称DMR）という状態なので、まだ正式版における機能が固まっている段階ではないという点には注意して欲しい。MySQLの開発プロセスでは、DMRをリリースするごとにその段階で成熟した機能をマージする。DMRを何度かリリースした後に、キリの良いところでリリース候補版となって正式版で追加される機能が一応確定し、その後バグ修正を経て正式版（GA版）がリリースされる予定となっている。詳しくはMySQLのマニュアルを参照して欲しい。 バージョン8.0!!5.7の次は誰もが5.8だと思っていただろう・
統計・R・Stan関連の本、用途別のオススメ10冊 - StatModeling Memorandum
2016 - 12 - 24 統計・R・Stan関連の本、用途別のオススメ10冊 書評 R Stan 年末年始向けに、比較的読みやすい本を中心にオススメします。 統計学 入門 色々読んでみましたが、現在決定版と言えるものは存在しないように思えました。個人的には、シグマと 積分 の復習、場合の数・数え上げの方法、確率、確率変数、確率密度、度数分布と ヒストグラム 、代表値・平均・分散、確率分布、同時分布、周辺分布、確率変数の変数変換、検定、散布図と箱ひげ図、回帰、相関あたりをRなどを使いながらシンプルに説明していく本があるといいと思うのですが、なかなかバランスのとれたいい本がありません。初歩の初歩しか説明してない、グラフが少ない、検定にページを割きすぎ、分厚い、ちょっと難しいなどの不満点があります。立ち読みして自分にあった本を選ぶのがいいと思います。ネットで検索して調べるのでもいいと思います
[2016/6/8 data update] 以前、大阪都構想住民投票結果の地図を作った際に、大阪市のオープンデータの中に犯罪発生個所データがあるのを発見したので、そのなかから「ひったくり発生個所」データを視覚化してみました。 大阪市市民の方へ 大阪市の犯罪発生情報 example データの読み込みと整形処理が結構重いので、ページが表示されるまでに時間がかかります。 画面上位にある「被害者の年齢」や「事件発生時刻」のヒストグラムは、バーをクリックするとデータの絞り込みを行えます。グラフの空白部分をクリックすると、絞り込みを解除します。 地図上のエリアをクリックすると下に事件に関するデータを表示します。 めんどうだったこと 公開されているcsvの町名の一部が旧漢字だったため、e-statから取得した町丁目境データと名寄せするのがめんどくさかったです。 本来は新漢字に寄せた方がよいのでしょうが
PythonでTableau風 BIツールによる視覚的データ探索をやってみよう 〜PyGWalker〜 - Qiita
更新情報 -目次- はやくもUI改善等 Ver.upが図られています。以下内容の記事を追加しました。 1. データフレーム表示 2. ヒストグラムの描き方 3. ダークモード対応 4. オンライン版 5. 海外のデータイノベーション支援団体でも人気 はじめに Tableauはご存じでしょうか？ 私は使ったことはありませんが、名前だけはよく耳にします。 これは、専門家でなくてもデータの収集・分析・加工ができるBI(ビジネス・インテリジェンス)ツールのひとつです。 なんと、Jupyter Notebook上（Google ColabもOK）で実行できる Tableau風 BIツール「PyGWalker」が登場しました。 Tableauそのものではありませんが、ドラッグ＆ドロップの簡単な操作でデータ分析や視覚的な探索が実行できます。 こんなのが出てくるとは・・・すごい。 しかも、数行のコードで実
皆様こんにちは。今日も元気に自分を見つめ直していますか？自分を見つめ直す手段として、過去の自分の発言を見返すことは有用だと考えられます。たとえば、Twitter を使っている方ならば、その過去ログを用いることが考えられるでしょう。Twitter の過去ログはライフログとして機能し、それを用いることにより、過去の出来事のみならず、考え方、感じ方、ふとした着想、などなどを読み取ることができます。しかしながら、過去のツイートを全部見返すのは非常に面倒ですね。たとえば僕のアカウントはトータルで4万ツイート以上あります。これは非常にめんどい。Twitter は情報量多くてだるいよね問題については、従来「再生核 Hilbert 空間を用い、脱ベイズ確率主義に立脚したあまりだるくないツイッター」などの試みが行われてきましたが、今なおその面倒さを軽減する手段については十分とはいえません。本記事では、過去の
▲訂正とお詫び▲ テキスト本体（第3.2版以前のもの）の中のオブジェクト指向プログラミングの解説部分で，デストラクタ（ファイナライザ）に関する記述に誤りがありましたので修正しました．どうか最新版に差し替えてください． ●テキスト本体（PDF形式421ページ:3.58MB） 2024/06/18更新 （→ミラーサイトからDL）（→GitHubからDL） 言及している主なライブラリ： Kivy, argparse, socket, threading, concurrent, requests, BeautifulSoup, mpmath, subprocess, datetime, time, timeit, tzlocal, zoneinfo, pickle, struct, locale, re, csv, functools, asyncio, sched, schedule, tra
PythonでPandasのPlot機能を使えばデータ加工からグラフ作成までマジでシームレス - Qiita
Pandasのグラフ描画機能 この記事ではPandasのPlot機能について扱います。 Pandasはデータの加工・集計のためのツールとしてその有用性が広く知られていますが、同時に優れた可視化機能を備えているということは、意外にあまり知られていません。 この機能は Pandas.DataFrame.plot() もしくは Pandas Plot と呼ばれるものです。 Pandas Plotを使いこなすことが出来るようになれば、 データの読み込み、保持 データの加工 データの集計 データの可視化 というデータ分析の一連のプロセスを全てPandasで完結させることが出来る、つまり分析の「揺りかごから墓場まで」を実現することが出来ます。 Pandasのプロット以外の機能について この記事ではPandasのデータハンドリングなどに関わる機能は説明しません。 そちらにも興味がある方は下記の記事などを
Kaggleで戦いたい人のためのpandas実戦入門 - ML_BearのKaggleな日常
はじめに 自分は元々pandasが苦手でKaggleコンペ参加時は基本的にBigQuery上のSQLで特徴量を作り、最低限のpandas操作でデータ処理をしていました。 しかし、あるコードコンペティションに参加することになり、pythonで軽快にデータ処理をこなす必要が出てきたので勉強しました。 そこで、当時の勉強メモをもとに「これだけ知っていればKaggleでそこそこ戦えるかな」と思っているpandasの主要機能をまとめました。 注記 実戦入門 のつもりが ほぼ辞書 になってしまいました orz pandasとはなんぞや的な内容は書いていません (import pandasやDataFrameとは何かなど) pandas1.0系でも動くように書いたつもりですが間違ってたらすみません 目次 はじめに 注記 目次 Options DaraFrame 読み書き CSVファイル 読み込み 書き出
こんにちは。たかぱい（@takapy0210）です。 本日は自然言語の可視化を手軽にできるようにしたパッケージnlplotをPyPIに公開したので、これのご紹介です。 nlplotとは？ nlplotで何ができるか 使い方 使用データ 事前準備 ストップワードの計算 N-gram bar chart N-gram tree Map Histogram of the word count wordcloud co-occurrence networks sunburst chart まとめ nlplotとは？ 自然言語の基本的な可視化を手軽にできるようにしたパッケージです。 現在は日本語と英語で動作確認済みです。 基本的な描画はplotlyを用いているため、notebook上からインタラクティブにグラフを操作することができます。 github.com （スター★お待ちしております🙇♂️）
2017 - 02 - 23 【SIM-1グランプリ2017】大手携帯キャリア～主要MVNO総勢19社の通信速度バトル みなさん、データ受信してますか？ 子供の頃は足の速い男子がモテましたが、大人になると通信の速い男子がモテます。 かつて携帯電話と言えば、大手キャリア3社しかありませんでした。しかし現在は、Y!mobile・UQ mobileといったサブブランドや、格安SIM(MVNO)もメジャーになってきました。 そこで今回は、 大手キャリア3社＆サブブランド2社＆主要MVNO14社16枚、計21枚のSIMカードの通信速度を調査・比較しました。 docomo,au,SoftBankの中ではどこが一番速いのでしょうか？ 大手キャリアとMVNOでは本当に通信速度に差が出るのでしょうか？ MVNOの中で通信品質が良いのはどの会社なのでしょうか？ この記事は約12m（スマホで120スクロール）も
IoTを駆使してトイレの個室空き状況を検知してWEBで確認できるアプリを会社で運用してみました。 | Recruit Tech Blog
IoTを駆使してトイレの個室空き状況を検知してWEBで確認できるアプリを会社で運用してみました。 小原正大 2016年2月5日 追記 本エントリの内容につきまして一部の方からご指摘をいただきました。 リクルートライフスタイルでは業務を円滑に回すための施策として座席のレイアウト変更およびそれに伴う従業員の出入りが頻繁に発生し、また部署やフロアにより男女比もさまざまであるという背景があります。これに伴い、トイレブース ( 個室 ) と従業員の割合は入居フロア全体 ( 複数階 ) のトイレブース数と従業員数とで算出しております。 これにより従業員に対するトイレブース数は法令上クリアされているとの認識です。 読者の皆さまならびに関係各位にご迷惑をお掛けしましたことをお詫びするとともに、ここに訂正させていただきます。 こんにちは、2015年度新卒フロントエンドエンジニアの小原正大です。 IoTでトイ
先日Deep Learningでラブライブ！キャラを識別するという記事が話題になっていました。この記事で紹介されている SIG2D 2014を知り合いから貸してもらったので参考にしながら、ご注文は機械学習ですか？のDeep Learning版を作ってみました。 Caffeなど必要なソフトのインストール Ubuntu 14.04の場合は過去記事を参照してください。これ以外にもpython-opencvなどを使いますが、依存関係の全ては把握できていないのでエラーが出たら適宜インストールしてください。 データの準備 Deep Learningでは大量の学習データが必要になると言われているので、まずは大量のデータを用意します。参考記事では6000枚のラブライブ画像を使ったということなので対抗して12000枚以上のごちうさ画像を用意したいと思います。それだけのデータを手動で分類するとそれだけで時間が
画像処理におけるアルゴリズム
ここでは各画像処理におけるアルゴリズムを簡単に解説する。 2値化 明るさ調整 色成分の抽出 色反転 コントラスト調整 切り出し ガンマ補正 グレイスケール化 増色 画像枠付加 鏡像反転 ノイズ除去 輪郭抽出 輪郭追跡 拡大縮小 任意角回転 セピア調化 ぼかし 2値化 指定画像を白と黒の2階調の画像に変換する処理であり、本研究で作成した2値化処理は単一手動閾値方式、P-タイル法、また、誤差分散法およびその拡張型である Floyd&Steinberg 型誤差分散、Jarvice,Judice&Ninke 型誤差分散の5つである。 次にそれぞれのアルゴリズムについて解説する。 単一手動閾値方式 指定された色深度を基準として、その値より入力画素の色深度値が明るければ白、暗ければ黒色として2値化する。下の式を用いている。 このとき、出力画像は初期状態で黒色となるので、入力画像の画素値が閾値以
人物写真や顔写真など、好きなポートレイトを選んでから数回クリックするだけで自動的にヒストグラムが調節されて、ポートレイトをより一層魅力的にすることができるフリーソフトが「Glamour」です。 また、スライダーを動かすことで「エフェクトの増減」「彩度」「ソフトフォーカス」の三種類を細かく調節し、その変化する様子をビフォーアフターとしてオリジナル画像と比較できます。そうして出来上がった画像はクリップボードへコピーしたり、さまざまな画像フォーマットでの保存が可能です。なお、このソフトはすべてのWindowsに対応しています。 具体例、ダウンロード、実際の使い方などの詳細は以下から。まずは実際にこのソフトで加工した例を紹介します。すべて左がオリジナル、右が「Glamour」で加工したものです。 それではダウンロードを始めましょう。 IDimager - Power up your photo m
aki's right brain
(2019-01-26追記) GoogleTranslate関数のカンマがセミコロンになる環境があるっぽいです。 正確な情報はGoogleの公式ヘルプを参照、というところなのですが、明確な情報は見つけられませんでした。ただ筆者の環境（英語・フランス語環境）ではスクリーンショットのようにセミコロンになってしまいます。 CG,VR業界の研究者はこの時期、Laval VirtualやSIGGRAPHといった国際投稿のピークにあります。 白井研究室は規模の割には国際投稿が多いです。 https://blog.shirai.la/publications/ また数だけでなく内容も学部生でACMの学生研究コンテストで世界3位を受賞したりと、大学の入試難度の割には世界トップクラスの評価を受けることもあったりします(ちなみにACM SRCは書き物だけでなくファイナルはプレゼン審査込みです)。 本人の頑張り
eBPF（extended Berkley Packet Filter）という用語を著者が初めてみかけたのは、2015年ごろだった。最初は、eBPFをその字面のとおり、パケットキャプチャやパケットフィルタリングを担うだけの、Linuxの新しいサブシステムであろうと認識していた。しかし、実際にはそうではなかった。 システム性能の分析のための方法論をまとめた書籍Systems Performance 1 の著者で有名なBrendan Greggが、Linuxのネットワークサブシステムとは特に関係ない文脈で、古典的なシステム性能計測ツールでは計測できないことを計測するツールを作っていた。その計測ツールがeBPFという技術によって実装されていることを知ったときに、eBPFに興味をもったのだった。また、eBPFは、システム性能を調べる用途以外にXDP（eXpress Data Path）と呼ばれるプ
Jupyter Notebook と VS Code でバッハの平均律第1番を分析する - miso_soup3 Blog
Jupyter Notebook で、楽譜を表示したり、その楽譜を再生してみたり、曲を分析したりしてみました。そのことについて書きます。分析といっても簡単なものです。 目次 Code, .ipynb 環境 VS Code で Jupyter Notebook music21 とは 曲の作成と表示 バッハの平均律を分析 分析 後半 参考 追記 Code, .ipynb Jupyter Notebook: https://mybinder.org/v2/gh/hhyyg/miso.py.music21bach/master ここにある2つの .ipynb ファイルから確認できます ただし、画像・音声生成部分などは再実行ができません GitHub: https://github.com/hhyyg/miso.py.music21bach 環境 Mac Visual Studio Code Pyt
外からはなかなか評価されない仕事としてもう一つ大きいのがサーバーの仕事です。はてなのように、1ヶ月のUU（ユニークユーザー）数900万人、月間のPV（ページビュー）が10億PVを超えるサイトを運営するには、当たり前ですが相当なサーバーやネットワークが必要となります。 これまでこのサーバーやネットワークについては、「なるべく安く」ということを目標に構築してきました。売り上げが安定的ではないため、業績が悪化した際にリスクとなる固定費をなるべく減らしたかったからです。（ちなみにはてなは外部からこれまで資本を入れておらず、全て自分たちの事業で生み出した利益を元に設備投資を行ってきています。苦労して生み出した利益を使ってサーバーを買うわけですから、そのコストについて厳しくなるのは当然ですし、そのおかげでネットベンチャーには珍しく、完全自己資本でここまで会社を成長させることができました。ただ、自己資本
Excelで学ぶ、やさしいデータ分析
データ分析に興味はあるけれど、どこから手を付けていいか分からない……そんなあなたにぴったりなのが、この無料の電子書籍『Excelで学ぶ、やさしいデータ分析』です。ここから、データ分析の第一歩を気軽に踏み出してみましょう！ この電子書籍は、「Microsoft Excel」「Googleスプレッドシート」など日常的に触れる表計算ソフトウェアを使って、自分の手で体験しながら段階的に学べるように設計されています。概念や手順は誰でも理解できるように丁寧に易しく説明されており、数学やプログラミングの前提知識も必要ありません。 本書は、データ分析を初歩から学びたい方々に向けた「包括的な教科書」として、データの取り扱い方から基本的な分析方法まで、幅広いテーマを網羅しています。具体的には、以下の全16回で構成されています。 データ分析の基礎： 第1回 データ分析を学ぶべき理由と連載概要 第2回 前提基礎：
こんにちは、アプリケーションエンジニアのid:syou6162です。2018年になってしまいましたが、2017年のはてなにおける機械学習の取り組みについて振り返ってみたいと思います。 機械学習サブ会とは リソース/ツール整備 定例会 プロジェクトの近況を共有、より専門的な困り事を相談 技術共有/雑談 論文読み会/専門書の輪講会 社内で機械学習ハッカソンの開催 おわりに 機械学習サブ会とは はてなではより専門的な内容に関するエンジニアの小集団として、サブ会という制度が昨年から開始されています。昨年までは個人的に機械学習勉強会をランチタイムに運営していましたが、社内で正式にサブ会として認定されたことにより、業務時間内に活動しやすくなりました。このエントリではサブ会発足からの約八ヶ月の活動を振り返りってみたいと思います。 簡単に背景について説明しておきます。はてなは現在のところ、研究開発専門の部
中流階級が夢見る「野原ひろし」一家に必要な年収をレポート - RepoLog│レポログ 統計データを使って様々な暮らしをレポートするブログ
下流老人に一番なりやすいのは、年収700万円世帯だった！ 第２次安倍政権以後、格差社会化がこれまで以上に進む中、"下流老人"という言葉が世に出回るようになり、"老後破綻"なんていうショッキングな言葉も注目を集めてきました。 そんな報道に触れる中、「年収700万円世帯が下流老人になりやすい」というフレーズが個人的にかなり興味深かく、以下のような記事を読み、色々と考えるきっかけとなりました。 というのも、当時、私たち家族の世帯年収は約600万円ほど。 「あと年収100万円増えたらどれだけ生活が楽になるだろう。」と考えていただけに、目標である年収700万円世帯でも老後破綻してしまうという現実に衝撃を受けたものでした。 あれから数年、現在のわが家の世帯年収はおよそ700万円。まさに、下流老人になる危険性の高い家庭となっています。 そこで本日は、当時「年収700万円世帯が危険」と言われた要因を探りつ
2013-12-21 「偏差値の低そうな学校名」に関する考察 R Mathematics 非常にアレな言い方ではあるが，世の中には「偏差値の低そうな学校名」や「偏差値の高そうな学校名」があると思う． そこで「偏差値の低そうな学校名」というものは存在しないのか，あるいは字面からある程度偏差値を予測することは可能なのか，という疑問に対する1つの答えを出したい． 今回は，各高校名を構成する文字から，重回帰分析で偏差値を予測することで，これを確かめる． 始めに この記事は，自分で取得した偏差値データをムリヤリ重回帰分析の手法にねじ込んで遊んでいるだけの記事なので，絶対に真に受けてはいけない． 調査について 調査対象 今回は，高校について調査を行う．偏差値データはH25の予測偏差値を用いる． 各学校の偏差値データの取得 例によって全国高校受験ナビから取得する．詳細な取得方法については各高校の偏差値の
先週、ダイアリーがリニューアルされました。今回のリニューアルはダイアリーの応答時間の改善が目玉の一つとなっており、そのために１週間リリースを延ばし、改善の時間を確保していました。今回は、この改善について記しておきます。 はてなでは「推測するな、計測せよ」の原則にしたがって、ダイアリーのユーザーページの全アクセスの応答時間を解析し、ヒストグラムを作っています。また、特定の閾値(1秒、2秒とか)以内に何%のリクエストを返却できている割合をグラフ化しています。 このグラフを見ると、応答時間時間は時間とともに劣化することが一目瞭然です。実際に今年初めの値と比較すると10%〜20%程度の悪化が確認されました。あとは、これをひたすら改善していくのみです。今回実施した主な対策は、以下の通りです。 ネットワーク パケットロスが発生しているようなトラフィック経路上のボトルネックの解消(L2スイッチの置換、物
2014年01月21日10:00 「七つの大罪」みたいなの教えて Tweet 1：以下、名無しにかわりましてVIPがお送りします：2014/01/13(月) 19:24:47.95 ID:a4TPI7hH0 六波羅蜜とか 六波羅蜜（ろくはらみつ、ろっぱらみつ）とは、甚深法界の六つの彼岸行のこと。 「六度（ろくど）彼岸」とも呼ばれる。 布施波羅蜜 - 檀那（だんな、Dāna ダーナ）は、分け与えること。dānaという単語は英語のdonation、givingに相当する。具体的には、財施（喜捨を行なう）・無畏施・法施（仏法について教える）などの布施である。檀と略す場合もある。持戒波羅蜜 - 尸羅（しら、Śīla シーラ）は、戒律を守ること。尸は屍に通じる。在家の場合は五戒（もしくは八戒）を、出家の場合は律に規定された禁戒を守ることを指す。忍辱波羅蜜 - 羼提（せんだい、Kṣānti' クシャー
matplotlibはPythonでグラフを描画するときなどに使われる標準的なライブラリです。 画像ファイルを作るばかりでなく、簡単なアニメーションやインタラクティブなグラフを作ることも可能です。 実際の例はmatplotlibサイトのギャラリーで見ることができます。 matplotlib/gallery matplotlibは本家のサイトやどこかのブログにあるチュートリアルや例を描画してみるぶんには簡単なのですが、 実際に自分でプロットするとなると基礎的な概念を理解していないと使いにくいライブラリでもあります。 また、基礎的な概念を理解していないとドキュメントを参照する際にもどこを見て、どう実用すればいいのかわかりません。 そこで、この記事ではそのあたりのmatplotlibの基礎を解説していきます。 なお、Python自体の知識はある程度仮定していますが、matplotlib自体の実装
統計学の時間 | 統計WEB
統計学の時間 統計学の基礎から応用までを丁寧に解説しています。「Step1. 基礎編」は、大学で学ぶ統計学の基礎レベルである統計検定®2級の範囲をほぼ全てカバーする内容となっています。最後まで読み進めることで、統計検定®2級に合格できる力がつくことを目標にしています。 学習ページは、数式ばかりではなく具体例を多数掲載し、はじめて統計学を学ぶ方にもイメージしやすい内容になっています。学習ページで勉強した後は、練習問題で腕試しができます。練習問題のすぐ下に解説を掲載していますので、理解度をすぐに確認することができます。 一通り勉強して知識が身に着いたら、実際に統計検定®を受験するのがオススメです。 統計WEBでは、統計検定®の受験者を応援しています！ ※統計WEBを使って統計検定®に合格された方の『合格者の声』をブログに掲載しています。こちらからご覧ください。 Step0. 初級編 1. デー
こんにちは。技術部平山です。 今回は、ゲームにおけるA/Bテスト について論じます。 「論じます」で始めたことで察しがつくかとも思いますが、今回はブログではありません。 媒体はブログですが、ブログの容量ではない代物になっております。3.5万字(115KB)超えです。 ゲームにおけるA/Bテストについて、実施の方法や問題点、 倫理的側面に至るまで幅広く書き連ねてみました。 読んで欲しいのはどちらかと言えば同僚なのですが、 そういう時にはまず社外に出してしまった方が良いものですので、 ブログにしてしまいます。 比較的同業の方が読むことを想定しているため、 図表を用いてわかりやすくすることはしておりません。 これを書いた人間は何者か 技術的な問題の前に ゲームにおいても構図は全く同じ A/Bテストが可能である条件 A/Bテストの手続きを概観する 振り分け アプリ内振り分けの場合 Firebase
ブロガーとしてデビューして早いもので、約１年半が経ちました。その間、色々なツールを試してきましたが、本日は、その中でもとっても使い勝手が良く、無料でおしゃれな画像加工ができる『Polarr』をご紹介したいと思います。サイト上でサクッと画像加工が簡単にできちゃうので、とってもおすすめですよ。 『Polarr』とは！？ 『Polarr』はこんな感じのツールです！ フィルター① 焦点の... フィルター② 暖かさ フィルター③ フォーム 高度な画像加工 さいごに 『Polarr』のダウンロード等 『Polarr』とは！？ 画像加工ツールの『Polarr』には、現在のところ、ブラウザ版とChrome版とデスクトップ版とスマホ版がリリースされています。ほぼ全ての環境で使うことができますが、僕の場合はブラウザ版で、コトが足りてしまいますので主にブラウザ版を使用しています。無料版でも多数のフィルターなど
おまえはもうRのグラフの日本語表示に悩まない (各OS対応) - ill-identified diary
2021/9/10 追記: 改めて更新された話を統合して整理して書き直しました. 以降はこちらを参考にしてください: ill-identified.hatenablog.com 2021/1/15 追記: RStudio 1.4 がリリースされたのでなるべくアップデートしましょう 2020/12/06 追記: Japan.R で今回の話の要約+新情報を『Mac でも Windows でも, PNG でも PDF でもRのグラフに好きなフォントで日本語を表示したい (2020年最終版)/Display-CJK-Font-in-Any-Gpraphic-Device-and-Platform-2020 - Speaker Deck』として発表した. ハイライトは「近々出るRStudio 1.4 があれば fontregisterer はほぼいらなくなる」 2020/10/31 追記: geom
Photoshop補正講座〜ヒストグラムとレベル補正とトーンカーブ〜 – from Editors | サストコ
こんにちは。唐揚げ大好き横地です。 先日、社内で「Photoshop補正講座」というのを開催しました。 メインコンテンツは「ヒストグラムの理解と、レベル補正とトーンカーブの使い方」でした。 先ず、レベル補正、トーンカーブに興味を持っている時点で初心者の域から一段昇っていると思いますが、これらを感覚でなく理論で使いこなせるようになるためには、ヒストグラムへの理解が必須です。 多くのPhotoshop本などで、ヒストグラムへの言及はありますが、これがそもそも何であるかを、きちんと理解できるよう説明しているものは少ない… 私自身は、そこを「ちゃんと」説明している本に出会ったことがありません。 たとえば、Photoshop Lightroomのヘルプでは、このように説明されています。 http://helpx.adobe.com/jp/lightroom/kb/6280.html ヒストグラムとは
pandas は可視化のための API を提供しており、折れ線グラフ、棒グラフといった基本的なプロットを簡易な API で利用することができる。一般的な使い方は公式ドキュメントに記載がある。 Visualization — pandas 0.17.1 documentation これらの機能は matplotlib に対する 薄い wrapper によって提供されている。ここでは pandas 側で一処理を加えることによって、ドキュメントに記載されているプロットより少し凝った出力を得る方法を書きたい。 補足 サンプルデータに対する見せ方として不適切なものがあるが、プロットの例ということでご容赦ください。 パッケージのインポート import matplotlib.pyplot as plt plt.style.use('ggplot') import matplotlib as mpl m
夫婦で納得の土地探しをするためにLINE Bot作ったりデータサイエンスした話 - ABEJA Tech Blog
皆さんこんにちは！ ABEJAでデータサイエンティストをしている服部といいます。 本記事はABEJA Advent Calendar2022の10日目の記事になります。 背景 引っ越しから2年.... データサイエンティストとしてのリベンジ 前回の反省を踏まえて.... 1. お得そうに見える土地には絶対に理由がある 2. 土地の数はせいぜい限られていて全部探すのも難しくない 今回解く課題 土地探しにおける意見の違いとは？ どうやってデータサイエンスを使って夫婦の擦り合せを行う？ アプローチ 実装 1. 架空の土地条件をランダムに沢山作る 土地条件の項目数や取りうる範囲が増えすぎないようにする 自分たちにとって関連性が高い項目を入れる 2. 作った土地に対して夫婦それぞれで値段をつける LINE Botの概要 バックエンド 土地情報の作成とFireStoreに登録 妻からのフィードバック
情報処理学会の学会誌『情報処理』の2008年9月号（Vol.49, No.9）に「3日で作る高速特定物体認識システム」という特集記事があります。OpenCVを用いた面白そうなプロジェクトなのでレポートにまとめてみようと思います。3日でできるかはわからないけど。 残念ながらこの記事はPDFを無料でダウンロードすることができません（CiNiiでオープンアクセス可能になったみたいです）。なので会員以外で元記事が読みたい人は図書館でコピーする必要があるかも・・・また、2009年9月号の人工知能学会誌にも物体認識の解説「セマンティックギャップを超えて―画像・映像の内容理解に向けてー」があります。こちらも非常に参考になりますが同様にPDFが手に入りません・・・。他にもいくつかわかりやすい総説論文へのリンクを参考文献にあげておきます。 物体認識とは 物体認識（object recognition）は、画
Javaガベージコレクションのエッセンス
あるアプリケーションの作業にとって、スループットは最も重要なターゲットです。1つ例を挙げると、長時間実行されるバッチ処理のジョブです。ガベージコレクションが実行されている間、バッチジョブが時々1、2秒止まっても、ジョブ全体がすぐに完了すれば問題ありません。 人間が直接対話するアプリケーションから金融取引システムまで、実質的な他のすべての作業では、システムが1、2秒か、数ミリ秒以上反応しない場合、大変なことになり得ます。金融取引では、しばしば一貫した停止時間と引き換えに、スループットを犠牲にするだけの価値はあります。物理的に利用可能なメモリ量によって制限されるアプリケーションを持ったり、footprintを維持しなければならなかったりすることもあります。そのような場合、停止時間とスループットの面の両方で、パフォーマンスをあきらめなければなりません。 以下のトレードオフは度々起こります。 大部
「使い分け」ではなく「妥当かどうか」が大事：重回帰分析＆一般化線形モデル選択まわりの再まとめ - 六本木で働くデータサイエンティストのブログ
先日の記事はおかげさまで好評をいただいたんですが、勉強中の身で教科書を確認せずに書いたこともあり多数ツッコミをいただきました。ツッコミをいただけるというのはもちろん大変良い勉強の機会になるということで*1、今回もひとしきり勉強してみました。 ということで、自戒も込めて備忘録的に勉強したことをまとめておこうと思います。今回はあまり広く読んでもらう内容ではないので、不親切かもしれませんがごめんなさい。ただし、あまりにも理論的側面ばかり色々書いても何なので、インターネット広告業界の言葉で喩えて言うなら「クリック数*2をモデリングしたい場合」と「コンバージョン数*3をモデリングしたい場合」とに分けた、と理解してもらえたら良いかなと思ってます。 今回も参考文献は久保本です。一般化線形モデルまわりではこの本より分かりやすい本は依然としてないと思います。 データ解析のための統計モデリング入門――一般化線
「史上最高のインターフェース、ベスト5」から使いやすい設計を考える 2008年5月13日 IT コメント： トラックバック (0) Charlie Sorrel Photo:『Flickr』の 「mikelao26」 現代のインターフェース開発者はユーザーのことを考えていない。少数の例外はあるが、六分儀や経線儀が登場するまで海で進路を決めるのはきわめて難しかったのと同様に、現代の小型機器はナビゲート不能だ。 それはなぜか？ 現代のデバイスの内部の働きは、実世界でわれわれが扱うものとは関連がないため、マイクロチップと人間の脳の隔たりに橋を架けるには、場当たり的な抽象化が必要になるからだ。 おまけに、大半の機器ではユーザー・インターフェースは後回しにされることが多い。こうしたことから、操作部分のレイアウトのひどい使いにくさのせいでいたるところで嫌われている、米Motorola社の『RAZR』の
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
探索的データ解析における正しい可視化手法の選び方と描き方 - Qiita
Pythonの可視化ライブラリ「Bokeh」ではじめるデータビジュアライゼーション
プログラミングでお絵かきして遊ぶための50のアイディア - FAL 制作メモ
MySQL 8.0.0 Development Milestone Release登場！！
大阪市のオープンデータを使って、ひったくり事件発生個所を視覚化してみた。
機械学習ライブラリ scikit-learn で簡単ツイート分類 | ぱろすけのメモ帳
Pythonのテキスト作りました - Qiita
自然言語を簡単に可視化・分析できるライブラリ「nlplot」を公開しました - ギークなエンジニアを目指す男
【SIM-1グランプリ2017】大手携帯キャリア～主要MVNO総勢19社の通信速度バトル - XERA
ご注文はDeep Learningですか？ - kivantium活動日記
人物写真や顔写真を自動できれいにしてくれるフリーソフト「Glamour」
Linux eBPFトレーシング技術の概論とツール実装 - ゆううきブログ
速くて落ちないサービスを提供する - jkondoの日記
はてなにおける機械学習の取り組みについて - Hatena Developer Blog
「偏差値の低そうな学校名」に関する考察 - MEMORANDUM
はてなダイアリーの高速化の裏側 - stanaka's blog
「七つの大罪」みたいなの教えて : 哲学ニュースnwk
matplotlib入門 - りんごがでている
ゲームにおけるA/Bテストについて - KAYAC engineers' blog
サクッと画像加工したいなら『Polarr』がいいよって話！ - wepli.2
Python pandas プロット機能を使いこなす - StatsFragments
3日で作る高速特定物体認識システム (1) 物体認識とは - 人工知能に関する断創録
「史上最高のインターフェース、ベスト5」から使いやすい設計を考える | WIRED VISION