積分とは・対数とは・微分とは〜「分かる」とはどういうことか〜
文系向け「統計学」の授業で、積分・対数・微分を復習する機会があった。その時の「1枚スライド」を公開した。この図をめぐって、「分かる」とはどういうことか、について多くのコメントをいただいた。それを、まとめました。（話が同時並行で進行するので、スレッド風の「まとめ」です。） 注意：積分は、統計学の場合、正規分布表を見るために必要。対数の必要性は、尤度関数（尤もらしさ）の対数をとって計算を簡単にする式変形で使うため。微分の必要性は、確率密度関数の最大値（尤度最大の条件）を求めるため。どれも統計学で必須の内容。 注意２：（追記8/6）ここに出てくる「指数、対数、微分、積分」は「感染症の数理モデル」の基礎となっている。 注意３：（追記8月9日）番外編『「積分」と「源氏物語」〜「晩年の清少納言」から「京都女子大」まで』へのリンクはこちらです。https://togetter.com/li/157284
データサイエンティストに王道無し - 渋谷駅前で働くデータサイエンティストのブログ
TL;DR（思ったよりもかなりの長文になってしまったので*1、時間がないという方は1番目と2番目のセクションの冒頭だけお読みください） しんゆうさんの舌鋒鋭いブログ＆note記事にはいつも楽しませていただいているのですが、この記事は一点僕のデータ分析業界の認識に新たな視点を与える話題があって特に目を引きました。それが以下の箇所です。 資格があるわけでもないので名乗るのは自由だし、未経験だろうが文系だろうがそれはどうでもいいのだけど、傍から見ていると「サイエンティスト」と名乗っているわりには「サイエンス」な話をしていないなぁとは思っている。（中略） 現在起きている第３次データサイエンティストブームは「データサイエンティストと名乗りたい人」が盛り上げているように見える。 （太字筆者） この問題は、このブログの前々回の記事でも取り上げています。 ただ、僕はこういう「データサイエンティストになりた
データ分析エンジニアの役割とは？ Pythonと機械学習はどう役立つ？
データ分析に関心のある方にとって、Pythonは気になる言語の一つ。しかし、実際にデータ分析をしようとしたとき、何から学べばいいのでしょうか。翔泳社の『Pythonによるあたらしいデータ分析の教科書』から、Pythonを使ってデータ分析の手法を学んでいくための基礎知識を紹介します。 本記事は『Pythonによるあたらしいデータ分析の教科書』の「はじめに」と「CHAPTER 1 データ分析エンジニアの役割」から一部を抜粋し、編集してものです。 はじめに 「Pythonでデータ分析をしたいが何から学んで良いかわからない」という声を、コミュニティの中で聞くようになったのが2017年中頃でした。すでに、データ分析や機械学習をテーマにした書籍はたくさん出版されていました。しかし、データ分析の学びはじめに手頃な、Pythonを使った基本的なツールおよび分析に必要な数学の解説本がないと感じ始めました。そ
MySQLに大量のデータを入れるときに最適な方法は？ | なおべりーのブログ
参考 検証用テーブル dtb_productsは下記のようなテーブルです。 mysql> desc dtb_products; +-------------------+-------------+------+-----+---------------------+-------+ | Field | Type | Null | Key | Default | Extra | +-------------------+-------------+------+-----+---------------------+-------+ | product_id | int(11) | NO | PRI | NULL | | | name | text | NO | | NULL | | | maker_id | int(11) | YES | | NULL | | | status | sm
機械学習入門 - 基本のPythonライブラリ、9つを触って学ぶ - エンジニアHub｜若手Webエンジニアのキャリアを考える！
機械学習入門 - 基本のPythonライブラリ、9つを触って学ぶ 機械学習を学ぶために、まず知っておきたいPythonライブラリを、機械学習エンジニアの「ばんくし」こと河合俊典さんに厳選し、そのエッセンスをつづってもらいました。機械学習入門に向けたスタートアップガイドです！ こんにちは。機械学習エンジニアの「ばんくし」こと河合俊典（かわい・しゅんすけ／ @vaaaaanquish ）です。 近年の機械学習関連の開発では、多くの場合Pythonが用いられます。 本記事は、「機械学習をこれから初めてみたいけど何から始めればいいか分からない」「基本のキから学びたい」という方に向けて執筆しました。プログラミング言語「Python」の中でも、特に機械学習における使用頻度の高いライブラリを厳選し、その解説を目的としています。 「この記事の内容に沿ってPythonを学習すれば、機械学習エンジニアとして入
転送時間計算方法 - Qiita
はじめに インフラエンジニアにとって、ネットワーク帯域の計算をすることは大事ですよね。ネットワーク帯域の計算ができないと、基盤の構成を考えることができません。ちょうど物理サーバーを導入する案件に携わる機会があり、構成を考える上で必要になった計算方法を備忘録的にまとめたいと思います。 やること データを転送するのに、どのくらいの時間がかかるのか計算する。 必要情報 通信でやり取りするデータ容量 利用する回線速度 伝送効率 前提 通信でやり取りするデータ量： 300kb（写真一枚） × 120（利用ユーザー数） = 36000kb ≒ 36mb 利用する回線速度： 1Gbps 伝送効率： 70% 計算式 データ容量 ÷ 回線速度 × 伝送効率 = 転送にかかる秒数 計算手順 1. データ容量をビット数に変換 36mb × 1024 × 1024 × 8bit = 301,989,888bit
Logstashを中心にしたカメリオのログ、イベントの収集・解析・可視化 | カメリオ開発者ブログ
こんにちは。ここに初めて登場するエンジニアの北野です。業務の半分くらいがエンジニアで、エンジニアとしてクローラーの開発とサーバー運用などを行っています。今回はカメリオを動かしているサーバーのログ、イベント収集と解析・表示をどのように行っているかを書きたいと思います。 カメリオを動かすサーバー構成 最初に白ヤギではカメリオをどのようなサーバー構成で動かしているのかを説明します。 カメリオのサービスを提供するために利用しているサーバーは現在全てAmazon Web Service上で動かしています。 かなり省略した図になりますが四角い部分がサーバーを表しています。現在は次のような３つの機能を持つサーバー群 フロント用APIサーバー 記事検索・タグ付けサーバー 記事クローラーサーバー などと、この図には無い サーバー監視とログ収集・解析を行うサーバー の大きつ４つのサーバーを稼働してサービスを提
【レポート】【初級】AWS ストレージサービス入門 #AWSSummit | DevelopersIO
こんにちは。chicca です。2019年6月12日から14日まで開催された AWS Summit Tokyo に参加してきました。 今回は 2日目に行われたセッション「【初級】AWS ストレージサービス入門」についてレポートします。 Amazon Elastic Block Storage（EBS） Amazon EC2 インスタンスにアタッチして使用 マネジメントコンソール、CLI、SDK から操作 SSD と HDD のボリュームタイプが選択可能 スナップショットの作成と Amazon S3 での保存 保存データ、インスタンス間で移動するデータは暗号化 1つの EC2 インスタンスの複数のボリュームをアタッチ可能 ボリュームタイプ SSD io1: プロビジョンド IOPS SSD gp2: 汎用 SSD HDD st1: スループット最適化 HDD sc1: Cold HDD ス
「ファクトフルネス」は、2019年に日本人がまず真っ先に読むべき1冊だと言えると思います。｜徳力基彦（tokuriki）
書籍「ファクトフルネス」は、TEDトークで、データに関する伝説のプレゼンテーションを遺したハンスロスリング氏が書いた書籍です。 彼のプレゼンテーションは、TEDトークの数ある人気プレゼンの中でも、私のダントツのお気に入り。 この動画の4分ぐらいからの1分間なんか芸術ですよね。 私たちが昭和の頃から思い込んでいる発展途上国という概念が、もはや適切ではない言葉であることを思い知らせてくれる楽しいプレゼンですし。 こんなにデータを分かりやすく楽しく見せてくれるプレゼンを見たのはこの時が初めてでした。 たぶんこのプレゼンを初めて見たのは2007年だったと思いますが、今でもあの時の感動は手に取るように思い出せます。 そんなロスリング氏の書籍が出たということで、日本語版が出るのを楽しみに待ってたんですが。 光栄なことに中川さんから一足早く献本いただいたので、早速読ませていただきました。 結論から言うと
【必読！】グーグルアナリティクスデータが消失する！5月25日までの対応が必要！？ | プロモニスタ
※情報を一部更新いたしました（4月20日13:37）。 4月12日（木）弊社に、Googleより英文にて、“GAのデータが消失する”旨のメールが届きました。 グーグルアナリティクスユーザーは皆さんこのメールを受信しているはずですが英文となっているため、見落とすか、あるいは理解し切れていない可能性があるかもしれません。 SNSでは既にこれに対する投稿もあり、認知は広まりつつありますが、もしまだご存じない方向けに念のため周知させていただきたく思い執筆させて頂きます。 さて、Googleからのメールをしっかり読み込むと対応策について記載されておりました。 対応策のご説明の前に、Googleからの案内メールの一部を抜粋したものをご紹介させていただきます。 件名： [Action Required] Important updates on Google Analytics Data Retenti
15万記事を分析してわかった、クリック率を20％高める「記事タイトル」3つの法則とは？｜アプリマーケティング研究所
Outbrainという会社の「WEBコンテンツの見出し（タイトル）」について、15万記事を調査したデータが、おもしろかったので簡単にメモ。 １）8ワードのタイトルがクリック率が最高に。 記事タイトルの長さとしては、8ワード（英語で）のものが一番クリック率が高かった。平均よりも21％高かった。 ２）サムネイル画像を入れるとクリック率＋27％ ほとんどのメディアはやっている気がするが、サムネイル画像を記事タイトルに加えると、クリック率を27％も高めることができる。 たぶん、ソーシャルのOGP画像とかもそうだし、あとはスマートニュースとかにも、多かれ少なかれ、当てはまる話だと思われる。 ３）偶数よりも奇数のほうが20％も吸引力がある 偶数よりも奇数のほうがクリック率が20％も高まる。たとえば「デザイン上達8のコツ」よりも「デザイン上達7のコツ」にすべきだと。 感覚的には「3・5・7」あたりの数値
トラフィック計測で見直すネットワーク構成
本特集のPart1～4では、ネットワークの構成図を作図し、ネットワークの配線や基本的な構成を確認しました。Part5以降では、さらに、「ネットワークの使われ方」を調査することで、「最適なネットワークを構築する」ことを主題に話を進めていきたいと思います。 ネットワークトラフィックを理解する 皆さんのネットワークは、どのような目的で使用されているでしょうか。ファイル共有やインターネット接続、もしくは、業務用アプリケーションのサーバ／クライアント環境など、多種多様な目的で使用されていることでしょう。 ネットワークは一度構築してしまえば、このようにいろいろな目的で使用することが可能であるため、「便利だ」と感じることも多いはずです。この4?5年でLANやWANの導入が急速に進んだのも、この便利さが理由として挙げられるでしょう。そして、いまとなっては、便利さを通り越して、「なくては業務にならない」必須
住所から郵便番号を取得したい！18,000件のデータを効率よくプログラムで！ - マネー報道 MoneyReport
新Webサイト向け 今月中旬に当ブログのアクセス急減がありました。 実際にはアクセス解析の間違いで、アクセス急減自体は起きていませんでしたが色々と焦りました(-_-; フリーランスとして独立してからは、主な収入源をWebサイトからの収益に依存しています。 外の仕事も受けてはいますが、労働に対しての対価を頂くスタイルのため仕事を頂いている間は良いですが、仕事が途切れるタイミングもありますので、出来ればWebサイトからの収益を増加させたいと考えています。 一応、当ブログにおいても2015年6月からアフィリエイト広告を解禁して収益増加を目指しました。 ですが6月はアフィリエイト収益は1万円のみ(>_<) アフィリエイトはどうも苦手ですね(^^; 収益の多様化を目指すべく、Webサイトを新規に構築予定です。 現在は外の仕事が忙しいので、現在は企画・設計までで具体的な作業は秋頃になると思いますが、そ
高木浩光＠自宅の日記 - 緊急起稿 パーソナルデータ保護法制の行方 その1
■ 緊急起稿 パーソナルデータ保護法制の行方 その1 昨年7月からブログには書かないことにしていた*1が、緊急事態であるので、政府のパーソナルデータ保護法制（個人情報保護法改正）の議論の状況についてに書いておきたい。本当は論文や講演の形で示していくつもりだったが、それでは間に合わない状況が発生中であるので、周知の目的で取り急ぎかいつまんで書く。副政府CIOの向井治紀内閣審議官とお話ししたところ、「ブログに書いたらエエやないですか。どんどん書いてください。」とのことであったので、それ自体書くことを含めて許可を得たところで書くものである。 先週、IT総合戦略本部の「パーソナルデータに関する検討会」の第7回会合が開かれ、「定義と義務」についての事務局案が示された。資料が公開されている。事務局案は、これまでの「個人情報」についての定義と義務は変更しないものとし、新たに「準個人情報」と「個人特定性低
誰もが一度は陥る日付処理。各種プログラミング言語におけるDateTime型/TimeStamp型の変換方法のまとめ - Y's note
日付型の変換処理 Date/Timestamp変換のまとめ - Yuta.Kikuchiの日記 10言語のプログラミング言語に対してそこそこの知識を保有している@yutakikucです。いろんなプログラミング言語を使用していると文法を覚えるのは大変ですよね。PHP書いている途中からJavaScriptの文法を誤って書き始めたり... それぞれの言語の文法の違いを事細かく覚える事は無理に近いです。今日はそんな各種言語仕様の記述で難解なDateTime/TimeStampについて紹介したいと思います。扱うのはWeb系のメジャープログラミング言語のSQL/C++/Java/JavaScript/Perl/PHP/Python/Rubyになります。Mysqlからデータを取り出した後や、WebAPIから取得したデータを表示用の日付フォーマットに変換する事があると思うのでそこで利用できる知識になるかと
震災デマが「成長し、暴れる」姿を目視で実感ービッグデータワークショップ参加レポート - #JCEJ 活動日記
日本ジャーナリスト教育センター（JCEJ）は、社会に存在する膨大な量のデータを解析し、可視化して伝える「データジャーナリズム」に力を入れ、ワークショップを複数回開催してきました。2012年の9月から10月にかけては、東日本大震災ビッグデータワークショップ運営委員会（グーグル株式会社、 Twitter Japan 株式会社）が「東日本大震災ビッグデータワークショップ - Project 311 -」を開催し、JCEJの運営メンバーも参加しました。ワークショップで同じチームだった共同通信社の飯塚麻代さんによるレポートをご紹介します。 「データジャーナリズム」。最近、気になる言葉だ。報道機関に勤めて数年、メールとFAXと会社が用意したCMSだけで、全ての業務をこなしてきた。IE以外のブラウザがあることも知らなかった。でも、面白そうだから何かしてみたい。そんな軽い気持ちで「３．１１東日本大震災ビッ
第20回 OpenLDAPの冗長化対策【2】 | gihyo.jp
最初に 前回「基本形」としてお伝えしていたOpenLDAPのsyncrepl機能ですが、まずは記事の内容で少し補足です。 これまで「マスターとなるサーバはサプライヤ、スレーブとなるサーバはコンシューマ」と記述していましたが、OpenLDAPの場合はそれぞれ、プロバイダ、コンシューマと呼ぶのが一般的でした。サプライヤという用語も間違いでは無いのですが、こちらは主にSun Java Directory ServerやRed Hat Directory Serverなどで使用されている用語ですので、OpenLDAPに合わせるためここからは「プロバイダ」に統一するようにします。 syncreplが提供するレプリケーション 一般的なデータベースの冗長構成ではデータの完全同期が期待さることが多いかもしれません。たとえば、2台のDBサーバが存在したとして、完全同期のレプリケーションでは、クライアントが一
Congratulations | Cloud Run
Congratulations, you successfully deployed a container image to Cloud Run This created the revision main-web-00001-fxq of the Cloud Run service main-web in us-central1 in the GCP project xce-web. You can deploy any container to Cloud Run that listens for HTTP requests on the port defined by the PORT environment variable. Cloud Run will scale automatically based on requests and you never have to wo
第5回 自炊をめぐる逡巡
今年の2月、約2000冊の蔵書を木造アパートの一室（4畳半）に移したところ、本や本棚で床が埋まってしまった。万が一、床が抜けてしまったら、一階に住む大家が大けがをするかもしれない。そうなれば当然引っ越さねばならない。賠償をどうするのかという問題も出てくる。目隠しされて剣が峰に立たされてしまったような、いきなりの危機的状況に僕はうろたえた。引っ越しを終えた日の夜は床が抜けないか気が気でなく、あまり眠れなかった。結局、二つの突っ張り本棚と約200冊を妻子と住んでいる自宅に移動させ、さらには438冊を緊急避難させた。 4月になり、このシリーズを書き始めたとき、前者の後始末の顛末については隠さずに書いた。しかし、後者の後始末の顛末については、次の通り、核心に触れないようにぼかして書くにとどめた。 本438冊も4畳半からは緊急避難させていた。段ボール9箱、一箱あたり約15キロで、のべ約135キロ。本
ティム・バーナーズ-リー氏：「グーグルやフェイスブックから自分のデータを取り戻そう」 - WirelessWire News（ワイヤレスワイヤーニュース）
ワールド・ワイド・ウェブの考案者として知られるティム・バーナーズ・リー（Tim Berners-Lee）氏が、英Guardianとのインタビューのなかで、現在フェイスブック（Facebook）やグーグル（Google）などが管理するユーザーのさまざまな個人情報（データ）を、ユーザー自身が使えるようにすることで、それぞれにカスタマイズされた複数のサービスが登場する可能性があると述べている。また同氏は、英国政府が進めている諜報機関によるインターネットやデジタルコミュニケーションの監視計画について反対する姿勢を示している。 まず、バーナーズ・リー氏は、近年ウェブ上で膨大なデータが利用可能になっているとした上で、個人（一般のネットユーザー）はまだこのことの価値について気づいていないと述べている。同氏は、ネットユーザーはグーグルやフェイスブックなどさまざまな大手ウェブ企業に対して、自分のパーソナルな
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
