ごちきか# NTTコミュニケーションズ イノベーションセンターでは、社会・産業DXのためのSmart World の一環として、時系列データ分析手法の研究開発、お客さまのデータ分析支援や社内データ分析人材育成を行っています。 ごちきか（gochikika） は、これら研究開発成果やデータ分析人材育成コンテンツをまとめたナレッジベースです。大別してメインコンテンツは以下の通りです。 分析: 主に製造業の時系列データを対象として、前処理からモデリングまで一連の基本的な分析手法をPythonコード付きで解説しています。 特集記事: 比較的新しめであったり難易度の高い手法や、私たちの取り組みを知ってもらうための学会発表資料が掲載されます。また一部未分類なコンテンツが格納されています。 私たちの研究開発成果は、同じくイノベーションセンターで開発しているノーコードAI開発ツールNode-AI に搭載さ

口上 『ゼロから作る Deep Learning ～ Python で学ぶディープラーニングの理論と実装』という本を買って深層学習の勉強をマターリしているのですが、 「そういえば情報検索や自然言語処理の実験でもよくやる交差検証 Cross Validation って意外に気にしてる人いないかも？」 と思ったので、自分でまとめることにしました。 もちろん、今までにも優秀な人達が記事を書いてくださっていますし（しかもググるとイパーイ出てくる）「もう知っているよ！」「やってるし！」っていう方は全く読む必要がないので、華麗にスルーして 1 回でも多く自分の学習のための Epoch を回した方がいいと思うのですが、もしお時間があって「よし粗探しでもしてやるか！」と思った奇特な方がいらっしゃったならばお読みいただいて、妙なところがあれば是非ご指摘・ご指導ください。 m(__)m 誰のための記事か？ 「

2021年度・2022年度 リクルート エンジニアコース新人研修の講義資料です

Presentation at 2018.11.14 Web Person's Summit in Tokyo https://webtan.impress.co.jp/events/201811 こちらにスライドの内容の解説記事があります https://note.mu/notes/n854…

アカウントが作成できたらログインします。 そして、Anaconda Promptなどからpipでopenaiというライブラリをインストールします。 pip install openai Google Colaboratoryでも大丈夫です。 Google Colaboratoryであれば !pip install openai ですね。 そして、以下のモジュールをインポートします。 import os import openai API keyを設定します。 API keyはログインしたあと右上の"Personal"から"View API keys"をクリックすることで確認することができます。 そのAPIを以下のようにopenai.api_keyに設定します。 API_KEY = "受け取ったAPI key" openai.api_key = API_KEY これで前準備ができました。 文

マッコウクジラは人間の6倍という大きさの脳を有し、複雑な社会構造を持ち、「コーダ」と呼ばれるクリック音を使ったコミュニケーションと社会活動に多くの時間を費やしています。コーダは最短で10秒、長くて30分以上続くといわれていますが、クリック音を通してクジラたちがどのようなやり取りを行っているのかは、まだ謎に包まれています。そこでCetacean Translation Initiative(CETI)というプロジェクトでは、科学者によって「コーダを解読する」試みが行われています。 Cetacean Translation Initiative: a roadmap to deciphering the communication of sperm whales (PDFファイル)https://arxiv.org/ftp/arxiv/papers/2104/2104.08614.pdf Wi

一般社団法人データサイエンティスト協会（所在地：東京都港区、代表理事：草野 隆史、以下データサイエンティスト協会）は、構造化データの加工について実践的に学ぶことができる無料の学習環境「データサイエンス100本ノック（構造化データ加工編）」をGitHubに公開しました。 「データサイエンス100本ノック（構造化データ加工編）」は、データサイエンス初学者を対象に、データの加工・集計、統計学や機械学習を駆使したモデリングの前処理等を学べるよう、データと実行環境構築スクリプト、演習問題をワンセットにしています。 近年、データ活用の重要性についての認知が広がる中で、書籍やWebサイトなど、データ分析のスキル向上に役立つ情報源も多く提供されています。一方で、実践するための「データ」や「プログラミング実行環境」を持ち合わせていないことも多く、「実践力」を身につける機会が限られていました。特に、「構造化デ

今回は統計学で有名な「シンプソンのパラドックス」という問題について紹介したいと思います。簡単にいえば、同じデータでも分析の仕方によって全く矛盾したように見える結果が得られるというお話です。データだけ見ると、信じがたいような直感に反する現象がおきるので頭の体操としてとても面白いです。 あまりに有名なパラドックスであるため日本語でも解説がいくつか出ていますが、人によって言っていることが違っていたり、不完全であったりします。多くはシンプソンによるオリジナルの論文を読んでないことから起因するのだと思います。 例えばシンプソンのパラドックスを交絡の問題だと捉える人は多いですが、個人的に不完全だと思います（間違いではない）。このように誤解が広まった歴史的背景も含めて、詳しく書いていきたいと思います。ちなみにアニメのシンプソンズはこの問題と全く無関係です。 そもそもシンプソンのパラドックスとは？ シンプ

【追記】このページを既に訪問された方々へ 結論から申し上げますと、当エントリーの記事内容は誤った情報になります。誤解を与える内容をアップしてしまい申し訳ありませんでした。ブックマークコメントやコメントにて指摘くださった方々、どうもありがとうございました。指摘がなければ自分も誤った情報を鵜呑みにしたまま過ごすところでした。 こちらの記事は、もともとこちらの動画（How to see who viewed your facebook profile the most? – YouTube）を偶然見つけて、initial chat friendsを検索し（What does the “initial chat friends list” on Facebook mean? ）のベストアンサーをちらりと見て書いてしまったものになります。自分で試してみた後の結果と動画を見た直後の先入観からベストアン

2017年1月20日追記：『ダメな統計学――悲惨なほど完全なる手引書』という本が出版されることになった。この本は、ここに掲載されているウェブ版の『ダメな統計学』に大幅に加筆したものだ。ウェブ版の『ダメな統計学』を読んで興味を持った方は、書籍となった『ダメな統計学』をぜひ読んでいただければと思う。書籍版の詳細については「『ダメな統計学――悲惨なほど完全なる手引書』の翻訳出版」という記事をご参照願いたい。 ここに公開する『ダメな統計学』は、アレックス・ラインハート (Alex Reinhart) 氏が書いたStatistics Done Wrongの全訳である。この文章は全部で13章から構成されている。詳しくは以下の目次を参照されたい。 はじめに データ分析入門 検定力と検定力の足りない統計 擬似反復：データを賢く選べ p値と基準率の誤り 有意であるかないかの違いが有意差でない場合 停止規則と

皆さまこんばんは。今回から数回のあいだは、久しぶりに統計的因果推論ネタについて書いていきたいと思います。 今回の具体的なテーマは「Judea Pearlのdo演算子」になります。マニアックです。 このテーマについては自分でも完全に理解しているわけでは全くないので、「解説」というよりも「半可通が書いた公開勉強メモ」というかんじになりますが、その旨ご了承いただければ幸いです。 （＊例によって今回もまためちゃくちゃ長いエントリーとなりますが、何卒よろしくお願いいたします。また、間違いなどがありましたらその旨ご指摘いただければ大変幸甚でございます＞本物の識者の方々） まえおき：Judea Pearlって誰すか？ はい。ではそもそもその「Judea Pearlって誰すか？」というところから書いていきたいと思います。 結論から言うと私もよく知りません。ですが、周辺的手がかりからヒューリスティックに判断

Slideshareとはアクセス解析からソーシャルメディアの分析まで数多くの資料が公開されています。普段からいろいろ読んでいるのですが、その中でもオススメのプレゼンテーション資料を15個ピックアップしましたので、紹介いたします。英語8個・日本語7個選んでいます。特に日本語の方でオススメしている資料は実際にその講演内容もオフラインで聞いたことがあるものばかりで、非常に役立つスライドばかりです。 ウェブサイトの分析に関わっている全ての方に読んでいただきたい内容ばかりですので、ぜひ目を通してみてください。それでは＜日本語編＞から紹介いたします。 ＜日本語編＞ 【1】Concept Diagram Workshop Concept Diagram Workshop View more presentations from Makoto Shimizu SiteCataylstユーザー会「eVar7

１．社会的証明（ソーシャルプルーフ）を追加する社会的証明とは、「他人の行動を参考にして自分の行動を決める」という、全ての人間が持つ行動原理だ。ある実験では、人通りの多い場所で、２〜３人が同時に空のある一点を見上げると、通行人の８０％が同じように空を見上げたという結果が出た。 お客様の声や今までの販売実績（楽天ショップランキング一位！）などを充実させて社会的証明を強化しよう。 ２．欲求を刺激するキャッチコピーに変更するランディングページのキャッチコピーは、商品の特徴ではなく、見込み客の欲求に基づいたものになっているだろうか？例えば、あなたが英語学習プログラムを売っていて、その商品の特徴が、東大教授が監修した音質最高の商品だとしよう。 その際、商品の特徴を押し出したキャッチコピーの場合、『現役の東大教授が監修！最高音質の英語学習プログラム！』となる。しかし、このキャッチコピーはあくまでも商品の

ウェブサイトを作るとき、いつも頭が痛いのが「分類」の問題です。 たいがいのウェブサイトは、なんらかの目次やメニューを用意して、読者がコンテンツを容易にたどれるように工夫します。 この目次やメニューを作るのが、簡単なようで奥が深い。舐めてかかると、せっかく作ったコンテンツを利用してもらえないとか、管理の手間ばかりかかるとか、痛い目にあいます。livedoor グルメのように、5万件もの飲食店のデータを扱う場合はなおさらです。 livedoor グルメの場合、和食、西洋料理、中華料理、エスニック、スイーツなど９つの料理の分野があり、西洋料理の中では、フランス料理やイタリア料理という中分類に別れ、イタリア料理の中ではピザやパスタといった、小分類に別れています。 これは伝統的な階層による分類法です。現代に生きる僕らは、無意識にこういった分類法を使いこなしていますが、分類法というのは、分類学＝「タク