3月2日に開催された、分析コンペ 勉強会で、「Colaboratoryで分析コンペをする時のテクニック集」として発表をしました。 speakerdeck.com この記事では、その内容を書きたいと思います。 Colaboratoryテクニック9つ 1. テーマの設定（darkモード等）、エディタの設定（インデント幅等） 2. ColaboratoryかKaggleNotebookか判別 3. Notebook名を取得 4.Google Driveのファイルへのアクセスを許可 5.学習する際は、MyDriveはなるべく使わない 6.a Kaggle Apiを使用する 6.b データのKaggleDatasetsへのアップロード 7 Mydriveからのweightのロードが遅い場合 8 Githubのrepositoryをclone public repositoryをcloneする場合 p

「Kaggleのチュートリアル」の第５版をKindleで公開しました。 公開から５日間限定で、無料公開を行っていますので、是非ダウンロードください。 Kaggleのチュートリアル第５版 作者:カレーちゃん発売日: 2020/12/22メディア: Kindle版 この記事はKaggle Advent Calendar 2020 - Qiitaの25日目の記事として書いています。 Kaggleとは Kaggleは、はじめるのが、少しだけ難しい Kaggleのチュートリアル目次 第４版から更新したところ もらった感想など 参考サイト Kaggleのチュートリアルの第１版から第４版 （販売は終了しています） この本を読んだ後の学び方など その他、思ったこと ここ数年の国内でのKaggleの盛り上がり kindle direct publishing（KDP） 簡単ですぐに公開できた Kaggleと

2019年下期のAmazonのアフィリエイトリンクでの、売り上げ部数が多かった上位３冊を紹介します。 私のAmazonアフィリエイトのリンクから売れたものでのランキングなので、その点は留意ください。 2019年上半期の記事はこちらです。 第１位 [第2版]Python 機械学習プログラミング 達人データサイエンティストによる理論と実践 (impress top gear) 作者:Sebastian Raschka,Vahid Mirjalili出版社/メーカー: インプレス発売日: 2018/03/16メディア: 単行本（ソフトカバー） Kaggleのチュートリアルの次に読むと良むならこの本と紹介することが多かったので、上半期に続き１位になりました。 年間では150冊くらい買ってもらえました。なかなかすごい。 私は初学者の頃に読んだ本なので、改めて読み直したいと思ってきました。今読むとまた

技術書典４に申し込んだけれどもまだキャンセル可能だという時期に、 自分の中の ・自分みたいな素人が技術書書いたってバカにされるだけだという勢力と、 ・技術書典で販売側に立ちたい&もし良いものができなくても今後成長すればいいでしょうって勢力 が闘っていた時に、背中を押してくれた結城先生のツイートを貼ってみます。 もしかしたら、これが次の誰かの脊中を押すかもしれないですしね！ 結城先生のツイート そして思います。文章は、そのつど書かなきゃ駄目ということを。経験を積んでから、十分学んでから、時間ができてから書くのではない。断じて違う。そのつど書く。自分の不十分さをたっぷり自覚した状態で書く。そうでなければ、いつまでたっても書けやしない。— 結城浩 (@hyuki) 2017年11月16日 あなたに強制するわけではなくて、結城の独り言です。十分準備ができて、世の中に出しても恥ずかしくない状態になっ

技術書典４のデータリファイメントで販売するものは、以下の通りです。 kaggle本 本来価格1,500円のところ、先着200冊限定で1000円で頒布！ 200冊の頒布が終わった後は、本来価格1,500円での頒布となります。 kaggle本のpdf版 note.mu pdf版については、上記のリンクから500円で販売しますので、pdf版もできれば同時購入ください。 紙の書籍にこださりがないかたは、pdf版だけ購入してもらうのもありです。 pdf版の良いところ ・リンク先にかいてあるように、今後更新があります！ 参考リンク 本の紹介や、試し読み版 4/22技術書典新刊のkaggle本の書評をいただきました。 - currypurin’s diary 技術書典４でKaggleの本を書いた理由 - currypurin’s diary 技術書典4kaggle本のお試し版 // Speaker De

4/22の技術書典で販売するKaggle本の一部を公開します。今回は、タイタニックコンペのページの翻訳です。Kaggle本では今回翻訳したもの(単純に翻訳したもの)だけではわかりにくいところを解説しており、その部分についてはその２で公開します。 本の詳細については、次のリンクから確認ください。 技術書典4のkaggle本のサポートサイト - kaggleを全力でやります Overview (概要) Description (説明) ここから始めよう もし、データサイエンスや機械学習に慣れていない、あるいは、Kaggleのコンペの簡単な説明を探しているのであればこのコンペから始めよう。 コンペの説明 タイタニック号の沈没は、歴史上最も悪名高い船の事故の1つです。 タイタニック号は初めての航海中の1912年4月15日に氷山に衝突して沈み、2224人の乗客と乗組員のうち1502人が死亡しました。

技術書典4のkaggle本サポートサイトです。 4章、5章、付録のコードを公開します。 ４章 ５章 5.1と5.2 5.3.1 5.3.2と5.3.3 5.3.4 付録 付録A 付録B 付録D 以下は、発売までの経緯など。 4/22技術書典新刊頒布します。 2018年4月22日に秋葉原で開催される技術書典４で、Kaggleのチュートリアル（タイタニックコンペ等）についての本（同人誌）を販売します。 公式でのサークルページは、 techbookfest.orgになりますので、是非チェックください。 出来上がりましたら、このブログでほぼ全てを公開予定です。BTCとXPのアドレスを公開しておきますので、もし良ければ投げ銭おねがいします。 BTC→1NuiRWhRy5UhpgghFRgLchPGXBhNXi4iiB XP→XXvkrgz6Nsc14pF4o7ks5Bao3pkGHAfKev 目次

[秋葉原] Google Colaboratory で遊ぶ会 - connpassに参加して、GoogleColaboratoryをみんなでワイワイやりながら触ってきました。感想とか色々メモっておきます。 当初Pyrhon2.系だけの対応だったはずなんですが、現在はPython3.6も選択可能になっている。 使ってみたら便利すぎて、泣きました。 GoogleColaboratoryってなによ Googleが提供する、特に設定なしで無料でブラウザから使えるJupyterNotebook。 tensorflowもKerasもChainerも使えて、ワンクリックでGPUを使えるから深層学習もできるし、複数人で同時に共同編集できるし、Googleドライブやgithubのデータも使えるし、必要とあらばpipでライブラリは入れられるしで、ローカルにPythonの環境がいらないくらいのツールです。Goo

いつものように、Kaggleのtitanicのページをみていたら、以下のような表示があって、驚きました。 Kaggle公式のapiがベータ版でリリースされていたとのこと。 簡単に、データをダウンロードしたり、サブミットしたり、コンペ一覧を取得したりすることができてとても便利です。 使い方をまとめます。 最近追加されたと思われる記載 使い方 使い方は、公式のgithubである、GitHub - Kaggle/kaggle-api: Official Kaggle APIに書いてあり、使用例も含めてよくまとまっています。 公式は英語なので、わかりにくという方むけに、日本語で使い方をまとめます。 pip install kaggle　でインストール Kaggleのuser profileのページ(https://www.kaggle.com/ <username> 1/account) に移動し

GoogleColaboratoryについては、前回の記事（GoogleColaboratoryを使ってみる。これが無料ってすごすぎない？ - currypurin’s diary）で少しだけ書きました。 今回は、データのアップロートとダウンロードに限って方法を書きます。 Kaggleをやる際に使えそうです。 データのアップロード GoogleColaboratoryに、ファイルを取り込む必要があります。おそらく一番簡単なのは、dropboxにあげておいて、!wgetで取り込むのが簡単ではないでしょうか。 dropboxにあげたファイルの共有リンクを取得して、!wget 共有リンクのパスとやりましょう。 【参考】 - colaboratory をつかってみる　CSVのファイルをアップロード - Qiita データのダウンロード サブミットするデータが出来上がったら、ローカルにダウンロードし

@akabuchiykさんの、次のツイートを見て、Googleドキュメントによる執筆量自動管理システムを使ってみようと思いました。設定したので、メモっておきます。 Googleドキュメントによる執筆量自動管理システムを作りました(URLが変わったので再アナウンス)。毎日少しでも原稿や論文を書けるようになりたいけど、面倒臭いのは嫌な人向けです。使用法は、以下のサイトにあります。https://t.co/HmEncgegUT— Mr. CCP (@akabuchiyk) 2018年2月22日 Googleドキュメントで書いているからちょうど良さそう。使ってみよう。 https://t.co/bC5QKwinjj— カレーちゃん (@currypurin) 2018年3月2日 自分のおかれた状況 4/22の技術書典に向けて、現在、GoogleドキュメントでKaggleとデータ分析についての本を書

最近は、合同誌の関係などで電話会議をする必要があり、Discordを使って複数人で音声通話をすることが増えました。 音声通話をするにあたり、ヘッドセットがあるととても音声通話が捗るので、ヘッドセットと入力端子を新調しました。 ヘッドセット ゲーミングヘッドセット ロジクール G430 Dolby 7.1 サラウンド Windows対応 出版社/メーカー: ロジクール発売日: 2013/08/23メディア: Personal Computersこの商品を含むブログを見る 某人気ゲームの配信者が使っていると言っていたヘッドセット。音声通話するだけなので若干オーバースペックかもしれませんが、耳にあたるパッドの部分がとても良くて、メガネをしながらこれを使っても全く痛くならないので、気に入っています。 USBオーディオ変換ケーブル iBUFFALO USBオーディオ変換ケーブル(USB A to 3

kaggleってやってみたいですけど、サイトが英語だったりで少し敷居が高いですよね。 全く初めてだけどkaggleをやってみたいという方に向け、kaggleのサイト構成の説明やカーネルの使い方などからはじめて、タイタニックコンペでのデータの可視化・ランダムフォレストを使っての予測・kaggleへのデータの提出を網羅した「kaggleのチュートリアル」を作成しました。 この本は、4月22日の技術書典で販売し、とても好評いただいたものです。 本編５章 ＋ 付録 のうち、３章までを試し読みとして公開していますので、是非読んでみてください。 また４章とほぼ同じ内容を、https://note.mu/currypurin/n/n05b0a9a6cd94で書いています。 以下は１章と２章の内容の抜粋です。 Kaggleとは Kaggleとは、企業などがデータを提供し、世界中の参加者（データ分析をする者

ついにTensorFlow機械学習クックブック Pythonベースの活用レシピ60+が発売になりました！ 内容をざっと見たところ、TensorFlowを１から学習できるようになってるし、コードも充実しているしで、とても良書です。 とりあえず１章を読んでみたのですが、公開されているjupyternotebookで動かしながら読めるので、理解も深まるし、少しいじってみて失敗することもできるしで今のところ大満足です。 以下本の説明や１章の感想などを書いてみます。 購入 サンプルコード 本の目次 第１章の概要など １章のサンプルコードへのリンク １章のポイント １章を読む上で参考にした記事 個人的なこととか今後とか 購入 インプレスブックスの公式サイトからpdf版を買ってみました。表紙と初めの16ページほどがカラーで残りが白黒です（正確にはグレースケールと言ったほうがよいのでしょうか）。pdf版が

TensorFlow機械学習クックブックの２章を読みました。 詳解ディープラーニングで、TensorFlowに触れているのでそんなに難しいところはなかったですが、この本ではじめてTensorFlowという人は多分きついんじゃないかという感じ。 とりあえず今回は読み終わったという内容だけですが、次回くらいから何かしら応用をしたいところ。 第２章目次と概要とサンプルコードへのリンク 概要 サンプルコード 第2章をやる前に tensorboardの使い方(2.1節の場合) 2章のポイントと補足 2.3 入れ子の演算を階層化する<Recipe 10> 2.6 バックプロパゲーションを実装する<Recipe 13> 2.8 分類を行うための要素を組み合わせる<Recipe 15> 2.9 モデルを評価する<Recipe 16> 参考になったページ 第２章目次と概要とサンプルコードへのリンク 第2章

「コイン投げを行なって表と裏の出た回数を記録する実験を行っている途中で、裏の出た割合が高い時に、次からのコイン投げでは表が出やすいのか」ということが、毎週、金曜日に開催している犬４匹本の輪読会で、議論になりました。 この問の考え方はギャンブルをやる時などに、とても役立つ考え方なので整理しておきます。 以下、「問題」に状況を具体的に書きました。「問題」に解答した上でその後の文章をお読みいただければと思います。（この記事は、解答がすぐにわかり、大数の法則を理解している方は、読む必要がない内容だと思います。） 「問題」 問1 問２ 解答 問1解答 問2解答例 補足 大数の法則 ギャンブルの考え方 考え方 終わりに pythonのコード 輪読会 「問題」 問1 表と裏のでる確率が半々である、ゆがみのないコインがあります。 このコインを200回投げて、表が出た回数と裏が出た回数を記録します。 100

犬４匹本の輪読会などでどっぷりStanにはまっていて、Pythonから使えるPyStanに入門してみました。StanはRから使う人が多くて情報もRの方が多いんだけど、慣れているPythonから使えた方が楽なのでということで。 このシリーズではPyStanならではの使い方をなるべく書いていきます。Stanの使い方はアヒル本を見ていただくのが圧倒的にわかりやすいでしょうし、私も勉強中です。 Stanとは Pystanのインストール 簡単な線形回帰を動かしてみる データ作成 .stanファイル pystan.stan 可視化 まとめ Stanとは 高速なMCMCサンプラー モデルを書いて、データを入れればサンプリングしてくれる R、Python、Julia, などから使える 詳しくは、公式や公式（日本語）を参照 Pystanのインストール Pystanのインストールには、以下の手順を踏みますが、

前回から時間が経ちましたが、PyStan入門してみたシリーズの２回目です。 今回は１回目の内容に加えて、スタンモデル等の保存とモデルの読み込みをについての軽い内容です。 １回目の内容を含んだものをgistにあげました。これを見たほうが早いという方も多いでしょう。 前回の復習と今回の内容 sm = pystan.StanModel(file='liner.stan') fit = sm.sampling(data=stan_data, iter=3000, chains=3,thin=1) PyStanのMCMCは、上記のようにして １行目で.stanファイルのコンパイルを行い ２行目で、コンパイルしたStanModelに、辞書型のデータを入れてサンプリングをする という流れでした。 コンパイルもサンプリングも、モデルや環境にもよりますが時間がかかるので、毎度毎度やるのは大変です。 そこで、

半年に一度の技術書のお祭り(販売会である)技術書典3に行ってきました。感想や買ったものなどを書いておきます。 感想 本日は台風前の強い雨が降る中でしたが、大盛況でした。とても、ニッチな本が多く、ここでしか買えない本ばかりなので、雨でも多くの人が来たというところでしょうか。 前回は入場までに数時間並んだのですが、今回は整理券方式だったので、全くストレスなく入場することができました。さすが技術書典といったところです。 買った本 以下の3冊を書いました。数学の本が2冊と、tensorflowの本を1冊。どちらも数時間で売り切れなっていたようです。 思ったこと 自分の学んだことをアウトプットとして本の形にすることは楽しそうなので、次回は技術書典に出品する側に是非なりたいと思いました。 そのためにもこのブログに少しづつ色々書きためたいです。 思ったこと2 前回の技術書典で購入したこの本 splato

Juliaデータサイエンスワークショップ - connpassを実施することになって、Juliaを入れる必要があったので、メモとして書いておきます。 Julia0.6.1のインストールとjupyternotebookの起動 Julia v0.6.1のインストールとJupyter Notebookで使うまで - Qiitaという記事がqiitaにあったので、これを参考にしながら入れます。 記事にも書いてありますが、ビルドに時間がかかるようで、数時間かかりました。時間がある時にやるのが良いです。 番外編い書いた、Dockerを用いた環境構築をすることも可能です。 パッケージのインストール 必要なパッケージをインストールします。 "DataFrames" パッケージをインストールするためには、ターミナルでJuliaを立ち上げた後に、Pkg.Add('DataFrames')とやる形。 Julia