Kaggleのtitanic問題で上位10%に入るまでの環境構築とデータ分析 - mirandora.com
本記事のコード/ご参照 ・本記事の全体のコードのnotebookを以下にアップしております。あわせてご参照くださいませ。 “Kaggle titanic_tutorial_code” ・本記事含むKaggleやデータ分析初学者向けのチュートリアル解説本を執筆しました。あわせてご参照くださいませ。 ※本記事のコードや環境構築の詳細手順を記載した書籍となります。 『Pythonで動かして学ぶ！Kaggleデータ分析入門』 ※はじめに 本記事は2020年の上記書籍発売に合わせて内容を加筆・修正しました。そのため執筆当初と内容が異なる箇所がございます。またKaggleあるいはデータ分析における最初のチュートリアルとしてtitanicは長らく親しまれておりましたが、下記3点の現状があることをご認識いただいた上で取り組まれるのが良いかと思います。 ・データ数が少なくOverfit（過学習）しやすい ・
Kaggleで上位10%に入るデータサイエンティストから学ぶデータ分析のプロセスについて - EurekaMoments
背景・目的 参考記事 Kaggleとは？ 扱われたお題 プロセス①: データの中身を確認する プロセス②: データの相関を調べる プロセス③: 欠損したデータを補完する プロセス④: モデリング前の事前処理 プロセス⑤: 解析とモデリング 最終的な結果 背景・目的 世の中の凄腕データサイエンティスト達はどのようにしてデータ分析をしているのか調べていたところ、Kaggleのコンペに参戦して上位に食い込んでいる人の技術記事を見つけました。最終的にモデルを作って予測をするところまでの過程が分かりやすくまとまっているので、とても参考になりました。 今回の記事は、上記の記事を読んで学んだデータ分析のプロセスについてのメモです。 参考記事 www.mirandora.com www.mirandora.com www.mirandora.com Kaggleとは？ 世界中で30万人以上のデータサイエン
いずれPythonのライバルに？新言語「Julia」の人気が急上昇
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 8月第2週に発表されたTIOBEのプログラミング言語人気インデックスでは、Pythonの人気が今後C++を追い越す可能性が高いとして話題になったが、実はこのとき、まだ新しい言語である「Julia」が、初めて同ランキングのトップ50入りを果たしていた。 開発会社のコンサルティングが専門の調査会社RedMonkの共同創業者Stephen O'Grady氏も、Juliaに対する関心が高まってきていると述べている。同言語は、RedMonkが発表した最新のプログラミング言語人気ランキングで、過去3カ月の間に順位を3つ上げて36位にランクインした。1年前には52位だったJuliaは、同ランキングで4四半期連続で順位を上げている。 O'Grady氏は
カットシステム、OpenCVによる画像、動画処理の解説書「Pythonで始めるOpenCV3プログラミング」発刊｜fabcross
本書は、Pythonの基本レベルの習得者を対象に、コンピュータービジョンと機械学習のためのオープンソースライブラリーである OpenCVによる画像や動画の処理を、Pythonで行う方法についての解説書だ。 データサイエンス向けのPythonパッケージ 「Anaconda」のインストール、統合開発環境 「Spyder」の起動、OpenCVのインストールなど、開発環境の準備と動作確認用の簡単なプログラム作成から始まり、グラフィックス、アフィン変換、色の処理、フィルタ処理、画像合成、動画処理、オブジェクト検出などの処理方法を、サンプルプログラムとともに提示して説明している。学習に使えるサンプルファイルのダウンロードサービスも用意されており、機械学習のディープラーニングを利用したカメラで撮影した手書き数字の解析例の紹介や、関数などについても説明している。 付録には、本書のプログラムをLinux環境
マイクロソフト、Windows 10にUNIX系OSと似た擬似コンソール実装
長い間、Windowsにはネイティブに動作するOpenSSHの実装が存在しない状況が続いてきた。コンソールアプリケーションもかなりトリッキーな実装を行っている。UNIX系オペレーティングシステムでは当たり前に実現できていることが、Windowsでは実現されてこなかった。 Windowsでも結果的に同じように見える振る舞いを実現できるが、UNIX系のオペレーティングが提供している仕組みとあまりに違いすぎるため、これまでUNIX系オペレーティングで提供されてきたコンソールに関連するコマンドの移植は進んでこなかった。しかし、2018年秋のWinodws 10アップデートでこの状況が大きく変わる可能性がある。 Microsoftは現在開発を進めているWindows 10に「擬似端末（Pseudo Console）」の機能を実装するようだ。実装する機能の詳細は「Windows Command-Lin
【Git】TIPS: リモートブランチをチェックアウトする方法 | DevelopersIO
はじめに こんばんは！ Github などを使ってチーム開発を行っていると、他のチームメンバーが作ったリモートブランチをチェックアウトしたい時があると思います。 特に、プルリクエストをコードレビューするときとか！ そんな時、僕はいつも $ git fetch $ git checkout -b branch_name origin/branch_name とターミナルに入力していたのですが... 実は！ $ git fetch $ git checkout branch_name だけで大丈夫のようです！ タイプ数が半分くらいになってとっても幸せです！ まとめ リモートブランチをチェックアウトするときは、 $ git fetch && git checkout branch_name を使おう！ ではまた！ 参考 Checkout remote Git branch - Stack Ove
[レポート] 『きれいなcommit, pull requestを知りたい/作りたい方のためのgit勉強会』に参加してきました | DevelopersIO
はじめに こんにちは、クラスメソッド最年少らしい黒澤です。 先日、『きれいなcommit, pull requestを知りたい/作りたい方のためのgit勉強会』 というものに参加してきましたので情報を共有します。 情報 日時 : 3月27日（火）20:00-21:30 場所 : 東京都渋谷区道玄坂1-9-5 渋谷スクエアA 11F 【勉強会】きれいなcommit, pull requestを知りたい/作りたい方のためのgit勉強会 スライド @imaizume さんに講師をしていただきました。 この勉強会ではタイトル通り、きれいな commit, pull request というテーマについてお話をいただき、 そのためのテクニックなどもご紹介いただきました。 きれいな commit を積む目的 commit : 変更の塊 変更には必ず意図がある。commit に含まれる変更の意図は見えるべ
日本の大企業からイノベーションが生まれなくなった理由はほぼ解明できた｜フィラメント代表・角勝｜FINDERS
EVENT | 2018/08/15 日本の大企業からイノベーションが生まれなくなった理由はほぼ解明できた｜フィラメント代表・角勝 日本の大企業では、イノベーションが起きないと散々言われてひさしい。その対策として、企業の新規事業部が製品やサービスを開発... 日本の大企業では、イノベーションが起きないと散々言われてひさしい。その対策として、企業の新規事業部が製品やサービスを開発する際、新しい風を取りこむため、オープンイノベーション、つまり外部の人間やアイデアを導入する企業も多くなった。しかし、スムーズに行くことばかりではなく、難航しているという声もよく聞く。株式会社フィラメントは、そんなオープンイノベーションの手法を使い、ハッカソンやアイデアソンなどのイベント企画をはじめ、新規事業創出や人材育成に関する社内制度の設計をサポートしている会社だ。その代表がイノベーションイベントのスペシャリスト
謎の災害速報アカウント「特務機関NERV」とは何者か〈AERA〉（AERA dot.） - Yahoo!ニュース
人気アニメシリーズ「新世紀エヴァンゲリオン」に登場する組織「特務機関NERV」を名乗るツイッターアカウントがある。どこよりも早く地震速報などを発信するこのアカウントは、一体だれが、何のために運用しているのか。 【写真】かつてAERAの表紙に綾波レイが登場！？ ＊ ＊ ＊ 「揺れを感じたら、まずはツイッターを開いて『特務機関NERV』の投稿をチェックします」 宮城県石巻市で暮らす30代の女性はそう話す。東日本大震災からすでに7年半がたつが、依然として地震活動は活発で、いまでも年間500回を超える余震（震度1以上、東北全体）が起きている。石巻で揺れを感じたときは、地震の規模や津波の可能性を、『特務機関NERV』というツイッターアカウントの投稿でチェックするという。 特務機関NERVとは、人気アニメシリーズ「新世紀エヴァンゲリオン」に登場する機関の名だが、これを名乗るツイッターアカウントがあ
2の補数表現をちょっと違った見方をしてみる - Fixstars Tech Blog /proc/cpuinfo
このブログは、株式会社フィックスターズのエンジニアが、あらゆるテーマについて自由に書いているブログです。 こんにちは、メモリ事業部の 眞鍋 です。 突然ですが 0.99999999999999…. という数が 「1」 と同じである、 ということは皆さんご存知のことかと思います。 それでは ….99999999999999 という数は何でしょうか？ 先程の数を地に向かって「9」が連なる数だと思うと、 今度の数は天に向かって「9」が連なる数であります。 この ….99999999999999 のことを 「∞」 である、と考える方が多いかと思います。 しかし別の視点にたつと 「-1」 だと思える世界があります！ もしやコンピューター関係ない？と読むのをとめず、 最後には 除算に対して面白いテクニックにつながりますので、 少々ご辛抱ください。 まずは この数 が -1 だと思える 3つの証拠を提示
教科書に載せたい「昭和しぐさ」
江戸まで戻らなくても昭和だっていいじゃない。「ソンミ村の虐殺に匹敵する」虐殺もなく、商家の伝法なのに掏摸師までが知ってるってな訳でもなく、純粋に懐古な昭和の仕草あれこれ。
実は玉音放送はテイク2だった…玉音放送に技術者として携わっていた祖父が、昭和天皇にリテイクを出した時の話
寺田海月 @teradakurage 亡くなった祖父は大戦当時NHKの技術者をしていて、玉音放送の収録にも立ち会っている。当時は録音機材はともかく電圧が不安定で、収録中に機材が停止して、祖父は陛下に畏れ多くもリテイクを出したと伝え聞いたことがある。現在残っている玉音放送の音源はテイク2だ。 2018-08-15 21:39:02 寺田海月 @teradakurage 僕はこれを話半分で聞いていたのだけれど、祖父が亡くなったのち、遺品から玉音放送のソノシートが出てきて、父がこれを横浜の旧軍無線資料館だか何だかに寄贈した際、「えっ、陛下にリテイクを出した伝説の・・・あの寺田さんの息子さんですか！？」と言われたらしい。・・・マジだったのか。 2018-08-15 21:39:02 寺田海月 @teradakurage ・・・人間、どんな形で歴史に名が残るか分かったもんじゃないよね。 「日本のいち
ゼロからはじめるPython(35) OpenCVで監視カメラを自作してみよう
前回、高機能な画像動画ライブラリのOpenCVに関して、インストールから簡単な使い方を紹介した。今回は、OpenCVのWebカメラの機能を利用して、自作の監視カメラを作ってみよう。ここでは、留守宅に侵入者があった場合に画像を保存するというものを作ってみよう。 監視カメラを実行したところ - 侵入者があると画像をファイルに保存する Webカメラをセットアップしよう 最近のノートPCには、だいたいWebカメラが付いているので、今回は、これを利用しよう。もし、Webカメラが付いていないとしても、2000円ちょっと出せば、USBのWebカメラが入手できる。そして、OpenCVがインストールされていれば、手軽にWebカメラの画像を取得出来る。OpenCVのインストールについては、前回紹介した。 OpenCVでWebカメラの画像を得るには、以下のようなプログラムを記述すれば良い。以下のプログラムを「c
子どもに向けてデザインする - snoozer05's blog
先日、プログラマー的思考法を育む知育絵本「ルビィのぼうけん こんにちは! プログラミング」を翻訳された鳥井雪さんの話を聞く機会がありました。「ルビィのぼうけん」をどう作っていったかという内容で、子どもたちに実際に試してもらい、書籍を（表現やレイアウトなども含めて）つくり直していったというお話でした。 鳥井さんの話を聞いて思い出したのは「子どものUXデザイン ―遊びと学びのデジタルエクスペリエンス」という書籍です。「子どものUXデザイン」は、子ども向けのデジタルエクスペリエンスのデザインに関する書籍なのですが、知育絵本という分野も同じようにデザインしていくことが大事なのだろうということに感心しました。 そうした気持ちがあって、お話のあとで「子どものUXデザイン」のことを少し振ってみたりしたのですが、会場の雰囲気でこの書籍があまり知られていなそうな印象があり、勿体無いと感じました。そこで、広く
GitLab.com、200TB超のデータとともにAzureからGCPへ移行完了。三度の計画停止による予行演習を繰り返し、移行手順も公開
GitLab.com、200TB超のデータとともにAzureからGCPへ移行完了。三度の計画停止による予行演習を繰り返し、移行手順も公開 ソースコード管理サービスを提供するGitLab.comは、GitHubの競合として見なされています。そのため、今年の6月にマイクロソフトがGitHubを買収するとの報道の際には、大手企業の傘下にない独立したGitサービスの提供元として突如として注目度が上昇していました。 参考：GitLabへのインポートが普段の10倍に急増、GitHubの買収報道で その同じ6月、GitLab.comはこれまで同社のサービスを提供する基盤として利用してきたMicrosoft Azureから、Google Cloud Platformへ移行することを発表します。 I wrote a post about @gitlab's project to migrate our SA
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DockerがDocker Application Guidesを発表