機械学習のパラメータチューニングを「これでもか！」というくらい丁寧に解説 - Qiita
はじめに 私はこれまで機械学習のパラメータチューニングに関し、様々な書籍やサイトで学習を進めてきました。 しかしどれもテクニックの解説が主体のものが多く、 「なぜチューニングが必要なのか？」 という目的に関する記載が非常に少なかったため、体系的な理解に苦労しました。 この経験を後世に役立てられるよう、「初心者でも体系的に理解できる丁寧さ！」をモットーに記事にまとめたいと思います。 具体的には、 1. パラメータチューニングの目的 2. チューニングの手順とアルゴリズム一覧 3. Pythonでの実装手順 (SVMでの分類を例に) の手順で解説を進めます。 独自解釈も含まれるため、間違っている点等ございましたら指摘頂けると有難いです。 なお、文中のコードはこちらのGitHubにもアップロードしております。 2021/9/6追記：LightGBMのチューニング実行例追加 以下の記事に、Ligh
英語力と技術力向上のための海外Tech系Youtuber10選 +n - Qiita
身につまされる英語力問題。手っ取り早く英語を習得するなら海外に行ってしまうが最善なはずですがこのコロナ禍、身近なところで英語に触れつつ技術も勉強したい？といえば、動画です。 10 Developers You Should Follow to Improve Your Skills (スキルを上げるための、フォローすべき開発者10選) という記事があったので10人をまとめた。プラスオマケ。それぞれ実際に動画を見てみての補足付き。 1. Ben Awad (ベン・アワド) ソフトウェア開発者。React、React Native、GraphQL、Typescript、Node.js、PostgreSQL、Python、その他あらゆるコーディングについて紹介。React.jsやGraphQLの開発者にお勧め。ビッグ／テック コーディングインタビューの準備を手ほどきしている。「アルゴリズム形式の
Pythonのthreadingとmultiprocessingを完全理解 - Qiita
現代の主なOSと言ったら、Mac OS，UNIX，Linux，Windowsなどがあります。これらのOSは「マルチタスク」機能をサポートしています。 マルチタスクとは？と思うかもしれませんが、例えばブラウザーを立ち上げて、音楽聴きながら、Wordでレポートを書くというシチュエーションでは、少なくとも3つのタスクが同時進行しています。そして、表のタスク以外に、裏ではOS関連の様々なタスクがこっそり動いています。 マルチコアのCPUで、マルチタスクが処理できるのは理解しやすいですが、シングルコアのCPUでもマルチタスクが可能です。OSはそれぞれのタスクを交替に実行しています。例えば、タスク1を0.01秒、タスク2を0.01秒、タスク3を0.01秒、タスク1を0.01秒......繰り返して実行していきます。CPUは速いので、ほぼ同時進行のように感じます。この交替実行のことをしばしば「並行処理（
Gitlabのrootユーザー（admin）のパスワードを忘れてしまった場合 - Qiita
GitlabCEのrootユーザー（admin）のパスワードを忘れてしまったため、 コンソールから強制的にパスワードリセットを実施した時のメモです。 環境 CentOS67 GitLab 7.14.1 481c966 Check 手順 Gitlabをインストールしたアカウントかサーバのrootアカウントで サーバへsshログインして以下コマンドを実行します。 gitlab-rails console production # コンソール起動（少しが時間かかります。） user = User.where(id: 1).first # rootアカウント設定モードへ user.password = 'secret_pass' # 新パスワード設定 user.password_confirmation = 'secret_pass' # 新パスワード設定（確認） user.save! # 設定の
リモートリポジトリを複数設定にする方法 - Qiita
今回は１つのローカルリポジトリに対して、２つのリモートリポジトリを登録する方法についてご紹介したいと思います。 設定方法がとても簡単だったので、自分用として記録します。 現在のリポジトリを確認 git remote -v origin git@bitbucket.org:hogehoge/hoge.git (fetch) origin git@bitbucket.org:hogehoge/hoge.git (push) 上記を実行することで、現在設定されているリモートリポジトリを確認することが出来ます。 ここでリポジトリが２つ以上出てきたら、複数設定されているということになります。 現在は bitbucketしか表示されていませんね。 リモートリポジトリの追加 では、新たに登録したいリモートリポジトリを作成したら、
pythonのOpenPyXLでExcelのデータをとことん読み取る - Qiita
はじめに pythonのOpenPyXLを使ってExcelのデータをとことん読み込んでみました。 世の中にはまだまだExcelを使って、何かをする需要が高くあります。 Excel内で完結すればよいのですが、Excelからデータを取り出し何かをするのはとても大変です。 私もpythonでデータを編集したいのに、元データがExcelにある、というケースが多々あり四苦八苦していました。 そこでOpenPyXLでExcelのデータを読み込む方法や注意点についてまとめてみました。 本情報が同じような境遇の方に役立っていただければ幸いです。 環境とサンプルデータについて 今回は以下の環境でOpenPyXLを使用しました。 環境 バージョン
CARLA X ROS: シミュレータで自動運転車にセンサをガン積みする！！！ - Qiita
自動運転車といえば、カメラ、LIDAR、レーダ等、センサがガン積みされている。 どこに何を乗せればいいのか、というのは自動運転車の永遠の議題だ。 例えば、Waymoの自動運転車はこんなセンサ構成になっている 画像はIntroducing the 5th-generation Waymo Driver: Informed by experience, designed for scale, engineered to tackle more environments より では、センサを、何をどこにどんな角度で、つけるか検証するためには... そうだよ、シミュレータを使うんだよ！！！ センサをガン積みして、君だけの最強を目指そうぜ！ （実際はコストとか通信とか大変だからガン積みしたらだめよ） というわけで、センサをどこにつけるか、そんな乙女な悩みを持っている人たちのために、CARLAさんがい
直感RDF!! その2 -使いやすいRDFを作って，検索しよう。 - Qiita
直感シリーズ第二弾，その２です。えっと，次は書くといいながら，300日弱の時が過ぎました。なんやて！（エセ関西弁）。ある程度ネタが集まったので書いていくことにします。 同内容はブログでも公開しております。 手持ちのデータをRDF化しよう。 実際にRDFを他のRDFと統合しようと思ったら手元のデータのRDF化が必要です。RDF自体の説明は前回のエントリをご覧頂くとして，ここでは，こんなデータを用意してみました。ある薬のデータです。シチュエーションとしては，ある研究所の研究支援部（あくまでFictionにしてあげてください）が支援している薬のデータをRDF化したとします。中身は，ある薬を基準として，その名前，製品名，drugbankID，疾患名，疾患分類であるicd10のIDをつけています。rdf（記法はttl形式）の中身はこうなります。 @prefix drugbank: <http://b
TortoiseGitの導入とGitLabへの接続方法 - Qiita
Windows上にTortoiseGitを導入してGitLab上のリモートリポジトリに接続するまでの手順のメモです。 リモートリポジトリ接続時にはSSH公開鍵認証を行います。 インストーラーのダウンロード 以下のサイトからGitクライアントをダウンロードします。 https://git-for-windows.github.io/ 以下のサイトからTortoiseGit本体と言語パックをダウンロードします。 https://tortoisegit.org/ Git for Windowsのインストール TortoiseGitは裏でGit for Windowsを使用していますので、先に入れておきましょう。 Git for Windowsインストーラーをダブルクリックで起動し、ライセンス情報を一読して次に進みます。 インストール場所はそのまま変更せずに次へ進みます。 要らなそうなコンポーネン
Python を Go に書き換えるとどれくらい速くなる？ 7つの言語で Dijkstra の実行速度を比較 - Qiita
Python を Go に書き換えるとどれくらい速くなる？ 7つの言語で Dijkstra の実行速度を比較KotlinRustベンチマークJuliaDijkstra これは何 最短経路探索のアルゴリズムを使っていくつかの言語の性能がどれくらい違うかを調べてみました。 Python は手軽に実装できるけど遅い、Go は 早いけど C++ よりは遅い? 本当? のような疑問を一定解消したかったというのが動機です。 前提条件など 対象とする言語 本命 Go, Rust, C++ 興味本位 Julia Python より段違いに早ければもう少し掘ってみたい 興味本位 Kotlin 意外とトップ集団に肉薄するのではないか 参考 Python JavaScript 性能差のイメージとしては Rust == C++ > Go >> Kotlin >>> JavaScript > Python == J
関数型プログラミングはオブジェクト指向の正当な後継である - Qiita
この記事の補足を書きました。併せてご覧いただけると幸いです。 「関数型プログラミングはオブジェクト指向の正当な後継である」がわからない理由 対象読者 この記事はオブジェクト指向設計を本格的に学びドメイン駆動設計や責務駆動設計等を実践したことがある人々に「オブジェクト指向と関数型プログラミングの関係」を深く知ってもらうことを目的としています。これらの人々の中には手に馴染んだオブジェクト指向に未だに固執している人や、関数型プログラミングが気になってSwiftやScalaを触り始めているがイマイチ関数型プログラミングの本質が見えていない人も多いと思います。そうした人々が次の一歩を踏み出すキッカケになれば幸いです。 なぜこの記事を書こうと思ったのか？ IT系の情報サイト等で「Haskellがすごい」という記事を見かけるようになってからもう10年近く経とうとしています。私自身もこれまでに何度か関数型
Mac から Ubuntuへリモートデスクトップ接続する - Qiita
ポートが開いているか確認 Macから接続 finderを開く ⌘+k で開いたウインドウにipアドレスとポート番号を入力 接続 以上です。 参考 デスクトップUbuntuにVNC接続。ついでにSSHローカルポートフォワードの復習。https://blog.mosuke.tech/entry/2015/08/13/000440/ 別のMacを操作する方法 - 画面共有 https://pc-karuma.net/mac-screen-sharing/ Windows10もしくはMacOSからUbuntu 18.04 LTSにリモート接続（リモートデスクトップ）してみたhttp://imamachi-n.hatenablog.com/entry/2018/04/28/211147 【初心者向け】Linux PCのIPアドレスを確認する方法まとめ https://linuxfan.info/ip
文系大学生が機械学習を０から始めて９か月でKaggle銀メダルを獲得するまで - Qiita
今回自分は０から始めて９か月でコンペで銀メダル(6385分の249位,top4パーセント)を獲得できました。 自分の今までの流れをおさらいしていきます。 それまでの僕のスペック 数3と行列はほぼ何も分からない プログラムはrubyとjavaはそこそこに書ける、pythonは知らん 勉強の流れ １２月末 機械学習を始めると決心、とりあえず何をやればいいかよく分からないがpythonが必要らしいのでprogateでpythonをやってみる １月 数学が必要らしいので、行列と微分積分について１から学んでみる。今から考えると、行列の基礎をさらえたのは良かったですが、それ以外はこの時間は絶対いらなかったなと考えています。 微分積分 行列 ２月 Udemyで多くの講座を受ける、詳細は以下の記事にまとまっています https://qiita.com/HayatoYamaguchi/items/c8051
GCPとDockerでKaggle用計算環境構築 - Qiita
Kaggle Advent Calendar 13日目の投稿です。 初めまして、Lain（@lain_m21）と申します。Qiita初投稿です！ 今回はKaggle関連のトピックで何か短いのを一本書こうと思い、私が普段行なっているコンペ用の環境構築についていくつか良いなと思ったtipsをシェアしたいです。 先に結論からまとめておくと、 ローカルPCよりクラウドの計算資源をうまく使おう AWSもいいけど、GCPの方が目的に応じてインスタンススペックを細かくチューニングできるので良いぞ 今後のクラウドの環境構築をスムーズにするためにdockerを使おう といった感じです。昨今のコンペの規模を考えるとクラウドで計算することが増えると思うのですが、いちいちコンペごとに環境構築したりめんどくさいと思うので、できるだけdockerで自動化して楽しよう！というのが趣旨になります。 一応順を追って説明しま
Kaggleに登録したら次にやること ～ これだけやれば十分闘える！Titanicの先へ行く入門 10 Kernel ～ - Qiita
Kaggleに登録したら次にやること ～ これだけやれば十分闘える！Titanicの先へ行く入門 10 Kernel ～PythonKaggle 事業会社でデータサイエンティストをしているu++です。普段ははてなブログ1で、Kaggleや自然言語処理などデータ分析に関する記事を定期的に書いています。 Kaggleでは2019年に「PetFinder.my Adoption Prediction」2というコンペで優勝（チーム）し、「Santander Value Prediction Challenge」3というコンペで銀メダルを獲得（個人）しました。「Kaggle Master」と呼ばれる称号4を得ており、Kaggle内ランクは、約16万人中最高229位です5。 本記事では「Kaggleに登録したら次にやること」と題して、Kaggleに入門したい方に向けて次のようなコンテンツを掲載します。
深層強化学習アルゴリズムまとめ
はじめに 深層強化学習の分野では日進月歩で新たなアルゴリズムが提案されています. それらを学ぶ上で基礎となるアルゴリズム(というより概念に近い？)はQ学習, SARSA, 方策勾配法, Actor-Criticの4つだと思われるので, これらを軸としてまとめてみたいと思います. 以下の4点はあらかじめご了承ください. コードは書いていません. 概念のみの説明です 他のアルゴリズムの基礎となりうる重要な概念については詳しく書きました. その他については簡潔に書きました 深層学習についてはある程度理解している読者を想定しています 書いているうちに規模がどんどん大きくなってしまったので, どこかに必ず間違いや不足があります. 「この式がおかしい！」「このアルゴリズムも追加するべき！」などコメントがあればぜひお願いします 全体像 扱うアルゴリズムを相関図にしてみました(私のイメージです). まず,
量子コンピュータエンジニア始めて5年が経った - Qiita
はじめに もともとふつうのベンチャーでしたが、2014年に量子コンピュータにピボットしてからはすくすく会社が育ち、向いてることをするのは大事だなと感じてます。 Qiitaはポエムを書かないといけないらしい（多分）ので。おそらく日本初の量子コンピュータベンチャーとしてまず五年目までに気づいたことを書いてみます。 もともとはデザイン会社 もともとうちの会社はデザイン会社でした。出身が建築事務所だったので、そのまま2009年に独立してデザインをしてました。建築時代はphotoshop+autocadを使っていました。イラレはいまだに苦手です。 前の建築事務所は隈研吾建築事務所というところで、青山の美術館の設計や中国のアリババの社屋のコンペなどを主にしていました。 建築は当時CGパースも仕事がたくさんありましたので、CGのモデリングやレンダリングをやりながら当初は生計を立てていました。ただ、リーマ
データサイエンスや機械学習のチートシートを最も効率的に収集する方法 - Qiita
機械学習・データサイエンスのチートシート集、便利なものがたくさん出回っていますが、ちまちまブラウザからダウンロードしていたりしませんか？そんな貴方にお勧めなのがこちらのレポジトリ。 FavioVazquez/ds-cheatsheets https://github.com/FavioVazquez/ds-cheatsheets はい、クリックあるいはコマンド一つで100を超えるチートシートが一括でダウンロードできちゃいますね。以上、釣りタイトル失礼しました。 と、これだけではなんなので、個人的に有用性が高いと感じたものを、大きなサムネイル付きでまとめてみました。ソースとして、DataCamp及びRStudio公式ページの情報量は圧倒的なので、一読をお勧めします。 科学計算・データ操作・可視化 Python (NumPy/SciPy/Pandas/matplotlib/bokeh) Pyt
Goで書くClean Architecture API - Qiita
Enterprise Business Rules ビジネスルールの為のデータ構造を持ったオブジェクト。 データの実態を表す場所。 Application Business Rules ビジネスルールを操作する場所。 つまりこのアプリケーションで何ができるかを実践します。 Interface Adapter 外部からの入力、データの永続化、表示を担当する場所 Frameworks & Drivers Webフレームワーク、DB操作の実際に担うソース、 フロントエンドのUIなどがここに所属しています。 外側のレイヤーの要素を直接参照してはならない 上記の図におけるこの矢印は依存を表しており、 内側のレイヤーから外側のレイヤーの要素への依存を禁じます。 ここでいう依存とは要素(構造体、変数など)への直接参照をさせないということです。 では外側のレイヤー要素を参照せざる得ないは、どうするのでしょ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
C++11, C++14, C++17 新機能まとめ ～使いそうなものだけ - Qiita
