{{article.title}} {{$filters.date(article.date, 'YYYY/MM/dd HH:mm')}} View all notifications

このnoteは、Regonn&Curry.fm というポッドキャストの第111回の収録後記です。 話したことはこちらのscrapboxから。 111回では、KaggleOpsを考える ~ MLflow + Colaboratory + Kaggle Notebook ~やGPUについて話しました。 110回の放送で、コンペで獲得した賞金についても話しますと予告したのですが、放送で話せなかったため、この収録後記で書いてみます。 正確性のためにやや長くなってしまいました。 また、この内容は2021年1月時点の法令に基づき書いており、また、私の個人的な解釈で書いているため、実際に賞金を獲得した場合には、ご自身で法律を読んだり、税理士に相談するなどして判断ください。 また、このテーマについては、112回でも話す予定です。 所得税の仕組み所得税の計算上、まず「総所得金額」という１年の所得の金額を算出

マイニングの仕組みとは マイニングの取引台帳データの整合性を確かめる作業は、コンピューターによる計算で実現できます。しかし、その作業には膨大な計算量が必要です。 分散されて保存されている1つの大きな取引台帳のデータ、追記対象の取引のデータのすべてを正確に検証してから追記しなければなりません。そこでビットコイン（BTC）を始めとする仮想通貨では、この追記作業に有志のコンピューターリソースを借りています。余っているコンピューターの計算能力を借りることによって、膨大な計算を行い、みんなで共有する1つの大きな取引台帳に追記を行っているのです。 しかし、わざわざ膨大な計算力を取引台帳データの整合性を保つために無料で貸し出すメリットがありません。そこで、この追記作業のために膨大な計算処理をし、結果として追記処理を成功させた人に対し、報酬として新たな通貨が支払われます。これがマイニングの仕組みです。 P

はじめに 二値分類の評価指標について 「AUCとGini係数ってどんな関係だっけ？」 と毎回忘れては調べているので、いい加減覚える意味で体系的にまとめてみる。 この記事では AUCとは何か？ Gini係数とは何か 両者はどんな関係があるか？ を理解することを目的とする。 最初に結論 AUCとGini係数の間には の関係がある。 AUCは0.5から1の範囲を取るため、Gini係数は0から1までの範囲を取る。 どちらも値が大きいほど分類性能が良いことを表す。 最終的にこの式を理解することを目的としよう。 AUCを理解しよう AUC （Area Under the Curve）は二値分類における有名な評価指標の一つであり、文字通り、「ROC曲線下の面積」を表す。 ROC曲線とは？ ROC (Receiver Operating Charastaristic Curve)は受信者操作特性と呼ばれる

科学的発見が私たちに届くまでの伝言ゲームで、さまざまな誇張・曲解・誤解が注入されています。 いったい、どうやったら、この伝言ゲームに勝ち、信用できる科学的発見と、地雷とを見分けることができるのでしょうか？ 『Science Fictions』という本がその参考になります。 この本は、アメリカのamazonで306人に評価され、☆4.6という高評価。 世界最大の書評サイトgoodreadsでは1925人に評価され、☆4.39という高評価。 日本のamazonでは31人に評価され、☆4.0と、中程度の評価(翻訳は良い)です。 この記事では、この本を元に、以下の２つの視点から、この問題と、その解決策を検討します。 〔問題の把握〕 科学的発見の流通システムにおいて、いかにして、発見が誇張され、曲解され、誤解され、流通し、最終的に私たち一般人がそれを信じてしまうのか、その全体像を把握する。 〔解決策

こんにちは。ミクシィ AI ロボット事業部でしゃべるロボットを作っているインコです。 この記事は ミクシィグループ Advent Calendar 2018 の5日目の記事です。 この記事の目的 この記事では2018年現在 DeepLearning における自然言語処理のデファクトスタンダードとなりつつある Transformer を作ることで、 Attention ベースのネットワークを理解することを目的とします。 機械翻訳などの Transformer, 自然言語理解の BERT やその他多くの現在 SoTA となっている自然言語処理のモデルは Attention ベースのモデルです。 Attention を理解することが今後の自然言語処理 x Deep Learning の必須になってくるのではないでしょうか。 この記事にかかれているコード (Github) 歴史 - RNN から

新しいデータ処理ライブラリの学習はもう不要！ Python 初学者のための Ibis 100 本ノックPython機械学習pandasデータ分析ibis-framework Information 2024/1/14： Kaggle notebook for Ibis Kaggle で Ibis を使用するための Sample Notebook を用意しました。Kaggle でもぜひ Ibis をご活用下さい。 🦩 [Ibis] Kaggle-Titanic-Tutorial Ibis 100 本ノック補足記事 Ibis 100 本ノックについて、よりスマートな書き方等について @hkzm さんが補足記事を書いてくれました（この記事を参考にコンテンツのほうもブラッシュアップしたいと思います）。 Ibis 100 本ノックの記事を受けて はじめに どうもこんにちは、kunishou です。

今回の記事では下記のような悩みを解決します。 「LightGBMというワードをよく目にするので、LightGBMについて知りたい」 「LightGBMのpythonでの実装方法が知りたい」 早速解説していきます。 LightGBMとは Li... 今回は、「住宅価格予測問題」を使って、「データの前処理、LightGBMでモデル構築、Optunaを使ってハイパーパラメータを調整し予測精度をup」という機械学習（回帰問題）の一連の流れを解説していきます。 まずはデータの読み込みと前処理から解説します。 データの読み込みと前処理 下記のコードで住宅価格予測のデータを読み込み、dfとします。 （下記のコードは覚える必要ないです。コピペしてデータを読み込んでください） dfは81個の列、1460個のデータからなります。 from sklearn.datasets import fetch_openm

HHKB Studio実機レビュー それでは早速実機を見ていきましょう！ どこをとっても高級感のある仕上がり 本機を手にしてまず感じるのは、キーボードとしての完成度の高さと高級感です。 画像手前の「HHKB Professional HYBRID Type-S」と比較すると、「HHKB Studio」の方が電源部分のはみだしがない分、上部のシルエットがすっきりしていて、全体的なフォルムもまとまりを感じます。 HHKBのロゴも必要以上に主張することなく、質感も光沢を抑えたマットな仕上げでどこからみても高級感があります。 HHKBのキーボードは「シリンドリカル・ステップ・スカルプチャー・キーボード」とよばれる構造で キーの列ごとに角度が違っていて自然なU字を描いている 奥の方のキーが高くなっていて自然な傾斜がついている キーの中央にくぼみがあり、手になじむ形状をしている などの特徴があり、人間

インターネット上の意見に政府の圧力がかかるのは70カ国中53カ国、監視干渉行為をしない国は日本を含めてたった4カ国。ネット上の自由に迫る「影」は着々と広がり続けています。その実情とは。長年情報通信政策に携わり、現在は大手プロバイダーのIIJ副社長である谷脇康彦氏の著書『 教養としてのインターネット論　世界の最先端を知る「10の論点」 』から一部を抜粋して紹介します。 インターネットはどう生まれ、どう使われてきたか 1960年代のインターネット草創期。インターネットの普及は世界の人々の間で情報や知識を共有することを促し、透明で民主的な社会の実現に貢献するという期待が利用者の間に確かに存在していました。これはインターネットの基本精神である「自律・分散・協調」という面に依拠するものでした。 具体的には、インターネットを構成するルーターなどの機器は民間の人たちが「自律」的、つまり自由に設置・運用し

LightGBMとearly_stopping LightGBMは2022年現在、回帰問題において最も広く用いられている学習器の一つであり、機械学習を学ぶ上で避けては通れない手法と言えます。 LightGBMの一機能であるearly_stoppingは学習を効率化できる（詳細は後述）人気機能ですが、この度使用方法に大きな変更があったようなので、内容を記事にまとめたいと思います 変更の概要 early_stoppingを使用するためには、元来は学習実行メソッド（train()またはfit()）にearly_stopping_rounds引数を指定していましたが、2021年の年末（こちらのissues）よりこの指定法は非推奨となり、コールバック関数lightgbm.early_stopping()で指定する方式へと変更になりました。 新たな方式であるコールバック関数によるearly_stopp