はてなブックマーク

pandasで、ある特定の列の値に応じてグループ化（集計・集約）し、特定の列の値ごとに最初の行（もしくは最後の行）を求めたいときの話。 基本的な例：グループごとに最初の行を選択する（first、nth、head） 基本的な例：グループごとに最後の行を選択する（last、nth、tail） NaNを含むときの挙動 head nth first ある特定の列の値に応じてグループ化するにはgroupby関数を使う。 pandasのgroupby関数の返り値はGroupByオブジェクトというやつになる。（正確にはDataFrameGroupByまたはSeriesGroupByオブジェクト）GroupByオブジェクトに対して、やりたい操作に対応する関数を適用すれば結果が求まる。平均のmeanや合計のsum、最大値のmaxなどが有名だろう。 で、「グループごとの最初のレコードが欲しいんだけど、そういう

「pandas float int 変換」で検索する人が結構いるので、まとめておきます。 準備 1列だけをfloatからintに変換する 複数列をfloatからintに変換する すべての列をfloatからintに変換する 文字列とかがある場合は? NaNを含む場合は? int型で欠損値をNaNのままで扱う方法は 何でみんなこれで検索してるのか（read_csvでfloatになってしまった?） 準備 import pandas as pd import numpy as np pd.options.display.notebook_repr_html = False # jupyter notebook上での出力形式を制御するために書いています。無くても動きます。 # 動作環境の確認 print(pd.__version__) print(np.__version__) # --------

技術書の電子書籍(PDF版)を年末年始にセールしているサイトをまとめた これは何? セールしてるところ 達人出版会 翔泳社 インプレス Manatee 調べたけどセールしてないところ オライリー 技術評論社 日経BP社 補足 参考にしたサイト サイト終了の情報 これは何? 技術書（コンピュータ関連書籍）の Amazon kindleとかhontoのような「プラットフォーム」の上の電子書籍ではない、PDF版を販売してるところで 年末年始にセールを実施しているサイト をまとめたものである。 2019年1月1日現在の情報を元に書いている。 ただ、電子書籍販売サイトでは毎年同じ時期に同じようなキャンペーンをやると思うので、来年以降の参考にもなるのではないかと思う。 冬休みに読む本を探してみてはどうだろうか。 セールしてるところ 達人出版会 達人出版会は、複数の出版社の電子書籍を発行している会社。紙

ここ数ヶ月悩んでいたのだが、このブログの記事が期待通りインデックスされていない。 その結果、Googleでいくら検索しても、一部の記事は検索結果に登場しない状態である。 せっかく頑張って書いたのに、検索でヒットしないのでは悲しいので、インデックスされる方法を調べてまとめた。 困りごと（発生事象） サーチコンソールの状況 期待する状況 実際の状況 手動でURLを指定してリクエストすれば通るが…… httpsのはてなブログはインデックスされないのか？ 対処法 はてなは把握してるのか 困りごと（発生事象） 一部の記事がGoogleでインデックスされていない。 インデックスされていないのがなぜ分かるかというと、URLをそのまま検索したり、記事タイトルをそのまま検索しても全くヒットしないからだ。 検索のスクリーンショットの例。 seabornでカテゴリ別データを描画するときに入力データを指定する方法

きっかけ kaggleであるコンペに参加しようとしてkernelを見たところ、みんな「u-net」ってアルゴリズムの話をしていた。聞いたことがなかったし全然分からなかったので調べてみた。 論文の著者が5分で簡単に説明している動画があるので、その内容をまとめる。 5 Minute Teaser Presentation of the U-net: Convolutional Networks for Biomedical Image Segmentation - YouTube 5 Minute Teaser Presentation of the U-net: Convolutional Networks for Biomedical Image Segmentation youtube動画に対して、私が英語の文字起こしをして、さらに日本語訳の字幕を追加した。しかし現時点ではどちらも表示さ

この記事は、 SettingwithCopyWarning: How to Fix This Warning in Pandas – Dataquest の日本語訳です。3回にわたって掲載予定で、この記事は1回目です。 前書き 本編 はじめに SettingWithCopyWarningとは何か? 連鎖代入 隠れた連鎖 前書き pandasを書いていたら、SettingWithCopyWarningという警告が出てきた。 うーん。やりたい動作はできてるように見えるし、何がまずいんだかいまいち分からん。 と思って、いつものように警告の名前でググってみると、以下の記事（英語）を発見した。 SettingwithCopyWarning: How to Fix This Warning in Pandas – Dataquest これはすごい。 この警告についてめっちゃ詳しく書いてある。後半ではp

2019年5月30日に開催されたこのイベントに参加してきました。 Machine Learning Production Pitch #2 - connpass Machine Learning Production Pitchは、機械学習について業務で培った知見や経験や苦労話を共有できる場を提供することを目的としたMeetupです。機械学習に取り組み、実社会への適用に日々もがき苦しみ楽しんでいる方々を対象としております。 機械学習ワークフロー（Airflow、Luigi）周りの話がやや多くて、個人的には馴染みが無かったので、うまくまとまっているとは言えないと思います（スライドを書き写すだけになってしまったところが多かった気がする）。参考程度にどうぞ。 Detecting opinionated articles in SmartNews／Tianxiang Zhang (張天翔) (スマ

2019年4月14日(日) 池袋サンシャインで開催された技術書典6に一般参加してきた。 半年前の技術書典5は「うーん、買ってもどうせ読まないんだよなぁ」と思って不参加だった。今回はちょっと気になる本もあったので、半ば何となく参加。 11:15頃に待機列に並び、12:00頃に入場。会場はコミケに買いに行ったときのような凄い混雑で、酷いときは身動きが取れないほどだった。 あれだけの熱気を目にすると「次はサークル側で参加して本を書いてみようかな……?」と思うが、その3秒後には「いや、でも俺が書けるようなことなんてないぞ……」と思ってしまうのであった。 というわけで、買った本。ザッと見てみた内容を書いています（本格的に読むのはこれからです）。boothなどの通販がある場合は併記しています。 コーディング関係の本から行きます。 におうコードの問題集　〜ソフトウェア設計に立ち向かう編〜 シリーズ3冊目

前回の話 kaggleの中に、Machine Learning for Insights Challengeという4日間の講座がある。 後半2日間はSHAP valueが題材だったので、SHAP valueについてまとめる。 Machine Learning for Insights Challengeの内容、前半2日間の内容については前回のエントリを参照。 linus-mk.hatenablog.com ちなみに今気づいたのだが、この4日間講座はkaggle Learnの講座一覧の中に加わっている。以下のサイトから各日の講義や演習問題に行ける。 Machine Learning Explainability | Kaggle ……って、タイトルに『Explainability（説明可能性）』って書いてあるじゃん! やっぱり解釈可能性の話じゃん！ 最初の講座のときはExplainabili

write-blog-every-week Advent Calendar 2018 の7日目の記事です。 https://adventar.org/calendars/2925 6日目の記事は、id:jalemy さんの「テキスト校正くん」を導入して読みやすい文章を書きやすくなった - むにえる牧場 でした。 write-blog-every-weekとは、毎週月曜日から日曜日までの間に、ブログに1記事上げることを目標としている会です。できた経緯はここを参照。 勢いで週一ブログ書くslackグループを作った - もがき系プログラマの日常 最近のLTでも今年のブログについてちょっと触れました。 （speakerdeckのURLを追記予定……） 2018年12月24日 speakerdeckのURLを追記しました。 1年の締めくくりの良い機会なので、この記事では今年のブログ活動を振り返る。（

pythonの処理系が壊れて、動かなくなってしまった。何をやったらどう壊れたのかは以下に詳述する。 （色々いじったあとの最終的な）環境 PS C:\> anaconda --version anaconda-script.py Command line client (version 1.6.0) PS C:\> conda --version conda 4.5.11 PS C:\> python --version Python 3.6.7 :: Anaconda, Inc. OSは windows 7 64bit。 注意事項 正確な経緯を記録していないので、以下の記述には不正確な部分があると思います。 また最終的に環境が破壊されたことに注意してください（つまり、このページに書いてあることを実行しても、問題が解決するとは限りません） shapをインストールした→scikit-learn

そういや、自分は自己学習についてロクに計画を立ててないなー、とふと気になったので、ブログ記事にしてみる。 今の自分の状況は次の通り。 週に1回はブログを書くことに決めている そのために、題材をネタ帳から選んで、適宜検証作業をしてブログを書く それ以上の単位の学習計画はなし 振り返ってみると、ブログのおかげで「今週はこれに取り組む」はあるんだけれど、それ以上のまとまりが無い。 「今月は／この四半期はこれに取り組む」を特に決めていない。 その結果、なんか、一週間ごとの取り組みがつながっていなくてバラバラになっているような感覚・印象がある。 （以下があったときはそれに沿って勉強を進めていた。この手の勉強会があると適切なペースで勉強を進めることができて、しかも結果的に一定のまとまった範囲を習得できる。ありがたい。 機械学習の勉強会（2018年6月〜10月、週1回の輪読会） 松尾研究室のデータサイエ

Machine Learning for Insights Challengeで勉強した「Permutation Importance」と「Partial Dependence Plot」についてまとめる。 Machine Learning for Insights Challengeとは 9月18～21日に、kaggleの「Machine Learning for Insights Challenge」という講座が開催された。 1日に1通メールが来て、機械学習関連の話を学べる。 この記事では、4日のうち前半2日間の部分をまとめる。 なお、教材は公開されているので、今からでも同じように学習できる。 それぞれの日の説明には演習問題がついていて、kaggle kernel上で実行できる。 さてInsightsを日本語に直すと「洞察、物事の本質を見抜くこと」となるが、具体的には何なんだろうか。

2018年10月9日に開催されたこのイベントに参加してきました。 ※増枠【エンジニアのキャリアアップを語る】日々のアウトプットが変える！あなたのエンジニア・ライフ - connpass まつもとりー（松本亮介）とKwappa（塩谷啓）さんのお二人による発表でした。 早速お二人の資料が上がっています。 資料を読めば分かることは適宜省いて、口頭で補足していたところを中心に書いています。資料と併せて読んでいただければと思います。 なぜポートフォリオが必要なのか - エンジニアと人事（評価・採用）両方向の視点から　松本亮介（まつもとりー） なぜポートフォリオが必要なのか - エンジニアと人事（評価・採用）両方向の視点から - Speaker Deck はじめに 自分の体験 6年前、28歳のとき…… 博士課程の1年目 OSS開発：Webではよくあるやり方 ビルドは通ってるけど「これ何に使うんだろう…