各機能とツールについて、説明していきます。 エディタ Visual Studio Code エディタやIDE(統合開発環境)は好きに選んでいただければ良いとは思いますが、特に希望がないならば、Visual Studio Codeを選んでおけば間違いないでしょう。 Pythonを含む幅広い言語に対応し、豊富な拡張機能を備えている非常にリッチなエディタです。とりわけPythonプロジェクトについては、これさえ有れば、特にIDEなどは必要ないと思います。 インストールは↓から。 バージョン管理ソフト Python3系は日夜アップデートされていて、2022年12月現在の最新verは、3.11.1が提供されています。 とはいえ、プロジェクトによっては、3.7.1までしか動作が担保されていないもの、3.9.0で現在開発中のもの...などがあります。最新のPythonが常に必要、というわけでは決してなく

はじめに パッケージ シミュレーション1 データ モデル DALEXによる解釈 変数重要度 PDP シミュレーション2 データの作成 DALEXによる解釈 PDP ICE Plot Conditional PDP clusterd ICE Plot まとめ 参考文献 ※この記事をベースにした2020年1月25日に行われた第83回Japan.Rでの発表資料は以下になります。 speakerdeck.com ※この記事で紹介するSHAPを含んだ、機械学習の解釈手法に関する本を書きました！ 機械学習を解釈する技術〜予測力と説明力を両立する実践テクニック 作者:森下 光之助技術評論社Amazon はじめに 本記事では、tidymodelsを用いて機械学習モデルを作成し、それをDALEXを用いて解釈する方法をまとめています。 DALEXは Collection of tools for Visual

#ぼっち・ざ・ろっく ※モーメントが使用不可能になったため、棘移行 まんがタイムきらら編集部公式アカウントによる ぼっちちゃんよくばりセット＋各話放送時などの原作コマのツイート素材配布のまとめです。 第1話～8話が原作１巻、第9話～最終話が原作2巻の範囲です。

この記事について R Advent Calendar 2022 5日目です。 Rのカレンダー | Advent Calendar 2022 - Qiita ldccrとgibasaという自作Rパッケージの紹介をかねて、tidytextっぽいやり方によるテキスト分析をやります。 本家のText Mining with Rでは、英語のtidyなテキストデータ（tidy text）について、感情語を収録している辞書とinner_joinすることによって感情分析（というか単語のネガポジを判定するやつ）をおこなっているセクションがあります。この記事では、それと似たような感じで、日本語のtidyなテキストデータと季語を集めた「季寄せ」辞書とをinner_joinすることによって、テキストの季節感みたいなものを調べるというのを試してみます。 使用するデータ 題材としては、宮沢賢治『春と修羅』を使用するこ

NTTドコモ R&D Advent Calendar 2022 の1日目の記事です。 井上と申します。アメリカのシリコンバレーにあるドコモの子会社，DOCOMO Innovations, Inc. (DII) でシニアデータサイエンティストとして機械学習の研究開発に従事しています。 現在，DII は Amazon Web Services, Inc. とパートナーシップを組み，Federated Learning (連合学習, FL) の開発に取り組んでいます。 AWS Partner Network (APN) Blog の記事もご覧ください。 本記事は，FL の中でも，特に Vertical Federated Learning (VFL) を PyTorch を用いて作り上げていくチュートリアルです。 なお，本記事末尾に職場の紹介を載せていますので「シリコンバレーとか DII ってど

処方せんなしで、薬局で買える肥満改善の飲み薬について、国内での製造販売の承認が初めて了承されました。 厚生労働省が承認を了承したのは、大正製薬の「アライ」です。この薬は処方せんなしで、薬局で薬剤師の指導を受けて買える初の肥満改善薬で、食事で摂取した油の体内の吸収を抑制する効果があるということです。 腹囲が男性で85センチ以上、女性で90センチ以上の肥満症に至る前の基礎疾患がない18歳以上が対象で、運動や食事での生活習慣の改善と組み合わせて飲む補助的な医薬品です。 また、副作用として下痢などになることもあるということです。 承認は来年3月頃になる見通しです。

どうも、最近SmartnewsでAIのニュースばかり見ていたら、歌手のAIさんの記事がレコメンドされてきた分析官の岡部です。 この記事では、決定木系アルゴリズムを使用するとき、特徴量同士の四則演算が有用となるケースがあることを、簡単な実験で確認しました。 その結果をまとめていきます。 事の発端 Kagglerに人気のGBDTをはじめとした決定木系のアルゴリズムは非常に強力で、 弊社の製品である自動機械学習ツールForecastFlowでも採用しています。 さて、入社まもないあるとき、そのForecastFlowに突っ込むデータセットを用意していると上司の方から、「この特徴量とこの特徴量の足し算は効きそうだね」と言われ、？？？となりました。 （え？足し算って、、、情報増えてないから、全く意味ないんじゃないの？？？） などと思ったんですね。 あれから時は経ち、数多のモデルを作っていくうちにだん

一発目から自由研究をしていないのですが、ご容赦ください。笑 lightgbmのカテゴリカル変数の扱い等がチーム内で話題になったため、メモも兼ねてまとめました。 本題 話題となったのは、以下の３点です。 label encoding1して入力するのと、カテゴリカル変数として入力する違い trainに存在しないが、testには存在するカテゴリーの扱い 欠損値の扱い これより、順に説明します。 1. label encoding[^1]して入力するのと、カテゴリカル変数として入力する違い label encodingして入力すると、普通の数値型変数と同様に閾値との大小関係で判定されます。カテゴリカル変数として入力すると、marugariさんがブログで紹介しているように変数A (is or is not) category_xで判定されるようです。ただ、カテゴリーに順序性がある場合は、カテゴリカル

はじめに 「SlackBOT」や「LINEBOT」を作すると、それを使用するために定期実行したくなります。 定期実行するとなるとどんなツールを思い浮かべますか？ 「cron」、「heroku」、「GCP」...など色々ありますよね。 僕自身上記の３つを使ったことがありますが、設定がめんどくさかったり、うまくいかなかった経験があります。 「もっと簡単に定期実行できたらいいのに...」と悩んでいた時に見つけました！ それは「GitHubActions」です。 この記事では「GitHubActions」で定期実行する手順を紹介していきます。 めちゃくちゃ簡単にできるので一度やってみてください！ それではいきましょう！ ＊この記事ではPythonメインに説明しているのでご了承ください。（Python知らなくても問題はないです。） GitHubとは？ そもそも「GitHub」とはなんぞや？という方は

デジタル声優アイドルグループ・22/7（ナナブンノニジュウニ）が、10月22、23日に東京国際フォーラム ホールAで『22/7 ANNIVERSARY LIVE 2022』を開催した。グループのデビュー5周年を記念するこのライブでは、2日間計3公演を通して22/7のオリジナル楽曲を全曲披露し（キャラクターソング除く）、グループの足跡を辿りながら現行14人体制としての姿を見せていった。本稿では、ファイナル公演となる23日の夜公演を振り返っていく。 画像ページはこちら 今回のアニバーサリーライブでは、各ブロックの節目にこれまでのシングル及びアルバムリリース当時を振り返るVTR「あの日のわたしたち。」が映写され、続けてそのタイトル収録曲が順次披露されるスタイルでセットリストが組まれた。 公演冒頭は、白沢かなえが3rdシングル表題曲「理解者」MVの舞台である、渋谷のスクランブル交差点を訪れるVTR

なぜこの記事を書いたのか？ 決定木をベースにしたアルゴリズムのほとんどに特徴量重要度という指標が存在する。データに対する知識が少ない場合はこの指標を見て特徴量に対する洞察深めることができる。KaggleではEDAのときにとりあえず重要度を見てみるなんてこともするようだ。 しかし、この特徴量重要度にはバイアスが存在していて、特定の条件下では信用出来ないことがある。そういった条件を広く知ってほしいということでこの記事を書いた。 この記事では人工データを生成しバイアスを再現してみた。また、こういったバイアスに対処したという論文を見つけたので軽く紹介する。おまけとしてgainベース以外の特徴量重要度についても紹介する。 目次 なぜこの記事を書いたのか？ 想定読者と実験の枠組み 想定読者 限定する枠組み 特徴量重要度とは？ 特徴量重要度にバイアスが生じる条件 1. 解像度が低い場合 2. 特徴量同士

（2022年11月25日追記） 私の本が株式会社インプレス R&Dさんより出版されました。この記事の内容は含まれていませんが、ライブラリは登場します。イラストは鍋料理さんの作品です。猫のモデルはなんとうちのコです！ 感想を書いていただけるととても嬉しいです！ （2022年8月3日追記）この記事で登録したライブラリを使ったWebサービスの作り方が本になりました。ただしPyPIへの登録方法は本には載っていません。 はじめに 先日、生まれてはじめてPyPIにPythonライブラリを登録しました。PyPIというのはPython Package Indexの略で、ここにパッケージを登録するとpip installでインストールできるようになります。 経緯は以下の通りです。 もともとIMAP4をJSON化するAPIをローカルで動かすメール受信システムがあった AWS LambdaとAPI Gatewa

TL;DR numpy.matrixは非推奨。numpy.ndarrayと@演算子を使いましょう。 はじめに 少し前に「大名行列を特異値分解してみる」という記事を書いたところ、元同僚さんから「numpy.matrixはdeprecatedですよ」と言われて驚きました1。 調べたらStackOverflowにやたら詳しい解説が載っていたので、それをもとに説明してみようと思います。 特異値分解とmatrixクラス 線形代数に特異値分解(Singular Value Decomposition, SVD)という処理があります。m行n列の行列Xを、m行m列のユニタリ行列U、m行n列の対角行列S、n行n列のユニタリ行列Vの積に分けるというものです。なんか適当な行列を作ってみましょう。 import numpy as np from scipy import linalg X = (np.arange

学生時代に独学でVBAやってたのが零細企業でなぜか評価されてDB管理をやらされかけてるけど SQLマジでわかんねーーーーーーーーーーー！！！ なんだこれーーーーーーーーーーーーー！！ ああああああああああああああ！！！！ わかんねーーーーーー！！！！

LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。 LINEヤフー株式会社のコーポレートサイトはこちらです。 当ページに記載されている情報は、2023年9月30日時点の情報です。 ※2023/9/29に内容を追記しました。 このたび、LINEスタンプ プレミアムに加入しているユーザーに向けて、より高い精度でユーザーの好みにあったスタンプが提案される機能をリリースします。具体的には、トークルーム等でのスタンプ選択時のサジェスト機能（以降、「スタンプサジェスト機能」と記載）を改善するアップデートになります。 今回のアップデートでは、ユーザーのプライバシーを保護しつつ利便性を向上させるため、連合学習（Federated Learning）・差分プライバシー（Differential Privacy）と呼ばれる技術を導入しました。この技術は、グローバルスタンダードな技術

JP Contents Hub自体の閲覧・利用は無料。ただしハンズオンはいずれもAWSのサービスを活用するものなので、利用に応じた料金が発生する。AWSジャパンは今後、新たにハンズオンを作成した場合には、順次JP Contents Hubに追加するという。 関連記事 AWS初心者向けの教材まとめ、AWS日本法人が公開 AWSジャパンが、AWSの初心者向け教材などをまとめたWebページを公開した。初学者やクラウド人材の育成を受け持つ人向けで、自社の教材などを全6段階の理解度別に紹介している。 AWS、オンラインゲームを遊んでソリューション構築を学ぶ「AWS Cloud Quest」公開　実際にプレイしてみた 米Amazon Web Servicesが、AWSでのソリューション構築を学べるオンラインRPG「AWS Cloud Quest: Cloud Practitioner」を無料公開」。W