お前らのpandasの使い方は間違っている - Qiita
この記事は株式会社Nuco Advent Calendar 2022の9日目の記事です。 はじめに いきなりお馴染みの「キャッチーでウィットでセンセーショナルな」タイトルで失礼します。 私自身、業務の中でpandasに大変お世話になっており、自戒も込めてpandasの「アンチパターン」をまとめてみました。 この記事を読んで、より快適なpandasライフを送っていただけると嬉しいです。 対象読者 Pythonを使ったデータ分析や機械学習に携わる方 この記事はpandasの基本的な使い方を解説するものではないので注意してください。 表形式ファイルを加工する必要がある方 pandasの強みはリレーショナルなデータ全般です。必ずしもデータ分析や機械学習だけが守備範囲ではありません。 pandasとは pandasの公式ドキュメントの概要には、以下のように記載してあります。 pandas is a
図解Stable Diffusion
ジェイ・アラマールのブログより。 AIによる画像生成は、(私を含めて)人々の度肝をぬく最新のAIの能力です。テキストの説明から印象的なビジュアルを作り出す能力は、魔法のような品質を持ち、人間がアートを創造する方法の変化を明確に指し示しています。Stable Diffusionのリリースは、高性能(画質だけでなく、速度や比較的低いリソース/メモリ要件という意味での性能)なモデルを一般の人々に提供することになったのは、この開発における明確なマイルストーンです。 AI画像生成を試してみて、その仕組みが気になり始めた方も多いのではないでしょうか。 ここでは、Stable Diffusionの仕組みについて優しく紹介します。 Stable Diffusionは、様々な使い方ができる汎用性の高いものです。まず、テキストのみからの画像生成(text2img)に焦点を当てます。上の画像は、テキスト入力と生
【英会話独学】英語学習ロードマップ 第二言語習得研究と行動科学に基づく英語を話す方法 - ポリグロットライフ | 言語まなび∞ラボ
はじめに 今回は英語を話す方法の完全英語学習ロードマップを丁寧に解説していきます。私の第二言語習得研究の知見と行動科学（私自身の語学学習の経験を観察して得られた実証結果・多言語話者に取材をして気づいた彼らに共通した行動の特徴）に基づく学習マップを始めから丁寧に解説していきます。英会話の完全独学ができますので、今回のブログをしっかり理解して英語を話せるようになりましょう。 「ポリィの英語講義」というYoutubeチャンネルも開設致しましたので、ぜひこちらもチェックしみてください。こちらのチャンネルでは、今後英語学習ロードマップの実践動画をアップしていきたいと思います。 www.youtube.com 英語学習ロードマップ Phase1 学習方略に基づく学習計画（公開済み） Phase2 発音と単語で気づきを促す（公開済み） Phase3 浅い理解を深い理解に転換（公開済み） Phase4 英
【Python】専門書や論文を読みたいけど数学が苦手・わからない人向けのコードを読んで学ぶ数学教本 - Qiita
はじめに プログラミング自体は文系、理系、年齢関わらず勉強すればある程度ものになります。プログラミングがある程度できるようになるとTensorflow,PyTorchやscikit-learn等のライブラリで簡単にできる機械学習やデータサイエンスに興味を持つの必然! これからさらになぜ上手くいくのか・いかないのかの議論をしたい、社内・外に発表したい、理論的な所を理解したい、先端研究を取り入れたい、応用したい等々と次々に実現したい事が増えるのもまた必然でしょう。このときに初めて数学的なバックグラウンドの有無という大きな壁が立ちはだかります。しかし、数学は手段であって目的ではないので自習に使える時間をあまり割きたくないですよね。また、そもそも何から手を付けたら良いかわからないって人もいるかと思います。そんな人に向けた記事です。本記事の目標は式の意図する事はわからんが、仕組みはわかるという状態に
「施策デザインのための機械学習入門」を完全に理解したサトシくんがポケモン捕獲アルゴリズムを実装する話 - kanayamaのブログ
プロローグ ストーリー編 第1章 感銘 step1. KPIの設定 step2. データの観測構造をモデル化する step3. 解くべき問題を特定する step4. 観測データのみを用いて問題を解く方法を考える step5. 機械学習モデルを学習する step6. 施策を導入する 第2章 絶望 第3章 反省 第4章 再起 step1（再） KPIの設定 step2（再） データの観測構造をモデル化する step3（再） 解くべき問題を特定する step4（再） 観測データのみを用いて問題を解く方法を考える step5（再） 機械学習モデルを学習する step6（再） 施策を導入する 第5章 俺たちの戦いはこれからだ！ 実装編 準備 擬似データの生成 意思決定モデルの学習 モデルのオフ方策評価 モデルの真の性能の評価 まとめ この記事を読んだ方はこんな記事も読んでいます（多分） @tkana
コードで学ぶAWS入門
各方面でご好評をいただいている本講義資料ですが，この度増補・改訂のうえ書籍として出版することが決定いたしました！ 書籍限定の書き下ろしの３章 (約100ページ分！)を新たに追加して，2021年9月27日に発売予定です． この資料を気に入っていただいた方は，手に取っていただけるとありがたいです． ここで公開している資料は引き続きオンラインで無料で読めますので，ご安心ください🙇
これからAWSを始める方にオススメしたい無料の学習コンテンツをまとめてみた件 - ailes blog
目次 目次 はじめに オススメの学習コンテンツ 【AWS SOME DAY】 【AWS ご利用開始時に最低限おさえておきたい10のこと】 【AWS Black Belt Online Seminar】 【AWS Hands-on for Beginners】 【ハンズオンチュートリアル】 さいごに はじめに 「AWSに興味はあるけど、何から始めたらいいか分からない」 そんな方々に向けて、たくさんあるAWSの学習コンテンツのうちのいくつかをまとめて、紹介していきたいと思います。 本記事で紹介するコンテンツは全てAWS公式のコンテンツとなっています。 オススメの学習コンテンツ 【AWS SOME DAY】 aws.amazon.com 概要 AWSの基本を1日かつ無料で学べてしまう太っ腹なトレーニングです 費用 無料 特徴 通常は会場でのリアル開催のようですが、2021年現在は「AWSome
新人ITインフラエンジニアに役立つ学習リソース まとめ
まえがき IT業界で10年弱努めて見て、現在は教育部門にいることもあり”新人教育に向いている教材は有りませんか？”という質問を頂くことがあります。 昨今ITに関する様々な知識は情報が溢れていて、少し検索エンジンで調べれば大量のリソースにすぐアクセスができます。 一方で、本当に価値があるものも大量の情報の中に埋もれてしまいがちです。 本記事が目指すポイントとしては、”これからIT業界でインフラエンジニアとして頑張るぞ”という方向けが、短時間で良質なリソースにアクセス出来るようにすることです。(私自身のおすすめ色が強いです) なお、ここで想定する”インフラ”というのは次の要素を想定しています。 サーバ オペレーティング システム ストレージ ネットワーク 仮想化 パブリッククラウド ですから、次のようなカテゴリについては全く触れていない、あるいは触れていてもかなり部分的だと言う点をご理解下さい
駆け出しデータサイエンティストを諦めた2020年を振り返る｜ゆるり
今年は色々と自分の仕事やキャリアを考えることが多く、それらがわりとダイナミックに変わった年でもあったので振り返って見ようと思います。 はじめにゆるり(Twitter)といいます。今年までITベンチャー企業でデータサイエンス関係のお仕事をしていました。その前は営業をやっていて、いわゆる未経験からのDS転身ということになります。もっというとITエンジニア自体未経験でしたので、当時のレベル感としては#駆け出しエンジニアと繋がりたいみたいなイメージで思って頂ければと思います。 誰のための記事か自分が何を思い何をしてきたかの振り返りなので自己満ではありますが、自分と同じように未経験から何かしらのITエンジニア職、特にDS職を目指す方に向けています。 ただし、後述しますが自分はデータサイエンティストとしてほぼ何の対外的実績は残しておらず、最終的に挫折してジョブチェンジした形となりますので、あまり参考に
オライリー本読み放題サブスクO’Reilly online learningを使ってみたらとても良かった - Security Index
オライリー本読み放題のサービス「O’Reilly online learning」 (旧 Safari Online Books)を使ってみたところとても良かったのでまとめてみました！ (更新 2022/08/06 ACMの会員特典からO’Reilly online learningがなくなりました。そのため、ACMの会員になってもO’Reillyを読むことができないのでご注意ください。) (更新 2020/11/17 日本語の書籍が一部追加されたそうです！) 今までは英語などのみでしたが、日本語の書籍が一部読み放題の対象となったそうです！ (更新 2020/06/12 内容を更新しました！) ACMの会員の特典ではオンライントレーニングなどの一部サービスが2020/06/22から利用できなくなりました。オライリー本の読み放題サービスは継続して利用できます！ O’Reilly online
大数の法則や平均回帰で、運をコントロールする｜深津 貴之 (fladdict)
人生のコントロール不能な部分を、もうちょっとコントロール可能にするには、どうすればよいか…というお話。21世紀のサイバー風水学について。 運の良し悪しは、一見するとコントロール不能な現象に見えます。ところが実際は、ある程度までコントロールが可能だったりします。 なぜなら多くの場合、確率的に不利なポジショニングが、「運の悪さ」として観測・説明されているにすぎないからです。因果の順序が逆なのです。「運が悪いから失敗するんじゃなくて、まさかの失敗をしたから運が悪いと呼ばれる」 ですので、「運」と呼ばれるものは、かなりの部分がコントロール可能です。サイバー風水学は、伝統的な風水学のモデルを使いながら、神秘性を排除し、合理と統計により再構築した概念です。 おなじに見える2つのギャンブル以下の2種類のギャンブルの違いを、あなたは瞬間的にイメージできるでしょうか？ どちらも、コインを投げて表が出たらお金
【AWS初心者向け】AWS学習方法まとめ【15時間で達成できる】 - Qiita
AWS学習を始めようと考えている人 「AWSとは、概要や全体像、メリットデメリットが知りたい」 「AWSの学習方法が知りたい」 こういった疑問に答えます。 本記事のテーマ 【AWS初心者向け】AWS学習方法まとめ【15時間で達成できる】 AWS学習の始め方 AWSやクラウド初心者の方がAWSを学ぶための方法を纏めました。 ①クラウドを学ぶ ②AWSの概要を学ぶ ③知識の定着（AWS公式ハンズオン実施） ④AWS運用の現場に参画 知識定着のため、インプット、アウトプットのバランスを考えてまとめています。 IT基礎知識（基本情報技術者レベル）がある前提になっていますので、 インフラ基礎知識が足りていないと感じる方には下記の記事もおすすめです。 記事の信頼性 筆者はAWS経験5年程度です。AWS資格は5冠達成しました。 現在は大規模ECサイトのAWS運用を任されるようになっています。 今回紹介し
Python初学者のためのPandas100本ノック - Qiita
Information 2024/1/8： pandas , Polars など18を超えるライブラリを統一記法で扱える統合データ処理ライブラリ Ibis の100 本ノックを作成しました。長期目線でとてもメリットのあるライブラリです。こちらも興味があればご覧下さい。 Ibis 100 本ノック https://qiita.com/kunishou/items/e0244aa2194af8a1fee9 2023/2/12： 大規模データを高速に処理可能なデータ処理ライブラリ Polars の 100 本ノックを作成しました。こちらも興味があればご覧下さい。 Polars 100 本ノック https://qiita.com/kunishou/items/1386d14a136f585e504e はじめに この度、PythonライブラリであるPandasを効率的に学ぶためのコンテンツとして
これから推薦システムを作る方向けの推薦システム入門｜masa_kazama
イントロ「Amazonのこの商品をチェックした人はこの商品もチェックしています」や「YouTubeのあなたへのおすすめ」、「Twitterのおすすめユーザー」などのレコメンド機能は多くのWebサービスに組み込まれております。そのレコメンドによって、ついつい商品をたくさん買ってしまったり、夜遅くまで動画を見てしまった経験はないでしょうか。 この記事では、レコメンドシステムの裏側はどのような仕組みになっているのか、そもそもレコメンドとはどういうものなのかを具体例を交えながら俯瞰できればと思います。レコメンドシステムのアルゴリズムの詳細には触れず、ビジネスにおいてどのような形で実装されているかにフォーカスしています。ネット上に公開されているレコメンドに関するスライドや記事、論文のリンクをまとめましたので、アルゴリズムの詳細などはリンク先の記事でご確認ください。 対象の読者は、自社のサービスにレコ
データサイエンス初学者のための実践的な学習環境 「データサイエンス100本ノック（構造化データ加工編）」をGitHubに無料公開 | 一般社団法人データサイエンティスト協会
一般社団法人データサイエンティスト協会（所在地：東京都港区、代表理事：草野 隆史、以下データサイエンティスト協会）は、構造化データの加工について実践的に学ぶことができる無料の学習環境「データサイエンス100本ノック（構造化データ加工編）」をGitHubに公開しました。 「データサイエンス100本ノック（構造化データ加工編）」は、データサイエンス初学者を対象に、データの加工・集計、統計学や機械学習を駆使したモデリングの前処理等を学べるよう、データと実行環境構築スクリプト、演習問題をワンセットにしています。 近年、データ活用の重要性についての認知が広がる中で、書籍やWebサイトなど、データ分析のスキル向上に役立つ情報源も多く提供されています。一方で、実践するための「データ」や「プログラミング実行環境」を持ち合わせていないことも多く、「実践力」を身につける機会が限られていました。特に、「構造化デ
機械学習の勉強を始めて1年以内にkaggleで2位になったので、やったこと全部書く - kaggle日記
皆さん初めまして！ 先日kaggleのARCコンペで2位になったのですが、 2位で終了しました！みなさんお疲れさまでした。コード書くの楽しかった。 pic.twitter.com/dLxl6Mlgoe — Aryyyyy (@aryyyyy13) 2020年5月28日 僕のkaggle歴が浅めということもありtwitterでも結構反響があって、何人かの方にはわざわざDMまで頂いてどんな勉強をしたか聞いていただきました。なるほど需要があるならということで、今までのことをまるっと振り返ってみようと思います。 これからkaggle始める方のためになれば幸いです。 機械学習を始める前のスペック 準備期間：2019年7月〜 kaggle初参加：2019年9月〜 kaggleちゃんと始める：2019年10月〜 DSB参加：2019年10月〜 会社を休職して本格的に勉強開始：2020年1月前半〜 手頃な
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://twitter.com/developer_quant/status/1544666710506348544
Pythonによるアクセスログ解析入門 / Tutorial on Access Log Analysis by Python
Shota Imai@えるエル on Twitter: "コンピュータサイエンスで有名なアルゴリズムのPython実装を大量に公開しているリポジトリ https://t.co/379T4izBle 教養レベルのデータ構造やアルゴリズムから機械学習やブロックチェーン,Web関連などの応用ま… https://t.co/vSmYZW5SHw"
「Unity」の有料学習リソース“Unity Learn Premium”がすべてのユーザーに無償開放／業界で必要とされる3DやVR/AR、AIの専門知識を広く・深く学べる
