息抜きを兼ねてQiitaで開催されている以下のイベントに参加してみました。 ※個人の好みが強い点、将来気が変わって別のことを学んだりといったことも結構起こると思いますがその辺はご容赦ください。また、仕事のものは別途学んだりはしますがその辺はあまり含みません（プライベートで興味を惹かれているものを中心に触れていきます）。 ※執筆者はゲーム業界に在籍しており、現在データエンジニアをしているためその辺の色が強くなっています。 数学関係の強化 以前も何冊か数学関係の本を消化したり、コンピューターサイエンスの基礎本なども消化したりしてきましたが、機械学習含めたデータサイエンス周りを強化するにしろゲーム関係にしろ数学は強化して損はない・・・ですし学んだことは長持ちしそうなため復習や新しいことの勉強も含め数学方面を強化したい・・・という感じがあります。 最近は朝は仕事関係のクラウドやらの勉強・夜はOSS
※アンダースコアのpip install seaborn_analyzerでもインストール可能です。 インポート時はアンダースコアのimport seaborn_analyzerやfrom seaborn_analyzer となるのでご注意ください コード モジュールcustom_pair_plot.py内のクラスCustomPairPlotに、必要な処理をまとめました。 GitHubにもアップロードしています モジュール本体 import seaborn as sns import numpy as np import pandas as pd import matplotlib.pyplot as plt from scipy import stats class CustomPairPlot(): #初期化 def __init__(self): self.df = None sel
[VS Code Python拡張] データサイエンスチュートリアルをやりながらVS CodeでのJupyter Notebookの使い方をマスターする | DevelopersIO
こんにちは、Mr.Moです。 下記の記事を見てVS CodeのPython拡張でJupyter Notebookが使えることを知り便利そうだなーとしばらく直感的に使っていましたが、そろそろちゃんと使いこなしたいので用意されているデータサイエンスチュートリアルを参考にしならが使い方をマスターしていきたいと思います！ Visual Studio CodeでJupyter Notebookを動かしてみた データサイエンスチュートリアルとは VS Codeの公式ページあるチュートリアルです。March 2020 (version 1.44)のアップデートで公開されたようですね。 https://code.visualstudio.com/docs/python/data-science-tutorial チュートリアルを参考にしながら使い方を確認していく さっそくチュートリアルを進めていきます。あ
![[VS Code Python拡張] データサイエンスチュートリアルをやりながらVS CodeでのJupyter Notebookの使い方をマスターする | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/b3a3cd126b780dcd4cdffcaa7d018424e8c697cb/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F06%2Fvscode-2019-eyecatch-1200x630.png)
プログラミング言語 Ruby30 周年記念イベント 2023 年 2 月 25 日、Ruby 誕生 30 年を記念したイベントが開催されました。 2020 年から流行した新型コロナウィルス感染症の影響で、一時期のイベントはすべてオンラインでの開催が主流となっていました。 本イベントも当初はオンライン形式で予定されていましたが、当日は松江オープンソースラボをメイン会場としてオフラインとオンラインのハイブリッドで開催されました。 開催日 2023-02-25 (土) 13:40 - 17:30 開催場所 松江オープンソースラボ / YouTube 配信 主催 一般財団法人 Ruby アソシエーション / 一般社団法人 日本 Ruby の会 公式ページ プログラミング言語 Ruby30 周年記念イベント 進行 ：前田修吾 公式ハッシュタグ #ruby30th 動画 アーカイブ動画 オープニング
機械学習のための「前処理」入門 作者:足立悠リックテレコムAmazon 目的 データ分析の仕事をする中で最も扱う機会が多いのが 時系列データだと思います。その中で欠損値を扱ったり、 統計を取ったり、特徴量を作り出したりするのですが、 毎回やり方を忘れてググっているので、上記の書籍を読んで こういった前処理の方法をいつでも確認できるように メモしておこうと思います。 目次 目的 目次 日時のデータをdatetime型に変換する 最初の日時からの経過時間を計算する 各データの統計量を計算する 欠損値の確認と補完 経過時間の単位を変換する データフレーム結合する 基準日時からの経過時間を計算する 重複した行を削除する 特定のデータ列をインデックスにする 部分的時系列を抽出して統計量を計算する データフレームの各列をリストにして結合する 不均衡データから教師データを作成する データの読み込みと可視
その実験、再現できますか？pyenvとpoetryによる “そんなに頑張らない” 再現可能な実験環境構築 - Gunosyデータ分析ブログ
Gunosy Tech Lab リサーチインターンの北田 (@shunk031)です。 深層学習の論文を読んでいるときに著者実装が公開されている旨を見ると嬉しい気持ちになりますよね。 いざ公開レポジトリに飛んだ瞬間その嬉しさは無となることが多いですが、くじけずにやっていきたいです。 著者実装のrequirements.txtをベースにpythonモジュールをインストールするとよく見るやつ こちらの記事は Gunosy Advent Calendar 2020 6日目の記事です。昨日は @625 さんの goで作るfirehoseのデータ変換lambda でした。 tech.gunosy.io その実験、再現できますか？ リサーチインターンでは主にGunosyのデータを使った研究をしています。 特に私は深層学習による広告クリエイティブの評価や運用支援に焦点を当てて取り組んでいます*1。 深層
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 R／RStudioでやさしく学ぶプログラミングとデータ分析 掌田津耶乃 データサイエンティストのための特徴量エンジニアリング Soledad Galli(著), 松田晃一(訳) 実践力をアップする Pythonによるアルゴリズムの教科書 クジラ飛行机 スッキリわかるサーブレット＆JSP入門 第4版 国本 大悟(著), 株式会社フレアリンク(監修) 徹底攻略 基本情報技術者教科書 令和6年度 株式会社わくわくスタディワール
2020年のキャリアアップにつながる注目のIT資格まとめ、機械学習の基本を押さえた「G検定」や人気トップのPython・AWSをオトクに学べるUdemyキャンペーン
「消費税で物価が上がるなら給料も上げて欲しい」「同じ時間働いて買えるものが減るのはイヤ」となったのをきっかけにして転職や昇進、部署異動の機会を伺っている人も多いはず。特に人材不足気味のIT系の職種ではさまざまなチャンスが転がっており、プログラミングを勉強したり、機械学習やクラウドサービスの知識を付けたりすることでチャンスをつかみ取りやすい状況になっています。 しかしITについて初めて学ぶ時や、クラウドや機械学習などよく知らない分野に手を伸ばそうとする時には、基本的な知識が足りていないため、何をどれくらい勉強すれば良いのか分からず困ってしまいがちなもの。そこで「資格取得」を目標にとして勉強を進めることで、迷うこともなく、大切とされている部分を漏れなく身につけることができるため、学習を効率よく進めることが可能です。さらに、転職・就職の際に履歴書にも書けるようにすることで、まさに一石二鳥。 そこ
SARS-COV-2関連情報を集めていると、国や自治体、企業が公開している情報がPDFなのにムカついてしまう。ExcelをPDF化したものもあって、素直にxlsも出せよと思う。 （それでも画像データで公開している組織に比べればかなりマシなのが悲しい） 例えば、沖縄県のワクチン接種率の情報がPDFだ。「沖縄県のワクチン接種進捗状況／沖縄県」に掲載されている「県内市町村ごとの新型コロナワクチン接種件数」がPDFだ。タイトルは .xlsx になっているので、元々はExcelであったのだろう。 ご丁寧なことに情報が更新されると過去のPDFが消されてしまうので、接種率の変化を追っかけたい場合はPDFを手元に保存しておかないといけない。沖縄県の情報公開はこういうところがダメダメだと思う。消すなよ。 表から情報を抜き出す情報を抜き出すツールとしては adobeの【無料】PDFをExcelに変換 – Ad
本サイトに関するコメント等はGitHubのDiscussionsもしくはharuyama@econ.kobe-u.ac.jpにご連絡ください。 姉妹サイト１：「Pythonで学ぶマクロ経済学 (中級＋レベル)」 🚀 姉妹サイト２：「経済学のためのPython入門」 🐍 はじめに# 「なぜプログラミング？」文系の経済学の学生が理系のプログラミングを学ぶとなると，まず頭に浮かぶ質問かも知れない。過去にも同じような質問を問うた経済学部の卒業生は多くいると思われる。例えば，Excelのようなスプレッドシートのソフトは1980年代からあり，当時の大学生も使い方を学ぶ際「なぜ？」と思ったことだろう。しかし今ではWord，Excel，PowerPointの使い方は，大学卒業生にとって当たり前のスキルになっている。同じように，AI（人工知能）やビッグデータが注目を集める社会では，ある程度のプログラミン
目的 Pythonを用いて特定のリターン・リスク（標準偏差）を持つ資産に毎月積立投資を行った場合の長期資産推移を、モンテカルロ法によるシミュレーションで算定する 計算の概要 Pandas、Numpyを用いて、対象期間における月次の対数収益率を、正規分布に従う乱数として生成する 得られた乱数を用いて、毎月積立投資を行った場合の資産推移をパーセンタイル値として出力する 実行例 今回作成した解析用のクラスであるasset_modelの実行例を示します。 実装方法は後述します。 1. 資産のリターン・リスクを設定する # 期待対数収益率、標準偏差（%,年換算） mu = 8 s = 20 #リターンmu、リスクsのモデルを定義 model = asset_model(mu,s) 対象資産の年次の対数収益率の期待値（平均）、標準偏差を入力します 今回の例では、全世界株式(ACWI)を想定した値（期待
ゼロから機械学習エンジニアになった方法 - Qiita
はじめに 未経験から機械学習エンジニアになって2年が経った節目にここに至るまでの経緯を紹介します。 初期スペック 30代 高専卒 工場勤務 数学は学生時代は並みの上くらいだったがほとんど忘れてる プログラミングスキルゼロ パソコンスキルはオフィスソフトが事務作業レベルで使える程度 タイピングできる 初期のモチベーション 今の仕事は今の会社じゃないと役に立たないスキルしか身につかないと感じ、何か自力で稼げるスキルを身に着けたい。 人生の大半の時間を費やす仕事を苦痛で終わらせたくない。楽しい仕事がしたい。 パソコン触るの好きだし、プログラミングとかどうなん？（機械学習なんて言葉も知らない） 取り組んだこと 1/2 まずは触ってみる プログラミングのプの字も知らなかったので、最初に取り組んだのが Progate でした。はじめはHTMLとCSSでWebページを作ることからはじめました。しかし、P
Hello! I’m slowly working on explaining git. One of my biggest problems is that after almost 15 years of using git, I’ve become very used to git’s idiosyncracies and it’s easy for me to forget what’s confusing about it. So I asked people on Mastodon: what git jargon do you find confusing? thinking of writing a blog post that explains some of git’s weirder terminology: “detached HEAD state”, “fast-
こんにちは。スキルアップAI編集部です。これからプログラミングを独学で学ぶ方にとって、無料の学習教材は強い味方です。しかし、インターネット上にはたくさんの教材があり、どの教材で学習するべきかわからない人も多いのではないでしょうか？ この記事では、数あるプログラミング（主にPython）の無料学習教材の中から、おすすめ13選を紹介していきます。入門編・基礎編・応用編に分けて紹介していくので、ぜひご自身の学習状況に合わせて選んでみてください。 【入門編】プログラミングの無料学習教材 まずは、入門編のプログラミング教材を紹介していきます。入門編では、プログラミングの基礎を学べます。まずはプログラミングを一から学びたい方は、ここで紹介する10個の教材の中から選ぶのがおすすめです。 ハーバード大学「CS50 for Japanese」 ハーバード大学が実施している「CS50 for Japanese
Jupyterで計算・分析した何かをアプリっぽくプレゼンするまで - 33分4秒ではじめるStreamlit「雑」入門 - Lean Baseball
サムネイルで出してる内容がそのままこのエントリーのテーマです. Pythonアドベントカレンダー2020の9日目です. JX通信社のシニアエンジニアで, 趣味で野球*1とヘルスケア*2なデータを分析してるマンの@shinyorkeと申します. ちょっとしたデータサイエンスでもガチのR&Dでも何でもいいのですが, プレゼンするためのスライド作るとか, デモのアプリを作るのって相当ダルくないっすか? いやまあ大事な仕事なので不可避かつちゃんとやろうぜっていうのは事実*3なのですが, 手を抜くところは手を抜くべきだなというのが持論としてありますし, 「怠惰・傲慢・短気」というプログラマーの三大美徳からするとプレゼンの準備は最も「怠惰」であるべきとまで僕は思っています. そんな中, 今年はStreamlitという, 「データを見せるアプリを雑に作ろうぜ」っていうライブラリがめっちゃ流行りました（っ
» Python実践データ分析100本ノック | 下山輝昌, 松田雄馬, 三木孝行 はじめに この本を手にした動機 元々データ分析に以前から興味があったものの、次に繋げられなかった 非エンジニアがR言語を始めるときの手引き｜Kaggle Masterによるデータ分析技術者養成講座【R言語版】Day1メモ｜中野ヤスオ｜ARI ｜note 2021年10月から12月まで受講した初級Python講座で得たことをなにか繋げたかった 講座受講の経緯等こちら：若手エンジニア成長支援No1企業を目指して｜中野ヤスオ｜ARI ｜note コードを書くことが楽しくなってきたので、毎日少しづつ出来るテーマを見つけたかった 今回の読み方 冒頭にある「本書の効果的な使い方」を参照し、それに準拠 各章各ノックの内容を「写経」しつつ、本文とコードを読み進め、分からないところをGoogleで調べる感じ 人それぞれだが、
「PythonユーザーのためのJupyter実践入門」はPythonとデータサイエンスをする人の入り口だ - Lean Baseball
待望のJupyter本, 改訂版来ました！ Pythonでデータサイエンスとエンジニアリングするマンとしてかなり待望していた「PythonユーザのためのJupyter[実践]入門 改訂版」がついに来ました.*1 改訂版 Pythonユーザのための Jupyter[実践]入門 作者:池内 孝啓,片柳 薫子,@driller発売日: 2020/08/24メディア: 単行本（ソフトカバー） ひと足先に読ませていただいたので, 「PythonユーザのためのJupyter[実践]入門 改訂版」はPythonでデータサイエンスする人にとっての入り口でおすすめの本である Pythonでデータサイエンスをやるなら, 「Pythonと慣れ親しむ」「機械学習に慣れる」「実践する」の目的に合わせて学習・実践したり本を読んだほうがいいよ という話をこのエントリーではまとめていこうと思います. なおこのエントリーは
IT業界は変化が激しく、人気の言語も時代とともに移り変わっていきます。最新の情報を追い続けるのは簡単ではないので、「将来性のある言語はどれ？」「単価が高くて稼げる言語は？」と気になっている人も多いのではないのでしょうか。 本記事では、「レバテックフリーランス」に蓄積されたデータを元に、プログラミング言語別の月単価・案件数を集計しランキングを作成しました。ランキング上位の言語については、将来性や市場価値を上げるためのポイントなども紹介しています。今回のランキングデータを元に、今後の案件選びやスキルアップの参考にしてみてください。 最新版のランキングはこちら▼ 【1位はGoの87万円】プログラミング言語別単価ランキング｜2023年7月最新版 ※本記事の調査結果や画像を引用する際は【レバテックフリーランス調べ】とご記載ください。 レバテックフリーランスはITエンジニア専門の フリーランスエージェ
エンジニアからデータサイエンティストへのキャリアチェンジのお供に「Pythonではじめる数理最適化」は良い教科書になるかもしれない - Lean Baseball
良い本良い魚良いお酒でした 秋も深まり, 緊急事態宣言が解除された今日このごろ, お酒を片手に読書がだいぶ捗るようになりました📖 酒と魚の話はさておき*1, 長いこと友人かつRetty時代の元同僚である岩永さん（とその仲間たち）*2が, 「Pythonではじめる数理最適化」なる書籍を出しました*3. Pythonではじめる数理最適化 ―ケーススタディでモデリングのスキルを身につけよう― 作者:岩永二郎,石原響太,西村直樹,田中一樹オーム社Amazon エンジニアな自分が読んだ感想として, 数理最適化でモデリングをする人だけでなく, エンジニアからデータサイエンティストへのキャリアチェンジを考えている人も必読なのでは? と思ったので, メモ代わりに感想（とちょっとしたコンテンツ）を残したいと思います. TL;DR 現実の課題・問題（主に仕事）をデータサイエンティストとして解きたい方の参考書
はじめに 私はこれまで機械学習のパラメータチューニングに関し、様々な書籍やサイトで学習を進めてきました。 しかしどれもテクニックの解説が主体のものが多く、 「なぜチューニングが必要なのか？」 という目的に関する記載が非常に少なかったため、体系的な理解に苦労しました。 この経験を後世に役立てられるよう、「初心者でも体系的に理解できる丁寧さ！」をモットーに記事にまとめたいと思います。 具体的には、 1. パラメータチューニングの目的 2. チューニングの手順とアルゴリズム一覧 3. Pythonでの実装手順 (SVMでの分類を例に) の手順で解説を進めます。 独自解釈も含まれるため、間違っている点等ございましたら指摘頂けると有難いです。 なお、文中のコードはこちらのGitHubにもアップロードしております。 2021/9/6追記：LightGBMのチューニング実行例追加 以下の記事に、Ligh
こんにちは、ふた月です。 ナビタイムジャパンで主にサーバーサイドのシステム開発や公共交通データの運用改善を担当しています。 今回は公共交通データの運用改善を進める中で、学習や調査向けのデータ可視化に Jupyter を使用した事例を紹介します。 Jupyter とはJupyter はインタラクティブにプログラミングやデータ分析を行うための Web アプリケーションです。Python で利用されることが多いですが、数十のプログラミング言語に対応しています。JupyterLab や Visual Studio Code を利用してローカル環境で利用する他、 GCP、 Azure といったクラウド環境上でも動作環境が提供されています。機械学習でよく用いられている Google Colaboratory にも Jupyter が利用されています。 向き合いたい課題当社では経路探索や案内情報の提供の
この記事の言いたいこと マスコミのツイートを検索していつどのようなツイートをしたかを、簡単に集計できるツールを作った。 マスコミツイート横断比較 このツールを作ったのは、マスコミは権力者でありながら、その権力行為（世論へ影響を与える行為）について調査をすることが難しいからだ。 私は次のように考えた。 権力者は、透明化を進め情報を公開すべきだ マスコミは権力者だ マスコミは、透明化を進め情報を公開すべきだ マスコミも権力者として、その権力に見合う情報公開をしたほうが良いのではないかと思っている。 マスコミは政府や議員と同じく権力者である マスコミはよく、政府や議員に対して、「権力者は透明性を高め、情報公開をすべきだ」と言う。それはその通りだ。政府は情報公開を進めるべきだ。何故なら、政府や議員は権力者だからだ。その権力の源泉は法である。 同様にマスコミも権力者だ。権力とは、辞書によると「ある人
機械学習ワークフロー管理ツールであるKubeflowのPipelines機能を使って日本語テキスト分類の実験管理を行います。 この記事ではKubeflowのチュートリアルに従ってKubeflowのクラスタを構築してPipelinesを動かし、最後に日本語のデータセットをKubeflow Pipelinesに実際に乗せて機械学習のワークフロー管理を行うところまでまとめていきます。 Kubeflow Kubeflowとは Pipelinesとは GKEでKubeflowクラスタの構築 クラスタ構築 Workload Identityの設定 Pipelinesの基本的な使い方 Pipeline/Experiment/Run PipelineとComponent PipelineとDSL 実験管理としてのKubeflow Pipelines 日本語テキスト分類 with Pipelines Pip
初心者向けTellus学習コース
初心者向けTellus学習コース 本教材は2020年度に提供した教材のため、Tellusの画面やAPIが現在の仕様と異なっている部分がありますのでご注意ください。 2018年度にリリースした衛星データをクラウド上で分析できる日本発の衛星データプラットフォーム「Tellus」は、2019年度にTellusをより多くの方にご活用いただけるようeラーニング講座を応募者への抽選登録制で提供してまいりましたが、2020年3月から、プログラミングと機械学習の基礎が学習できる「Tellus Trainer」と「初心者向け Tellus 学習コース」の2つのeラーニング講座を公開制限なしで提供することとなりました。 本教材「Tellus初心者向け学習コース」では、Python初心者向け教材となる基礎編と、Pythonで学ぶ実践的な衛星データ解析となる地理空間情報解析編（応用編）に分かれます。 基礎編では、
PythonのウェブフレームワークDashを使って、京都の新型コロナアプリを作成しました。DashはFlask、React、Plotlyを使って作られたフレームワークで、ダッシュボードのようなアプリケーションを短時間で作成できます。またコールバックを使ってアプリケーションをインタラクティブに動作させられます。私のようにデータをこねるのは好きだけど、ReactもVueもいまいちよくわからないという人には、容易にダッシュボードを作れるフレームワークです。 作成したアプリケーションは以下のURLにあります。 PC向け スマホ向け コードはgithubを参照ください。 開発環境は以下の通りです。 Windows10 Pro Python3.7.5 dash 1.9.1 pandas 1.0.0 アプリの機能 アプリは京都府のサイトから取得したデータ（取得方法などは後述）をCSVファイルとして読み込
Pythonでデータ処理をしている際、numpyにはまらないごちゃごちゃした前処理があり、ちょっと遅いんだよなぁ。。。となること、ないでしょうか。 ルーチンになっている解析であれば高速化を頑張る意味がありそうですが、新しい解析を試行錯誤している最中など、わざわざ高速化のためのコードをガリガリ書いていくのは辛いぐらいのフェーズ、ないでしょうか。 こんなとき、私はJuliaを使っています。Juliaは特別な書き方をしなくても高速になる場合が多く、並列処理も簡単にできます。 julialang.org Julia、いいらしいが名前は聞いたことがあるけど使うまでには至ってない、という方がと思います。今まで使っているコードの資産を書き直すのは嫌ですよね。 しかし、JuliaにはPythonの資産を活かしつつ高速にデータ処理がするための道具がそろっています。 今回の記事はPythonとJuliaをいっ
【短期集中連載】〈第4回〉PDFの文字を読み取ってExcelに変換するプログラム実例 『めんどうな作業が秒速で終わる！ Excel×Python自動化の超基本』（宝島社）の著者である伊沢剛さんに、事務作業を劇的に時短化するExcel×Pythonのすごさを解説していただく本連載。 最終回となる第４回は、PDFファイルにある文字を読み取り、Excelに変換するプログラムを紹介！ PDFファイルの内容を加工したいときにとても便利です。 第1回はこちら 第2回はこちら 第3回はこちら PDFの文字もプログラムで読み取れる！ 取引先などから送ってもらったPDFの内容を、自分のところで加工したい……「加工できるデータをください」と言いづらいときや急いでいるとき、どうすればいいものか困ってしまいますよね。 みなさん仕方なく、PDFを目視で手打ちしてWordやExcelに転記しているのではないでしょうか
久しぶりの記事更新です…。 というのも理由がありまして。 この度、『Pythonと実データで遊んで学ぶ データ分析講座』という書籍を発売することになりました！！ Pythonと実データで遊んで学ぶ データ分析講座 作者: 梅津雄一,中野貴広出版社/メーカー: シーアンドアール研究所発売日: 2019/08/10メディア: 単行本（ソフトカバー）この商品を含むブログを見る 発売は、明後日です！（ギリギリの宣伝） 理論と実践、双方をバランスよく解説した一冊です。 これからデータ分析・機械学習といった分野を勉強したい方に、ピッタリの本に仕上がりました。 ぜひ、お盆で実家に帰る前に、購入してくださいませ。（実本でもKindleでも！） ということで、今回は、書籍の紹介をさせていただきます。 本書のターゲット本書は、主に これから機械学習の勉強を始めたい人 「AI」や「人工知能」というワードはよく聞
Python in Visual Studio Code – February 2021 Release - Python
We are pleased to announce that the February 2021 release of the Python Extension for Visual Studio Code is now available. You can download the Python extension from the Marketplace, or install it directly from the extension gallery in Visual Studio Code. If you already have the Python extension installed, you can also get the latest update by restarting Visual Studio Code. You can learn more abou
高校の「情報II」でデータサイエンスがしっかり学べる！すごい！
高校の「情報II」でデータサイエンスがしっかり学べる！すごい！ 2020-06-25-1 [Programming][Python][BookReview] データサイエンティストに俺はなる！！ Python 初学者のタツヲです。 いまどきは高校の授業（情報II）でデータサイエンスをやるのですね。 文部科学省から教員用の資料が公開されてるのを知りました。 「情報II」を取った高校生がどんなことを学んでいるのかを知るために、さっそく調査です！ 高等学校情報科「情報Ⅱ」教員研修用教材(本編)：文部科学省 第3章がデータサイエンスの話題ですので、そこを読みました。 で、読んでみた感想ですが、内容が本格的すぎて震える。 大学のデータサイエンス演習のテキストじゃないのかよ、これ。 流し読みでは一部ついていけないところも（真面目に読む必要あり）。 高校生のうちからこの辺をマスターできれば将来安泰でしょ
データエンジニアの @kazasiki です。 今回はデータ分析やAIなどをやってる人はお世話になってるだろうpandasについての細かい話をします。 pandasは2022/01/04にバージョンが1.4.0になりました。それに伴って色々変わったんですが、この間pandas使って実装してたら以下のwarningが出てきました。 FutureWarning: The frame.append method is deprecated and will be removed from pandas in a future version. Use pandas.concat instead. リリースノート的には以下の部分ですね。 pandas.pydata.org メッセージやドキュメントだけ見れば、appendをconcatに置き換えればいい、という話になりますが、ちょっと違和感を感じて
これまで総務で15年間勤務を続けてきた奥永 龍也さん。キャリアと安定した生活を捨てて、47歳未経験からのキャリアチェンジという前代未聞の挑戦の結果、彼を待ち受けていたものとは…。 47歳総務一筋15年のキャリアを捨てて、データサイエンティストへ（前編） これまで総務で15年間勤務を続けてきた奥永 龍也さん。 キャリアと安定した生活を捨てて、47歳未経験からのキャリアチェンジという前代未聞の挑戦の結果、彼を待ち受けていたものとは…。 努力すれば評価されるという環境で働きたい これまでの経歴を教えてください。 私は今まで、ある法人の総務でずっと働いていました。勤続15年です。結婚して子供も4人おり、安定した生活を送っていました。 プログラミングとは無縁の生活のように思えますが？ そうですね。プログラミングに興味を持ったのは、総務の仕事の中で、自分で公式HPを作成してみたいと思ったことと、業務効
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 R／RStudioでやさしく学ぶプログラミングとデータ分析 掌田津耶乃 データサイエンティストのための特徴量エンジニアリング Soledad Galli(著), 松田晃一(訳) 実践力をアップする Pythonによるアルゴリズムの教科書 クジラ飛行机 スッキリわかるサーブレット＆JSP入門 第4版 国本 大悟(著), 株式会社フレアリンク(監修) 徹底攻略 基本情報技術者教科書 令和6年度 株式会社わくわくスタディワール
Kaggle Expertになったので、イキってポエムを書こうと思いました。 AIに興味あるけどプログラミングすらできないんだよねという人向けの参考になれば幸いです。 1. 初期スペック (2019年2月) 機械工学系修士卒。よくいるメカニカルエンジニア 線形代数も統計も正直そんなに好きじゃない。力学の方が得意。 AI？あれでしょ。将棋超強いやつでしょ？ パイソン？スト２のボクサーみたいなやつ？ 2. 現在のスペック (2019年12月) Kaggle Expert (微妙?) 機械学習コンペでそれなりの成績 (Kaggle Kuzushiji Recognition 7th,Signate tellus 3rd 5th) 機械学習：なんとなくコーディングできる。 深層学習：なんとなくコーディングできる。 関連論文読める。簡単なものは実装できる。 業務適用も見えてきた 3. 機械学習を学ん
握手会が延期になったので「効果検証入門」を読んで Python で (ほぼ) 実装した - 糞糞糞ネット弁慶
効果検証入門〜正しい比較のための因果推論／計量経済学の基礎 作者:安井 翔太発売日: 2019/12/27メディア: Kindle版 ゴールデンウィークの握手会が延期になり気力が完全に尽きてしまい(そもそも2020年のほとんどのイベントが延期または中止になっているわけですが)，同じく握手会が延期になった友人と「アイドルとシロクマのことを考えないでください状態になっていてつらい」「何か没頭できる事は無いの」という話になった結果，「効果検証入門」を読んだ． 「どうせ読むのならば短期集中で」ということで，一日目午後に1章と2章，二日目午前に3章，午後に4章，三日目午前に5章のペースで Zoom で交互に節単位を音読しながら進めた．2020年，30歳を過ぎて音読． 感想 数学力が低い自分でわかった気分になれる，非常に参考になった．明日からでも試したい．随所に「実際のビジネスの現場ではこんな滅茶苦茶
プログラミング言語「Python」と「Pandas」を教えるコースの広告をFacebookで出したら「動物の違法取引」と誤判定されたのか永久BANを食らう事態が発生
人気のプログラミング言語「Python」と、そのデータ分析用ライブラリである「Pandas」の利用法の指導などを行っているルーベン・M・ラーナー氏が、Metaの広告プラットフォームから永久BANされた状態であることを明かしました。Metaは永久BANの理由について具体的には説明せず「広告ポリシー違反」と述べていますが、ラーナー氏は友人らと相談した結果、「Python」と「Pandas」についての広告をMetaが「禁止されている動物取引を行おうとしている」と誤認識した可能性を指摘しています。 I'm banned for life from advertising on Meta. Because I teach Python. — Reuven Lerner https://lerner.co.il/2023/10/19/im-banned-for-life-from-advertisin
はじめに ディープラーニングの勉強を始めて1ヶ月。 基礎的なものは理解できた気がしてきたので、何かできないかと考えてみました。 そしてふと、この競艇の順位予想が思いつきました。 順位予想ができるという確信はありませんでしたが、ボートレースのデータのオープンソースが公開されていることがわかり、これはやってみるしかないと思いました。 参考にしたデータ元と特徴量 ↓データ元のサイトは下記リンクから飛ぶことができます。↓ BOTE RACE OFFICIAL タウンロード・他 選手のデータから勝率まで細かく載っているので学習させるにはちょうどいい情報量だと思います。 今回学習させるデータの種類は以下の通りです。 艇番 年齢 体重 級別 全国勝率 全国２率 当地勝率 当地２率 モーターナンバー モーター勝率 ボートナンバー ボート勝率 とりあえずこの情報量で学習させていきます。 選手番号を使うことも
tl;dr はじめに DuckDB とは DuckDB では何が読めるのか 使ってみる S3 上のJSON を読んでみる リレーショナルデータベース 他ツールではなく DuckDB を使うメリット しくじりポイント （特にリリースされたばかりの）バージョンには気をつける S3 のオブジェクト数が多い場合不都合がありがち スレッドの調整が必要な場合も Redshift には未対応 終わりに 付録 MySQL のデータを読み込む例の MySQL 側の準備 tl;dr DuckDB 便利だよ。分析以外でも使えるよ 色々な場所のデータを閲覧・結合できるよ。標準SQLも使えるよ ただし、細かい落とし穴は色々あるので気をつけてね はじめに2023年4月にデータエンジニアとして入社したmin（@not_rogue）です。暖かくなるにつれ、YouTube で見た南伊豆ロングトレイル | 松崎町に行く機運が
今回テックブログを書くにあたり、以下の記事を参考にしました。 qiita.com こちらの記事では、マクドナルドのメニューを対象に組み合わせ最適化問題を扱っており、内容も非常に面白く読ませて頂きました。 今回、弊社askenでも自社データを使用して食事の組み合わせ最適化問題をやってみたのでご紹介します。 はじめに こんにちは！ askenで機械学習エンジニアとして働いているyumaです。 shoku_panという名前でTwitterをやってます。 さてみなさん、弊社ダイエットアプリ「あすけん」をご存知ですか？ www.asken.jp あすけんでは、その日の食事内容を記録すると栄養士の未来（みき）さんからアドバイスをもらえます。点数も出るので、高得点をとることがモチベーションになっている方もいらっしゃると思います。 もちろん僕も使っています。ちなみに今年のお正月はこのような結果になりました
新卒データサイエンティスト研修「DSOps研修」とは何か? | CyberAgent Developers Blog
1. DSOps研修のイントロ はじめまして，AI事業本部 Dynalystでデータサイエンティストをしている金子です． 最近Twitter上などで，「データサイエンティストとはなんなのか」，「データサイエンティストとはかくあるべき」といった議論を見かけます．最近でも以下のようなBlogや記事で「泥臭い現場で働く実務者としてのデータサイエンティスト」とはどのあるべきか，というような話題が触れられ，twitterなどを中心に話題になっていました． https://qiita.com/He110w0r1d/items/054f988e9a9b01c46572 AI事業本部では，3年ほど前からビジネスへの貢献や課題解決を，「実務者としてのデータサイエンティスト」の大まかな役割として設定し，さまざまな活動を行ってきました．今回の記事では，その中の中心的な活動の１つであるDSOps研修という新卒DS
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
10年後のために今勉強しておきたい技術 - Qiita
Pythonでデータの挙動を見やすくする可視化ツールを作成してみた - Qiita
プログラミング言語 Ruby30 周年記念イベント レポート
時系列データを前処理する際のPython逆引きメモ - EurekaMoments
pdf2txt.py 便利すぎる（PDF表をテキスト化） | ず＠沖縄
Pythonで学ぶ入門計量経済学 — Pythonで学ぶ入門計量経済学
Pythonで長期積立投資シミュレーション - Qiita
Confusing git terminology
【2023年】プログラミング・Pythonの無料おすすめ学習教材13選 - Qiita
「Python実践データ分析100本ノック」を写経してみた - Qiita
【2023年2月】プログラミング言語別単価ランキング！フリーランスエンジニアにおすすめの言語は？
機械学習のパラメータチューニングを「これでもか！」というくらい丁寧に解説 - Qiita
Jupyter で公共交通データを可視化する｜NAVITIME_Tech
マスコミツイート横断比較を作った。マスコミは情報公開を進めよう。 - データをいろいろ見てみる
Kubeflow Pipelinesで日本語テキスト分類の実験管理 - やむやむもやむなし
PythonのウェブフレームワークDashで京都の新型コロナアプリを作成した - Qiita
JuliaとPythonを併用したデータ処理のススメ - MNTSQ Techブログ
面倒な作業が秒速で終わる！PDFの文字を読み取ってExcelに変換する方法｜@DIME アットダイム
『Pythonと実データで遊んで学ぶ データ分析講座』という書籍を執筆しました - Np-Urのデータ分析教室
pandasのappendが1.4でDeprecatedされた件 - techtekt
DIVIC | 【卒業生インタビュー】47歳総務一筋15年のキャリアを捨てて、データサイエンティストへ転職（前編）
プログラミング初心者がKaggle Expertになるまでの１０ヵ月間を振り返る - Qiita
【ディープラーニング】機械学習初心者が競艇１位予想を作れるのか試してみた。 - Qiita
DuckDBでお手軽！データフェデレーション - Techtouch Developers Blog
線形計画法使ってあすけんで100点とってみた - asken テックブログ