データサイエンス職の面接で見極めるべき4つの危険なシグナル - Qiita
データ関連の仕事のオファーをもらい、いざ新しい会社で仕事し始めたところ、期待していたものと現実の間に大きなギャップがあり失望してしまうということはよくあります。そこで、どういったことがよく問題になるか、それらを事前に明らかにするために就活インタビューの際にどういったことを質問すべきかをまとめた記事があったので、こちらに要訳として紹介します。 Red Flags to Look Out for When Joining a Data Team 以下、要訳。 1. データがない 入社したら、そもそも分析対象となるデータがまったくなかったり、または整理されていなかったりアクセスできなかったりするというのはよくあります。 これは、まだ顧客があまりいないスタートアップやデータを自社で管理していない企業などにありがちです。 どんなデータを収集しているのですか？またはあなたのシステムから取り出しているの
業務知識すら知らないとデータ分析をやれないでしょう【連載-3】 - Qiita
前はECサイトの訪問数とコンバージョン率の分析を解説しました。 ↓↓↓ 業務知識すら知らないとデータ分析をやれないでしょう【連載-1】 業務知識すら知らないとデータ分析をやれないでしょう【連載-2】 顧客の購買プロセスにおいて、訪問、購入の次のステップは継続訪問ですが、今回は継続訪問に直結したAU（アクティブユーザ－）とリテンション率のデータ分析を行います。 AUとリテンション率 訪問数とコンバージョン率を知ってるが、AUとリテンション率にあまり詳しくない方がと思うので、まずこの二つの意味を説明します。 AU（アクティブユーザー）：アプリ、SNS、ECサイトなどにおいて、ある期間内に1回以上ログインしたり、利用したりするユーザーのこと。「DAU」は1日あたりのアクティブユーザー、「WAU」は週間アクティブユーザー（Weekly Active User）、「MAU」は月間アクティブユーザー（
Pythonで大量データ処理！�PySparkを用いたデータ処理と分析のきほん
PyConJP2017の資料 Python Spark PySpark PyConJP 2017 Apache Spark
Pandasを使ったデータ操作の基本 - ぴよぴよ.py
データ分析の会社に転職してから3ヶ月。 最初の1ヶ月はPandasの扱いに本当に困ったので、 昔メモしてたことを簡単にブログに記録しておく(o ･ω･)ﾉ 【追記】2017/07/31 0:36 データが一部間違ってたので修正しました Pandasとは pandasでよく使う型 テストデータについて 余談 Pandasでのデータ操作入門 pandasのload データ(csv)のロード データのサイズ データのカラム 行列から必要な列(カラム)を取り出す 条件にマッチするデータを取り出す 1. DataFrame.queryで取り出す True/FalseのSeries型を指定し、Trueの行だけを取り出す 追記(2017/12/14) 行列から必要な行番号を指定してを取り出す グループ分けと集計 新たな列を追加する 固有値を追加する 他の列を加工して新たな列を作る 他の複数列を加工して新
データの前処理① Imputerとdropnaで欠損値の処理 - Qiita
Sklearnでのデータ前処理① 欠損値の処理 データの前処理とは 実際の業務などで使うデータで完璧に整備されているものはとても少なく、空欄があったり（欠損値）、異常値があったりと分析をする際に障害となってしまうものが含まれているのがほとんどです。よって、データ分析をする上でデータの前処理はとても大切な役割を果たします。むしろ、前処理がないと機械学習モデルに当てはめることができないのでなにも始まりません。また、この前処理のできの良し悪しによって、結果も違ってくるという意味でも重要な要素と言えます。 こちらがpreprocessingのライブラリがリストにされてる公式ドキュメントです。 Preprocessingの種類 Data cleaning Data integration Data transformation Data reduction 今回やるのは、このData cleanin
自然言語処理における前処理の種類とその威力 - Qiita
自然言語処理に前処理は不可欠です。テキストは文字の羅列であり構造化されていないため、そのままでは処理するのが難しいです。特にWebテキストの中には HTMLタグ や JavaScript のコードといったノイズが含まれています。このようなノイズは前処理して取り除かなければ期待する結果は得られないでしょう。 出典: Deep learning for computational biology 本記事では自然言語処理における前処理の種類とその威力について説明します。説明順序としては、はじめに前処理の種類を説明します。各前処理については、1.どんな処理なのか、2.なぜその処理をするのか、3.実装方法(なるべく) という観点から説明します。種類について説明した後、前処理の威力を測るために前処理をした場合としなかった場合での文書分類の結果を比較します。 前処理の種類と実装 この節では以下に示す5つ
Gunosyデータ分析ブログ
2024-05-27 GPT から Claude 3 への移行ガイド LLMs 自然言語処理 こんにちは。Gunosy R&D チームの森田です。 GPT-4o が発表されたこのタイミングで！？という向きもあるかとおもいますが、LLMの世界は一ヶ月もすればまったく違う状況になっているのが常なので、いずれは GPT-4o を超えるモデルが発表される時も来るでしょ… 2024-04-05 NLP2024 参加報告 自然言語処理 LLMs 学会 論文 こんにちは、データサイエンス部の大竹、R&D チームの森田、久保、新規事業開発室の鈴木、岡田です。 今回の記事は 3/11 ~ 3/15 の 5 日間にわたって開催された言語処理学会第 30 回年次大会 (NLP2024) の参加レポートになります。 NLP2024 について 企業ブ… 2023-12-19 dbt seed で csv ファイルの
機械学習をやると、AIより人間の方が詳しくなる現象 - bohemia日記
こんにちは。ぼへみあです。 機械学習がすっかりブームになって、仕事や趣味でディープラーニングを使ったことがある人が増えていると思います。 特に画像分野でディープラーニングは成果を上げているので、特定のものを判別・識別するといった事例が多いかと思います。 そうした画像系のディープラーニング経験者なら経験する現象があります。 それは、 「その分野について、作ったAIよりも自分が詳しくなる」 という現象です。 おそ松さん見分けの第一人者になってしまった 以前取り組んだおそ松さんの6つ子をディープラーニングで見分けるネタでは、学習用データセットの作成のために、自力で5000枚以上のおそ松さんたちを見分ける作業を行いました。その結果、アニメを見ても、これは何松だ、と判断できるようになってしまいました。当時はおそ松さんを見分ける能力は誰にも負けない自信がありました。 なぜか学会でおそ松さんの話をする機
フルマラソンは 30 キロからが難しいということを Python + Pandas と Excel で理解する（京都マラソン 2017 の結果を利用して） - ようへいの日々精進XP
フルマラソンは 30 キロからが難しい 解析結果 5KM ラップタイムの遷移で見る 3 時間を切る人と切れない人 平均 上位 10 人 ギリギリサブスリーの 10 人 サブスリーまでもうひと頑張りの 10 人 見解 フルマラソンは 30 キロからが難しい 最初の 5 キロ 10 キロ 15 キロ 20 キロ 25 キロ 30 キロ 35 キロ 40 キロ 後半 15 キロのラップタイムの落ち込み 見解 5000 人分の結果を csv ファイルに 結果の取得 Pandas ライブラリ 5000 人分の結果を csv ファイルに ということで サブスリーに向けて Python + Pandas フルマラソンは 30 キロからが難しい と言われていますが、本当なのか、そして、俺は何がダメで 3 時間を切れなかったかをランナーズアップデートで公開されている選手 5000 人の結果を利用して分析して
BigData-JAWS 勉強会#5 (2017/02/01 18:30〜)
注意 現在X(旧Twitter)でのソーシャルログインができない事象を確認しています。事前にX(旧Twitter)側で再ログインした上でconnpassのソーシャルログインを行うか、 「ユーザー名(またはメールアドレス)」と「パスワード」の組み合わせでのログインをお試しください。合わせてFAQもご確認ください。 お知らせ 2024年9月1日よりconnpassサービスサイトへのスクレイピングを禁止とし、利用規約に禁止事項として明記します。 9月1日以降のconnpassの情報取得につきましては イベントサーチAPI の利用をご検討ください。 お知らせ connpassではさらなる価値のあるデータを提供するため、イベントサーチAPIの提供方法の見直しを決定しました。2024年5月23日(木)より 「企業・法人」「コミュニティ及び個人」向けの2プランを提供開始いたします。ご利用にあたっては利用
銀座カラー大阪梅田茶屋町店【公式にはサイトにない】とっておきの情報・キャンペーン・料金・口コミ・効果を徹底調査｜
初回カウンセリング時に全6回分の予約が可能！ ⇒予約が取れないという心配がなく≪8か月≫で卒業可能。もちろん予約後の変更で、当日キャンセルも無料。 6回完了後も1年間無料でメンテナンスが可能！ （施術は2か月に1回のペースとなります。）
サイバーエージェントにおけるデータの品質管理について #cwt2016
第45回Elasticsearch勉強会のLTスライドです。 BERTモデルをElasticsearch v8.0.0-beta1 にインポートして利用します。
クラスタ分析を駆使して、メルカリのユーザのことをもっとよく知ろう！ | mercan (メルカン)
BIチームのデータサイエンティスト @hikaru です。 以前 @hasebeが社内のKPIの分析に関する話を書きました。 mercan.mercari.com 今回は、また少し違う切り口で、社内で行っている研究的な分析のひとつをご紹介したいと思います。 メルカリのユーザをもっと理解しよう 日本の「メルカリ」ではユーザに簡単かつあんしん・あんぜんに使っていただくために、登録時に年齢や性別などのユーザ情報をいただいていません。 about.mercari.com よってメルカリのユーザを理解しようとするときに、そういったデモグラフィックなどの直接的な情報を使って分析することはできません。 しかし、メルカリの持っているデータベースにはユーザの行動や特徴を知る上でヒントとなる様々なデータが溜まっています。分析の発想と機械学習などの手法を活かせばそういった登録情報に頼らなくても、ユーザのことを深
PythonでPandasのPlot機能を使えばデータ加工からグラフ作成までマジでシームレス - Qiita
Pandasのグラフ描画機能 この記事ではPandasのPlot機能について扱います。 Pandasはデータの加工・集計のためのツールとしてその有用性が広く知られていますが、同時に優れた可視化機能を備えているということは、意外にあまり知られていません。 この機能は Pandas.DataFrame.plot() もしくは Pandas Plot と呼ばれるものです。 Pandas Plotを使いこなすことが出来るようになれば、 データの読み込み、保持 データの加工 データの集計 データの可視化 というデータ分析の一連のプロセスを全てPandasで完結させることが出来る、つまり分析の「揺りかごから墓場まで」を実現することが出来ます。 Pandasのプロット以外の機能について この記事ではPandasのデータハンドリングなどに関わる機能は説明しません。 そちらにも興味がある方は下記の記事などを
Pythonでデータ分析するのに必要なツールのまとめ - Qiita
この記事について Pythonでデータ分析を行う際に役立つセットアップを紹介します。 データ分析に興味がある方はこちらも合わせてどうぞ データサイエンティストに興味があるならまずこの辺りを見ておきな、って文献・動画のまとめ（随時追加） - Qiita 実行環境 Jupyter(旧iPython Notebook) http://jupyter.org/ インタラクティブ（対話的）なコード実行のための環境 データ分析に非常に適していて、慣れると他のIDEなどでは分析ができなくなる。 任意に分けたコードブロックごとに実行し、結果を都度表示出来るほか、 ・グラフのインライン表示 ・数式の記述（Latex） ・マークダウン方式の文章記載 などの機能を備えており、模索しながらの分析作業や、結果の共有・保管などに非常に適する。 iPythonで文章と図表を描くことで論文のような形式で書くことも出来るた
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Strava Labs
カラムナフォーマットのきほん
Microsoft Learn の Power BI
mailmaga6
県別データの可視化 - Qiita
