複数の企業でデータエンジニアとして求められたスキル - yasuhisa's blog
最近「ああ、これ前職でも前々職でもやったことあるなぁ」という仕事があった。データエンジニア(やその関連職種)として働き始めて約5年、3社でフルタイムとして働いてきて「このスキルは業界や組織規模が変わってもデータエンジニアとしてスキルを求められることが多いな」と感じたものをまとめてみることにした。棚卸し的な意味はあるが、特に転職用などではないです。 前提 どこでも必要とされたスキル データマネジメントに関する概要レベルの知識と実行力 セキュリティや法令に関する知識 事業ドメインに関する興味関心 他職種とのコミュニケーション能力 コスト管理 / コスト削減のスキル ソフトウェアエンジニアとしてのスキル DataOpsやアラートのハンドリング能力 分析用のSQLを書く力 古いテーブルやデータパイプラインを置き換えていくスキルや胆力 あるとやりやすいスキル 関連部署の動きを何となく把握しておく力
ChatGPT活用を激震させる新機能｢Code Interpreter｣にNetflixをデータ解析させたらスゴかった
コード・インタープリターはChatGPTの有料版｢ChatGPT Plus｣で、GPT-4の付加機能として呼び出せる。 画像：筆者によるスクリーンショット ChatGPTの有料版である｢ChatGPT Plus｣（月額20ドル）には、7月初めから｢Code Interpreter（コード・インタープリター）｣という機能が追加された。 この機能が画期的だとして、一時ネットでは大いに話題になった。これまでは面倒だった｢データ集計｣などを、チャットの命令だけで実行できるからだ。 データ集計は、Excelなどの表計算ソフトやPythonなどのデータ処理に強いプログラミング言語で処理することが多い。 しかしコード・インタープリターでは、それらを使う必要はほとんどなく、データさえ用意できればいい。さまざまな手間がほぼゼロになり、ChatGPT任せにできる。 そうはいってもピンと来ない人も多いはず。そこ
データサイエンティストによる統計入門 ― k平均法でデータをクラスタリングしてみよう！｜ハイクラス転職・求人情報サイト AMBI（アンビ）
データサイエンティストによる統計入門 ― k平均法でデータをクラスタリングしてみよう！ ビッグデータ、データサイエンス、人工知能など、統計学を主軸においた分野が隆盛ですが、統計学には高いハードルを感じる方も少なくないでしょう。k平均法を実際に手を動かしながら理解することで、データ分析を身近に感じることができます。 はじめまして、藤井健人（@studies）と申します。イタンジ株式会社でデータ基盤周りの運用を担当しています。 「ビッグデータ」「データサイエンス」「人工知能」といったバズワードに代表されるように、統計学を主軸においた分野の隆盛が日常となって久しいです。 しかし「統計学は学問的な要素があり難しい」という印象を持たれやすく、「実務に活かすのはハードルが高い、怖い」と感じる方も少なくないのではないでしょうか。 そういった方を対象に、今回は統計学の手法の一つであるk平均法を学んでいただ
pythonでのデータ分析時、死ぬほど調べるTipsをまとめておく。 - プロクラシスト
こんにちは、ほけきよです。 pythonでデータを取り扱っているとき「あれ、これどうやるんだっけ？？」 ってなること、ありませんか？僕は10分に1回程度なります。 いや、覚えろと自分でも思うんですが、覚えられないんですよね。100回くらい同じコマンドを調べてたりする。 物覚えが良くないので、ココを見れば絶対大丈夫なようにしておこうと思い、まとめてみました。 jupyterで最初に開くときに読み込むモジュールたち datetime 日付⇔文字列の変換 datetimeの足し算引き算 json dict型⇔json jsonファイルの入出力 datetimeをjsonにする時、エラーが出る pandas ～以外を表すやつ andとor inf弾く リストをdfにサクッと変換 datetimeとして読み込み 読み込み時にcodecのエラーが出る DataFrameのfor文 numpy lins
「開発の丸投げやめて」 疲弊するAIベンダーの静かな怒りと、依頼主に“最低限”望むこと (1/5) - ITmedia NEWS
「開発の丸投げやめて」 疲弊するAIベンダーの静かな怒りと、依頼主に“最低限”望むこと：これからのAIの話をしよう（覆面AIベンダー編）（1/5 ページ） AI（人工知能）開発を丸投げするクライアントの「いきなり！AI」に苦悩するAIベンダー。データサイエンティストのマスクド・アナライズさんに、AI開発現場の実態と、依頼主に最低限望むことを聞いた。 「AI（人工知能）は触ったことないし、プログラムも書けません。でも社長が“AIをやれ”って言うので何とかしてください」――こんな困ったオジサンたちを、ユーモアたっぷりの愛と皮肉で表現する人物をご存じでしょうか。 その名は「マスクド・アナライズ」さん。正体は一切不明でソーシャル上のアイコンは覆面マスクと、一見イロモノ系アカウントに見えますが、Twitterでの発言は多くの人たちから「あるある」「共感する」と絶賛され、ときには何千回、何万回とRTや
ユーザの平均継続期間が「1/解約率」で求められることの数学的証明 - it's an endless world.
グロース分野においてユーザがそのサービスを平均でどのくらいの期間使ってくれるか？という数値は重要な値です。 例えば、広告の費用対効果を見るためにも計算するLTV(Life Time Value)。 LTVはユーザを1人獲得することで平均でどのくらいの売上に繋がるかという値ですので、平均継続期間×ARPUという算出方法になります。 ここで、ARPU(Average Ravenue Per User)のほうの計算は簡単です。 1ユーザあたりの売上を表す数字ですので一定期間の売上/ユーザ数、以上です。 しかし、ユーザの平均継続期間はどのように計算するべきでしょうか？ 離脱したユーザのデータを基に算出しようとしても、それはあくまでも「離脱したユーザ」の平均値となり全体の平均とは異なる明らかに誤ったサンプルから得られた結果となってしまいます。 そしてもちろん、多くのユーザはまだそのサービスを使ってい
Homepage
2023年11月28-29日に開催した「Salesforce World Tour Tokyo 2023」。初日の基調講演には、6年ぶりに会場を訪れた会長兼CEOのマーク・ベニオフが登壇した。 生成AIでビジネスが大きく変わろうとしている今、何を語ったのか。基調講演の主な内容をレポートするとともに、立教大学ビジネススクールの田中道昭教授にこのセッションを分析してもらった。
ポケモンGOの人気、早くも低下傾向に
「Pokemon GO」の利用はピークを過ぎ、すでに減少傾向にあるという。投資顧問会社のAxiom Capital Managementが調査結果を報告した。 Sensor Tower、SurveyMonkey、Apptopiaが収集したデータを、AxiomがBloombergに提供した。このデータによると、デイリーアクティブユーザー数、ダウンロード数、エンゲージメント率、1日あたりのアプリ利用時間は、わずか1カ月前のピーク時を下回り、低下傾向を示しているという。これはFacebook、Twitter、Tinder、Snapchatなどの投資家や幹部にとって歓迎すべきニュースだと、Axiomでシニアアナリストを務めるVictor Anthony氏は述べている。 Anthony氏は、Bloombergが引用した投資家向けメモの中で次のように書いた。「7月のリリース以降、Pokemon GOア
100億件を4時間半で分析 NTTデータらビッグデータで革新技術
NTTデータとNTTデータ数理システムは2015年4月27日、1億件を超える大量のデータ分析ができる「In-Database Analytics技術」（図）を共同で開発したと発表した。検証では100億件のデータをサーバー1台で約4時間半で分析でき、従来製品の1000倍以上の件数を処理できたという。NTTデータは15年度中に同技術を用いたサービスを商用化し、2020年度までに100億円の売り上げを目指す。 業務データを高速に分析する「データウエアハウス（DWH）」では扱うデータ量や分析処理の速度に限界があったが、今回両社が共同でこの問題を解決する技術を開発。DWHとデータ分析ソフトの役割分担を見直し、DWH内部でデータを分析できるようにした。 DWH用のデータベースサーバーソフト「SAP IQ」（旧Sybase IQ、関連記事）に同技術を実装。分析はSQL（データベース言語の一種）を使ってい
アポロ計画でも使われた巨大ロケット「サターンV」のフライトマニュアル公開
By NASA's Marshall Space Flight Center 1967年から1973年にかけてアポロ計画やスカイラブ計画で使用された使い捨ての多段式ロケット「SATURN V(サターン5)」のフライトマニュアルが公開されています。 SATURN V FLIGHT MANUAL SA 507.pdf (PDFファイル)http://history.nasa.gov/ap12fj/pdf/a12_sa507-flightmanual.pdf 公開されているフライトマニュアルは、シリアルナンバー「SA-507」のモデルでアポロ12号として月面探査に使われたサターン5のもの。 アポロ12号が月に向けて発射されたのは1969年11月14日で、公開されているPDFファイルには発射時のデータも収録されており、これらのデータはその後のロケット開発に活用されたとのこと。 サターン5は多段式の
統計屋のためのAWK入門 - あんちべ！
はじめに 本稿はAWKという言語を用いて、 ごく簡単にデータ分析用の前処理*1をするための解説記事です。 AWKは短いコマンドを記述するだけで多様なデータ処理を可能にします。 特にデータの抽出に関して恐るべき簡易さを提供します。 具体的には、input.txtというファイルの中から "fail"という文字列を含む行を抽出したければ次のように書くだけです。 awk /fail/ input.txt つまり、スラッシュ記号で文字列を指定するだけで その文字列を含む行を抽出できるのです。 大変簡単ですね！ また、awkはLinuxやMacには標準で入っており、 Windowsでもawk.exeを一つ用意するだけなので、 面倒なインストール作業や環境構築は不要で誰でも即座に使えるため、 自分で書いた処理を他人に渡したり*2各サーバに仕込むなども簡単に出来ます。 複雑な処理をする場合はPythonや
約2600年間かけて文化や知識が世界中に広まっていった様子を可視化するとこうなる
Googleが公開しているデータベース「Freebase」にはさまざまなデータが保存されており、誰でも無料で閲覧できます。そのFreebaseに登録されている歴史上の人物や社会に功績を残した人たちの「生まれた場所」と「亡くなった場所」のデータを解析し、どのようにして人が文化や知識を世界に広めていったのか、世界地図上で可視化したアニメーションが「Charting culture」です。 Humanity's cultural history captured in 5-minute film : Nature News & Comment http://www.nature.com/news/humanity-s-cultural-history-captured-in-5-minute-film-1.15650#/b1 Charting culture - YouTube イタリアのルネサ
無料でJPG、PNG、GIF、SVG画像を圧縮して小さくしてくれる「Compressor」
アカウント登録不要・無料で利用でき、手元にある画像ファイルをブラウザでアップロードするだけで瞬時にファイルサイズを小さくしてくれるサービスが「Compressor.io」です。 Compressor.io - optimize and compress your images and photos http://compressor.io/ ページを表示させるとまず目に飛び込んでくるのがこのカメレオンの画像。画像の上には白いバーが表示されており、マウスで左右に動かすことで圧縮前と後での画質変化を確認することができます。 画像の下には、圧縮前後のデータ容量の変化と圧縮率が表示されています。 このサイトで対応しているのはJPEG、PNG、GIF、SVGの4形式。圧縮時には、元の画質をキープできる可逆圧縮と、圧縮率重視の非可逆圧縮を選択することが可能となっています。 使い方の説明はこれだけ。あと
第4回 システム部門から見たデータ解析・活用の課題と解決方法
第4回では、システム部門から見た近年のデジタルマーケティング環境と、そのデータを解析・活用するための課題を整理し、解決手法の1つであるGoogle アナリティクスプレミアムとBig Queryの組み合わせを紹介する。 デジタルマーケティングデータ活用の「広がり・深まり」 近年のデジタルマーケティング関連技術の成熟化・複雑化にともない、デジタルマーケティング施策は、マーケティングチームやWebサイト担当チームだけで実施するのではなく、情報システム部門と十分に連携し、データを解析・活用することが必要であると、本連載第1回～第3回で解説した。 そこで今回は、システム部門として今後のデジタルマーケティングをデータ解析・活用の面から支援するとき、何が課題なのかを検討したい。 まずは、システム部門の視点から近年のデジタルマーケティング環境を振り返り、そのデータを解析・活用することを考えてみたい。 近年
非同期処理の基礎
MPAなWebフレームワーク、Astroの紹介 (その1) 2024/05/17の勉強会で発表されたものです。
SankeiBiz（サンケイビズ）：自分を磨く経済情報サイト
サービス終了のお知らせ SankeiBizは、2022年12月26日をもちましてサービスを終了させていただきました。長らくのご愛読、誠にありがとうございました。 産経デジタルがお送りする経済ニュースは「iza! 経済ニュース」でお楽しみください。 このページは5秒後に「iza!経済ニュース」（https://www.iza.ne.jp/economy/）に転送されます。 ページが切り替わらない場合は以下のボタンから「iza! 経済ニュース」へ移動をお願いします。 iza! 経済ニュースへ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
経済学書:「２１世紀の資本」８日邦訳発売 欧米で論争 - 毎日新聞