プログラミングを学ぼうとしては挫折する。 そんな時代はもう終わりだ。 お姉ちゃんに任せなさい。 ChatGPTでプログラミング 今年のお盆休み、俺はChatGPTでプログラミングをやっていた。とは言っても複雑なことはやっていない。大量のcsvを結合してから可視化するとか、ちょっとしたWebスクレイピングしたりする程度だ。それでも今まで技術や時間の不足により諦めていたことができるのは嬉しい。それにChatGPTを使えば、デバッグも楽しくやれるのだ。こんな感じに。 デバッグの様子 おそらく「あれ、俺のChatGPTと違うな」と思った人もいるに違いない。見ての通り俺はChatGPTをお姉ちゃん化している。こうすることで、モチベーションを維持しながら楽しくプログラミングができるというわけだ。今回はChatGPTをお姉ちゃん化する方法を紹介し、加えてお姉ちゃんとペアプログラミングする意義について述べ
はじめに ポケモンについて何となく知っている人向けの記事です（デジモンは知らなくてOK） ３月ごろにポケモンたかさおじさんが集計したアンケートの分析をお手伝いしたところ、アンケートの自由記述回答の6353件中、155件もデジモンについて言及するコメントがあった。 「デジモンと区別付かないよね」 「もはやポケモンじゃない…。デジモン…。昔のデザインに戻ってほしいなぁ…。。。」 「主観ですが、伝説のポケモンが角張った印象で、デジモンのような印象を受ける。」 「全体的に毛がなさそうなツルッとしたフォルムの子達が増えた気がします。デジモンっぽい」 「デザインがごちゃごちゃしすぎて子供が描くのが難しい デジモンに近くなってきている」 「ダイパまでのデザインがポケモンっぽいデザイン。それ以降はデジモンみたいな雰囲気。」 私は幼少期からポケモンには触れてきたが、デジモンにはあまり縁がなかったため、 デジ
はじめまして。Kyashでデータエンジニアリングを担当しているKyashデータマンです。この記事では、Kyash社内のデータ分析の基礎に関するドキュメントを紹介します。 Kyashでは、データエンジニアリング・ガバナンス・セキュリティなど様々な角度から、公正なデータの取扱いと活用を推進しています。従来は、一部の訓練された技術者がデータ分析を一手に担っていましたが、社内でもデータ活用のニーズも多く、その担当者に分析や集計の業務が集中するという課題がありました。 この課題に対して、データへの適切なアクセス管理を行い、そして適切なBIツールを導入することで、データを取り扱う人が自分でデータ分析・そして活用できるようになることを目指しています。アクセス管理には、個人情報やそれに準ずる機密データに対して、ポリシータグによるアクセス権のコントロール、そしてアクセス権のリネージなどのソリューションの導入
ここでいうおじさんSEとは、主にSIerに生息する、 ・30歳以上で ・モダンな技術を知らない ・レガシーな技術しか知らない ・主に設計書などのドキュメント類を弄っており、コーディングをしない ・現状から変わる気がない（キャリアアップに対し具体的なアクションがない） 人たちを指す。 決して単に妙齢のエンジニアを一括りにしているわけではない。 「おじさんSE」より良い呼び方があれば、ぜひご提案いただきたい。 第1章 おじさんSEの仕事内容 おじさんSEは、コードを書くことはほぼ無い。 これは現場にもよるので、全く無いというわけではないが、 多くのおじさんSEはコーディングはしない。 ではおじさんSEは何をやっているのかというと、 ・内部設計書、外部設計書、詳細設計書の記述 ・結合試験以降の試験項目票の作成 ・試験結果のレビュー 大抵はこの3つになる。 99.9％はウォーターフォール型である。
退屈なことはPythonにやらせよう 第2版
一歩先行くハイパフォーマンスなビジネスパーソンからの圧倒的な支持を獲得し、自作RPA本の草分けとして大ヒットしたベストセラー書の改訂版。劇的な「業務効率化」「コスト削減」「生産性向上」を達成するには、単純な繰り返し作業の自動化は必須です。本書ではWordやExcel、PDF文書の一括処理、Webサイトからのダウンロード、メールやSMSの送受信、画像処理、GUI操作といった日常業務でよく直面する面倒で退屈な作業を、Pythonと豊富なモジュールを使って自動化します。今回の改訂では、GmailやGoogleスプレッドシートの操作、Pythonと各種モジュールの最新版への対応、演習等を増補しています。日本語版では、PyInstallerによるEXEファイルの作成方法を巻末付録として収録しました。 訳者まえがき まえがき 第I部 Pythonプログラミングの基礎 1章 Pythonの基本 1.1
後編 プログラミングを学ぼうと思い立つ行列はVBAなんかじゃ無理っぽいし、なんかプログラミング言語を覚えようと決める。 なんでも、統計やるならRという言語がいいらしい。 最近じゃPythonというのも人気らしい。 とりあえず両方試そうということで、RのためにRとRstudioをインストール。 Pythonはanaconda プログラミングはなんかを製作する目標がないと挫折すると聞いていたので。 深層学習というものが流行ってると聞いて、ちょっと触りを勉強したくなる。 「Excelでわかるディープラーニング超入門」 https://www.amazon.co.jp/Excel%E3%81%A7%E3%82%8F%E3%81%8B%E3%82%8B%E3%83%87%E3%82%A3%E3%83%BC%E3%83%97%E3%83%A9%E3%83%BC%E3%83%8B%E3%83%B3%E3
こんにちは。サービスグループの武田です。このエントリは、2018年から公開しているAWS全サービスまとめの2021年版です。 こんにちは。サービスグループの武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2021年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2020年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 205個 です。 まとめるにあ
こんにちは、次郎花です☆ タイトル長い（笑）...ぱ、パクリなんかじゃないですよっ！ はい。 というわけで、今回はわたくしのお仕事「データアナリスト」についてご紹介したいと思います。データアナリスト／データサイエンティスト（以下、DA/DS）のブームもそろそろバブルがはじける頃かと想像していますが（もうはじけてる？）、いまだに一定数の方が憧れを持って、あるいは異世界転生を狙ってジョブチェンジしようとしているこれらの職業。最近では、実際にDA/DSである方の現場の声なども散見されるようになり、どのような職業なのか実態が少しずつ広まってきたようにも思います。ですので、今さら感はありますが、私もご多分に漏れず知見を共有できたらという思いでこの記事を発信しようと考えました。 次郎花って？まずは、次郎花って誰やねん、というところからですね。わたくし次郎花はとある外資系企業のCEO直轄の経営戦略部門で
なぜシェルスクリプトで高度なデータ管理にSQLiteを使うべきなのか？ ～ UNIX/POSIXコマンドの欠点をSQLで解決する
なぜシェルスクリプトで高度なデータ管理にSQLiteを使うべきなのか？ ～ UNIX/POSIXコマンドの欠点をSQLで解決するShellScriptUNIXSQLitePOSIXQiitadelika 「利用者は数十億人！？ SQLiteはどこが凄いデータベース管理システムなのか調べてみた」の続きです。 はじめに 複雑な構造のデータを扱うのであればシェルスクリプトや Unix (POSIX) コマンドでデータ管理を行うのは避けるべきだと思います。解決不可能な問題が多いからです。しかしそれでも何かしらの理由でやろうと考える（やらなければいけない）のであれば SQLite を使うのをおすすめします。シェルスクリプトや Unix コマンドは行単位の単純なテキストデータをシーケンシャルにデータ処理するのが前提となっており、改行や空白が含まれるデータや複雑な構造のデータ扱うのは苦手です。またシェル
「データ分析をやるならRとPythonのどちらを使うべき？」への個人的な回答 - 渋谷駅前で働くデータサイエンティストのブログ
(Background image by Pixabay) 最近また「データ分析をやるならRとPythonのどちらでやるべきか」という話題が出ていたようです。 言語仕様やその他の使い勝手という点では、大体この記事に書いてあることを参考にすれば良いと思います。その上で、人には当然ながら趣味嗜好がありますので、個々人が好みだと思う方を使えば良い話ではあります。 とは言え、僕自身もクソコードの羅列ながらこのブログにR & Pythonのコードを載せているということもあるので、便乗して今回の記事では僕個人の意見と感想も書いてみようと思います。いつもながらど素人の意見（特にPythonは本業ではない）なのと、自分がメインに使っているRでもtidyverseをほとんど使わないなど割とout-of-dateな使い方をしているということもあり、読んでいておかしなところなどあればどしどしご指摘くださると有難
Kaggleで戦いたい人のためのpandas実戦入門 - ML_BearのKaggleな日常
はじめに 自分は元々pandasが苦手でKaggleコンペ参加時は基本的にBigQuery上のSQLで特徴量を作り、最低限のpandas操作でデータ処理をしていました。 しかし、あるコードコンペティションに参加することになり、pythonで軽快にデータ処理をこなす必要が出てきたので勉強しました。 そこで、当時の勉強メモをもとに「これだけ知っていればKaggleでそこそこ戦えるかな」と思っているpandasの主要機能をまとめました。 注記 実戦入門 のつもりが ほぼ辞書 になってしまいました orz pandasとはなんぞや的な内容は書いていません (import pandasやDataFrameとは何かなど) pandas1.0系でも動くように書いたつもりですが間違ってたらすみません 目次 はじめに 注記 目次 Options DaraFrame 読み書き CSVファイル 読み込み 書き出
こんにちは。サービスグループの武田です。このエントリは、2018年から公開しているAWS全サービスまとめの2022年版です。 こんにちは。サービスグループの武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2022年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2021年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 223個 です。 まとめるにあ
Amazon Web Services ブログ AWSサーバーレスバッチ処理アーキテクチャの構築 この投稿は、AWSソリューションアーキテクトであるReagan RosarioとWWPSソリューションアーキテクトであるMark Curtisによって書かれました。バッチ処理は多くの組織にとって基礎となるもので、大量の情報を効率的に自動化した形で処理することができます。ユースケースとしては、ファイル取り込み処理、キューベースの処理、トランザクションジョブ、さらに重いデータ処理のジョブなど、多岐にわたります。 この記事では、ファイル取り込み処理を実装するためのバッチ処理を、サーバーレスに実現するための方法を説明していきます。今回の例では、オーケストレーションにAWS Step Functions、オンデマンドのコンピューティングにAWS Lambda、データストアにAmazon S3、メールの送
2019-nCoVについてのメモとリンク
リンク集目次 国内外の状況 政府機関・国際機関等 学術情報 疫学論文 分子生物学／ウイルス学論文 臨床論文 インフォデミック関係 ワクチン関係 変異株関係 時系列メモ目次 新型コロナウイルス（2020年1月6日，11日） インペリグループによる患者数推定（2020年1月18日） 患者数急増，西浦さんたちの論文（2020年1月20日，23日） WHOはPHEIC宣言せず（2020年1月23-24日） 絶対リスクと相対リスク（2020年1月26日） 研究ラッシュが起こるかも（2020年1月27日） なぜ新感染症でなく指定感染症なのか？ なぜ厚労省令でなく閣議決定なのか？（2020年1月27日） コロナウイルスに対する個人防御（2020年1月27日） 国内ヒト＝ヒト感染発生（2020年1月28日） フォローアップセンター設置，緊急避難等（2020年1月29日） PHEICの宣言（2020年1月3
知っている人は知っていると思うが、Qiitaではたびたび大量のスパム記事が投稿されている。 深夜24~26時頃に記事一覧を確認してみて欲しい。 スパム記事がわんさか出てくるはず。 登録したてのQiitaユーザは不安よな。1 ———— @dcm_chida 動きます🧐 はじめに これはNTTドコモサービスイノベーション部AdventCalendar2019の1日目の記事です。 我々の部署では日頃から「KDDCUP2」や「論文読み会」に取り組んでおり、若手から中堅社員まで最先端の技術取得に励んでいます。 そうした活動をもっと外部へと発信していこうと始めたのがこのAdventCalendarです。社員一人一人が書いた記事を通して、少しでも多くの方に興味を持って頂ければ幸いです。 さて、僕は4年目社員ですがプログラミング初心者の頃から現在に至るまで、Qiitaにはかなりお世話になりました。 自分
【感想】『りあクト！ Firebaseで始めるサーバーレスReact開発』： #りあクト でmBaaSへ - Rのつく財団入り口
表紙は親密度の上がった笑いあう二人。尊い…(違) 技術同人誌の『りあクト！』３部作と続編も読んだので、5作目を読みました。 今回はこれまでのReact開発の知見を活かし、BaaSあるいはmBaaSの代表格Firebaseにバックエンドをお任せし、世の中に公開していく実際のサービスをサーバーレスで開発していく本となっています。今回もまたまた本文は会話形式で読みやすいです。 表紙は親密度の上がった笑いあう二人。尊い…(違) 第1章 プロジェクトの作成と環境構築 第2章 Seed データ投入スクリプトを作る 第3章 Cloud Functions でバックエンド処理 第4章 Firestore を本気で使いこなす 第5章 React でフロントエンドを構築する 第6章 Firebase Authentication によるユーザー認証 まとめ：Firebaseを使ったサーバーレス開発がわかる本
Microsoft Power Automate DesktopでRPAを実現してみる 🌴 officeの杜 🥥
自分自身の個人的意見としては、エンドユーザコンピューティングは大いに結構だと思ってるけれど、一方で日本でジリジリと熱さが消えつつある国内の有象無象のRPAについては滅んだほうが良いとも思ってる。理由は後述するとして、本日良いニュースが発表されました。Power Automate Desktopについて追加費用無し無償で利用可能になるとのこと。これは既にあるMicrosoft365のEnterpriseプランなどに標準で利用できてるPower Automateのデスクトップ版のようで、Windows10に標準でついてくるようになるとのこと。 ということで、現時点のMicrosoft365で使えてるPower Automate Desktopを使ってみて、どんな感じなのか？またリリース後にその違いなどをここに記述していこうかなと思っています。また、Seleniumベースのウェブ自動化についても
データサイエンス100本ノックが SageMaker Studio Lab からすぐに学べるようになりました | Amazon Web Services
Amazon Web Services ブログ データサイエンス100本ノックが SageMaker Studio Lab からすぐに学べるようになりました 2022 年夏の甲子園は、決勝で満塁ホームランが出る記録的な試合となりました。球児が野球のノックを受けるのなら、エンジニアが受けるノックは何でしょう ? 本記事では「データサイエンス 100 本ノック（構造化データ加工編）」を Amazon SageMaker Studio Lab で簡単に学ぶ方法をご紹介します。データサイエンス 100 本ノックは、データベースのテーブルや CSV ファイルといった表形式のデータから欲しいデータを取り出す方法を学べる教材です。 GitHub で公開されており、 2022 年 8 月時点で 1,800 を超える Star がつけられています。 データサイエンス 100 本ノック（構造化データ加工編）ト
こんにちは！虎の穴ラボのNSSです。 虎の穴ラボではオライリー・ジャパン社の定期購読サービスを利用しており、 毎月新刊をいち早く読めるようになっています。 今回は12/24に刊行された「Pythonによるファイナンス(第２版)」を読んだ感想を共有したいと思います。 www.oreilly.co.jp 読もうと思ったきっかけ 数年前から少しだけ投資をしていたので、タイトルから興味を惹かれました。 Pythonを使って自分の投資ポートフォリオを評価したり、自動取引ができたら楽しそうだと思いました。 目次 目次 日本語版まえがき まえがき 第1部 Pythonとファイナンス 1章 なぜファイナンスにPythonを使うのか 1.1 プログラミング言語Python 1.1.1 Pythonの大まかな歴史 1.1.2 Pythonエコシステム 1.1.3 Pythonのユーザ層 1.1.4 科学スタ
2021年9月27日紙版発売 2021年9月22日電子版発売 上田隆一，山田泰宏，田代勝也，中村壮一，今泉光之，上杉尚史 著 B5変形判／488ページ 定価3,520円（本体3,200円＋税10%） ISBN 978-4-297-12267-6 Gihyo Direct Amazon 楽天ブックス ヨドバシ.com 電子版 Gihyo Digital Publishing Amazon Kindle 楽天kobo honto この本の概要 シェルのワンライナー（その場かぎりの1行プログラム）は，LinuxやMacのコマンドラインインターフェースを立ち上げたら，すぐにプログラムを書いて即実行できます。ちょっとした作業を手っ取り早く片付けるのに向いています。大量のデータ処理，繰り返し処理ほどその効果は絶大です。本書は，そんなシェル・ワンライナーを身につけるためのトレーニング本です。大量の問題を
はじめに 一般の方は耳にしたことがないだろうが、「Numerai（ヌメライ）」というヘッジファンドがある。2016年後半から2017年前半くらいにWiredやForbes等のメディアに取り上げられ、界隈で少し名が知られるようになったヘッジファンドだ。このヘッジファンドはいわゆるクラウドソーシング型ファンドと呼ばれる、不特定多数の人間による株価の予測結果をもとに運用するヘッジファンドである。 筆者も2017年頃、Numeraiに参加したことがある。Numeraiの方式は予測結果に基づいてランキングされるトーナメント方式であり、つまりKaggleのようなものだ。トーナメントは毎週開催され、ランキング上位には暗号通貨で報酬が支払われる。しかし当時のトーナメントは、ランキングの基準が不明瞭であり、その順位変動がとてつもなく激しく（TOP10に入っていたのに翌週は100位以下に落ちる等）、いわゆる運
# 以降はコメントなのでこれは valid な pnm フォーマットです。 拡張子 pgm で保存すれば、Windows の場合は IfranView、macOS の場合は Preview.app で表示できます。 これで BigQuery で画像を出力できることが確認できました。 BigQuery によるレイトレーシング というわけで、BigQueryでレイトレーシングをやってみましょう。 実際のSQLコードは以下のようになります。 -- Vec3のドット積 CREATE TEMPORARY FUNCTION DOT (a STRUCT<x FLOAT64, y FLOAT64, z FLOAT64>, b STRUCT<x FLOAT64, y FLOAT64, z FLOAT64>) AS ( a.x*b.x + a.y*b.y + a.z*b.z ) ; -- 線形結合 aP +
Pythonによるファイナンス 第2版
さまざまな分野で威力を発揮するPythonは、ファイナンスの分野でも重要なテクノロジーとして急成長を遂げています。本書は、Pythonを使った金融工学の初歩的な基本事項からアルゴリズム取引やデリバティブ分析までカバーし、必要なプログラミング、機械学習や深層学習を利用したデータ分析、統計などについて、数理と実用面から詳しく解説します。「データ駆動型アプローチ」と「AIファーストファイナンス」を軸に、これからのファイナンスに必要な戦略と実践力を体得できることを目的とします。 目次 日本語版まえがき まえがき 第1部 Pythonとファイナンス 1章 なぜファイナンスにPythonを使うのか 1.1 プログラミング言語Python 1.1.1 Pythonの大まかな歴史 1.1.2 Pythonエコシステム 1.1.3 Pythonのユーザ層 1.1.4 科学スタック 1.2 ファイナンスにお
機械学習のための「前処理」入門 作者:足立悠リックテレコムAmazon 目的 データ分析の仕事をする中で最も扱う機会が多いのが 時系列データだと思います。その中で欠損値を扱ったり、 統計を取ったり、特徴量を作り出したりするのですが、 毎回やり方を忘れてググっているので、上記の書籍を読んで こういった前処理の方法をいつでも確認できるように メモしておこうと思います。 目次 目的 目次 日時のデータをdatetime型に変換する 最初の日時からの経過時間を計算する 各データの統計量を計算する 欠損値の確認と補完 経過時間の単位を変換する データフレーム結合する 基準日時からの経過時間を計算する 重複した行を削除する 特定のデータ列をインデックスにする 部分的時系列を抽出して統計量を計算する データフレームの各列をリストにして結合する 不均衡データから教師データを作成する データの読み込みと可視
昨夜、元メルカリのメンバー（広報マネージャー、HRマネージャー、エンジニアリングマネージャー、Webエンジニアなどなど）とZoom飲みをやって、とっても楽しかったんですが。 みんなあれですね。ぶっちゃけ、暇してますね。 皆さんもきっと外出自粛の影響で、GWなのに家にいるしかなくて退屈してるんじゃないでしょうか？旅行もダメなら、地元への帰省もダメ、近所に出かけてもお店はどこもやってないという状況ですしね。 ただ、モノは考えようで。こういう時だからこそ、普段なかなか時間をとれずにいた事にチャレンジするのはいかがでしょうか？ 僕のtwiterのフォロワーさんには、エンジニアの方だけでなく「IT系に転職したい」「エンジニアになりたい」「ビジネス職でもプログラミングを理解したい」という方もいると思います。 なので今日は特に、文系サラリーマンで営業職や事務職についている方向けにおすすめのプログラミング
こんにちは。サービス開発室の武田です。このエントリは、2018年から毎年公開しているAWS全サービスまとめの2024年版です。 こんにちは。サービス開発室の武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2024年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2023年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 247個 です。 まとめるにあ
Python関連記事まとめ | note.nkmk.me
環境情報・設定 Pythonのバージョンを確認、表示（sys.versionなど） Pythonが実行されている環境のOSやバージョン情報などを取得 カレントディレクトリを取得、変更（移動） 実行中のファイルの場所（パス）を取得する__file__ 環境変数を取得・追加・上書き・削除（os.environ） 再帰回数の上限を確認・変更（sys.setrecursionlimitなど） コードの書き方・ルール Pythonはインデント（スペース4文字）でブロックを表す 識別子（変数名など）として有効・無効な名前、命名規則 キーワード（予約語）一覧を確認するkeyword 長い文字列を複数行に分けて書く メソッドチェーンを改行して書く pip（パッケージ管理） パッケージ管理システムpipの使い方 pipでrequirements.txtを使ってパッケージ一括インストール pip list /
こんにちは！逆瀬川 ( @gyakuse ) です。 今日は最近作ったもの、書いたもの、勉強したことを備忘録的にまとめていきたいと思います。 なぜ書くのか、なぜ学ぶのか DeepLearningの普及以降、Attention Is All You Need以降、Hugging Faceでの民主化以降、そしてStable DiffusionやChatGPTの登場以降、どんどんAGIへの距離が短くなってきています。未来は想定より大きく変わりそうです。どったんばったん大騒ぎのときはみんなが分かっておくべきことは効率的に共有すべきで、そのために書いています。書くためには論文等を読む必要があります。そしてそのためには基礎からしっかり学ぶことが大事です。次の一歩をみんなで歩んでいくために、学び、書いています。 間違ったことを言うかもしれませんが、それでも誰かのためになれば嬉しいです。あと、個人的にはこ
ゲームコミュニティ事業部のデータエンジニア（β版）の池田です。 この記事は、Tech KAYAC Advent Calendar 2019 の7日目です。 今回もredash周りの話で、Lobiでの分析事例の話をしていきたいと思います。 （本ブログではredashおじさん化していますね。 ） Lobiでの分析環境の概要 ゲームコミュニティ事業部では主要サービスとして Lobi を開発・運営しています。 現在のLobiにおける分析環境は、以下の図のようになっています。 分析環境の図 アプリケーションが行動ログやアクセスログを出力し、それをFluentdやKinesis Data Firehoseを使ってS3バケットへ転送しています。その後@fujiwaraさんのrinを使ってRedshiftにロードしています。この周辺に関しては、ソーシャルゲーム事業部での記事と同様ですので、詳しくはそちらを
S3データレイクをAWSの分析サービスを使って有効活用する #AWS-06 #AWSSummit | DevelopersIO
本記事は、AWS Summit Japan 2021のセッション動画、「AWS-06: 貯めるだけじゃもったいない！AWS 分析サービスを使ったデータレイクの有効活用」のレポート記事です。 「データはとりあえずS3に溜めておけ！」とデータレイクっぽいものは作れたけど上手く使いこなせていない方、それなりにいらっしゃるのではないでしょうか？本セッションでぜひAWSの分析サービスの活用術をおさらいしてみてください。 概要 データの持つ力を活かす方法としてデータレイクがありますが、データレイク上にデータは貯まってきたものの、どう有効活用すればいいか悩んだ経験はないでしょうか？データレイクに存在するデータと分析ツールと組合せ、活用する方法として、“レイクハウスアプローチ”があります。本セッションでは"レイクハウスアプローチ"の考え方を紹介すると共に、どのようなAWSサービスを用いて"レイクハウスアプ
今回は、仕事で使うことを主眼において、PythonとExcelを比較してみよう。結論から言えば、適材適所で用途に応じて使い分けるのがベストだ。とは言え、どのような場合にPythonを使うと良いのか考察してみよう。 Python vs Excel - 五番勝負 第一回戦 - どちらが気軽に使えるか？ 最初に、PythonとExcelで「どちらが気軽に使えるか」を比べてみよう。言うまでもなく、Excelを使う時は、スプレッドシートのセルにデータを入力し、マウスで操作を選んでいくというスタイルだ。これに対して、Pythonはエディタでプログラムを書いて実行するか、Jupyter NotebookやColaboratoryなどの対話実行環境を開いて、プログラムを記述していくというスタイルだ。 ExcelはGUIで操作を行う Pythonはエディタや対話環境を開いてプログラムを記述していく やはり、
はじめに 本記事は 機械学習をどう学んだか by 日経 xTECH ビジネスAI② Advent Calendar 2019 の8日目になります。 これから市場に漕ぎ出していく初学者の方々の参考になれば幸いです。 プログラミング経験 学生時代 (ロボット工学、流体力学) : C/C++; 組み込み、数値流体計算、研究ツール Matlab; 現代制御理論の授業で少々 前職 (ADAS) : C/C++; 組み込み、社内ツール Python; アルゴリズムのプロトタイピングやデータ整理 ※AI関係ではない 現職 (建築・土木の施工管理) : C++; 組み込み Python; 機械学習・Deep Learning JavaScript (Node.js, GoogleAppsScript)・HTML・CSS; 社内ツール Julia; 興味本位で触れてみている C/C++, Matlabは
ここでいうおじさんSEとは、主にSIerに生息する、 ・30歳以上で ・モダンな技術を知らない ・レガシーな技術しか知らない ・主に設計書などのドキュメント類を弄っており、コーディングをしない ・現状から変わる気がない（キャリアアップに対し具体的なアクションがない） 人たちを指す。 決して単に妙齢のエンジニアを一括りにしているわけではない。 「おじさんSE」より良い呼び方があれば、ぜひご提案いただきたい。 第1章 おじさんSEの仕事内容 おじさんSEは、コードを書くことはほぼ無い。 これは現場にもよるので、全く無いというわけではないが、 多くのおじさんSEはコーディングはしない。 ではおじさんSEは何をやっているのかというと、 ・内部設計書、外部設計書、詳細設計書の記述 ・結合試験以降の試験項目票の作成 ・試験結果のレビュー 大抵はこの3つになる。 99.9％はウォーターフォール型である。
PythonのPipelineパッケージ比較：Airflow, Luigi, Gokart, Metaflow, Kedro, PipelineX - Qiita
PythonのPipelineパッケージ比較：Airflow, Luigi, Gokart, Metaflow, Kedro, PipelineXPythonワークフローデータサイエンスPipelineETL この記事では、Open-sourceのPipeline/Workflow開発用PythonパッケージのAirflow, Luigi, Gokart, Metaflow, Kedro, PipelineXを比較します。 この記事では、"Pipeline"、"Workflow"、"DAG"の単語はほぼ同じ意味で使用しています。 要約 👍: 良い 👍👍: より良い 2015年にAirbnb社からリリースされました。 Airflowは、Pythonコード（独立したPythonモジュール）でDAGを定義します。 （オプションとして、非公式の dag-factory 等を使用して、YAML
この記事は ANDPAD Advent Calendar 2022 の 9日目の記事です。 こんにちは柴田です。 Ruby のフルタイムコミッタとして活動を開始した 11/7 から 12/1 までに行った Ruby の開発についてご紹介します。 毎日多くの時間を Ruby に費やす事ができるようになり、最初に手をつけたのはつぎはぎの時間では集中して解決まで持っていく事が難しかった ruby-lang.org の裏側にあるサーバー群のリプレイスです。 今回は複数のサーバーのうち、neon と呼ばれる debian で稼働し続けていたメールサーバーを別の何かしらの SaaS またはクラウド環境へ同等の機能を有したまま移設を行う部分を担当しました。この neon というサーバーは私が Ruby コミッタになった10年ほど前から NaCl の shugo さんが管理する Xen 環境で稼働を続けて
好きなプログラミング言語10選 はてなブログ10周年特別お題「好きな◯◯10選」に答える。 好きなプログラミング言語10選 C# Python Bash JavaScript Markdown TSV Rust Java C C++ MarkdownやTSVはプログラミング言語ではない。マークアップ言語であり構造化テキストだ。 だって10個もないし。 嫌いなプログラミング言語10選 日本語 英語 Python Bash XML HTML CSS SQL Windows系言語（API,VBScript,PowerShell等） Mac系言語（Swift, Objective-C等） Android系言語（Kotlin） プログラミング言語でないのがたくさん混ざっている。日本語や英語は自然言語だし、CSSはスタイルシート言語。 だって10個もないし。あ、11個あった。 好きだけど嫌い 好きだか
はじめに 令和元年の台風19号の被害が凄いことになっていますが、様々な河川の氾濫が報道されています。気候変動の影響があり、今回のような規模の水害は想定できなかったという意見も聞こえてきますが、本当にそうなのかと素人ながら疑問に思っていました。というのも、堤防を作る際に、異常降水を外れ値とみなして削除して計算しているということも耳にしたからです。 そんなわけで、今回は異常値を外れ値とはみなさない極値理論を用いて、今回の氾濫が推定できたのか検証してみました。 ＜やったこと＞ PythonのBeautiful Soupを使ったスクレイピング RのAmeliaを使った多重代入法による時系列分析の欠損値補完 RのismevとextRemesを使った極値理論解析 ＜環境＞ Windows Subsystem for Linux Ubuntu 18.04 Python 3.6 R 3.6.0 極値理論と
オノマトペ（擬音語）から環境音を合成するニューラルネットワーク（Onoma-to-Wave）をPyTorchで実装した - 備忘録
はじめに 事前準備 ソースコード 実装の概要と動かし方 補助的に作成したモジュールの概要 おまけ：訓練済みモデルのリリース 環境音合成実験 音響イベントによる条件付けなし 音響イベントによる条件付けあり 実装の舞台裏とかTIPS おわりに 参考文献 はじめに 下記の雑誌論文が最近出版された。 Yuki Okamoto, Keisuke Imoto, Shinnosuke Takamichi, Ryosuke Yamanishi, Takahiro Fukumori and Yoichi Yamashita, "Onoma-to-wave: Environmental Sound Synthesis from Onomatopoeic Words", APSIPA Transactions on Signal and Information Processing: Vol. 11: No.
初版：2020/3/10 著者：高重 聡一, 伊藤 雅博, 株式会社 日立製作所 はじめに この投稿では、機械学習モデルを組み込んだシステム設計を行う際の、データ前処理の設計ノウハウとデータ前処理の性能検証結果について紹介します。 第2回目は、Pythonを用いたデータ前処理における性能向上ノウハウと検証結果について紹介します。 投稿一覧： 1. 機械学習を利用するシステムのデータ前処理について 2. 機械学習向けデータ前処理の性能検証（数値データ編）（その１）(本投稿) 3. 機械学習向けデータ前処理の性能検証（数値データ編）（その２） 性能検証で参照したベンチマーク（BigBench）について 設計ノウハウや性能検証結果の紹介の前に、検証でリファレンスとして参照したベンチマークについて紹介します。今回は、ビッグデータ分析用のベンチマークプログラムの１つであるBigBenchを使用しまし
データ解析用ライブラリ - Qiita
はじめに 皆さん、データ解析やデータ処理にどのライブラリを使用していますか？ 恐らく、ほとんどの人がpandasを使用していると思います。 今回は、その他のデータ解析用ライブラリやデータ処理ライブラリについて紹介したいと思います(/・ω・)/ Pandas 言わずと知れたデータ解析用ライブラリですね。 データフレームとシリーズという2つの主要なデータ構造が提供されており、データの読み込みやフィルタリングなど、様々なデータ解析/処理に適しています。 中小規模のデータセットに適しており、大規模なデータの処理はメモリ不足や処理速度の問題からあまり向いていません。 Numpy こちらも言わずと知れたライブラリです。 高速な多次元配列の処理とベクトル化演算のためのライブラリであり、配列の生成やブロードキャスティングなどの多彩な操作を提供しています。 線形代数や乱数生成、フーリエ変換などの科学技術計算
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
プログラミングに挫折したならAIお姉ちゃんに任せなさい - 本しゃぶり
最近のポケモンはデジモンっぽいのか、ディープラーニングに聞いてみた - Qiita
ゼロから始める、データ分析と可視化 - Kyash Product Blog
SIerに生息する「おじさんSE」の生態を知る - Qiita
後編 プログラミングを学ぼうと思い立つ 行列はVBAなんかじゃ無理っぽいし、..
【2021年】AWS全サービスまとめ | DevelopersIO
もし外資系企業の女子マネージャーが経営戦略部門の「データアナリスト」を務めたら｜次郎花｜note
【2022年】AWS全サービスまとめ | DevelopersIO
AWSサーバーレスバッチ処理アーキテクチャの構築 | Amazon Web Services
Qiitaのスパム狩りをしたらAutoMLに仕事を奪われた件 - Qiita
Pythonによるファイナンス(第２版)を読んだ感想 - 虎の穴開発室ブログ
1日1問、半年以内に習得 シェル・ワンライナー160本ノック
機械学習による株価予測 はじめようNumerai - Qiita
BigQuery SQL でレイトレーシング - Qiita
時系列データを前処理する際のPython逆引きメモ - EurekaMoments
文系サラリーマンにおすすめのプログラミング入門書6冊 | ユニコーン転職日記
【2024年】AWS全サービスまとめ | DevelopersIO
DeepLearningについて、最近作ったもの、書いたもの、勉強したこと
redash + Google Colabによる分析環境 - KAYAC engineers' blog
ゼロからはじめるPython(53) Python vs Excel 五番勝負 - 仕事で使えるのはどちら？
非IT企業に転職した機械学習素人がAIプロジェクトにアサインされてからの奮闘記 - Qiita
SIerに生息する「おじさんSE」の生態を知る - Qiita
Ruby のフルタイムコミッタとして最初の1ヶ月でやったこと - ANDPAD Tech Blog
好きなプログラミング言語10選 - やってみる
極値理論を使って多摩川の氾濫は推測できたのか検証してみる - Qiita
機械学習向けデータ前処理の性能検証（数値データ編）（その１） - Qiita