プログラミングを学ぼうとしては挫折する。 そんな時代はもう終わりだ。 お姉ちゃんに任せなさい。 ChatGPTでプログラミング 今年のお盆休み、俺はChatGPTでプログラミングをやっていた。とは言っても複雑なことはやっていない。大量のcsvを結合してから可視化するとか、ちょっとしたWebスクレイピングしたりする程度だ。それでも今まで技術や時間の不足により諦めていたことができるのは嬉しい。それにChatGPTを使えば、デバッグも楽しくやれるのだ。こんな感じに。 デバッグの様子 おそらく「あれ、俺のChatGPTと違うな」と思った人もいるに違いない。見ての通り俺はChatGPTをお姉ちゃん化している。こうすることで、モチベーションを維持しながら楽しくプログラミングができるというわけだ。今回はChatGPTをお姉ちゃん化する方法を紹介し、加えてお姉ちゃんとペアプログラミングする意義について述べ
こんにちは。サービス開発室の武田です。このエントリは、2018年から毎年公開しているAWS全サービスまとめの2024年版です。 こんにちは。サービス開発室の武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2024年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2023年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 247個 です。 まとめるにあ
データ解析用ライブラリ - Qiita
はじめに 皆さん、データ解析やデータ処理にどのライブラリを使用していますか？ 恐らく、ほとんどの人がpandasを使用していると思います。 今回は、その他のデータ解析用ライブラリやデータ処理ライブラリについて紹介したいと思います(/・ω・)/ Pandas 言わずと知れたデータ解析用ライブラリですね。 データフレームとシリーズという2つの主要なデータ構造が提供されており、データの読み込みやフィルタリングなど、様々なデータ解析/処理に適しています。 中小規模のデータセットに適しており、大規模なデータの処理はメモリ不足や処理速度の問題からあまり向いていません。 Numpy こちらも言わずと知れたライブラリです。 高速な多次元配列の処理とベクトル化演算のためのライブラリであり、配列の生成やブロードキャスティングなどの多彩な操作を提供しています。 線形代数や乱数生成、フーリエ変換などの科学技術計算
米Microsoftは10月20日（現地時間）、自動データ変換の設定を改善し、日付のように見える値を日付に自動変換する機能を無効にできるようにしたと発表した。 自動データ変換機能は、入力データをExcelが適切だと判断した表記に変換する（本来は便利な）機能。CSVファイルで大きなデータを読み込み、製品番号の頭の0が消えていたりすることで問題になるケースなどがあった。 今回の改善で、自動データ変換してほしくない値の変換を無効にできるようになった。無効を選択できるのは、以下の4種類。 先頭のゼロを削除して数値に変換する ロング数値の最初の15桁を保持し、科学的記数法で表示する 文字「E」を囲む数字を科学的記数法に基づく数値に変換する 連続する文字と数字を日付に変換する また、CSVファイルまたは同様のファイルを読み込む際に自動データ変換があれば通知するオプションも追加された。 設定は、［ファイ
ディメンショナルモデリングに入門しよう！Snowflakeとdbt Cloudで「Building a Kimball dimensional model with dbt」をやってみた | DevelopersIO
ディメンショナルモデリングに入門しよう！Snowflakeとdbt Cloudで「Building a Kimball dimensional model with dbt」をやってみた さがらです。 ここ２年ほどの間にdbtが日本でも急速に拡大し、様々な情報が日本語の記事でも見かけられるようになってきました。 dbtを採用してある程度活用を進めていくと、「より効率よくガバナンスを持ってデータを管理するにはどうすればいいんだろうか」といったデータの管理方法に悩む場面が出てくると思います。 そんなときに色々調べていくと、データを効率よく管理する手法として「データモデリング」が必要だとわかり、ディメンショナルモデリングやData Vaultなどの手法に行き着くのではないでしょうか。 そしてこれらのデータモデリングの手法の内、ディメンショナルモデリングについてdbtを用いて実践された記事がありま
【機械学習】機械学習を用いたin silico screening【AI創薬】~第1章 公共データベース（ChMBL)からの機械学習の学習データを収集~ - LabCode
AI創薬とは？ AI創薬は、人工知能（AI）技術を利用して新しい薬物を発見、開発するプロセスです。AIは大量のデータを高速に処理し、薬物の候補を予測したり、薬物相互作用を評価したりします。また、AIは薬物の効果や安全性をシミュレートすることも可能で、臨床試験の前の段階でリスクを評価することができます。これにより、薬物開発のコストと時間を大幅に削減することが期待されています。AI創薬は、薬物開発の新しいパラダイムとして注目を集め、製薬企業や研究機関で積極的に研究、導入が進められています。また、バイオインフォマティクス、ケモインフォマティクス、機械学習、ディープラーニングなどの技術が組み合わされ、薬物開発のプロセスを革新しています。さらに、AI創薬は個人化医療の推進にも寄与し、患者にとって最適な治療法を提供する可能性を秘めています。 今回はAI創薬の中でも、in silico screeeni
【機械学習】機械学習を用いたin silico screening【AI創薬】~第4/5 章 予測モデルの作成~ - LabCode
AI創薬とは？ AI創薬は、人工知能（AI）技術を利用して新しい薬物を発見、開発するプロセスです。AIは大量のデータを高速に処理し、薬物の候補を予測したり、薬物相互作用を評価したりします。また、AIは薬物の効果や安全性をシミュレートすることも可能で、臨床試験の前の段階でリスクを評価することができます。これにより、薬物開発のコストと時間を大幅に削減することが期待されています。AI創薬は、薬物開発の新しいパラダイムとして注目を集め、製薬企業や研究機関で積極的に研究、導入が進められています。また、バイオインフォマティクス、ケモインフォマティクス、機械学習、ディープラーニングなどの技術が組み合わされ、薬物開発のプロセスを革新しています。さらに、AI創薬は個人化医療の推進にも寄与し、患者にとって最適な治療法を提供する可能性を秘めています。 今回はAI創薬の中でも、in silico screeeni
クラスメソッド データアナリティクス通信(AWSデータ分析編) – 2023年7~9月合併号 | DevelopersIO
データアナリティクス事業本部 コンサルティングチームの石川です。コンサルティングチームメンバーを中心に、日々AWSのアナリティクス関連サービスのアップデートとそのブログを追っています。 先月、先々月は業務多忙のため、合併号とさせていただきます。（ゴメンナサイ m(_ _)m） Amazon Redshiftは、Redshift Serverlessのスケジューラやシングルサインオンの対応、 Amazon Forecastとの統合、QUALIFY句のサポートを開始しました。AWS Glueは、AWS Glue for RayがGAになった他に、AWS Glue for Apache Spark 向け Snowflake 接続の一般提供開始、Amazon CodeWhisperer をサポートするようになりました。Amazon QuickSightは、CI/CDを可能にするアセットのデプロイを
【機械学習】機械学習を用いたin silico screening【AI創薬】~第5/5 章 候補化合物のin silico screening~ - LabCode
AI創薬とは？ AI創薬は、人工知能（AI）技術を利用して新しい薬物を発見、開発するプロセスです。AIは大量のデータを高速に処理し、薬物の候補を予測したり、薬物相互作用を評価したりします。また、AIは薬物の効果や安全性をシミュレートすることも可能で、臨床試験の前の段階でリスクを評価することができます。これにより、薬物開発のコストと時間を大幅に削減することが期待されています。AI創薬は、薬物開発の新しいパラダイムとして注目を集め、製薬企業や研究機関で積極的に研究、導入が進められています。また、バイオインフォマティクス、ケモインフォマティクス、機械学習、ディープラーニングなどの技術が組み合わされ、薬物開発のプロセスを革新しています。さらに、AI創薬は個人化医療の推進にも寄与し、患者にとって最適な治療法を提供する可能性を秘めています。 今回はAI創薬の中でも、in silico screeeni
LangChainについて解説。大規模言語モデル(LLM)を効率よく実装するためのフレームワーク - G-gen Tech Blog
G-gen 又吉です。LangChain とは、大規模言語モデル (LLM) を効率よく実装するために使用するフレームワークです。 当記事では LangChain を用いて、Google Cloud (旧称 : GCP) の LLM である PaLM 2 を操作する基本的な方法をご紹介します。 はじめに Vertex AI PaLM API LLM 開発の課題 学習コスト 入力トークン制限 事実と異なる回答 最新情報に対応していない 準備 環境構築 ライブラリの準備 ユーティリティ関数を定義 各 AI モデルを初期化 LangChain とは 概要 Models 概要 LLMs Chat model Text Embedding Model Memory 概要 ConversationBufferMemory Prompts 概要 Prompt Template Output Parser
この記事は Vim 駅伝 の 08/21 の記事です。 前回の記事は kyoh86 さんによる、 08/18 の「ddu.vimの基本設定概観」という記事でした。 次回は 08/23 に投稿される予定です。 はじめに 本記事は、いぶし銀プラグイン企画の結果発表の後編です。 Vimmer が実際に普段の編集を行う上で、なくてはならないと感じるプラグインを紹介していきます。前編は以下の記事を参照してください。 後編では、94件の回答のうち前編で紹介しなかったもの全てを紹介します。 全部で52個もあるため、プラグインの大まかな分類ごとに分けて紹介しています。一度に全て読むのは大変ですから、「目次」から気になるカテゴリを選んで読み進めることをおすすめします。 紹介フォーマット 前編の記事同様、各プラグインには以下の項目を設けています。 プラグイン名 プラグインへのリンク 概要 （一応）紹介記事なの
AI・機械学習チームの(中村@po3rin)です。 今年もこの季節がやってきました。エムスリーAI・機械学習チームの最強MR決定戦のお時間です。 MRとはMerge Requestの略称です。 GitHubでいうところのPR (Pull Request) にあたります。 この記事ではAI・機械学習チームが毎年恒例で行なっているベストMRのトップ10について発表します。 このベストMRはチーム内でこれは最高だった！というMRをノミネートしていき、その中で決選投票をしてベスト10を決めました。 今年も熾烈な闘いを勝ち上がった至極のMRがノミネートされました。 では、10位からご覧ください。と、言いたいところですが、今年は同票のため11位から紹介します。 このブログの内容は、投票した人の中から紹介者を決めて、実装者のやったMRを紹介するスタイルで書かれました。 第11位 CronJobの監視シー
技術的負債に対する視力を得る技術 | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]
こんにちは、羽山です。 今回は先日開催した弊社主催の技術イベント「Raccoon Tech Connect #1 レガシーシステムに立ち向かう技術」で登壇した内容を当ブログで公開します。 イベントのテーマは「レガシーシステムに立ち向かう」ということで、システムを長らく運用していくと自然と溜まっていく 技術的負債 との付き合い方に着目しました。 技術的負債に対する理解を深め、技術的負債を可視化することによって自然と対処される状態を作る方法を解説します。 アーカイブ映像（YouTube） スライド（Speaker Deck） 戦略シミュレーションゲームで例える 今回の主題は「技術的負債」ですが、最初はたとえ話から始めます。 みなさんは戦略シミュレーションゲームをプレイした経験がありますか？ 次のスライドは戦略シミュレーションゲームによくありがちなユニット生産画面を表しています。 そして、多くの
![技術的負債に対する視力を得る技術 | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/b7a95cc534e795a7aa70e1e9876da27d76adfc44/height=288;version=1;width=512/https%3A%2F%2Ftechblog.raccoon.ne.jp%2Fwp-content%2Fuploads%2F2023%2F10%2Ftech_debt-01.png)
【Botter Advent Calendar2023】仮想通貨で月に1万円を稼ぐC級Botterになろう｜QASH_NFT
本記事は仮想通貨botter Advent Calendar 2023に掲載させていただく記事です。（12/2 表 裏はしろいの鯖によくいるへっぽこさん） シリーズ 2はまだまだ空いてますよ！ 仮想通貨botterアドベントカレンダー2023に参加しました#botは儲からないからやめた方がいい https://t.co/2graakuF3M — へっぽこ野郎.lens⚙🌊📘(🌸, 🌿)🛡️⚔️ (@CryptoHamHepyar) December 1, 2023 はじめに はじめまして。qash_NFTと申します。普段はBOTを用いたアービトラージを主体として、クラウド代とメンタルを溶かしながらお金拾いしております。 今回は、仮想通貨取引においてC級Botter(月に1万円稼ぐBotter）になるには？というのを真面目に考えてみる記事です。（稼げるとは言っていない） 仮想通貨の
Snowpark PythonのDataFramesでテーブルに格納したデータを操作してみた | DevelopersIO
データアナリティクス事業本部 機械学習チームの鈴木です。 Snowflakeのテーブルに格納したデータの操作を、Snowpark PythonのDataFramesで行う方法を試してみたのでまとめました。 この記事の内容 Snowpark PythonでSnowflakeのデータをクエリして処理する主な方法として、以下のガイドではDataFrameの使用が紹介されています。今回はこの操作の中で、既にテーブルに格納されたデータに対して使いそうなものを試してみます。 APIの使い方はPySparkによく似ており、以下のページでもSparkによるパイプラインのSnowparkへの移行が紹介されています。PySparkに馴染みがある方はAPIリファレンスを見つつすぐに使えると思います。 Snowpark PythonのAPIリファレンスは以下になります。ガイドに載っていなかった一部の例はAPIリフ
dbtプロジェクト構築に関する ベストプラクティス #4「マート層(Marts Layer)に関する検討事項」 #dbt | DevelopersIO
アライアンス事業部 エンジニアグループ モダンデータスタック(MDS)チームのしんやです。 dbtはクラウド型データウェアハウス（DWH）におけるデータ変換に特化したツールです。非常に使い勝手が良く便利なツールである一方、様々な機能が提供されているのでいざ使ってみよう！となると『何をどうやって作り上げていけば良いんだろう？』『この場合のルールや制限はどういうものがあるの？どういう取り決めをもって扱えば良いんだろう？』という風に思うこともあるかと思います。(実際私自身そう感じました) そんなユーザーの疑問や悩みを解決する、いわゆるdbtユーザー向けのガードレール的な存在となりうるコンテンツがdbt社から展開されています。それが『dbtベストプラクティスガイド(Best practice guides)』です。構造、スタイル、セットアップなど、dbt Labsの現在の視点を通した「ベストプラク
SQLポケットガイド 第4版
現場で重宝するSQLリファレンス。ソフトウェア開発の現場では、「SQLの構文をすぐに確認したい」「データベースによって異なるSQLの書き方を知りたい」「久しぶりにSQLを使うので簡単に復習したい」といったことがよくあります。本書では、仕事でSQLを利用しているプロの開発者を対象に、主要な5つのデータベース――MySQL、SQL Server、Oracle、PostgreSQL、SQLite――で使われるSQLの構文およびデータベースの基本を簡潔に解説します。PythonやRからSQLを利用する方法も解説しているので、データアナリストやデータサイエンティストなど、開発者以外のSQLユーザーにも有用でしょう。 まえがき 1章 SQL速修講座 1.1 データベースとは何か？ 1.1.1 SQL 1.1.2 NoSQL 1.1.3 データベース管理システム（DBMS） 1.2 SQLクエリーとは何
皆さんこんにちわ。 フリーソフト紹介のコーナーです（新コーナー） 僕はフリーソフトの同人的な文化が割と好きなんですが、昨今のIT業界はマネタイズがどうのこうのといちいち恰好付けるのが上手になってしまいました。新しいアプリ作品も出てこなくなっている。 そんな中、Pythonで素晴らしいWindowsアプリを自作した方が居まして、紹介します。 www.youtube.com yukisakura001.github.io 機能概要 十徳ナイフのようなPC用便利アプリでして、なんというか、上げきれないほどの機能がボタン一つでアプリランチャーのように呼び出せる、そんなアプリです。 （’僕のと違い）インストーラが付いており、なかなか恰好いいです。 このように挙げきれないので文字起こししました。 カテゴリ 機能 テキスト・情報 空白削除、改行調整、重複削除、筆記体変換、テキスト編集、文字変換、ソート、
はじめに PyAirbyteがリリースされました。(2024/03/16時点ではBeta版なのでご注意を) PyAirbyteはExtractのコネクタ部分をPythonのライブラリとして提供してPandasに格納するという機能を提供しているらしい。 つまり、BigQueryのクライアントと合わせればExtractとLoadの部分を過疎結合にしつつ、スケジューラーでPythonを呼び出すだけのシンプルなData Injest Pipelineを作ることが可能なのでは！？ということで検証します。 個人的に考えるData Injestツールの抱える課題点 FivetranのようなSaaSを使い始める際は規約確認や、契約がとても面倒 Airbyteは契約関連の面倒な部分は無いが、運用工数が大きすぎる worker, sever, temporal, api, dbなどなど(ちゃんと拡張性を考えて
DuckDB in Actionの読書メモ
1章 イントロダクション DuckDBとは シングルノードでinmemoryな組み込みデータベース 処理中のデータが永続化されない 個人情報、機密データの扱いに困らない データパイプライン (ETL) ギガバイトなデータを効果的に扱える 数秒でハンドリング可能な処理機構 でもテラバイト級だとさすがに無理 MITライセンス 入出力として扱えるデータソース csv Json Parquet Arrow MySQL SQLite PostgreSQL Jupyterを経由して、PandasやPolarsから問い合わせできる 並列化されたクエリエンジン 費用面で高コストなAWS Athena SQLを使わずともすむ DuckDBのSQL 標準ANSI SQL Window関数, CTEも扱える 分析関数 count, min, max 独自拡張されたSQL構文 select exclude() /
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
プログラミングに挫折したならAIお姉ちゃんに任せなさい - 本しゃぶり
【2024年】AWS全サービスまとめ | DevelopersIO
Excelの自動データ変換で「日付に変換」の無効化が可能に 遺伝学者の声届く
Vimmer が紹介する「いぶし銀」なプラグインまとめ（後編）
AI・機械学習チーム最強MR(Merge Request)決定戦2023 - エムスリーテックブログ
【フリーソフト】Yukis Army knifeの紹介 - sheephumanのブログ
PyAirbyteで始める簡単Data Injest Pipeline