はじめに 本稿では分析用クエリをスラスラ書けるようになるまでの勉強方法や書き方のコツをまとめてみました。具体的には、自分がクエリを書けるようになるまでに利用した教材と、普段クエリを書く際に意識していることを言語化しています。 想定読者として、SQLをガンガン書く予定の新卒のデータアナリスト/データサイエンティストを想定しています。 勉強方法 基礎の基礎をサッと座学で勉強してから、実践教材で実際にクエリを書くのが望ましいです。 実務で使える分析クエリを書けるようになるためには、実務経験を積むのが一番良いですが、だからといって座学を御座なりにして良いというわけではありません。SQLに自信がない人は、一度基礎に立ち返って文法の理解度を確認した方が良いと思います。 書籍 SQL 第2版: ゼロからはじめるデータベース操作 前提として、SQLに関する書籍の多くがデータベース運用/構築に関する書籍がほ

はじめに 分散システムの設計および開発において、キャッシュはパフォーマンス向上のための非常に重要な要素です。頻繁にアクセスされるデータをキャッシュすることで、アクセス速度が遅いデータベースへのアクセスを削減し、データへの迅速なアクセスを可能にします。これにより、システムの全体的な効率とパフォーマンスが向上します。 しかし、キャッシュは慎重に設計しないとむしろパフォーマンス上のデメリットになるケースが存在します。 この記事ではよく遭遇するキャッシュ設計の問題とその回避策について解説します。 Cache penetration DBに存在しない値を検索したときに、DBから返された空の結果をキャッシュしない場合に発生するシナリオです。 このシナリオではDBに存在しない値を繰り返し検索することにより、その値がキャッシュされていないため検索ごとにDBへのアクセスが必要になってしまいます。 存在しない

データサイエンティストにとって、ChatGPTはうまく利用することで非常に強力なツールになることは間違いありません。 近い将来、データサイエンティストの中でもChatGPTをうまく使いこなせる人とそうでない人の間には、大きな差が生まれるでしょう。 そこで、今後ChatGPTを上手に活用できるようにデータサイエンティストが必ず読むべき記事を紹介します！ ChatGPTの公式プラグイン「code interpreter」 データサイエンティストの業務を大きく変える可能性のある、ChatGPT公式プラグイン「code interpreter」について解説している記事です。 ファイルのアップロード機能を使うことで、チャット上にデータをアップロードし、そのデータに対してコードを実行することができるようになります。 また、作業の結果をcsvなどでダウンロードすることが可能です。 つまり、code in

This post is also available in Français, Deutsch, Español, 简体中文, 日本語 and 繁體中文. We announced Cloudflare Workers in 2017, giving developers access to compute on our network. We were excited about the possibilities this unlocked, but we quickly realized — most real world applications are stateful. Since then, we’ve delivered KV, Durable Objects, and R2, giving developers access to various types of st

Google が公開している、より良いデータ分析のためのガイドブック「Good Data Analysis」で、データ分析の要所が簡潔にまとめられていて感動した 2022-03-08 Google の非公式ブログで、The Unofficial Google Data Science Blog というデータサイエンスをテーマにしたブログがある。 その中で、 Practical advice for analysis of large, complex data sets の記事を元にして作られた Google Developers Guides: Machine Learning Guides > Good Data Analysis を昨日見かけて読んでいたら素晴らしいドキュメントだったので、ここでその感動を共有したかったので筆をとったしだい。 Good Data Analysis の概

Watch 6-minute demo to see how to set up and publish a dashboard

こんにちは、server-side kotlin や terraform を書くことが多い、エンジニアリングGの矢崎(id:Saiya)です。 タイムゾーンや日時の扱いについての話題がホットな昨今ですが、 そういった日時の扱いについて例えば以下のようなお話を受けることが少なからずありました: とりあえず日時は UTC からの時差情報付きで扱えばいいんでしょ？ DB に保存するときもタイムゾーン情報付きで入れておけばいいんでしょ？ こういったお話を振られた際に、思うところを一言でサッと説明できずもやもやする事もあり、 また web サービスにおいて日時・タイムゾーン・オフセットをどう扱うべきか？納得の行く説明をあまり見つけられなかったため、 筆者なりに考えをまとめてみました。 国家的祭典のために急にサマータイムが導入されるといった話に限らず、 クラウドサービスが UTC+0 の日時になってい

はじめに Twitterのタイムラインを見ていたらバッチ系のプログラムで逐次コミットをやめて一括コミットにしたら爆速になったというのを見ました。当たり前でしょ、と思ったけど確かに知らなければ分からないよね、と思って主に初心者向けにRDBを扱うときの注意点をまとめてみました。 プログラミングテクニック的なところからテーブル設計くらいの範疇でDBチューニングとかは入ってないです。 自分の経験的にOracleをベースに書いていますが、他のRDBでも特に変わらないレベルの粒度だと思います。 大量の逐次コミットをする バッチアプリケーションでDBにデータをインサートすると言うのはかなり一般的な処理です。しかしデータ量が少ない時はともかく大量のインサートを逐次コミットで処理するとめちゃくちゃ遅くなります。数倍から十数倍遅くなることもあるので、10分程度のバッチが１時間越えに化けることもザラにあるので原

migrationでやらかさないために 上手く動かないから一旦migrationファイルけしちゃお〜とか、 過去のmigrationファイルをいじってロールバックしたりmigrationしたりとごたごたするとか、、 するとコードの辻褄が合わなくなり、マイグレーションエラーの迷路から抜け出せなくなってしまって、戻り方わかんない、、migrationこわっってなったので今後そうならないように整理しようと思います。 ロールバックの注意 rails db:migrateは最新まで一気にmigrateしますが、 rails db:rollbackはひとつ前まで戻します。 ※ひとつ前とは一個前のmigration分戻すということ。(ファイル数ではない) ですので、rails db:rollbackした後に、 けっこう前のファイルに変更を加えて、 rails db:migrateってやってしまうとのエラ

起きたこと 何度、 mysql.server stop をしても、kill PIDをしても数分後にはmysqldが復活してしまっていた。 原因 どうやら、mysqlのplistの設定で、死なないようになってるっぽい(?) そのため、~/Library/LaunchAgents/homebrew.mxcl.mysql@5.6.plist 内のKeepAliveの設定を、以下のようにfalse/に変更し、設定を反映することで解決した。 <dict> <key>KeepAlive</key> <false/> 参考サイト Homebrewで入れたMySQL5.1を停止できない件の対策 - かせいさんとこ 多分関連 以下の現象、mysql.server start すると、mysqld_safe A mysqld process already existsが次に行に渡される問題もこれで解決したよ

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

SQL(Structured Query Language)は、リレーショナルデータベース管理システム (RDBMS)のデータベース言語です。大きく分けて、データ定義言語(DDL)、データ操作言語(DML)、データ制御言語(DCL)の3つで構成されており、プログラム上でSQL文を生成して、RDBMSに命令を出し、RDBに必要なデータを格納できます。また、格納したデータを引き出すことも可能です。

リレーショナルデータベースが話題に挙がるとき、私は何かが足りないと思わずにはいられません。データベースはあらゆるところで使われており、その種類も、小規模で便利なSQLiteからパワフルなTeradataまで様々です。しかし、それがどういう仕組みで機能しているかを説明したものとなると、その数はごくわずかではないでしょうか。例えば「リレーショナルデータベース 仕組み」などで検索してみてください。ヒット数の少なさを実感できると思います。さらにそれらの記事は短いものがほとんどです。逆に、近年流行している技術（ビッグデータ、NoSQL、JavaScriptなど）を検索した場合、それらの機能を詳しく説明した記事はたくさん見つかると思います。 リレーショナルデータベースは、もはや大学の授業や研究論文、専門書などでしか扱われないような古くて退屈な技術なのでしょうか？ 私は開発者として、理解していないものを

Full MySQL Support Sequel Pro is a fast, easy-to-use Mac database management application for working with MySQL databases. Perfect Web Development Companion Whether you are a Mac Web Developer, Programmer or Software Developer your workflow will be streamlined with a native Mac OS X Application! Flexible Connectivity Sequel Pro gives you direct access to your MySQL Databases on local and remote se

2011年03月19日23:40 by oklahomer JSでFQLを扱う：FB.api, FB.Data.query, FB.Array.forEach カテゴリTipsFQL Facebookの提供するJavaScript SDKを使ってFQLクエリを実行する方法は何通りかあります。大きく分けると、FB.apiを直接使う方法とFB.Data.queryを使う方法です。 FQLの使い方を検索するとFB.apiを使う方法が圧倒的に多く出てきますし、FB.Data.queryでも内部でFB.apiを使って問い合わせているので、直接FB.apiを使っても大丈夫です。ですが、FB.Data.queryを利用する方が色々と便利そうなので、こちらを使ってみるのも良さそうです。 目次： FB.api({method: 'fql.query'},function(){})FB.Data.queryF