「データエンジニアの市場価値」を上げたい。リクルートグループのニジボックスが“有料級のインプット教材”をつくるワケ - はてなニュース
「全ての企業のサービスを成長させる」をミッションに掲げ、WebサイトやアプリのUI/UX改善をはじめ、技術力でサービスやプロダクトの成長を支援してきた、リクルートグループのニジボックス。 そんな同社が今注力するのは「データ人材」の育成です。具体的には、BIエンジニア、データエンジニアなど、データ領域でリクルートとともにプロダクトを「共創」できる専門家集団の立ち上げを進めています。その背景には、リクルートでプロダクトのデータ利活用が急速に進んだ結果、「共創」ニーズに対して人材が圧倒的に不足している、という課題がありました。 リクルートグループにおいて、データ実務が担えるエンジニアを、スピーディーに育てなければならない。そのために社内で活用されているのが、「インプットプログラム」と名付けられた新人エンジニアの研修プログラムです。プログラムを修了すれば、リクルートグループの実務で通用する知識やス
Compile SQL to type-safe code
You write SQL queries You run sqlc to generate code that presents type-safe interfaces to those queries You write application code calling the methods sqlc generated. Seriously, it's that easy. You don't have to write any boilerplate SQL querying code ever again. See the current list of supported programming languages and databases. Schema updates and poorly-written queries often bring down produc
LLMをWebフレームワークにしたら、未来が見えた #2024
最近、LLMにWeb Backendを書かせて遊ぶ、Hanabiというサービスを作っています。その開発過程で、前に試したLLMをAPIとして振る舞わせるアプローチを再検討したので、記事としてまとめました。 一年ちょっと前、私はChatGPTをWebフレームワークにしようと試みました...が、残念ながら全く実用的ではありませんでした。しかし、あれから一年、LLMは目覚ましい進歩で進化を遂げました。価格は下がり、速度も上がり、記憶容量の増加やRAGの発展など、もはや別物レベルで進化しています。 いまならもうちょっと実用的なヤツが作れるんじゃねってことで、色々な手法を面白がった再検討したまとめです。 余談ですが、一年前はLLM=ChatGPTという状況でしたね...懐かしい。ちょうどvicuna13Bが出た頃ですかね? ↓去年の記事(できれば読んでほしい)↓ 出来たもの 全部プロンプトに入れちゃ
もう人間がクエリを書く時代じゃない！SQLクエリの組み立てを自動化するSlack botを開発・導入しました - Pepabo Tech Portal
こんにちは。SUZURI事業部の@kromiiiと申します。 私のメインの業務はWebアプリケーションの開発ですが、大学院時代のスキルを活かして並行してデータ分析業務も行っています。 データ分析業務ではデータベースのクエリを書くことが多いのですが、私自身SUZURI事業部に配属されたばかりで、テーブルの名前やリレーションを覚えるのが大変でした。そこでクエリの設計を自動化するツールをSlackに導入しました。 その名も tbls-ask bot です。どのようなものか先に見てみましょう。 ユーザーはSlackでメンションする形で、どのようなクエリを実行したいのか自然言語で入力します。 メンションされるとSlack botが起動し、どのDBスキーマを利用するかを尋ねます。 ユーザーがDBスキーマを選択すると、自然言語からSQLクエリを生成し、Slackに返答します。 今回はパブリックに公開する
リレーショナル・データベースの世界
序文 私の仕事は、DBエンジニアです。といっても別に望んでデータベースの世界へきたわけではなく、当初、私はこの分野が面白くありませんでした。「Web系は花形、データベースは日陰」という言葉も囁かれていました。今でも囁かれているかもしれません。 ですが、しばらくデータベースを触っているうちに、私はこの世界にとても興味深いテーマが多くあることを知りました。なぜもっと早く気づかなかったのか、後悔することしきりです。 もちろん、自分の不明が最大の原因ですが、この世界に足を踏み入れた当時、先生も、導きの書となる入門書もなかったことも事実です。 今でこそバイブルと仰ぐ『プログラマのためのSQL 第2版』も新入社員には敷居が高すぎました (2015年2月追記：その後、自分で第4版を訳出できたのだから、 人生は何があるか分からないものです)。 そこで、です。このサイトの目的は、データベースの世界に足を踏み
SQLの達人への道: MySQLでの高速・効率的クエリ作成術 - Qiita
概要 この記事では、MySQLでのSQLクエリのパフォーマンスを最大限に引き出すための効率的な書き方を解説します。アプリケーションの応答速度を向上させることは、ユーザーエクスペリエンスの大幅な改善に直結します。この記事を通じて、初心者から中級者のデータベース管理者や開発者は、SQLクエリの基本から高度な最適化テクニックまで、幅広い知識を習得できることを目指しています。 MySQL 8.0での検証を基にしていますが、その他のバージョンでの動作は保証されません。この記事は継続的に更新されます。 主な内容 このセクションでは、検証データの作成手順を含め、インデックスの利用、JOIN操作の最適化、サブクエリとビューの利用、クエリキャッシュの活用など、効率的なクエリの書き方について解説します。 検証データの作成 MySQLサーバーへの接続方法から始め、テスト用データベースとテーブルの作成、ダミーデー
高効率なSQLクエリの書き方 - Qiita
概要 この記事では、SQLクエリをより効率的に記述するためのベストプラクティスとテクニックに焦点を当てています。データベースのクエリはシステム全体のパフォーマンスに直結するため、最適な書き方を知ることは重要です。インデックスの効果的な活用方法、適切な結合の選択、そして条件の効果的な書き方など、SQLの最適化に関する具体的な手法を解説します。各SQL文に関する実行計画の結果も掲載していますので、ぜひご確認ください。 なお、Oracle19cとOracle12cでの利用実績がありますが、他のデータベースやバージョンにおいての検証は行っておりません。 新しい情報は随時追加されますので、お楽しみにしてください。 SQLの最適化に関連する基本的なアイデア 以下の通りと考えています。 1.インデックスの利用 2.正しいJOINの選択 INNER JOIN、LEFT JOIN、RIGHT JOINなど、
テストを書きたいプログラムがSQLの固まりだ - やっとむでぽん
(2009.3.5 テストデータについてちょっと追記) Working Effectively with Legacy Codeを読んでいます。前半、テストの意義とか概念の紹介(test harness, seamなど)はすばらしい。後半の、個別の状況への対策も、整理されていてありがたいです。自分でも使っているおなじみの手法もあれば、目ウロコなこともある。 でも、こういう↓章があったらよかったなあ。 「テストを書きたいけれどプログラムが巨大なSQLの固まりだ」 いま仕事をしている保守プロジェクトが、そういう状況なわけです。もうすこし整理すると、 テーブル数が多く(100以上)、重複した項目も多い(非正規化) ひとつの処理をするのにだいたい、最低5つ以上(10を超えるものも多い)のテーブルを扱っている(参照ならJOINやUNION、更新ならそれぞれにUPDATE/INSERT) 処理を走らせ
オウンドメディア担当者が知っておきたい GA4 × BigQuery 前編（寄稿：小川卓） - はてなビジネスブログ
株式会社HAPPY ANALYTICSの小川卓（id:ryuka01）です。 今回は、全2回で Google アナリティクス4（以下「GA4」) × BigQuery に関して紹介をしていきます。 第1回は、BigQueryについての基本的なご説明と、GA4連携におけるメリットなどについてご紹介していきます。 GA4 × BigQuery を活用することで、オウンドメディアの分析や効果の可視化に大きく役立つと思いますので、ぜひ参考にしてみてください。 BigQueryとは？ 注目される３つの理由とBigQueryの料金体系 GA4と連携するメリット・デメリット 主なメリット GA4のデータを集計前の状態で恒久的に保存することができる GA4の画面だけでは出しにくい（出せないあるいは出すのに手間がかかる）データを簡単に出せる GA4のデータを他のサービスと連携することが可能になる 上記に伴い
スマキャンが新データ分析基盤のBIツールにLookerを選んだ理由 - SMARTCAMP Engineer Blog
こんにちは！スマートキャンプエンジニアの井上（エース）です！ 皆さんは自社プロダクトに対してどのようにデータ分析をされていますか？ データ分析基盤は構築されているものの、少なからず課題を抱えている企業も多いかと思います。 今回は弊社のBOXIL SaaSに新しいデータ分析基盤を導入することになったので、その背景や導入にあたって課題だったこと、その対策などを書いていこうと思います。同じようにデータ分析基盤を導入しようとしている方の参考になれば幸いです。 元の基盤の課題 クエリの乱立とデータ定義のバラつき クエリ作成依頼についてのエンジニアの対応コストが高い データ分析ツールの統一 パフォーマンス 新しいデータ分析（BI）ツールに求められたもの Lookerの選定理由 LookMLによる統一的な管理 ドキュメントの充実度 プルリクベースでの開発 実際のアーキテクチャの紹介 導入にあたって課題だ
SQLは口ほどにものを言うーRedashによるクエリ共有、監視、データ連携によるチーム効率化ー - LayerX エンジニアブログ
こんにちは。DX事業部の花村(@naomasabit)です。先日の投稿でユーザーの利用状況確認のためにAWSのQuickSightを利用していると書きましたが、並行して分析ツールのRedashも利用しています。Redashの良い点としてクエリベースでの分析、監視アクション、スプレッドシートとのデータ連携が存在します。 SaaSチームの運営において、これらを活用したユースケースについて伝えていきます。 アドホックな分析クエリの共有によるコミュニケーション効率化 監視アクション設定によりデータ不整合にすぐ気づける体制整備 複数チームからのデータソース連携によるヘルススコアダッシュボード作成 最後に - Redashと他の分析ダッシュボードツールの併用について アドホックな分析クエリの共有によるコミュニケーション効率化 Redashでは、まずクエリベースでアドホックな分析クエリの共有が可能です。
MySQLのINSERT文（方法ごとの処理時間比較）
大量のデータをINSERTする場面があってなんとか高速化できないかと思って、 以下の手法を比較してみた。 1件ずつINSERTする トランザクションを使用する 1クエリでまとめてINSERTする テスト環境は以下の通り。 MySQL 5.1 テーブルはInnoDB、AUTO_INCREMENT付き（innodb_autoinc_lock_mode=1） PHP 5.3.6 1000件、3000件、5000件、10000件と件数を増やしながらそれぞれ5回ずつ試行して平均を取っている。 使用したコードは最後に。 結果 手法 1,000件 3,000件 5,000件 10,000件 1件ずつINSERTする
ミラティブを退職します！ - Mirrativ Tech Blog
今日が最終出社、明日から有休消化期間だー！！！！うおおおおおおおおおおおお！！！！！ 2019年の春から3年間、ライブ配信サービス「Mirrativ」のバックエンドを書いてきた stakme です。この夏で卒業です！お疲れさま〜！！！！！ 頑張った、やりきった、本当は退職後半年くらい休みたい。けれど借金と税金がそれを許してくれないので、今後も頑張ります。 この記事では、これからミラティブのバックエンドチームに加わる方に向けて 私はこういう理由でミラティブに来たよ 入社時はこういう経験値だったよ この会社ではこういう経験ができたよ という話をします。あとでのんびり自分のnoteに書いてもよかったんですけど、テンションのおかしい退職者の記事がテックブログに載っていたらクリックレート高い面白いかなって思って… ちなみに執筆時点では掲載許可とか取ってないのですが、たぶん大丈夫です。なので書きますね
SQL挑戦モチベを爆上げする「SQLようちえん」を開園した話 - AppBrew Tech Blog
1ヶ月毎に外見が大きく変化することで評判。AppBrewでマーケティングチームのリーダーをしている木全(きまた)です。直近はロングウルフからハンサムショートに変貌しました。 さて本日は、以前テックブログで取り上げたSQLテストのお話の続編で、SQLテストLv.1を新設したお話をします。 tech.appbrew.io 3行でわかるSQLテスト👏 非エンジニア向けのAppBrew独自規格のSQLテスト Lv.2は毎月5,000円、Lv.3は毎月20,000円の賞与がもらえます AppBrewは従業員への成長・学習の支援や投資を積極実施中！ 最高レベルだと20,000円です。大きいですよね、月に20,000円......。 そんな感じで、もともとSQLテストという制度はあったのですが、改めて「SQLようちえん」こと、SQL Lv.1講座及びLv.1テストが生まれた経緯をお話していきます。 あ
なぜシェルスクリプトで高度なデータ管理にSQLiteを使うべきなのか？ ～ UNIX/POSIXコマンドの欠点をSQLで解決する
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 「利用者は数十億人！？ SQLiteはどこが凄いデータベース管理システムなのか調べてみた」の続きです。 はじめに 複雑な構造のデータを扱うのであればシェルスクリプトや Unix (POSIX) コマンドでデータ管理を行うのは避けるべきだと思います。解決不可能な問題が多いからです。しかしそれでも何かしらの理由でやろうと考える（やらなければいけない）のであれば SQLite を使うのをおすすめします。シェルスクリプトや Unix コマンドは行単位の単純なテキストデータをシーケンシャルにデータ処理するのが前提となっており、改行や空白が含まれる
SQLBoiler（とoapi-codegen）でつくるREST APIサーバ | フューチャー技術ブログ
ライブリッツの筒井です。 GoのORマッパー連載、折り返して5日目です。 SQLBoilerを使用したDBスキーマ駆動なREST APIサーバの開発ワークフローを紹介します。 なぜSQLBoilerを選ぶのか?自分たちのチームでは、REST APIサーバを開発する際にはまずデータベースのテーブル設計から始めることが多いです。その次にAPI定義の設計へ入るのですが、既にテーブル定義は出来上がっているため、なんとなくSQL文が頭に思い浮かんだ状態でAPIのRequest / Responseを考えることになります。 ゆえにO/Rマッパに一番に求めるのは、「いかにストレスなく思い描いていたSQL文を実行し、Goの文脈に持ち込めるか」ということです。 この基準を元に、次のような観点からSQLBoilerを選定しています。 複雑なSELECT文でDSLに苦悩したくない前述の通り、我々の頭の中にはなん
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データベースでユニークキーにUUIDを使うメリットは何ですか？連番やタイムスタンプまたは複合などではいけないのでしょうか？どうも視認性が悪く使いにくく感じますし連番でも衝突しない気もします。
Turso - Databases for All
Sqlime - Online SQLite playground
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
