従来のGoogleアナリティクスである、ユニバーサル アナリティクス（以下UA）のサポートがいよいよ2023年7月に終了することが、先日アナウンスされました（※）。昨年対比やトレンドをチェックすることを考えると、2022年内できるだけ早めに次世代のGoogleアナリティクス（以下GA4）へ移行したいWebメディア運営者も多いかと思います。新しいツールの勉強や、既存システムの改修が必要な問題ではありますが、この機会を、データ収集・可視化の設計を見直し、日々の意思決定の共通言語としてデータを使いやすくするチャンスと捉えてみてはいかがでしょうか。 ※ Google、ユニバーサルアナリティクスのサポートを2023年7月1日に終了。早めのGA4移行を推奨 このnoteでは、前半でダッシュボードによるデータの可視化にコストをかけるべき理由を整理します。後半では、2021年秋に文春オンラインのダッシュ
皆さんこんにちは、エンジニアの西尾です。 新しい機能・サービスを開発する際、私は特にデータベース設計に気をつかいます。 データベースはシステムの土台です。 土台が不安定だと、その上に積み上げていくアプリケーションコードがいびつなものになり、つらい思いをします。 また、一度動き出してしまったシステムのデータベース設計を変えるのは、容易なことではありません。 データベース設計には”これだ！”という正解はないと思っています。 サービスの特徴、システムの性質、toB向け/toC向け、Readが多い・少ない、Writeが多い・少ない。 その他もろもろの背景により、データベース設計の仕方も変わってきます。 このテーブルは正規化していないから駄目だ、この設計はいわゆるポリモーフィック関連だから使ってはいけない、などということはありません。 アンチパターンと呼ばれるものも時と場合によっては正解になります。
RDBのレコードに、作成日時や更新日時を自動で入れ込むコードを書いたりすることあると思いますが、それに対する個人的な設計指針です。ここでは、作成日時カラム名をcreated_at、更新日時をupdated_atとして説明します。 tl;dr レコード作成日時や更新日時をRDBのトリガーで埋めるのは便利なのでやると良い ただ、アプリケーションからそれらのカラムを参照することはせず別に定義した方が良い MySQLにおける時刻自動挿入 MySQL5.6.5以降であれば、以下のようにトリガーを設定すれば、レコード挿入時に作成日時と更新日時を、更新時に更新日時を、DATETIME型にも自動で埋めてくれます。いい時代になりました。(MySQLが遅すぎたという話もある) `created_at` DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP, `updated_
9時間足すんだっけ引くんだっけ問題～あるいは、諸プログラミング言語はいかにタイムゾーンと向き合っているか - エムスリーテックブログ
私は日付時刻の処理が大好きです。 タイムゾーンの問題でデータ抽出が9時間分漏れていたとか、朝9時の始業前のログが昨日付けになってしまっていたなんていう問題が起こると喜んじゃうタイプ。 そんな私にとって、各プログラミング言語が標準で持っている日付時刻型クラスにはそれぞれ思うところがあり、今日はちょっとその品評会をしてみたいと思います。 エムスリーエンジニアリンググループ、Unit1（製薬企業向けプラットフォームチーム）三浦(@yuba@reax.work) [記事一覧 ]がお送りいたします、エムスリー Advent Calendar 2023の2日目です。 至高の日付時刻型を持つ言語、BigQuery SQL 不足はないが蛇足、Java 8 日付時刻で画竜点睛を欠いたC# C#よりややまし、Python 型は良い構成、なのに命名と処理関数で損しているPostgreSQL まとめ We ar
新規事業の決済機能としてStripeを導入する上で考えたこと全て - Timee Product Team Blog
こんにちは、タイミーデリバリー開発チームの宮城です。 この記事はJP_Stripes Advent Calendar 2020の10日目の記事です。 タイミーデリバリーはデリバリーを頼みたい人が安い価格で注文でき、飲食店も安い利用料で注文を受けられるデリバリープラットフォームです。 その決済機能として今回はStripeを導入しました。 この記事では、決済基盤の技術選定/Stripeを活用したクレジットカード決済と各事業者への入金までの流れ/Railsでの具体的な実装内容 をそれぞれタイミーデリバリーでの活用事例として紹介します。 導入にあたった背景 決済基盤の技術選定基準 Stripeでできること PCI DSSについて 利用したStripeの機能 Custom Account Stripe SDKを利用したRails/Swiftでの実装内容 PaymentIntent Customer
はてなブログの DB を RDS for MySQL 8.0 にアップグレードした話 - Hatena Developer Blog
この記事は、はてなエンジニア Advent Calendar 2023の2024年1月17日の記事です。 はてなエンジニア Advent Calendar 2023 - Hatena Developer Blog id:hagihala です。先日、はてなブログの DB を RDS for MySQL 5.7 から 8.0 へアップグレードしたので、工夫した点などを共有します。 Aurora MySQL 3.x にしなかった理由 MySQL 5.7 -> 8.0 で対応した変更点 character set や collation のデフォルトが変更される explicit_defaults_for_timestamp がデフォルトで有効になる SQL mode の変更 デフォルトの認証プラグインが caching_sha2_password になり、 mysql_native_passw
ニコニ立体を直した話 - Qiita
ステージング化 本番のVMについてはここでAMIを取って完了としましたが、ステージングは設定を変更しなければなりませんでした。本番へのアクセスが起こらないよう設定の洗い出しを行い、地道に一つ一つ変更していき、ステージングとして動作するように調整を行いました。地味な作業でしたが、システム間のつながりを把握するという点でとても効率的だったので思ったほど無意味な作業ではありませんでした。 データ移行（BLOB to S3) データ移行はリプレイスプロジェクトでも難易度が高い部分でした。 ニコニ立体は3Dモデルホスティングサービスですが、この3Dモデルのファイル容量が大きく、移行に非常に時間がかかりました。試算では移行に２４時間かかると出たため、日々増えるデータをどのようにスムーズに移行するかについて悩みました。 立体の負債解消を手伝ってくれていたまさらっき氏が偶然ALBのRuby on Lamb
以前，MySQL (正確にはMariaDB) を使った際，いろいろはまったので記載します． 使ったバージョンが古い（MariaDB 10.1.37, MySQL 5.7くらいに相当）なので，最新版では治っているところもいくつかあります． sql_modeをデフォルトの設定で使わない これはよく言われていることですが，sql_modeがデフォルトでは変な値が入ったりエラーになって欲しいところがスルーされたりしてまずいので，適切なsql_modeを設定します． 第18回 MySQL5.7のデフォルトのSQLモードを確認してみる：MySQL道普請便り｜gihyo.jp … 技術評論社 MySQLのSQLモードをstrictモードで設定する。 - Qiita ただ，MySQL 5.7以降はデフォルト設定が改善されたようです．（でも確認すべきですが） MySQL :: MySQL 8.0 Refer
機械学習のための「前処理」入門 作者:足立悠リックテレコムAmazon 目的 データ分析の仕事をする中で最も扱う機会が多いのが 時系列データだと思います。その中で欠損値を扱ったり、 統計を取ったり、特徴量を作り出したりするのですが、 毎回やり方を忘れてググっているので、上記の書籍を読んで こういった前処理の方法をいつでも確認できるように メモしておこうと思います。 目次 目的 目次 日時のデータをdatetime型に変換する 最初の日時からの経過時間を計算する 各データの統計量を計算する 欠損値の確認と補完 経過時間の単位を変換する データフレーム結合する 基準日時からの経過時間を計算する 重複した行を削除する 特定のデータ列をインデックスにする 部分的時系列を抽出して統計量を計算する データフレームの各列をリストにして結合する 不均衡データから教師データを作成する データの読み込みと可視
APIの命名規則はフロントエンド・バックエンドどちらに合わせるべきか？｜TechRacho by BPS株式会社
morimorihogeです。ちょっと色々忙しくて死んでますが、深夜の勢いで書いてみます。 ことの起こり Twitterにてこんな発言を見かけました この2017年の記事だと、RoRのテーブルのdatetime型にはatをdate型にはonを付けようと書いてあるけど、APIでカラムのデータを返す場合、フロント側としてはdateというサフィックスが付いていた方がやりやすいという意見があって、この辺のベストな感じが気になったhttps://t.co/8MMMHlFvGx — yotuba@Railsエンジニア (@yotuba_eng) July 1, 2021 元記事（翻訳）はこちら Rails: 日付や時刻のカラム名を命名規則に合わせよう（翻訳） 本件について、Twitterではreplyしてみたのですが、文字数の都合で詳細に書きづらいということもあり、一度自分の意見をまとめてみようという
» Python実践データ分析100本ノック | 下山輝昌, 松田雄馬, 三木孝行 はじめに この本を手にした動機 元々データ分析に以前から興味があったものの、次に繋げられなかった 非エンジニアがR言語を始めるときの手引き｜Kaggle Masterによるデータ分析技術者養成講座【R言語版】Day1メモ｜中野ヤスオ｜ARI ｜note 2021年10月から12月まで受講した初級Python講座で得たことをなにか繋げたかった 講座受講の経緯等こちら：若手エンジニア成長支援No1企業を目指して｜中野ヤスオ｜ARI ｜note コードを書くことが楽しくなってきたので、毎日少しづつ出来るテーマを見つけたかった 今回の読み方 冒頭にある「本書の効果的な使い方」を参照し、それに準拠 各章各ノックの内容を「写経」しつつ、本文とコードを読み進め、分からないところをGoogleで調べる感じ 人それぞれだが、
Pydanticが今最高にCool こんにちは、極論モンスターのYosematです。pydanticに替えてdataclassを使う理由は今ほとんどありません。pydanticがV2になったこのタイミングでpydanticに乗り換えましょう。この記事ではなぜdataclassよりもpydanticなのか理由を述べていきます。 ※2024/02/26追記 OpenAIのクライアントもPydanticを採用しました 素敵なブログからの引用。ただし現在はdataclassもslotを導入している。slotを利用して通常より高速にフィールドアクセスしたい人はattrsやdataclassもアリ。 理由① より洗練されたインターフェース pydanticをdataclassに代えて使うのはなんといってもかゆいところに手が届くインターフェースです。はっきりいってdataclassも素晴らしいライブラリ
超高速シリアライズフォーマット「DLHN」
新しいシリアライズフォーマットDLHNをリリースしました。 DLHNは高速でデータサイズが小さいバイナリ形式のシリアライズフォーマットです。 DLHNの発音は"Dullahan"と同じです。 公式サイトは https://dlhn.org 実装は https://github.com/otake84/dlhn イラストは @kira2beat さんに描いていただきました。 特徴DLHNはプログラミング言語やプラットフォームに依存しないバイナリ形式のシリアライズフォーマットで、JSON, CSV, MessagePack, Protocol Buffersなどから影響を受けています。 シリアライズとデシリアライズが高速で、データサイズが小さく、Schema定義ファイルが不要でストリーム処理にも対応しています。 これを聞くとMessagePackと同じように感じるかもしれませんが、実際のデータ
typescript-generatorを利用して、HTML に埋め込んだ JSON データをフロントエンドで型安全に扱う - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは！kintone フロントエンドリアーキテクチャチーム (フロリア) の西川 @nissy_dev です。 最近のフロントエンド開発で導入されることの多い TypeScript ですが、開発期間の長いプロジェクトに導入する際にはバックエンドとの結合部分の型定義をどう扱うかが問題になる場合があると思います。 今回の記事では、フロリアで取り組み始めた、HTML に埋め込んだ JSON データをフロントエンドで型安全に扱う施策について紹介します。 フロリアのプロジェクトの詳細については、 @koba04 が書いた次の記事をご覧ください。 blog.cybozu.io 目次 フロリアでのバックエンドからのデータ取得 HTML に JSON データを埋め込む方法の問題点 Java のクラスから TypeScript の型定義を生成できる typescript-generator types
データチームの@komi_edtr_1230です。 突然ですが、heyがメインで使ってるプログラミング言語は何か知っていますでしょうか？ heyはECと決済、予約など複数事業の事業を展開しているのですが、ECと予約はRuby (+ Rails)で決済はJavaを使っています。 また、アカウント共通基盤ではGoを使っています。 今回データチームでは事業成績を日次でSlackに通知してくれるアプリをRustで開発しました。 この記事ではどのようにして開発を進めたのか、ツラいポイントはなんだったか、何が良かったかなどについてまとめます。 何を作ったのか 今回作ったSlackアプリはどのような要件を抱えていたかというと、 様々な項目についてのデータを取得 Slackに投稿できるようJSONを整形 日次で稼働する(CRON Job) というような具合でした。 現在heyのSlackでは、以下のように
目次 目次 はじめに twi-noteとは？ ツイートを簡単に貼るための4つの工夫 ポイント１：検索結果の全ツイートを一括で貼れます。 ポイント２：ツイートをドラッグ＆ドロップで貼れます。 ポイント３：時間を指定して、ツイートを検索できます。 ポイント４：作成したノートをダウンロードできます 作った理由は、ノートにツイートを貼るのをもっと簡単にしたかったからです 似ているサービスとの違い フィヨルドブートキャンプというプログラミングスクールでサービスを作成しました 初めてのサービスづくりで挑戦したことと、学んだこと、こうすれば良かったと思ったことについてまとめ サービス企画編 Getting Realという本のやり方を真似する事で、ユーザーが0じゃないサービスを作ることができる Getting Realまとめ 本を読んだだけではすぐ実践できない アイデア出しに挑戦 通った企画（今回作成した
BigQueryのテーブルのメタデータをCloud Data Catalogで管理する - yasuhisa's blog
自分が使いたいと思ったBigQuery上のリソース(tableやview)、内容を事前に完全に把握できている、ということは結構少ないのではないかと思います。そういったときに手助けをしてくれるのがメタデータです。BigQueryのリソースに対するメタデータを、Cloud Data Catalogのタグとして付与する方法を紹介します。Cloud Data Catalogを使うことで、分析者が必要なリソースに素早く辿り付いたり、正確な分析をするためのサポートができます。 BigQuery関連のAudit logを元に、以下の情報をData Catalogのタグに入れた。 - 最後にクエリを投げた{日, 人} - クエリを投げられた回数 「あまり使われていないので、信用できないデータかも」「最後にXXXさんがクエリ投げてるから、詳細詳しいかも」みたいな用途を想定してる pic.twitter.co
PHP8.3 / PHP8.2 / PHP8.1 / PHP8.0 2022/12/08にPHP8.2.0がリリースされました。 大きな新機能については、PHP8.0以降公開されるようになったランディングページで見ることができます。 ここでは、概要だけではなくUPGRADINGに載っている変更点を全部見て回ることにします。 Backward Incompatible Changes 下位互換性のない変更点。 Date DateTime::createFromImmutable() now has a tentative return type of static DateTime::createFromImmutable()の返り値の型がstatic型になりました。 以前はDateTime型でした。 これはphpstanのバグへの対応です。 class CustomDateTimeImmu
Pythonで曜日を数字で取得する方法 - ITips
Pythonでどうすれば曜日を取得できるかお悩みではないだろうか。 曜日はPythonで簡単に取得することができ、今日でも他の日でも可能だ。 今回はPythonで曜日を数字で取得する方法について紹介する。 Pythonで今日の曜日を取得するには datetime.date.today() で今日の日付を取得して、weekday()メソッドを用いると取得できる。 import datetime # 曜日番号を取得（0は月曜日） week_num = datetime.date.today().weekday() print(datetime.date.today()) print(type(datetime.date.today())) print(week_num) # 2020-05-05 # <class 'datetime.date'> # 1 取得できる値は数値となっており、月曜日
SQL Server、BigQuery、Redshift 日付型の比較＆リファレンス - エニグモ開発者ブログ
この記事はEnigmo Advent Calendar 2020 の14日目の記事です。 はじめに こんにちは、エニグモ 嘉松です。 簡単な自己紹介ですが、BUYMAのプロモーションやマーケティングを行っている事業部に所属して、その中のデータ活用推進室という部署で会社のデータ活用の推進やマーケティング・オートメーションツール（MAツール）を活用した販促支援、CRMなどを担当しています。（データ活用推進室、長らく私一人部署だったのですが、先月1名増えて2名体制になりました！） 目次 はじめに 目次 背景 日付および時刻関連のデータ型 SQL Server BigQuery Redshift タイムゾーンとは？ データ型まとめ 現在日時（日付と時間）の取得方法 SQL Server GETDATE関数 BigQuery CURRENT_TIMESTAMP関数 Redshift SYSDATE関
週刊Railsウォッチ: VSCodeでRubyコード実行結果を表示、rubygems.orgがgem作者に多要素認証を呼びかけほか（20220621後編）｜TechRacho by BPS株式会社
こんにちは、hachi8833です。RubyKaigi 2022のCFPが一昨日締め切られました。 Final Call: CFP for RubyKaigi 2022 closes at midnight today (in JST). Don't forget to submit your proposal(s) within 6.hours.from_now! 🥷💨 https://t.co/mLjIuqCsyM #rubykaigi — RubyKaigi (@rubykaigi) June 19, 2022 週刊Railsウォッチについて 各記事冒頭には🔗でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 お気づきの点がありましたら@h
1. はじめに Findyでデータエンジニアとして働いている ひらき（hiracky16）です。 この記事ではFindyで取り組んでいるデータ基盤について紹介します。 Findyでは2023年からデータエンジニアを採用し本格的にデータ基盤構築に着手しています。 これまではBigQuery（Google Cloud）を中心としたデータ蓄積・利活用をしていました。 今後もっとデータ分析、機械学習などのデータ利用を加速するためにデータマネジメントが不可欠だと考えており、データエンジニアを採用しています。 まだ1人目のデータエンジニアがジョインしてから半年間くらいの取り組みですが、現時点のアーキテクチャや技術スタック、伸びしろや展望などを記します。 1. はじめに 2. これまでのデータ基盤の伸びしろ 3. 現状のデータ基盤アーキテクチャ 3.1. 本番環境のIaC化と開発環境の準備 3.2. デ
週刊Railsウォッチ（20190722-1/2前編）Rails 6エラー画面の改良点、Dateを四捨五入できるtime_calc、Rackミドルウェアのデザインパターンほか｜TechRacho by BPS株式会社
2019.07.22 週刊Railsウォッチ（20190722-1/2前編）Rails 6エラー画面の改良点、Dateを四捨五入できるtime_calc、Rackミドルウェアのデザインパターンほか こんにちは、hachi8833です。7年近く肌身離さず使い続けたMacbook Pro 2013 LateのSSDのメインパーティションが、先週金曜日に天に召されました😇。 各記事冒頭には⚓でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 毎月第一木曜日に「公開つっつき会」を開催しています: お気軽にご応募ください ⚓お知らせ2件 ⚓「出張Railsウォッチ in 銀座Rails」のお知らせ morimorihogeからのお知らせ： 7/24開催予定の銀
Laravel DB.com 操作マニュアル。 〜コード書かずに超スピード開発（DEMO動画あり）〜 - Qiita
みなさんこんにちは ジーズアカデミー主席講師 山崎ですm(_ _)m 今回はLaravleでサクッとモックアップが作成できる「Laravel DB.com」についてMemoしておきます。 Laravel DB.com ってなに？ ER図書いて「 Migrationコード or 基本ベースのCRUD(β版) 」までを自動生成可能です。 そこからの細かい仕様に合わせる部分は自身で修正する必要はあリます。 最低限テーブル設計/LaravelのCRUDを書けるくらいの基礎知識は必要（命名規則とか間違ってるとエラーの山に） 超速でMigrationファイルやCRUDのザックリコードを作るまでは自動って感じで、あとは自分でアレンジして使うって感じですね。 「 LaravelDB.com 」の特徴 テーブル設計をクラウドに保存可能 （ 他アプリの設計に使い回せる！ ） 「 家・会社のパソコン 」でも同じ
AuthorsTwitter@__Attsun__Published onMonday, September 6, 2021 Aboutpydantic 単体でも利用可能な便利な機能についてご紹介します。 pydantic とは公式ドキュメント の冒頭には以下のような記載があります。 Data validation and settings management using python type annotations. python の型アノテーションを使った、データバリデーションと設定管理のライブラリ、ですね。 基本的な使い方このあとの話を理解するのに必要な、基本となる機能をさらっと紹介します。 モデルの定義pydantic では、クラスを使ってモデルを定義します。 各フィールドには型が必要です。 from datetime import datetime from typing i
社内の朝カフェにモバイルオーダーを導入した話
株式会社マイベストのエンジニア２年目になりましたkatakyoです！ mybest BlogKaigi 2024 2日目を担当します！ 朝カフェとは？ マイベスト社員同士の交流、情報交換の場、出勤前の憩いの場として始まった社員持ち回りで行う社員のイベントです。20万円ほどするデロンギの全自動コーヒーメーカーなどを使って定時前の社員が日々交代でカフェの店長を行います！（なお、コーヒー自体は無料で提供されます） 部署によっては、検証で使用した最新の家電を試せたり、占いを行ったりと、イベント的な取り組みをしている部署もあります。 プロダクト開発部として、今回やるにあたり、カフェ店員が結構忙しいという話を店長をやった方から聞いたのと、何かできることないかなと考えて今回朝カフェに「モバイルオーダーシステム」を導入してみることにしました。 作ったもの Webサイトから飲み物をオーダーし、オーダーされた
【2020年版】とりあえず入れておくべきおすすめPythonパッケージ25選【Python】 - なろう分析記録
Pythonはパッケージを使うことで高度なことが手軽に実現できる Python上達の近道はパッケージを知ること Pythonは追加パッケージを導入することよって統計解析から画像処理まで様々なことが出来るようになります。 今回は数多く存在するPythonパッケージの中から、メジャーなものを２５個ご紹介したいと思います。 パッケージのインストール・管理にはpipを使う pipを使うことでPythonパッケージを簡単にインストール・管理することが出来ます。 pipコマンド 現在入っているパッケージの確認 pip list 現在入っているパッケージリストの書き出し pip freeze > requirements.txt コマンドを実行する前にcdコマンドを使ってあらかじめrequirements.txtを書き出す場所に移動しておきましょう。 pip freeze Pythonパッケージのインス
マイクロソフトの無償RPA（自動化ツール）である「Power Automate Desktop（PAD）」で使用されているRPA言語「Robin Language（ロビン言語）」について解説しています。 このコンテンツはプログラミングやローコード開発の経験がある方向けの内容となっていますので、もしこれからPower Automate Desktopでの自動化にチャレンジしてみたい、という方は「はじめてのPower Automate Desktop – 使い方・解説記事まとめ」をご覧になってみてください。 本ページは通常Power Automate Desktopで直接編集することのない（本来する必要が無い）ソースコードについての解説となっています。 私的なマニュアルとして整理し始めたもののため、もしご興味があれば読んでみてください。サンプルやテンプレートなどを交えた自動化フロー作成の解説に
プラットフォーム部 DevEx チームの河井です。 8月に弊社サービス TUNAG（ツナグ）で使っている Ruby on Rails のバージョンを 6.1 から 7.0 に上げたので共有します。 やったこと 一般的なバージョンアップのフローについては多くの記事がありますので、ここでは影響が大きかった仕様変更の対応方法について紹介します。 フォーマット指定なしの to_s to_s にフォーマットを渡すことが非推奨化されました。 この変更により、引数なしの to_s の挙動が変わってしまう問題がありました。 そこで、影響を受けるクラスについて to_s をオーバーライドし、フォーマットがこれまでと変わらないようにしつつ、警告を出すことで後から直すべき箇所を見つけやすくしました。 class ActiveSupport::TimeWithZone alias original_to_s to
改善点 github.com/go-sql-driver/mysql (以降 go-mysql) の v1.8 から、Scanの振る舞いが変わります。 go-mysql v1.7.1 までは、次のコードの2つのクエリのScan結果は異なっていました。 // db の接続設定で interpolateParams が false の場合 var v any db.QueryRow("SELECT 123 WHERE ? = 1", 1).Scan(&v) fmt.Printf("%T %v\n", v, v) // int64 123 db.QueryRow("SELECT 123 WHERE 1 = 1").Scan(&v) fmt.Printf("%T %v\n", v, v) // []uint8 [49 50 51] go-mysql v1.8 (未リリース)からは、これが上の動作に
こんにちは。 GMOアドマーケティングの@zakisanbaimanです。 弊社ではDWHとしてBigQueryを採用しているのですが、テーブルサイズが巨大になりそのクエリコストが課題になっていました。 そこでテーブルにパーティションを設定し、クエリの書き方を工夫することによってコストを抑えようと試みたので内容を共有します。 パーティションテーブルとは 1つのテーブルを指定した単位で分割させることでクエリ時に参照するレコード数を削減し、クエリコストの削減やパフォーマンス向上を狙うことができます。 RDBMSのパーティショニングに近い機能ですね。 パーティションは1テーブルに対して1つのみ設定でき、「時間単位の列（TIMESTAMP型やDATETIME型）」、「整数型の列」、「取り込み時間」に対して設定できます。 今回はTIMESTAMP型の列に対して”HOUR”単位でパーティションを設定し
はじめに heyのデータチームで働いている田島です。 2021年の上半期、heyのデータチームは、エンジニアとアナリストが協力して統合データ基盤をゼロから作り上げてきました。 なぜゼロから作る必要があったか説明するために、簡単にheyの成り立ちとサービスを紹介します。heyは、中小企業や個人事業者にサービスを提供する3社が統合されてできた会社であり、現在では、ネットショップ開設・POSレジ・キャッシュレス決済・オンライン予約システムと、お店のデジタル化をまるっとサポートするための、4つのサービスをSTORESブランドのもと展開しています。 データチームの役割は、これらのサービスを横断して様々な切り口で分析し、オーナーさん（お店を運営する企業や個人の方を社内ではオーナーさんと呼んでいます）と事業にとって望ましい方向へ進むように意思決定をサポートします。社内の様々なチームのミッションに寄り添い
Pythonでjson dumpsを使いこなそう！(encoding、foramt、datetime) | 侍エンジニアブログ
みなさんこんにちは！ JSONファイルは正しく扱えていますか？PythonでJSONを出力の際、文字化けしてしまったり、datetime型がうまく扱えずにエラーがでてしまったり、エンコード問題に悩まされたりしていませんか？ 今日はそんな方たちのために、JSONのdumpsについて詳しく見ていきたいと思います！ json dumpsとは さて、実際にdumps関数をのどのように使うのか見ていまえに、そもそもdumps関数がどんなものかということについて見ていきます。 dumps関数とはデータをJSON形式にエンコードすることのできる関数です。jsonライブラリでは、loads関数がデコード、dumps関数がエンコードとなっています。 エンコードとはデータを別の型に変換してくれることで、デコードとはエンコードされた型をもとに戻すことです。 loads関数や、そもそもJSONが何か怪しいという方
G-genの杉村です。Google Cloud (旧称 GCP) の誇るデータウェアハウスサービスである BigQuery には、パフォーマンスの向上に当たり パーティション と クラスタリング という重要な概念があります。 それぞれの仕組みや使い分けを解説していきます。 パーティション パーティションとは パーティションフィルタ要件 (Partition filter requirements) メリット パーティションの分割基準 時間の列 取り込み時間 整数範囲の列 パーティションの管理 クラスタリング クラスタリングとは クラスタ化に指定する列 自動再クラスタリング パーティション VS クラスタリング パーティションとクラスタリングの違い パーティションとクラスタリングの使い分け パーティション・クラスターのレコメンデーション その他 注意点 参考情報 パーティション パーティショ
All Aboutの基幹DBのMySQLバージョンを5.7から8.0に上げた話 - オールアバウトTech Blog
こんにちは。株式会社オールアバウト エンジニアの@hideです。 私たちのチームでは、2022年3〜6月にかけて、オールアバウトの基幹DB（All Aboutの記事やガイドの情報が格納してあるDB）のMySQLバージョンを5.7から8.0に上げる対応を実施しました。 当記事ではその際の移行手順や実際の作業を通して得た知見をまとめます。 これからシステムのMySQLバージョンを上げたいと思っている方の参考になれば幸いです。 環境情報 MySQLバージョンアップの動機について セキュリティ担保のため All Aboutのリアーキテクチャに向けた準備 移行作業の振り返りと得た学び 1. MySQL8の変更点を確認 2. 影響範囲の洗い出し 3. 各アプリのテストケースを作成 4. ステージング環境で動作テストを実施して問題点の洗い出し＋エラーの解消 MySQL8で削除されたSQLモードに起因する
Nature Remoに内蔵されているセンサーの値は、公式のアプリで見ることができる他、Nature Remo Cloud APIの値を通じて取得することができます。 これまで取得できたのは温度、湿度、照度センサーの値でしたが、2019年6月20日あたりから人感センサーの値も取得できるようになりました。これで、Nature Remo搭載の内蔵センサーの値が全部API経由で取得できるようになったようです。 以下は、実際にNature Remo Cloud API経由で取得したJSONデータ例です。 "newest_events": { "hu": { "val": 70, "created_at": "2019-06-27T15:12:45Z" }, "il": { "val": 10.6, "created_at": "2019-06-27T14:27:47Z" }, "mo": { "v
目次 背景 目的 内容 所感 背景 仕事をしていると、共通ファイルサーバにあるファイルが更新されたらすぐに知りたいと思う場面が多々ありました。毎回フォルダにアクセスして更新されているかを確認するのは面倒であり、ファイルが更新されたら誰かがお知らせしてくれれば便利だなぁと思っていました。 目的 フォルダにあるファイルが更新されたら、通知されるプログラムを作成すること。 内容 コードのコンセプト プログラムの流れを考えます。 まず、ファイルを監視するのか、フォルダを監視するのかを場合分けする必要があります。ファイルとフォルダの場合についてそれぞれについて深掘りしていきます。 【ファイルの場合】 プログラムを実行した際のファイルの更新日を記録する 更新日を定期的に取得する その2つの日付を比較して異なれば通知する 【フォルダの場合】 [ファイルの個数を監視] プログラムを実行した際のファイルの数
ISUCON11予選でSwift移植チャレンジした - kateinoigakukunのブログ
TR;DR ISUCON11予選にSwiftで参加した SwiftのConcurrency機能（async/await等 ）の体験最高 素振りが足りず地区予選敗退 チーム情報 メンバー @freddi @giginet @kateinoigakukun 全員iOSアプリ開発人材 共通してそれなりに書ける言語がSwift 移植の覚悟 ISUCONでは例年、いくつかの言語で対象Webアプリケーションの参考実装が提供されます。しかし、それを使わないといけない、というわけではなくレギュレーション上は他言語の使用が許可されています。 許可される事項には、例として以下のような作業が含まれる。 ・ ... ・他の言語による再実装 ISUCON11 予選レギュレーション : ISUCON公式Blog Swiftの実装は残念ながら提供されていませんが、せっかく参加するのであればチームの得意分野を活かしたい、
「GraphQL スキーマで支えるレジアプリ開発」というタイトルで話しました - STORES Product Blog
hey で STORES（EC）や STORES レジのバックエンドエンジニアをしております、知花です。 先日“hey Talk” Engineers 新プロダクト「STORES レジ」を支えるエンジニアリングというイベントにて「GraphQL スキーマで支えるレジアプリ開発」というタイトルで、主に GraphQL スキーマを利用した開発の進め方について話しました。 今回はそのときに話した内容について書いていきます。 はじめに STORES レジではアプリ用の API として GraphQL を採用しました。API は EC（Rails）のコードベースに乗る形で実装しており、実装には graphql-ruby gem を利用しました。 そもそもなぜ GraphQL を採用したのかについてですが、プロジェクトが始まってまだ開発が始まっていないときに、アプリチームから「GraphQL 使ってみ
【 Laravel 】CRUD『 表示・登録・更新・削除 』機能をCODEを書かず自動作成（Beta版機能） - Qiita
◇Laravel DB.com を初めての人はこちらから 初めての人はこちらから>> 基本操作説明（Youtube） CRUD 操作説明（YouTube（DEMO）） Laravel DB.com は「 ER図 → CRUD生成 」までCODEを書かずに作成可能なツールです 以前にも書きましたが、Laravel DB.comでは「CRUD」のコードまで生成するようになりました。＼(^o^)／ ※但し、CRUD機能はまだベータ版です 私の開発環境 Laravel5.5~6/PHP7.2.1/MySQL5.6.38 （Mac: Chromeで確認） 【 LaravelDB.comへ ログイン 】 LaravelDB.com 現在は「Googleアカウント」のみログイン可能 ※現在はGoogleアカウントを持っていない人は少ないですからね〜 【 LaravelDB.comの POINT！！ 】
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
文春オンラインの記事分析を支える爆速ダッシュボードを作るまで｜Shota Tajima
データベース設計の際に気をつけていること - 食べチョク開発者ブログ
RDBの作成時刻や更新時刻用カラムに関するプラクティス | おそらくはそれさえも平凡な日々
MySQL (MariaDB) でハマった仕様 - kamocyc’s blog
時系列データを前処理する際のPython逆引きメモ - EurekaMoments
「Python実践データ分析100本ノック」を写経してみた - Qiita
dataclassを捨ててpydanticに乗り換える
社内のSlack通知アプリをRustで実装した - STORES Product Blog
ノートにツイートを貼れるサービス「twi-note」を作成しました - s4naのテックブログ
【PHP8.2】PHP8.2がリリースされたので新機能全部やる - Qiita
Findyデータ基盤のアーキテクチャと技術スタック - Findy Tech Blog
FastAPIを使っていなくても、Pydanticは便利です
Power Automate Desktop：Robin言語の解説＆簡易リファレンス
TUNAG の Rails バージョンが 7.0 になりました - stmn tech blog
go-mysqlでany型へのScan()が使いやすくなります
Google BigQueryの既存テーブルをパーティション化
サービス横断の分析を支えるheyのデータマート運用 - hey Data Team Blog
BigQueryのパーティションとクラスタリングについての解説 - G-gen Tech Blog
Nature Remoの人感センサーの値を集計して可視化する - じーろぐ
【業務効率化】ファイルorフォルダの更新を監視するプログラム - Qiita