タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
世の中には、一見関係なさそうな物理現象がITシステムに不可思議な影響を及ぼすことがあります 例えば,500マイル以上離れた場所にメールが送れないという話だったり 中国人のAさんがお茶を入れると会社のネットが繋がらなくなる という話があります。 私の場合は、祖母が就寝するとDBインサートが失敗する、という状況でした 実家の見守りシステム 問題が起きているのは、離れた実家にいる一人暮らしの祖母の状態を見守るために作成した自作のシステムです。 気温や湿度、CO2濃度、明るさ、部屋のドアの開閉、冷蔵庫の開閉の状況をモニタリングできるようにしています。 Raspberry Piに各種センサが接続され、定期的にInfluxDBに送信し、Grafanaという可視化ツールでいつでも見られるようにしています。 これらの情報を見ることで、祖母の家の部屋の温度が適切か、活動しているか、部屋にいるかなどが分かりま
Bulk insertでも20時間以上かかっていたMySQLへのインサート処理を1時間以内にする - エムスリーテックブログ
この記事はエムスリー Advent Calendar 2022の30日目の記事です。 前日は id:kijuky による チームメンバーのGoogleカレンダーの休暇予定一覧をスプレッドシート+GASで作った でした。 AI・機械学習チームの北川(@kitagry)です。 今回はMySQLへのインサートを20倍以上高速化した話について書きます。 仕事をちゃんとしてるか見張る猫 TL; DR はじめに 今回のテーブル バイナリログを無効化する 追試 LOAD DATA INFILE 追試 テーブルの正規化 インデックスを一時的に剥がす まとめ We are hiring!! TL; DR バイナリログをオフにする LOAD DATA INFILEを使う インデックスを一時的に消す はじめに AI・機械学習チームではサイトトップからアプリに至るまで多くの推薦システムがあります。 そこでは推薦ロ
TiDBによる大規模ログデータ管理の挑戦！シャーディングなしで大量インサートをさばくには？ - LINE株式会社 - TiDB User Day 2023
イベント開催日：2023年7月7日 講演者：LINE株式会社 ITSC データベース室 MySQL 1チーム ソフトウェアエンジニア 大塚 知亮 氏 本スライドでは、TiDBで大量のログデータを管理するRDBとして、MySQL及びTiDBを検証した過程と結果、そしてオンプレでの運用方法について発表します。通常、超大量のデータ挿入や更新が発生するアプリケーションにMySQLを利用する場合、適切なデータ量や負荷を基準にシャーディングを行って対応します。しかし、それによってシャードを意識したクエリの発行が必要になるだけでなく、シャードをまたいだデータのジョインや整合性の担保に頭を悩ませることになります。この一つの解決策として、MySQL互換の分散データベースであるTiDBは魅力的な選択肢です。このスライドでは、LINEでシャーディングなしで高負荷案件に対応するために、どのように検証し、オンプレで
世の中には、一見関係なさそうな物理現象がITシステムに不可思議な影響を及ぼすことがあります 例えば,500マイル以上離れた場所にメールが送れないという話だったり 中国人のAさんがお茶を入れると会社のネットが繋がらなくなる という話があります。 私の場合は、祖母が就寝するとDBインサートが失敗する、という状況でした 実家の見守りシステム 問題が起きているのは、離れた実家にいる一人暮らしの祖母の状態を見守るために作成した自作のシステムです。 気温や湿度、CO2濃度、明るさ、部屋のドアの開閉、冷蔵庫の開閉の状況をモニタリングできるようにしています。 Raspberry Piに各種センサが接続され、定期的にInfluxDBに送信し、Grafanaという可視化ツールでいつでも見られるようにしています。 これらの情報を見ることで、祖母の家の部屋の温度が適切か、活動しているか、部屋にいるかなどが分かりま
oshiokipilates.hatenablog.com 西園寺 「お待たせ～、行こっか」 テレクラのノリで、 声をかけてくる西園寺 カウパー 「まだどこかに移動するんですか？」 「一体、ナニをするんです？」 西園寺 「特別なことだよ。憑いてきな」 そういうと西園寺は歩き出し、 カウパーもついていくのであった。 西園寺 「こっちが近道だから」 カウパー 「本当に大丈夫なんだろうな？」 西園寺 「はじめはみんなそういうんだよ！」 カウパー （どっかで聞いたことがあるセリフ） 余計に心配になるカウパーであった。 「あの……なにもしないですよね？」 西園寺 「ついたぞ」 「ここの屋上だ」 カウパー 「ちょっ！！！」 「こんなところでナニをするんだ！」 「せめてシャワーは先に浴びさせてくれ！」 「あと……」 「電気は消してほしい……」 西園寺 「なにイッてんだよ。お前」 「除霊だよ。ベンが憑いた
INSERT INTO user(name) values('test1'); INSERT INTO user(name) values('test2'); INSERT INTO user(name) values('test3'); 複数行のデータをインサートする際、1回のsql文でインサートしたいって時に使えます。 バルクインサートでは1回のトランザクションでインサートすることができるため、 トランザクションを発行して何回もインサート処理をループさせるよりもコンテキストスイッチの回数が減るため実行速度が速いです。
oshiokipilates.hatenablog.com 胸像とはいえ、 ついに出会ってしまった……。 こいつが……ベン・N・Jr…… カウパー 「Drピッグの存在で霞んでしまっていたが、 こいつもかなりクレイジーな奴だったんだろう……。」 （この街の人たちは、Drピッグといい、ベンといい、よく受け入れてたもんだな） （それだけ懐がひろいということか……。） （ちょっとまて！） （本当にこんな奴が俺に憑りついてたらかなりヤバイじゃないか！） 自分の置かれた立場に気づき、焦るカウパー カウパー 「ダメ元でいいから、西園寺のところ、行ってみるか」 （知り合いもいないし……。） カウパー （河原に住んでるって言ってたけど、） （確か、桟橋が目印とか、言ってたような……。） 「あれだ！！！」 カウパー 「めっちゃ混んでる！！！」 【お仕置きピラティス】 フォローお願いします🐷 Twitter
MySQLのlast_insert_id()は「最後にインサートしたレコードのID」じゃなかった - そんな今日この頃でして、、、
今日たまたま引っかかってへ～っと思ったネタ。 ごく単純に「インサートしたレコードのIDを取りたいならlast_insert_id()使えば良い」と認識していたので、ちょっと驚いたというか勉強になったというか。 ↓こんなテーブルを考える。 mysql> desc tbl; +-------+---------+------+-----+---------+----------------+ | Field | Type | Null | Key | Default | Extra | +-------+---------+------+-----+---------+----------------+ | id | int(11) | NO | PRI | NULL | auto_increment | | value | text | YES | | NULL | | +-------+-
こんにちは！DA(データアナリティクス)事業本部 インテグレーション部の大高です。 SQLでテーブルへのデータINSERT時にデータ重複を除外する方法はいくつかあります。 その中で、集合演算子EXCEPTを利用した重複除外の方法を始めて知ったのでまとめたいと思います。 参考）集合演算子 — Snowflake Documentation さきに結論 結論から書くと、以下のようなクエリを利用すると「データ登録元テーブルsrc_tblに重複データがあった場合に、データ登録先テーブルdest_tblが空テーブルであってもデータ重複無しで登録できる」という話です。 -- EXCEPTを利用してデータ登録先テーブルへ登録 INSERT INTO dest_tbl SELECT id FROM src_tbl EXCEPT SELECT id FROM dest_tbl; 直感的なEXCEPTの利用方
![[小ネタ]SQL – EXCEPTを利用した重複排除インサート | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/27236b4079f04ffedf17631b7343b30199eadd39/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2021%2F03%2Ffutago-coodinate-eyecatch.png)
oshiokipilates.hatenablog.com カウパー 「ヒマだ」 （天気もいいし、街を散策してみるか ） カウパー （ここに越してきてから、変なこと続きだが、いい街だなぁ） ほどよく都会で、 でも少し歩けば自然も豊かだし、 （あぁ、双子ちゃんかぁ、かわいいなぁ） （おんなじ服着て） すごく微笑ましいよ。 ほんとに気持ちいいぐらいの散歩日和だ。 ワンちゃんもこんな中で遊べたらうれしいだろうに、 あのベンチに座ってるきれいな人が飼い主かな？ カウパー （あれ？違ったのか？） 「じゃあ？」 カウパー （………） （今日は歩けるだけ歩こう……） カウパー 「えぇっ！！」 （思わず声が出ちまった。） 桃色ピストン株式会社ってここだったのかぁ 知らなかったぜ。 フランスが本社だったとは……。 １００％オーガニックにこだわったパイオニアだもんなぁ また仕事も探さないといけないし、 ここで
方法としては、２通りある。 Eloquentを利用している場合 Memoというモデルがあるとした場合、save()後に、インスタンスが更新されて、id値が記録される。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
![ビッグテック企業は“ガザのジェノサイド”にどのように加担しているのか | p2ptk[.]org](https://cdn-ak-scissors.b.st-hatena.com/image/square/31e3cb9a45fa7e0f501485ff6abe1e00c13590af/height=288;version=1;width=512/https%3A%2F%2Fp2ptk.org%2Fwp-content%2Fuploads%2F2024%2F10%2FGaza-BigTech-Header.jpg)
祖母が就寝するとDBインサートができなくなる - Qiita
祖母が就寝するとDBインサートができなくなる - Qiita
Drピッグと呼ばれた男～インサート＃73 - お仕置きピラティス「ウラのウラ」
SQLのインサートとバルクインサート - Qiita
Drピッグと呼ばれた男～インサート＃71 - お仕置きピラティス「ウラのウラ」
[小ネタ]SQL – EXCEPTを利用した重複排除インサート | DevelopersIO
Drピッグと呼ばれた男～インサート＃70 - お仕置きピラティス「ウラのウラ」
LaravelでインサートしたデータのID値を確認する - Qiita
comic-days.com
reinforz.co.jp
bluediary2.jugem.jp
www.makuake.com
tonarinoyj.jp
www.naha-airport.co.jp