なぜ、SQLは重たくなるのか？──『SQLパフォーマンス詳解』の翻訳者が教える原因と対策｜ハイクラス転職・求人情報サイト AMBI（アンビ）
なぜ、SQLは重たくなるのか？──『SQLパフォーマンス詳解』の翻訳者が教える原因と対策 『SQLパフォーマンス詳解』の翻訳者の松浦隼人さんに、8つの「SQLが重たくなる原因とその対策」を聞きました。システムのボトルネックになるような「問題のあるSQL」を回避するノウハウを学びましょう。 データの操作や定義をする言語「SQL」は、どのような領域を担うエンジニアにとっても必修科目です。しかし、その仕様をきちんと理解し、パフォーマンスに優れたSQLを書ける方はそれほど多くありません。問題のあるSQLを書いてしまい、知らぬ間にそれがシステムのボトルネックになってしまう事態はよく発生します。 では、どうすればそうした事態を回避できるのでしょうか？ そのノウハウを学ぶため、今回は『SQLパフォーマンス詳解』の翻訳者であり、自身もエンジニアでもある松浦隼人（まつうら・はやと／@dblmkt）さんに8つ
HTTP/2が速いという幻想 - Webパフォーマンスについて
難しい話じゃないです。 皆さん、ご自分でChrome Developer Toolで簡単に確認できますから、やってみて下さい。 このブログでも、過去に統計分析をした結果は掲載したんですが、「盲信」はそうそう簡単には消えないようでして… takehora.hatenadiary.jp takehora.hatenadiary.jp 以下の図は、Chrome 63.0.3239.108での結果です。 CDNにFastlyでもAWS CloudFrontでも、どのCDNを使って実験して頂いても結構です。 CDNを使わずに、Webサーバ単体でも結構です。 同様の結果になります。 どちらもHTTPS通信です。 どちらも同じオリジン、同じファイル構成です。 HTTP/1.1は、Keep-Alive設定が入っています。 HTTP/1.1での配信 … Load Event 70ms HTTP/2での配信
AWS、KVMベースの新ハイパーバイザ採用を明らかに。「C5インスタンスタイプ」から
AWSの巨大なクラウドを支える基盤ソフトウェアのひとつがXenベースのハイパーバイザだ。しかしAWSは新インスタンスタイプの「C5」で、KVMベースの新ハイパーバイザ採用を明らかにした。 AWSはハイパフォーマンスコンピューティング向けの新しいインスタンスタイプ「C5インスタンスタイプ」を発表しました。 C5インスタンスタイプの最大の特徴は、KVMベースのハイパーバイザを採用した点にあります。 これまでAWSはXenベースのハイパーバイザを使用してきたことが知られています。新ハイパーバイザの採用はAWSの基盤を構成する代表的なソフトウェアの変更であり、大きなニュースと言えます。 C5インスタンスタイプの「新しいハイパーバイザ」 ただしC5インスタンスの発表ではKVMの名称は出てこず、単に「新しいハイパーバイザ」と説明されています。「Now Available – Compute-Inten
分散システムについて語らせてくれ。顛末と反省。 - Software Transactional Memo
8/10のNTT Tech Conference #2 にて発表の時間をもらってこのタイトルで喋ってきた ntt-developers.github.io 発表が決まるまで これはNTTグループ内のソフトウェア・ネットワーク系技術者が集まるコミュニティで、誰が発表者になれるかは投稿されたProposalに対するコミュニティ内での投票によって選考される。 何を話したいか自分の中でも固まりきっていなかった上に、主催者の話をロクに聞いていなかった自分は小さい部屋で僕のことを知る人しか集まらない不人気セッションを勝手に想像しており、abstractを書く欄に「実世界で使われている分散システムを構成する際に理解してほしい議論についてkumagiが一人で滔々と語る。」という漠然とした説明を書いた。初心者にこそ聴いて欲しいという身勝手な理由でレベル設定をBeginnerにし、自己紹介欄に至っては本当は経
【締め切りました】ISUCON7 オンライン予選の参加登録を開始＆参加チームとメンバーリスト : ISUCON公式Blog
追記 10/10 18:05 応募を締め切りました＆参加チームを更新 追記 10/10 12:00 参加チームを更新 -- LINE株式会社 主催 ISUCON7 の参加登録を本日から開始いたしました。 参加登録締め切りは 2017年10月10日(火) 18:00:00 JST です。 ISUCONについてはこちら ISUCON7 開催＆日程決定！ #isucon オンライン予選の概要と開催日オンライン予選の方式は以下を予定しております。 さくらのクラウド を利用出題者側でお題アプリが乗ったマシンを用意各チームは用意されたマシンに ssh でログイン各チームは出題者側で用意したベンチマーク用 Web ページからベンチマークを実行予選問題に使われる OS は Ubuntu を予定 予選・本選で使用するサーバ環境は、さくらインターネット様からの提供となるため参加費などは無料となります。また、参
サーバー市場を制するのは「Xeon Platinum」と「AMD EPYC」のどちらなのか？ | ちもろぐ
最強のXeonが登場、28コアのPlatinumと16コアのGoldモデル 中国で流出したサンプル品は「8176」が中古価格3000ドル程度だったが、まさか新品価格が8000ドルを超えているとは想像もできなかった。Xeon Platinumって、こんなに高いんですか。いくら歩留まりが悪いといえ、既に分が悪い印象です。 特徴をまとめていくと… 1コアあたりの価格がずいぶんと高価特殊仕様が存在するクロック周波数が全体的に高いよってTDPも全体的に高い対応ソケット数は最大で「8」なお、クロック周波数はコア数を考えると異常な水準ですが、実際に全てのコアがこのクロック周波数で動くわけではありません。コアによって最大クロック周波数は制限されている、ちょっと変わった仕様になってます。 EPYCと比較すると「特殊仕様」の存在も気になるところ。同じスペックでも語尾に「M」がつくと価格が20～30%も上昇する
pixivを常時HTTPS化するまでの道のり（後編） - pixiv inside
ピクシブ株式会社で開発基盤チームとして働いている @catatsuy です。 前編ではpixivを常時HTTPS化する前にやった前準備として、広告、画像といったリソースをHTTPSに切り替える際の手順を紹介しました。 pixivを常時HTTPS化するまでの道のり（前編） - pixiv inside 後編では実際にpixivのアプリケーション自体を常時HTTPS化していく手順を紹介します。 従来のHTTPS配信 pixivはPHPアプリケーションを実行するアプリケーションサーバー(Apache/mod_php)の前段にnginxを配置する構成になっています。以前からセキュリティ的に重要なページはHTTPSで提供しており、nginxでHTTPS終端処理を行っていました。HTTPSで応答する場合はアプリケーションサーバーにX-HTTPSヘッダーを付けてプロクシーしています。 具体的には以下のよ
HTTPS化についてヤフー・クックパッド・ピクシブが語る！ - 大規模HTTPS導入Night (2017/06/21 19:30〜)
日本のインターネットではHTTPS化がなかなか進まないといわれていますが、ここ最近、大規模なWebのサービスが率先してHTTPS化を進めつつあります。その背景に一体何があったのか、技術的には一体どんな悩みがあったのか、ヤフー、クックパッド、ピクシブの3社で、HTTPS化を進めた現場の担当者から生の声として語っていただきます。 登壇者 ヤフー株式会社 宮武大地 ヤフー株式会社所属。CTO室にて部門横断の技術案件の推進・サポートなどを行っている。 クックパッド株式会社 星北斗 クックパッド株式会社所属のSRE。インフラ部のマネージャーを務めつつ、主にセキュリティや AWS 関連でのサービスインフラ改善を行っている。 ピクシブ株式会社 金子達哉 ピクシブ株式会社所属。開発部で開発基盤チーム・広告チームを兼任。pixivの技術的な改善を主に担当。 タイムテーブル 19:00〜19:30 - 開場
Mastodon/Pawooの運用&開発技術 - pixiv Night #04 - connpass
注意 現在X(旧Twitter)でのソーシャルログインができない事象を確認しています。事前にX(旧Twitter)側で再ログインした上でconnpassのソーシャルログインを行うか、 「ユーザー名(またはメールアドレス)」と「パスワード」の組み合わせでのログインをお試しください。合わせてFAQもご確認ください。 お知らせ 2024年9月1日よりconnpassサービスサイトへのスクレイピングを禁止とし、利用規約に禁止事項として明記します。 9月1日以降のconnpassの情報取得につきましては イベントサーチAPI の利用をご検討ください。 お知らせ connpassではさらなる価値のあるデータを提供するため、イベントサーチAPIの提供方法の見直しを決定しました。2024年5月23日(木)より 「企業・法人」「コミュニティ及び個人」向けの2プランを提供開始いたします。ご利用にあたっては利用
Docker構成のMastodonに後からpgBouncerを組み込む - たていすのメモ2
背景 mastodon.juggler.jp はここ数日はサーバの人数1100〜1050、1日間のアクティブユーザ270人くらいで人数はあまり変わってません。しかしユーザ間のフォローが増えるにつれて、発言、ブースト、お気に入りで発生するFan-outが大量にsidekiqのキューに積まれるのが目立ってきました。特にdefaultキューに処理が溜まるとユーザへの応答性が低下します。 Push通知は計算よりも通信待機が多いのでキューを処理するスレッドを増やすのが効果的です。 それに必要なのがCPU、メモリ、そしてDBサーバへの接続数です。 今回はDBサーバへの接続数を稼ぐために、DBサーバとアプリケーションの間にpgBouncerを設置してみます。 期待される効果 Docker構成のMastodon で使われているDBサーバの初期設定では max_connectionが100 になっていますが
実際に運用してみてわかった、大規模Mastodonインスタンスを運用するコツ - pixiv inside
おはようございます、ImageFlux開発責任者のharukasanです。3日前の4月14日、ピクシブではPawooが急にリリースされることになりまして、ここ数日はずっとPawooサーバにログインしていました。このPawooサーバ、既にピクシブの監視体制に入っており、アラート受信後インフラエンジニアが障害対応できる仕組みを整えています。案の定、リリース直後の15、16日は週末にもかかわらずアラートを受け取ることになり、サーバにはりつくことになったわけです。どんなシステムであろうとアラートを受け取ったら対応する、それが我らインフラエンジニアです。 pawoo.netの構成 さて、それではまずPawooの構成を見ていきましょう。digすればわかりますがpawoo.netはAWS上に構成されています。数百台以上の物理サーバを常時運用しているピクシブであっても、さすがにこんなにはやく物理サーバは用
高度に発達したシステムの異常は神の怒りと見分けがつかない - IPSJ-ONE2017 - ゆううきブログ
名古屋大学で開催されたIPSJ-ONE2017 で登壇しました。 IPSJ-ONEというのは、情報処理学会の各研究会から選ばれた日本の若手トップ研究者17人が集まり、自身の研究を高校生でもわかるように発表するイベントです。 1000人ぐらい入る講堂で、しかもニコニコ生放送で配信されるというとても大掛かりなイベントです。 ちなみに、昨年は、同じ研究会からの推薦で、 id:matsumoto_r (matsumotory) さんが登壇されています。 IPSJ-ONE 2016で登壇してきた - 確実に時代は変わってきている #ipsjone - 人間とウェブの未来 発表 「高度に発達したシステムの異常は神の怒りと見分けがつかない」という、一見何の話かわからないやばそうな話なんですが、大真面目に話してきました。 スライドを以下に公開しています。ただ、スライドだと何の話をしているかおそらくわからな
Goにおける画像ストリーム処理について発表しました - JPEG streaming in Go #pixiv_night - BLOG::はるかさん
ご無沙汰しています、最近リードエンジニアという称号がつきましたはるかさんです。2017/03/14に開催されたpixiv nighit #2でGoにおける画像ストリーム処理の話をしました。そのうちpixiv inside に詳細がのるとおもうので、一旦スライドだけ公開しておきます。 speakerdeck.com pixivの画像変換はほとんどGoで実装されていますが、実際はcgoの呼び出し箇所が多く、時間的には8割くらいCを書いていることになります。実際cgoの呼び出し箇所では面倒なことも多く、最終的にはすべてがGoの世界になるとうれしいんですが、全ライブラリ書き換えないといけないのでなかなか難しいところです。 ImageFluxはこのあたりのところを頑張ることで、うまいことやっていこうとしているので、ご興味あれば是非声をかけていただければと思います。 recruit.pixiv.net
runtime: found bad pointer in Go heap (incorrect use of unsafe or cgo?) · Issue #19135 · golang/go
Please answer these questions before submitting your issue. Thanks! What version of Go are you using (go version)? go version go1.8 darwin/386 What operating system and processor architecture are you using (go env)? OS X 10.11.6, and compiling my code as darwin/386 because I need a 32-bit shared library. What did you do? I've got the following package that's a wrapper for libz, which I've been usi
5年後には画像フォーマットなんて誰も気にしなくなる ─ ImageFluxで描く画像変換の世界(後編) - pixiv inside
ピクシブのリードエンジニア道井俊介(ニックネーム：はるかさん)に、画像変換技術の未来について語っていただきます。 （※この記事は、「画像の価値は上がったのに、技術は10年前から変わっていない ─ ImageFluxで描く画像変換の世界」の後編です。） これからの画像変換システムのありかた ── はるかさんは、これからの画像変換のあるべき姿をどのように捉えているんですか 今でこそEC2みたいなクラウドサービスがあるけど、そうじゃなかった時代のことを思い出して欲しいんです。物理サーバーの時代。やれCPUがどうだとか、SSDに何をつかうだとか、省電力モードがどうとか。Linuxを入れればとりあえず大丈夫でしょ、とか言われてたけど、実際に運用に乗せると、そうでもないですよね。 BIOSの設定がどうなってるだとか、そういう細かいところは、日々のルーチンワークとしてやっていたはずなんですよ。そこに、E
画像の価値は上がったのに、技術は10年前から変わっていない ─ ImageFluxで描く画像変換の世界(前編) - pixiv inside
2012年入社。ピクシブでインフラエンジニアとして活動している道井俊介。ニックネームは、はるかさん(@harukasan)。入社以来、彼は画像配信インフラに関わり続けています。 サービス開始当初はよく障害を起こしていたpixivの画像配信インフラも、対策を重ね、今では安定した配信を実現しています。2014年には、画像変換のためのGo製プロキシ「go-thumber」をオープンソースとして公開。メルカリの久保達彦氏と共著した技術評論社「nginx実践入門」などの執筆にも関わりました。現在は、さくらインターネットと提携し、メルカリなどで活用されている画像変換のクラウドサービス「ImageFlux」の開発リーダーとして活動しています。 まさに、画像変換の世界で最前線に立っているはるかさん。今回彼に、世界最大規模のイラスト画像配信インフラの中でやってきた取り組みを語っていただきながら、同技術の今と
不寛容社会とエンジニアの「正しさハラスメント」 - エモくありたい
先日、珍しく時間を持て余していたので、テレビを見る機会があった。 バラエティ番組を見るつもりもなく、また、10分ほどだったので、回したのはニュースチャンネル。そのときの題材に「不寛容社会」というものがあった。 何かと繊細な昨今、運動会での組体操でのピラミッド禁止や、除夜の金に苦情がきたために日中におこなうなど、ノイジーマイノリティによる過度な規制や自粛に疑問を示す内容であった。 「不寛容社会」というものは、インターネットにも溢れていると思う。いや、インターネットこそが不寛容社会を助長させていると言っても過言ではない状態だろう。どうあっても必ず誰かが批判をし、それが大きく取り上げられ、最終的には自由が制限される世界はまさに今のインターネットだ。 そうしたインターネットについて述べても良いのだが、今日は少し変わって、「不寛容」という言葉から連想された、エンジニアの「正しさハラスメント」について
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「Type-C=USB PD対応」ではない。高速充電には認証済みType-Cケーブルも必要 ～USB-IF認証取得の充電器「Energear」発表会レポート
Intel's push for petabyte SSDs requires a new kind of drive
hatebu.me
