なぜ、SQLは重たくなるのか？──『SQLパフォーマンス詳解』の翻訳者が教える原因と対策｜ハイクラス転職・求人情報サイト AMBI（アンビ）
なぜ、SQLは重たくなるのか？──『SQLパフォーマンス詳解』の翻訳者が教える原因と対策 『SQLパフォーマンス詳解』の翻訳者の松浦隼人さんに、8つの「SQLが重たくなる原因とその対策」を聞きました。システムのボトルネックになるような「問題のあるSQL」を回避するノウハウを学びましょう。 データの操作や定義をする言語「SQL」は、どのような領域を担うエンジニアにとっても必修科目です。しかし、その仕様をきちんと理解し、パフォーマンスに優れたSQLを書ける方はそれほど多くありません。問題のあるSQLを書いてしまい、知らぬ間にそれがシステムのボトルネックになってしまう事態はよく発生します。 では、どうすればそうした事態を回避できるのでしょうか？ そのノウハウを学ぶため、今回は『SQLパフォーマンス詳解』の翻訳者であり、自身もエンジニアでもある松浦隼人（まつうら・はやと／@dblmkt）さんに8つ
RelayHub
従業員に業務を任せられない 自分でやったほうが速い、他人に大事な業務を任せられないと思って、一人で仕事を抱えていませんか? 一人でできることには限界があります。業務を従業員に任せられないと、組織の規模を一定以上大きくすることが困難になります。 人によって業務の進め方がばらばら 人によって業務の進め方がばらばらになると、効率が悪くなる上に人によって仕事のアウトプットがまちまちになります。そうなると一番正しい業務のやり方がわからなくなり、業務が属人化されやすくなります。 業務が効率的に実行されているのかわからない 顧客からの求めにどれぐらいの速さで対応できていますか? 業務の標準化がされず効率性が測れない環境では、非効率なやり方が温存されやすくなります。気が付くと効率性で競合他社に差を付けられているかもしれません。
メルカリの個人情報流出、陥った「no-cache」の罠
フリーマーケットサービスのメルカリで個人情報が流出する事故が起こった。iOS/Androidアプリ版ではなくWebアプリ版で起こった。あるユーザーが自分の情報を表示しようとすると、他のユーザーの情報が表示されてしまうというものだ。 第三者の情報を閲覧できる状態になっていた可能性があるユーザーは5万4180人。このうち、住所・氏名・メールアドレスが見える状態になっていたユーザーは2万9396人だという。 第三者の情報を閲覧できる状態になっていた可能性があるユーザーでも、特定の条件を満たさなければ、実際には住所・氏名・メールアドレスが見える状態にはならなかったという。メルカリは、そうした条件には二つのケースがあるとしている。 第1のケースは、障害が発生した2017年6月22日の9時41分から15時5分の間にWeb版メルカリにログインしてアクセスし、そのときに閲覧したページがキャッシュサーバーに
見た目が悪くても人気なサービスから学ぶユーザビリティ設計
まるで90年代かのような、見た目は良くないけれども人気のあるWebサイトは、今現在でも多く存在しています。 上記のWebサイトは、お世辞にも良いデザインとはいえないですが、それにもかかわらず人気があります。なぜ人気があるのか、それはユーザーがもっとも必要としているものを確実に提供しているWebサイトであるからです。 たとえば、各Webサイトにはこのような特徴があります。 ・Redditは、ユニークユーザーが2億3,400万人、月間ページビュー数が81.9億、日間投票数が2,500万（2016年時点の統計）にもかかわらず、表示速度が非常に速いサイトです。 ・Hacker Newsは最新のスタートアップ関連のニュースを掲載するだけのサイトです。しかし、この「コンテンツを目立たせる」ことこそが、ユーザーからもっとも評価されている点です。 ・Wikipediaは情報がとてもよく整理されていて、ユー
PythonでWebスクレイピングする時の知見をまとめておく - Stimulator
- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ
クラウド時代の インフラエンジニア動向 2017 - Qiita
以前勉強会で発表した資料が時が経って情報が古くなってきたのでアップデートしてほしいという要望があったので、2017年版にアップデートしました。 SlideShare に投稿したものを文字起こしして掲載します。 クラウドを使う企業が増えてきたことで 発生してきたこと クラウドは簡単！ プログラマがインフラもできるんじゃないか？ インフラエンジニアを雇うのは人件費の無駄・・・ 流行の「DevOps」や「SRE」ってプログラムでやるからプログラマ領域じゃないの？ 結果：インフラエンジニア不要論！！ プログラマはここを嫌がる サーバーを触るのはイヤ 「デプロイするだけ」まで作ってほしい。 コマンド一発デプロイがいい。 ネットワーク？ナニソレ？ インフラセキュリティーって何のこと？ アクセス制御？ナニソレ？ プログラマにインフラスキルを 「尚可」で求めると失敗する理由 プログラマ数人でプロダクト開発
データサイエンティストもしくは機械学習エンジニアになるためのスキル要件とは（2017年夏版） - 渋谷駅前で働くデータサイエンティストのブログ
この記事は2年前の以下の記事のアップデートです。 前回はとりあえずデータサイエンティストというかデータ分析職一般としてのスキル要件として、「みどりぼん程度の統計学の知識」「はじパタ程度の機械学習の知識」「RかPythonでコードが組める」「SQLが書ける」という4点を挙げたのでした。 で、2年経ったらいよいよ統計分析メインのデータサイエンティスト（本物：及びその他の統計分析職）vs. 機械学習システム実装メインの機械学習エンジニアというキャリアの分岐が如実になってきた上に、各方面で技術革新・普及が進んで来たので、上記の過去記事のスキル要件のままでは対応できない状況になってきたように見受けられます。 そこで、今回の記事では「データサイエンティスト」*1「機械学習エンジニア」のそれぞれについて、現段階で僕が個人的に考える「最低限のスキル要件」をさっくり書いてみようかと思います。最初にそれらを書
オンプレからAWS環境にデータベース移行するのに役立つ情報まとめ | DevelopersIO
西澤です。先日"AWS環境へのデータ移行"をテーマに社内で営業向け勉強会を行ったのですが、自分が1から資料を作るよりもずっと有用な公開資料がたくさんあったので、それらを使って説明をさせてもらいました。当日メンバーから出た質問等も補足しながら、今回はその情報をこちらにまとめておきたいと思います。 前提 タイトルではデータベース移行としていますが、こちらではRDBの移行のみを対象とします。AWSの各種サービスの詳しい説明は行いません。それらを組み合わせて利用する際に必要となる情報をまとめたいと思います。また、これからご紹介する資料の中には重複する部分も含まれるのですが、私が個人的によくまとまっているというところをピックアップしてご紹介して行こうと思います。 AWSへのデータ転送方法のまとめ まずは、データファイルの転送方法のまとめです。いつの間にかできていた下記ページが非常にわかりやすくまとま
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
インフラエンジニア必見！勉強会の歩き方