こんにちは、SRE の @masartzです。 今回は最近取り組んだ、メルカリの主要データベースの容量削減のお話をしようと思います。 TL;DR 主要データベースの容量を20%以上削減しました どういう状況だったか？　何をしたか？ メルカリでは2017年11月現在、出品数は1日100万件を超えています。 なので、単純に日々多くのデータが増えていっています。 そのためデータベースのスケーリングは常に検討し、取り組まなければならない課題です。 今回扱ったデータベースはいくつかあるデータベースの中で商品テーブルを持つ、メルカリの主要データベースになります。 増え続けるデータに対応するための、テーブル分割を変則的な形で対応したのでその過程を紹介します。 前提：データベース分割方法 メルカリのデータベースには 会員情報や商品情報など、基本要素となるデータから、通知やお知らせメッセージなど付加的な機能

パソコン時代のCSSは、横幅（width）はpxなどの固定値を使うことが多かったのですが、最近はスマホに対応したレスポンシブデザインが主流になり、横幅に%などの可変値を使うケースが増えてきました。 しかし、レスポンシブデザインのcssに慣れていないと、スマホで確認したときにレイアウトが崩れてしまうケースがあります。 テキストがはみだしたり、右側に謎の余白ができてしまったり… 原因はcssのwidth・padding・borerの設定にあることが多いので、確かめてみてください。 【width:auto】と【width:100%】の違い cssの【width:auto】と【width:100%】は親要素の横幅に合わせるという点でよく似ているのですが、同じ要素にpaddingやborderを指定した場合に表示にちがいがあります。 たとえば【width】と同じ要素に【padding:0 10px

レッスンは毎日・1日1回25分 → 負担にならずに続けられる 多国籍・多趣味な講師陣が世界から参加 → 気が合う相手を選べる スカイプ（Skype）でのレッスン → 教室に通う必要がなく、空き時間を活用できる 順番に、紹介します。 1．1日1回25分だと、負担に感じずに済む なぜ英会話を始めるのか、は置いておきましょう。誰しもそれぞれの思惑と状況で、英語でコミュニケーションをとる必要性を感じているでしょうから。それよりも大事なのは、必要だと思っている英会話なのに、勉強したいという意志はあるのになぜ続かないのか、ということです。 ここで、過去記事からの引用を紹介しましょう。「つぶやき」の自動投稿サービスBuffer（ライフハッカー読者にはお馴染みかもしれません）のファウンダー、Joel Gascoigneさんによる「やりたいことを習慣にして続ける」ための3ステップです。 「失敗できない」ほど

インターネットの上ではhmskと名乗っている者です。現在はアメリカはサンフランシスコにあるIndiegogoという会社で、同名のクラウドファンディングプラットフォームサービスに関するソフトウェア開発に従事しています。 Indiegogo: Crowdfund Innovations & Buy Unique Products 私が初めてアメリカを訪れたのは、2009年。大学4年生のときでした。その後、特に留学や出張の機会、海外志向があったわけでもなかったのですが、キャリアの分岐点で進む方角を何となく選んでいるうちに、今の場所に辿り着いていました。 サンフランシスコ、ひいてはシリコンバレーでのソフトウェア開発の仕事と聞くと、今ならとても高い給料や家賃が話題の中心になるかもしれません。初めて私が訪れた当時は、Apple、Google、Dropbox、GitHubといった会社が集まるこのエリアは

こんにちは。サービスグループの武田です。 インターネットを利用する上で必要不可欠なしくみとしてDNS（Domain Name System）があります。DNSはホスト名からIPアドレスを調べる名前解決のしくみですね。それではこのDNSというサーバは実際にどのように名前解決を行っているのでしょうか？ 今回はコマンドを使って、簡単に挙動を確認してみましょう。 なおこの記事では、DNSサーバが階層構造となってドメイン管理をしていることの説明はしません。 問い合わせには2種類ある DNSサーバは実際にレコードを保持して管理する DNSコンテンツサーバ と、コンテンツは保持せず問い合わせの解決と結果をキャッシュする DNSキャッシュサーバ があります。一般的にクライアント（DNS用語では スタブリゾルバ と呼ぶ）はDNSキャッシュサーバに対して問い合わせを行います。 さてDNSキャッシュサーバはコン

政府が小説や音楽などの著作権を保護する期間を原則２０年延長し、「作者の死後７０年」とすることが分かった。 １１か国による新たな環太平洋経済連携協定（ＴＰＰ）では、もとのＴＰＰで決めた著作権の延長を棚上げすることになったが、日本は欧米と制度をそろえることにした。 著作権は、著作者が小説や音楽などの著作物について複製や放送、翻訳などを独占する権利。日本の著作権法では、著作権の保護期間を「作者の死後５０年」と定め、権利の侵害には罰則もある。 米国を含む１２か国が２０１６年２月に正式合意したＴＰＰでは、映画や音楽の制作に強い米国の要求に応じて、保護期間を米国並みの「死後７０年以上」にすることになった。日本は著作権法を改正し、ＴＰＰ発効を条件に保護期間を７０年とした。しかし、ＴＰＰが米国離脱で未発効となり、保護期間は５０年のままとなっている。

11月頃からエンジニアのメンバーが増え始めた。 加えて本格的にリモートで働く準備をしはじめた。 その過程で各メンバーが何をしてるのか・何に困っているのかみたいなことを共有したいなという思いがありScrapboxで共同日報(複数人で1ページに書く形式の日報)を書くという取り組みをはじめた。 日報といえば古くはEmailや最近だとesaやQiita:Teamなんかで書いてるところが多いと思う。 ただ、これらのツールは今の5人くらいのメンバーだとやや大げさすぎるなというのと結局各位の日報をみんな読んだりしないよなーという経験があって他に良い方法を探っていた。 そこでちょうど個人用途で試してたScrapboxを導入するはこびとなった。 Scrapboxはリアルタイムに複数人で自由に編集できる。 このガヤガヤ書ける環境がチームのデスクでちょっと困った時にメンバーとぶつぶつつぶやいて会話するあの環境と

おまとめローンにしても、お金を融通してもらうということに間違いないから、審査の壁を乗り越えないと何一つ変わらないということを頭に置いておくことが大切です。 融資を受ける時、返す時両方に、提携している金融機関・コンビニエンスストアのＡＴＭを有効活用できるカードローンは、それだけユーザビリティが良いと言えるでしょう。言うまでもありませんが、手数料を払わなくても利用可能であるかを確認して下さい。 人生いろいろありますから、誰でも予期せぬ瞬間に、急遽現金が必要になることがあります。そんな時こそ、即日融資OKのキャッシングが便利です。 消費者金融会社でキャッシングすることに後ろ向きな気持ちがあるとお思いになるなら、銀行のサービスでも即日融資を行なっていますので、銀行が一押ししているカードローンを用いてみる事をお勧めしています。 即日融資でお金を借りるという人は、無論審査で必要となる各種書類を揃えてい

この記事はWebスクレイピング Advent Calendar 12/25 の記事です。 初めに 大体タイトルの通りなので割と読むだけ時間の無駄です。 書くのも時間を無駄にした感が半端ないです。 私とクローリング 私がWebページをクローリングしようとした最初のきっかけは、とあるテキスト系サイトのテキストを読み逃しなく読みたいという欲求からでした。 当時、個人でWebサイトを持つのが普通になって、みんなhtmlタグをポチポチ自分で打ってた頃、過去ログなんて存在しない！みたいなテキストを不定期に更新するだけのページが存在しました。 RSSとかそんな良いものもなく、とりあえず毎日見てれば逃すことはないだろうという雰囲気があったころ。 ただ、毎日巡回するってまぁ大変で忘れますよねって、そこで毎日クローリングして変化があれば保存するというそれだけのスクリプトを書きました、perlで。 何のひねりも

この記事はWebスクレイピング Advent Calendar 2017 - Adventarの24日目の記事です。 身の回りのポチポチ作業の自動化やスクレイピングが大好きなほつたです。 今回は、今流行のSPAサイトをスクレイピングしようとして、スクレイピングなんてしなくていいじゃんと気づいた話をしたいと思います。 ざっと書いてしまうので、基本的なことやSPAについての説明は省きます。分からない方は適度にググって下さい。 きっかけ 最近流行りの出前サイトをスクレイピングしたいと思ったのですが、サイトが今流行のSPAで画面をスクロールする毎に情報が表示されるサイトをスクレイピングなんてしたくありません。 強引にスクレイピングをしようとしたのが2017年の中で1番苦痛だったかもしれません。 それでもどうにかスクレイピングをしたいと思っていたのでした。 ハブる大切さ 一苦労している中、APIがあ

Webスクレイピング Advent Calendar 2017 21日目の記事です。 趣味でクローリング・スクレイピングをするときがあります。その作業が長時間に及ぶときは、サーバーでバッチを動かして、クローリング・スクレイピングをやっています。この記事ではそのときに行った工夫について話したいと思います。あまり深く考えてないで雑にやっているので、改善点等があればコメントをお願いします。 想定するクローリング・スクレイピングのシーン 商品一覧ページをスクレイピング 各商品の詳細ページをスクレイピング 別の商品一覧ページに移動し、最初に戻る これを商品一覧ページ全部をたどるまで続けます。 さらに、商品一覧ページのURLは、https://hogehoge/list/page/12 のようにURL中にページ番号があるものを想定します。つまり、上記手順3では、ページ番号を1つ増やして、別の商品一覧ペ

<script>(window.RLQ=window.RLQ||[]).push(function(){mw.config.set({\"wgPageParseReport\":{\"limitreport\":{\"cputime\":\"0.284\",\"walltime\":\"0.327\",\"ppvisitednodes\":{\"value\":5364,\"limit\":1000000},\"ppgeneratednodes\":{\"value\":0,\"limit\":1500000},\"postexpandincludesize\":{\"value\":80208,\"limit\":2097152},\"templateargumentsize\":{\"value\":9196,\"limit\":2097152},\"expansiondepth\":

Puppeteerがクローリングに使えるかも.md この記事はWebスクレイピング Advent Calendar 2017の17日目の記事です。puppeteerでクローリングします。 Google Chrome（Chromium）でクローリングをやる SPAみたいなちょっと凝ったWebサイトをクローリングするときは一昔前はSelenium + PhantomJSあたりが鉄板でしたが、今後はSelenium + Headless ChromeもしくはPuppeteer + Headless Chromeが主流となっていく見通しです。 （HeadlessとはGUIアプリケーションのGUIを介さないモードのことです。） 前者についてはWeb上に情報も多いですが、Puppeteerでクローリングする話をそんなに見ない気がするのでクローリングの歴史を踏まえてやってみます。 一昔前のクローリング

はじめに この記事はWebスクレイピング Advent Calendar 2017 - Adventar の13日目の記事です。 タイトルの通りニコ動のマイリストをバックアップします。 ここで面白い前口上とかがあればよかったのですが特に思いつきませんでした。 目次 はじめに 目次 使用するもの 処理を書いていく ログイン確認 waitUntilに関して ログイン処理 マイリスト一覧の取得 マイリストの中身を取得する 完成したもの さいごに 使用するもの Node.js (v8.7.0) puppeteer (v0.13.0) 使用する言語は個人的に好きなNode.jsを採用。 何も気にせずゴリゴリ書けるところが好きです。 非公式APIを使えばhttp.requestで事足りるのですが、それだと「Webスクレイピングっぽくない！」と思ったのでヘッドレスブラウザを使うことにしました。 ヘッドレ

crawling.md クローラ作成の際に考慮したいポイントについて 本記事は Webスクレイピング Advent Calendar 2017 - Adventar の6日目の記事です。滑り込みギリギリアウトでした。 誤字脱字等はTwitterまでお願いします。 はじめに 最近、Pythonの入門書などでクローリングやスクレイピングが取り上げられることが増えてきました。実際スクレイピングは、文字列の取扱などを含むためプログラミングの教材としても適しておりますし、CSVに落とし込めばデータ分析できるなど、活用の幅も広いです。 クローラとは、Webサイトの巡回プログラムです。典型的には、検索エンジンがインターネット上にあるWebサイトを索引付けするために用いられます。もし、スクレイピングを定期的に実行するならば、それはたぶんクローラだといえるでしょう。筆者は、個人および業務として、クローラを作

これはWebスクレイピング Advent Calendar 2017の7日目の記事です。こんな感じでAWS FargateとAWS Lambdaを使ってサーバーレス（EC2レス）なクローラーを作ります。 この記事はFargateでのクローリング処理にフォーカスしており、クロールしたHTMLをS3に保存するところまでを主に解説します。Lambdaの方はおまけ程度の扱いで、スクレイピングしたデータの扱い（データベースへの格納など）はスコープ外です。 長くなったので目次です。 背景 AWS Fargateの登場 クローラーの構成 やってみる 1. ScrapyのプロジェクトでSpiderを作る 2. Scrapy S3 Pipelineをインストールする 3. Scrapy S3 Pipelineをプロジェクトに追加する 4. ScrapyのプロジェクトをDockerizeする 5. Amazo

鈴木おさむ／放送作家。1972年生まれ。高校時代に放送作家を志し、19歳で放送作家デビュー。多数の人気バラエティーの構成を手掛けるほか、映画・ドラマの脚本、エッセイや小説の執筆、ラジオパーソナリティー、舞台の作・演出など多岐にわたり活躍この記事の写真をすべて見る 涙ながらに会見した小室哲哉さん（撮影／上田耕司） 放送作家・鈴木おさむ氏の『週刊朝日』連載、『1970年代生まれの団ジュニたちへ』。今回は小室哲哉氏とKEIKO氏の関係について。 【写真】涙ながらに会見した小室哲哉さん ＊　　＊　　＊ 10年ほど前だろうか。とある雑誌の取材で小室哲哉さんと対談をさせていただいたことがあった。 対談は小室さんの家で行うことになった。家に入ると、出てきたのはKEIKOさん。ちなみにKEIKOさんと僕は同学年。1972年生まれのまさに団塊ジュニア世代。globeのKEIKOさんのイメージ。正直、ちょっと

小室哲哉が1月19日（金）に引退を表明しました。兼ねてからスケジュールが決定していた、浅倉大介との新ユニットPANDORAによる初ワンマン・ライブ『PANDORA 2018@Billboard Live TOKYO』は、1月26日（金）に無事開催されました。話題のヒット曲「Be The One」はもちろん、テクニカルでプログレッシブなパート、ピアノ弾き語りなど、TKヒストリーを感じる音楽愛に溢れた演奏を聴かせてくれました。素晴らしいステージでした。 中でも注目は、PANDORAとして本領発揮したピアノやシンセサイザーをパーカッシヴにプレイする“デジタルオーケストラ”と形容すべき、メディア・アート文脈でも語れるパンキッシュな即興演奏という攻めたアプローチでした。「Be The One」というヒット曲を産みながらも、PANDORAとしてやりたかった本質は“これ”だなと思いました。 ネタバレとな

NuzzelはSNSの友だちがシェアした記事を一覧できるニュースアプリ以前にも紹介したことがあるのですが、周りでもいまだに使っている人が少ないニュースアプリ「Nuzzel」が知らぬ間（3月16日）にアップデートしてさらに便利になっていたので、改めてご紹介します。 Nuzzelは「TwitterとFacebookを連携させ、自分の友だちがシェアしたニュースを一覧で見ることができるニュースアプリ」です。 これでSNSが捗る！TwitterとFacebookで友達がシェアを余さずチェックできる「Nuzzel」自分がタイムラインを見ていない時も同時に複数の友だちがシェアしている記事があればプッシュ通知してくれたり、シェアした記事に友だちがなんてコメントをしていたかも一覧できるので、TwitterやFacebookで話題になっていた記事を見逃すことがなくなります。 アップデートで便利になったのが「カ