サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
大谷翔平
yamaz.hatenablog.com
ミスリードを誘うタイトルでお送りしております。 トラブル対応は全く無駄だと思う。もちろん「トラブルが起きてるんだからトラブル対応しなきゃに決まってるだろ」といった話ではない。 いきなり話が変わるが、私の奥さんは看護師で、結婚当初私が風邪を引くと優しくしてくれるのかな?と思ってたけど、毎回どえらく怒られていた。曰く 風邪は基本的に予防できる病気 なのに風邪を引くのは怠慢な証拠 風邪を引くと会社休まないとだし、お金も時間も浪費するので本当に意味がない いや、全くごもっともでぐうの音も出ない正論としかいいようがない。 さて翻って、みなさん自身がおもりするシステムの健康をちゃんと見てるだろうか? 上記の言葉をシステムトラブルに置き換えてみよう。 トラブルは基本的には予防し得る なのにトラブルを起こしてしまうのは怠慢な証拠 トラブルを起こしたら対応にかかるエンジニア工数や顧客対応の工数はドブに捨てて
これは Supership株式会社 Advent Calendar 2018の25日目の記事です。 Supership株式会社 CTO @yamaz です。 広告システムエンジニアは絶対におもしろいと思う理由 という記事をちょうど10年前に書きました。 今回はあれから10年経って現在広告システムエンジニアをとりまく環境ははどうなっているかについて書きたいと思います。 TL;DR (3行で) 10年前と変わらず技術的、学術的、ビジネス的にエキサイティングな領域だよ。 広告テクノロジーをプレイヤーが切磋琢磨し続けてきた結果、大規模配信・集計技術もさることながら大規模データ分析や運用技術の領域も大事になってきたよ。 まだまだ課題満載な業界だけど、デジタルマーケティングに未来を感じてる人はぜひ広告業界へ応募を! 10年前と変わらず技術的、学術的、ビジネス的にエキサイティングな領域である 10年前は
TL;DR 平文のTCP/IPの通信では送信したデータの完全性は期待できないので、経路にはSSL/TLSを使いましょう TCP/IPはUDPと違い、信頼性のある通信を実現するためのプロトコルという説明がよくされる。なのでTCP/IPでやり取りしたデータは1bitの狂いもなく転送先に届くと思われがちだ。TCP/IPが信頼性のある通信を確保してると言われているのは下記の理由による。 1. データが届かなかった場合の再送処理がプロトコルに入っている 2. TCPパケットにペイロードのチェックサムがあり、不具合が検知されると修正もしくは再送される(ただし16bit) 3. IP層の更に下の層にチェックサムがあり、不具合が検知されると修正もしくは再送される(イーサの場合32bit) しかしチェックサムはそれぞれ16/32bitのため、昨今の超大量データを取り扱うにはかなり心もとない。 1. ざっくり
この記事は Supership株式会社 Advent Calendar 2016 - Qiita の1日目の記事になります。遅くなりました。 Supership CTO室室長 @yamaz です。 ビビりなエンジニアが大企業を辞めて起業した話を書きます。 スケールアウトを立ち上げる前、私はヤフージャパンに務めていた。 当時私は結構な給与をもらっており、かつそこそこの立場におり、かつ仕事も面白く、普通なら辞めないような立場だった。 だけど思うところがあり、会社を辞めその後会社を作ることになった。今回はそのあたりの話をしようと思う。今から10年ほど前の話だ。 きっかけ きっかけは上司からの命令だった。 「Adsense作って。2人で」 なんとなくそれっぽいものを作ったものの、エンジニアとしての自分に疑問を持つ結果となった。 AdSenseのすばらしさとのギャップ AdSenseはすごいプロダク
「Philips hueはスマートフォンやタブレットからインターネットを経由して操作できる照明システム。1600万色を超える色彩でどんな色でも再現できる。ワイヤレス電球システムです。」 PHILIPS hue フィリップス LED スマート照明システム スターターパック iPhone iPadなどのスマホで明かりをカスタマイズ 【並行輸入品】 出版社/メーカー: Philips (フィリップス) メディア: この商品を含むブログを見る ということで先日HUEを自宅に導入し、日々快適に使っていたわけです。 ところが今日普通の電球ならスイッチ一発で電気がつくのに、 アプリが入ったタブレットがたまたま別の部屋にあるので、PCで操作しようと思ってブラウザ開いて 「HUE」で検索して、幾つかのクリックを経てMyHUEにたどり着き、 SignIn画面でGoogleアカウント使ってログインしようとしたら
昨日はスケールアウトとして最後の営業日でした。 2006年渋谷道玄坂の一室から始まったスケールアウトですが、 皆さんとの様々な出会いがあり、どうにかここまで来られました。 一つの区切りとして今まで出会えた人々に改めてお礼を言わせてください。 みなさん、今まで本当にありがとうございました。 皆さんとの出会いのどれ一つかけても今のスケールアウトはなかったと思います。 明日からは3社合併し、Supershipとして引き続きデジタルマーケティングはもとより モバイルインターネットにコミットしていきますのでどうぞ宜しくお願い致します! (おしまい)
WEB+DB Press Vol.86にて「エンジニアの生存戦略」というお題で館野さん(@hotchpotch)よりインタビューを受けました。 gihyo.jp 少々意識低めだった新卒1年目のエンジニアが6万人中2万人クビという超リストラの嵐があった後、窓際になるのが怖くて一生懸命がんばってたら、いろいろあって会社まで作ってM&Aに至った話になります。 記事中に何度か出てきますが、「プライドを持って定年まで仕事する」というのが大抵のエンジニアがぼんやりと考えているであろう理想で、「エンジニアの生存戦略」とはそれを達成するための手段だと考えます。 「プライドを持って定年まで仕事する」というのは一見簡単そうにも思えますが、この超進化の激しいインターネットにおいて35年間みんなが誰も脱落することなく、プライドを持って仕事をし続けられるというのは相当に難度が高く、そういう環境を作り維持し続けること
地震速報の話 Iさん:ヤフーの全ページに一気に情報を反映させる仕組みってないかな? yamaz: 広告サーバはどうですかね?設備はもうあるし、クリックや表示カウントもできますよ。 1秒間に数万アクセス――地震発生時にYahoo! JAPANトップに現れる“あの枠”の裏側 - Yahoo!ニュース スタッフブログ 当時ヤフーの全ページに一気にデータを反映させる仕組みは広告サーバしかなかったので、地震速報の実装は広告サーバをベースに行われた。もう10年ほど前の話だ。 Contents Delivery Managementという考え方 弊社はいわゆる広告システムを作っている会社だけど、広告システムを9年前に作ろうと思ったときに「広告システムって結局のところなんなのだろう?」というのを非常に考えた。いわゆる「バナー配信システム」を作ることはもちろんすぐできたけれど、今後ありとあらゆるインターネ
時間がない人用、三行要約 Gunosyで「自分の興味があるジャンルのワード site:gunosy.com」 で検索し、その先のページでリンクを幾つかクリックして1日待てば良い感じになってるよ(例: 「レシピ site:gunosy.com」) アルゴリズム変えてくるかもしれないから一時的な技だよ 自分好みになったページはデフォルトで公開設定になってるので、非公開にするか趣味に走り過ぎないよう気をつけてね はじめに Gunosyと過ごした4週間〜1か月で推薦記事はどう変わったか でGunosyで自分好みの記事を紹介してくれないのに不満を持っている方がいる。 Gunosyはとても優秀なキュレーションサービスで、TwitterもしくはFacebookと連携させると自分のソーシャルグラフを分析して自分にあったニュース記事を紹介してくれる。そのキュレーションはとても優秀で、「なぜこれを?」と思うこ
明日はアドテック東京というデジタルマーケティングのカンファレンスが行われる。 最近広告配信周りでRTB(RealTimeBidding)というシステムがはやりつつあるが、RTB用のADサーバこそ最強である必要があるということを述べてみたいと思う。 RTBの仕組みというのは簡単に言うと下記のような感じになる。 1. 広告サーバ(SSP)に問い合わせがあった場合、バックに接続されたRTBの広告サーバ(以下RTBサーバ)に対して問い合わせをオークション形式で行う 2. RTBサーバは来たリクエストに対していくらで購入ができるかを返し、SSPは最も高い単価をつけた広告をユーザに返し、表示する(CPMというのは広告単価だと思えばいい) 上記の処理を1つの広告表示のたびに行うので、Real Time Bidding(RTB)というわけだ。RTBのエコシステムにおいては自分の都合のよいユーザのアクセスの
4/10清澄白河で開催された大江戸ruby会議01で 「RailsとCで広告システムを作って起業した話」と題して話をしてきた。 speakerdeck.com 詳細はスライドに書いてあるが、弊社は全く後ろ盾などないスタートアップにもかかわらず、異様なまでに濃いrubyistを集めることができていて、発表後「どうやってそんなすごい人を集めることができたのか?」という質問をうけた。 実はこれも秘密はなく、「彼らは当時たまたま求職中であったり、転職したがってることをRails勉強会の後の飲み会で聞いたりしたので即スカウトした」というのが実際の所で、ぶっちゃけたところ運がよかったとしか言えない。 せいぜい教訓めいたことを言うならば「恋愛と同じく、振られた直後に隣にいるというのは割と重要だ」あたりだろうか。 大江戸Ruby会議01はとてもよい会議でした。ほんとはエンジニアを集めるのに札束が踊りまくっ
気づいたらなんだかBlogを書かなくなって1年たとうとしてるので,近況報告も兼ねてのエントリ. 8/22に大森で開催された濱田さん主催のデータマイニング+WEB 勉強会@東京で「30分でわかる広告エンジンの作り方」と題して発表してきた.いわゆるアドサーバの内部アーキテクチャの話。 30分でわかる広告エンジンの作り方View more presentations from yamaz2. 濱田さんから「なんか話してくださいよ」といわれて,「じゃあ広告システムってこの勉強会ではなじみがないだろうからさらりと話しますかね」みたいな軽いノリだったのに,当日はその筋(?)の方々がたくさん来ていてえらく恐縮してしまった. (おしまい) yamaz的日常 前職を辞め,会社を立ち上げてからもう4年ほどたつがやっとBlogタイトルである「最速配信研究会」というに足る事業をなんとか成立させることができた.これ
AppleのiTunes(アイチューンズ)とiPhone(アイホン,アイフォン,アイフォーン)を同期(Sync,シンク)しようとしたら, CPU使用率が100%になり,いつまでたっても同期が終わらない状態になった. インストールをやり直したりiPhoneをリセットしてみたりしても改善しなかったが, 下記の方法でひとまず同期を行うことができた. 起きている現象 AppleのiTunes(アイチューンズ)とiPhone(アイホン,アイフォン,アイフォーン)を同期(Sync,シンク)しようとしたら, CPU使用率が100%になり,いつまでたっても同期が終わらない.また外から見た感じだと同期処理が単に遅いようにも見える. 対象となるソフトウェアの状態 iTunesのバージョン 8.2 OSはWindowsXP Home Edition SP3対応済み 回避,解消方法 iTunesを最小化する. 実
ものすごく遅いレポートですが,Cerevoさん,チップワンストップさん主催のブロガーイベント「オープンソースハードウェアセミナーVol1 〜今日からはじめるArduino〜」に参加してきました. Arduinoは Arduinoでマイコンしよう!! もっと使うゼ!! Arduino!! 2009年、Arduinoの現在 にあるようにマイコン開発を超簡単にしてくれるハードウェアとそのIDEのことを差す. スタパ先生がおっしゃるように本来PICやAVRなどのマイコン(チップ?)を使おうと思うと C言語 アセンブラ コンパイルしたプログラムの焼き込み方法 ピン入出力 入出力に伴う電気回路 のそれぞれの知識などが必要になる.だから「赤色LEDをペカペカ点滅させる」というたったそれだけのことをするにもえらく大変なんだけど,ArduinoはJavaベースのIDEとArduino自体のがんばりにより,
私には年が離れた弟がいて,幸いにして国家試験に受かり4/1より医者になる.その弟から以前どの科目の医者になればいいのかの相談を受けた. 医学部においては先方とのマッチング問題があるとはいえ,基本どの科(内科とか小児科とか形成外科とか)の医者になることができる.彼曰く望めばいきなり月60万オーバーでかつ超楽な仕事もあれば,知的好奇心は満たせるけど給料安いなどいろいろ幅がありすぎて選びきれないというのだ. 私の前職は某サイトの広告システムエンジニアで,当時1日12.5億〜PVあるサイトの広告配信および画像配信およびログ集計の責任を直接負う立場にあった.この数字は当時としては本Blogタイトルである「最速配信研究会」という名に足る数字で,またお金を直接稼いでいることもあって非常にタフな仕事であったと思っている. 私はそこそこタフな仕事をしてきた自負と,色々思うところがあり, 「仕事が専門的すぎる
周回遅れもいいところですが,私も一言. GoogleのPPPキャンペーン騒動で意見がいろいろ出ている. GoogleのPayPerPost騒動の議論に思うこと など. 思うに今回一番被害を被ったのはCyberBuzzだと思う. 海外事情は余り詳しくないけれど,いままでGoogleがペナルティ(という表現もなんだが)に際して行ってきたことは 1. 「これはやってはいけない」というガイドラインの提示 2. ガイドラインに沿ったサーチ結果の操作 であって,「ここの企業がやっているプロモーション手法はダメ」という名指し行為はしてこなかったと思う.今回の騒動で具合がよくないなと思うのは,Google日本法人が自社のガイドラインに沿わなかったばっかりに「CyberBuzzが行った今回の手法はGoogle的にはNGなんだよ」ということを間接的に名指ししてしまったという点だ. CyberBuzzの手法に対
ゲームとは何か?というエントリを読んだ. 私が持つ「ゲームとは何か?」の答えは 「アクションをすると何かしらの反応が返ってきて,その反応が楽しいと思えるもの」 というものだ. この定義に従うと,下記はゲームになる. コントローラの操作というアクションを通じて,何かを楽しむテレビゲーム おしゃべり 子供と一緒にすりガラス越しに手を合わせあう 植物菜園 また下記は楽しいけど,ゲームではおそらくない(インタラクティブ性がないから?) 映画観賞 食事 また下記などは楽しいと思えるかどうかでゲームだったりなかったりしうる 仕事 掃除 漢字ドリル これは任天堂の岩田社長か,宮本さんが基調講演か任天堂の決算説明会の時かなにかで話していた言葉なんだけど,えらく本質を突きすぎていて,感動した覚えがある.こんな目線で世の中を見続けていれば,DSやWiiが出てきたのも納得いくし,そりゃおもしろいゲームを作れるは
ヤフーの画像はなぜyimg.jpドメインなのか? サイト高速化の手法とヤフーの失敗例 でヤフーがなぜドメインを変えて画像サーバを運用しているかが書かれている.「静的なコンテンツに対してクッキーフリードメインを使うことによって速度向上を狙う」というのが理由とあって,これはこれでもちろん正しいのだけれど,これはどちらかというと副次的な理由で本当の理由は違う. クッキーフリードメインを使うことで悪意あるFlashコンテンツなどから自社ドメインのクッキーを守るためというのが本当の理由で,これはあちこちで使われているテクニックだ.Flashコンテンツは外部の業者さんに作ってもらったり,広告の入稿素材として入ってくるので,信頼できないデータとして取り扱う必要があり,万一まずいデータがアップされることがあっても大丈夫にしておく必要がある. 最近ユーザからの任意のコンテンツを受けつけて同一ドメインで配信し
少し前からだけど,Cookpadやはてなが広告システムエンジニアを募集している. クックパッド|採用情報: 【技術部】アドシステムエンジニア http://info.cookpad.com/?page_id=113 求人情報:広告システムエンジニア - はてな http://www.hatena.ne.jp/company/staff/accountengineer 私個人の経験から,オンライン広告システムというのは検索やインフラ系と並び,インターネット系のシステムの中でもっともエキサイティングな分野の一つだと思っている.それにもかかわらず,狙って応募してくる人はあまりおらず,いつもいつも悔しい思いをしてきていたので,広告システムがいかにおもしろいかをちょっと述べてみたいと思う. その会社で一番アクセスを受けるところなのでおもしろい. 広告システムはそのサイトの全サービス上に配信する必要が
かなーり前にid:hirose31くんから献本いただいたんだけど,いろいろ思うところがありすぎて書評を書くのが遅れました. 献本ありがとう&ごめんよ > id:hirose31 [24時間365日] サーバ/インフラを支える技術 ‾スケーラビリティ、ハイパフォーマンス、省力運用 (WEB+DB PRESS plusシリーズ) 作者:安井 真伸,横川 和哉,ひろせ まさあき,伊藤 直也,田中 慎司,勝見 祐己技術評論社Amazon もういろんな人が書評を書いているけれど「サーバ/インフラを支える技術」はとても良い本だ.LVSやDRBDなど「聞いたことあるけど,実績が不明で使うのをためらわれる」ような技術をDSASやはてななどの大トラフィックを受けるサービスで実践投入し,おそらくは試行錯誤の中,相当に痛い目を見てるはずだけど,そんなことはちっともおくびにも出さず我々に答えだけを見せてくれている
仙石さんが志が高く優秀だけど,あんまり金銭的に恵まれない技術者のことを憂慮されている. 「技術力が高い人こそ、ビジネスモデルの良し悪しにもっと敏感になるべき」 http://sengoku.blog.klab.org/archives/64945422.html 志のある仕事(OSSの普及やボランティア活動など)は率直に言うとあんまり金銭的には儲からないことが多い.だからそこをメインの糧としてがんばり自分をすり減らすよりも,もっと効率いい方法で儲けておいて,余った余力で真にやりたいことをやった方が自分のためにも社会のためにもいいことだと思う. ただ仙石さんの言うように「だからビジネスモデルに敏感になれ!」というはまぁそうなんだけど,率直なところ「簡単に言うなよ」とも思う. だから私がもし本当に10倍パフォーマンスがあって志あって,真に自分のやりたいことのあるエンジニアだったら,会社には2倍
id:shi3zさんが■若い人に読んでもらいたい、コンピュータ産業の歴史が解る本を紹介している. エントリでは 栄光なき天才たち (1) (集英社文庫―コミック版) 作者: 伊藤智義,森田信吾出版社/メーカー: 集英社発売日: 1997/05メディア: 文庫購入: 2人 クリック: 137回この商品を含むブログ (24件) を見る を紹介してますが,おそらくshi3zさんが紹介したいのはこいつじゃなくって ブレインズ―コンピュータに賭けた男たち (1) (ヤングジャンプ・コミックスBJ) 作者: 伊藤智義,久保田真二出版社/メーカー: 集英社発売日: 1996/12メディア: コミック購入: 4人 クリック: 46回この商品を含むブログ (15件) を見るブレインズ―コンピュータに賭けた男たち (2) (ヤングジャンプ・コミックスBJ) 作者: 伊藤智義,久保田真二出版社/メーカー: 集英
「Tokyo Tyrantによる耐高負荷DBの構築」 http://alpha.mixi.co.jp/blog/?p=166 がとても興味深い. Mixiのようにどのユーザも比較的まんべんなくアクセスされていて かつ「あしあと」や,「最終ログイン時刻」のように固定長でOKなデータの場合は,バケットチェーンなどのオーバヘッドが発生するハッシュやB+Treeより,ファイルをスロット化してIDに応じて一発lseekなファイルベースの簡易DBの方がロックもないし速いケースもありそうだなぁと思ったけどどんなもんなんでしょう? 1500万ユーザ×64bitの日付情報として15Mユーザ×8byte=120MB これならファイルシステムのキャッシュも利きそうだし結構はやそう.
大学入って初めてまともに触るコンピュータ.「lsってなんだ?dirじゃないの?」. 勉強なんかほとんどせず,マンガとゲームと週6回の合気道の稽古に励んだ.青春だ. 4年になって友達と学内に散らばるネットワークの整備をみんなでひたすらやった. 時給換算したら250円くらいだったけど,学内のいろんな人と知り合いになり,先生たちからメシをおごってもらったりして楽しい日々だった.青春だ. 外資系半導体メーカに就職.入って1年目にしてリストラでいきなり社員の1/3がクビに. 残務処理要員として田舎工場に飛ばされ,デザイナさんの環境整備とか.でも残ってた人々はみんな優秀で,麻雀をしながら半導体に関するいろんなことを教えてもらった.青春だ. 思うところがあり,インターネットポータルに転職. 面接で「FreeBSDのカーネルコードくらいは読んだことあるんだろうな?」とか脅された.出社初日からサービス担当者
結城さんのところから どうしたら、自分で考える習慣が身につくだろうか。…はい、ここがチャンス。まず最初に、「どうしたら自分で考える習慣がつくだろうか」の答えを自分で考えるところからはじめればよいのではないだろうか。 今の世の中,答えはググれば簡単に調べられるし,情報が刺激的かつ多すぎるので,他人の考えに流されることなく,自分で考える習慣を身につけるのはなかなか難しいなぁと思う. 私はそこそこ自分で考える習慣がある気がするんだけど,それは何でだろうと考えたところ,それはきっと父から教えてもらったヘボ将棋が影響してるんだろうという結論に至った. 私の父は全く普通の人で,特に取り立てて何かがある人ではなかった.そんな父は私が小学校に入る前後くらいに将棋を教えてくれた.ただ父自身も将棋を覚えながらの指導だったため,最初はただ単に2人してヘボ将棋をしてるだけだった. そんな中,父はどこからか「棒銀」
西尾泰和のはてなダイアリー経由 君の場合は弊社と技術公募を行っている他社と、両方で内定が出れば、自分のやりたいことができるって保障されている方に行くでしょ。そういう人に内定を出すのは、他の人に内定を出すのと比べてリスクが高すぎる。だから、人事部はそういうリスクを嫌って、君には内定は絶対に出さないし、私からも、そういった人を人事に紹介することはできないよ。 今回のケースに当てはまるかはわからないけれど,人事側にはこんなジレンマがあるかもしれない. 超仕事ができるAさんとまぁまぁ仕事ができるBさんが応募してきている. Aさんは移り気でほかの会社に行っちゃう可能性があるが,Bさんはうちの会社ラブラブで内定を出せば絶対きてくれる 会社の予算の関係上1名しかとれない 1名がすみやかに補充されないと予算が無駄になるのもさることながら,その1名を期待してるプロジェクトがやばくなる あなたが人事担当でこん
screen を使ってると、別の作業している WINDOW のカレントディレクトリに移動したくなることってありませんか?私は月1000回ぐらいあります。 私も10000回くらいあります!でも鳥頭すぎてscreenやtty番号を覚えられないので,こんな方法を使ってます(zsh). cd() { builtin cd "$@"; echo $PWD > ~/.curdir} alias td='cd `cat ~/.curdir`' cdするたびにカレントディレクトリを記録 td(Trace Dir)というコマンドでその最近移動したディレクトリに移動 最近移動したディレクトリがわからなくなったら,移動したいディレクトリで作業してるwindowで一回cd .を実行してからtd. と思ったらid:secondlifeさんのは補完も対応しててかっこいい! でもscreenを使ってる人しか使えないので
なんだか未踏が失敗だったかのようなエントリを読んだ(ミスリードしてたらごめんなさい). 「 スラッシュドット ジャパン | 天才を発掘しても、日本では産業振興にはならない?」 http://slashdot.jp/developers/article.pl?sid=08/01/09/0423239 「未踏の次にすべきこと - 雑種路線でいこう」 http://d.hatena.ne.jp/mkusunok/20080109/ipa 私は未踏の趣旨などはほとんど知らないし,実際にできたプロダクト自体にはあまり興味はないけれど,未踏が失敗だったとはとうてい思えず,むしろ大成功だと思ってる. 私が学生だった10年以上前,コンピュータサイエンスを学んだ田舎大学の学生のとる最良の選択は教授推薦をとってソニーやNEC,日立などの大企業に入ることだった.ただ「最良の選択」といいつつも実はほぼその一択しか
とあるRailsのコードがえらく遅く,OSが不安定になるので,プロファイルをかけてみたところ下記の1行のコードが原因であることがわかった. unit[@ar_object.id] = some_array 悩むこと10分.やっとわかった. 分かった人はわかったと思いますが,答えはCMのあと! ... ... ... ... ... ... ... ... ... ... もまってられないので,タネあかしをすると上記変数「unit」はHashではなくArrayで @ar_object.idが30万くらいのFixnumを返していたのが原因でした. 蛇足ながら解説すると「unit」は配列のため,上記1行を実行した時点で30万個の 要素をもつ配列ができてしまい,メモリ不足でOSが不安定になったというオチでした. またrubyでは配列要素とHash要素のアクセサはともに「[]」なわけですが,fixn
次のページ
このページを最初にブックマークしてみませんか?
『最速配信研究会(@yamaz)』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く