「自分の仕事が好き」。心からそう言いきれる人は、どれくらいいるのだろうか？　単に賃金を得るための手段ではなく、人生を賭するライフワークとして仕事に打ち込む。結果、一般的な幸せやレールから外れることになっても、おかまいなしに没頭し続ける。そんな、少しはみだした「クレイジーワーカー」の仕事、人生に迫る連載企画。今回お話を伺ったのは、速記者の保坂正春さんだ。 簡略化した文字や符号を用いて音声を素早く書き取り、会議での発言や記者会見の内容を正確に記録する速記者。国会中継で、発言を記録する速記者の姿を目にしたことがある人も多いだろう。保坂さんはこの道の大ベテランで、現在は速記会社の代表、日本速記協会の理事長も務めている。速記という技術をひたすらに磨いてきた、その仕事人生に迫る。 まずは、こちらの動画をご覧いただきたい。 保坂さんの会社で作成した、速記のパフォーマンス動画だ。国会での演説をほぼリアルタ

★登場人物紹介 メデューサちゃん 21才。物欲はないけど洋服は好き。 ギリシャ神話のことはまったく詳しくない。 ヘビ 一匹一匹性格が違う。 共通しているのはみんなおしゃべりで外出が好き。 トーコちゃん メデューサちゃんの親友。 たまーに出てくる。 ＞　次ページへ　＜

どうもこんにちは。@stormcat24です。前回寄稿した記事から1年半ぶりになります。 主な仕事は業務中のTwitterで、その傍らでAmebaFRESH!というサービスを絶賛開発してたりしています（この記事が公開される頃にはリリースしてるかしら？）。何かネイティブやりに意気揚々と異動してきたんですが、いつの間にかサーバサイドエンジニアになってました。まあサーバサイドといっても、自分はかなりWebオペレーション寄りなんですけど。 で、今回はFlexible Blue Green Deploymentの仕組みを作ったよっていうお話です。 そもそもBlue Green Deploymentとは Blue Green DeploymentとはImmutable Infrastructure（不変なインフラストラクチャ）思想の一貫で、サーバの内容やアプリケーションを更新したい場合に、稼働している

ここ4日間というもの、インターネットWebフォーラムをインストールしようとして大いに時間を無駄にしました。説明書きには30分でセットアップ可能と書いてあったんですけどね。 コンピュータは得意なほうだと思っているのですが、一体、何が悪かったのでしょうか？　これからお教えしましょう。 私の奮闘記 辱めるのは本意ではないので製品名は言わないでおきます。この製品でひどい目にあったのは今回が初めてではありませんが、製品単体の問題というよりはもっと大きな問題だからです（”ピス・ホース（馬におしっこ）”に音が似ているとだけ言っておきましょう）。 30分でセットアップ可能と説明されている根拠は、Dockerによるインストールが正式にサポートされていて、それ以外の手段がないからです。Dockerは輝かしくも新しいコンテナ管理ソフトウェアで、それだけでも危険な香りがします。相互運用可能なデスクトップ環境全体を

今日から使い始めるChef 2013-03-29 Xtone Ltd. ピザ会�(without pizza＞＜) Aki / @nekoruri

Pelletkachels waren ooit eenvoudige apparaten voor verwarming, maar ze hebben een opmerkelijke evolutie doorgemaakt sinds hun bescheiden begin in de jaren ’80 van de vorige eeuw. In dit artikel duiken we diep in de geschiedenis van pelletkachel, bespreken we de belangrijkste mijlpalen en ontwikkelingen op het gebied van subsidiemogelijkheden en werpen we een blik op de transformatie tot moderne en

Scala大好きインフラエンジニアの九岡(@mumoshu)です。マイブームはConcourse CIですが、今日はマイクロサービスの話をさせていただきます。 TL;DR; 「サービスの負荷上がってきたし、マイクロサービス化しよう。マイクロサービス化って、Railsアプリ分割して、それぞれCapistranoでデプロイしておけばいいんでしょ？」*1 マイクロサービス化をするためには、アプリケーションだけでなくインフラや運用のことも考える必要があります。 この記事では、クラウドソーシングのクラウドワークスが来るマイクロサービス化に向けて認識しているデプロイメント上の問題とその対策を紹介します*2。 テストからデプロイまでがめんどくさいよ問題 →Dev/Prod Parity、Infrastructure as Code、CI、ビルドパイプライン リリースに1時間かかるよ問題 →ビルドキャッシ

Web の会社でエンジニアを始めて 4 年、ずっと運用エンジニアをやってました。運用とは端的に言うと、社内外の他人が作ったソフトウェアを期待通りに動作させるためのエンジニアリングだと思ってます。アプリケーションはもちろん開発者が作ったものですし、MySQL や Apache や Linux も全部他人が作り上げたソフトウェアであり、それらの設定を変更したりパッチを当てたり運用ツールを駆使することで、協調動作させることに磨きをかけてきました。 ただ、いつまでたっても他人の作ったものの面倒を見てることには変わりないし、運用ツールを開発したところでそれはあくまで誰かが生み出す価値のサポートにすぎないのが自分的には満足できなくて、ずっとアプリケーション(ビジネスロジック)が作りたいと思ってました。 で、今年の始めからたまたまタイミングよく新規開発の部署に入ることになって、いきなり開発者をやることに

こんにちは。技術部 開発基盤グループの大石です。 本日は開発基盤グループが社内の各サービスに提供している共通基盤サービスの1つである共通決済基盤を例にサービス間の整合性を維持するための取り組みを紹介したいと思います。(共通決済基盤については以前紹介した クックパッドの課金を支える技術 を参照ください) 決済における整合性を考える サービス間連携は決済に限らず発生するものですが、共通決済基盤の場合、組織外にあるサービスと通信する必要があり、コントロールができない外的要因に影響を受けやすい点と、決済という確実性が求められる処理を含んでいるということの間で整合性について考える必要があります。 まずは、共通決済基盤上で行われるサービス間通信の種類とそれぞれで通信を行っている際にエラーが起きた場合にどのようにハンドリングすれば整合性を維持できるかを考えてみます。 サービス間通信の種類と流れ 共通決済

技術部の鈴木 (id:eagletmt) です。 クックパッドでは以前からアプリケーションの実行環境として Docker を利用していましたが、最近は徐々に Amazon EC2 Container Service (ECS) を利用し始めています。 去年の時点での Web アプリケーションのデプロイ手法 *1 や、最近 ECS を利用してどう Web アプリケーションをデプロイしているか *2 については紹介したことがあるので、今回は定期的なバッチ処理やジョブキューを介して非同期に実行されるようなオフラインの処理について、どのような環境を構築しているか紹介したいと思います。 Docker を使う前 Docker を利用し始めるより前から社内では kuroko2 *3 というジョブ管理システムが稼動しており、複数のアプリケーションから利用されていました。 kuroko2 は定期的にジョブを

この記事は、はてなエンジニアアドベントカレンダー2016の12日目の記事です。 先日こういうツイートをしました。 Redisはキャッシュ用途のミドルウェアだと思わない方が良いと思う — songmu (@songmu) 2016年12月10日 言いたかったのは、Redisはキャッシュのためだけのミドルウェアだと誤解されがちなのですが実際はそうではないということです。実際、公式サイト を見に行くと以下の様なことが書かれています。 Redis is an open source (BSD licensed), in-memory data structure store, used as a database, cache and message broker. つまり、Redisは多彩なデータ構造を保持できるインメモリーのデータストアで、様々な活用法があり、キャッシュとして「も」使える、とい

WHY『変化に強いインフラ』を作ることで、技術にこだわり続ける環境ができ、ビジネスの変化にいち早くキャッチアップできます。 そのためにどのようにして、『変化に強いインフラ』を作ることが出来るのか模索したものをまとめます。 WHATKubernetes 上にアプリケーションを載せるCI/CD 環境構築GitHub Flow の開発スタイルでを元に QA で自分で書いたコードが確認でき、マージをしてmasterへpushしたら、Produciton へすぐにデプロイするサーバースペックを簡単に変えれる/内部で使われるライブラリ等も変更しやすいようにするDeploy の仕組みを自由に変更できるソースコードは以下です。 Github: koudaiii/jjug-ccc2016fall-devops-demoref. GitHub Flow 『変化に強いインフラ』を作っていく上での定義とルール変化

世の中にたくさんのアプリが存在しますが、実はどんなアプリも通知のパターンとしては、だいたいこのようなものに落ち着くのではないでしょうか。 通知パターンの分類から検討事項を洗い出す 送りたいプッシュ通知の内容を分類した結果をみると、いくつか検討が必要な項目が見当たります。それぞれについて見ていきましょう。 検討1：個別通知の発火タイミング ユーザーが作品を投稿できるようなサービスの場合、そのイベントの発生時刻をサービス運営者が制御することは不可能といって良いでしょう。これは、真夜中にユーザーのデバイスに通知が行ってしまう可能性があるということを意味します。 こうした場合、ユーザーのデバイスにプッシュ通知が到達したあと、すぐにメッセージを表示せずに溜めておき（サイレントプッシュ通知）、定時にユーザーに知らせるという手法を検討すると良いでしょう。 一般的な方はアプリを 通勤・通学中（7:00〜9

こんにちは。 わたくし、勤め先の有志と社内向けの日報投稿Webサービス、ニポポタマス（通称ニポタマ）をやっています。元々は会社の開発合宿でつくりはじめたものですが、会社のみんなが日々の出来事、書きたいことを書ける場として、また僕ら開発者がやりたいことをいろいろ試せる場として、9月半ばから、ざっくり5ヶ月くらい開発・運用してきました。そろそろ使っている言語やフレームワークについて、どんな感じに使っているのか、また思うことなど書いてみます。 Elixir/Phoenix ニポタマはElixir/PhoenixによるJSON APIサーバをバックエンドとしたSingle PageなWebアプリです。ElixirとPhoenixってなんぞや、という方にはこの動画がおすすめです。 基本的には単にJSONを返すAPIなので、至って普通のPhoenixアプリケーションです。とくにumbrellaプロジェ

こんにちは、丸山です。 12月に開催されていたCOFFEE MOMENT ENSEMBLE（以下、CME）や願いの森というインスタレーションイベントでバックエンドを担当しました。 CME動画 願いの森動画 この記事では『インスタレーションを支えるバックエンドの話』というテーマでCMEを具体例としてお話します。 構成 全体の構成は以下のようになっています。 スマホアプリ→Nestle内のAppサーバー→CME Appサーバー→店舗内機器 という流れで"コーヒーを淹れた"というイベントが伝播されます。 CME Appサーバー以降がバスキュールの担当範囲になります。 Appサーバー Appサーバーは主にWeb APIとWebSocketを実装しています。 “コーヒーを淹れた"というアクションに対してイベント発火とメインビジョン用の統計処理を行っています。 統計は都道府県別ランキング、時間帯別の小

こんにちは。 pixivの投稿ユーザ向けグロースを担当しているエンジニアのsestaです。 4月28日、ISUCON6本戦の問題を作ったedvakf、catatsuyと一緒に第2回社内ISUCONを開催しました！ ISUCONとは3人までのチームで参加し、与えられたウェブアプリケーションのチューニングを制限時間いっぱい行い、パフォーマンスに基づいたスコアで競いあうコンテストです。 去年の社内ISUCON開催記事に引き続き、 今年は当日の様子のレポートとベンチマークなどの全体構成について紹介します。 当日の様子 今年は38人もの社員が参加し、その中にはなんと、ビジネス職の新卒や人事（！？）も参加していました。 競技時間は10:30から18:00までと本番のISUCONと同様にしました。 10:30によーいどんで始めた社内ISUCONですが、前半はなかなかスコアを伸ばすチームが現れませんでした

ニッポン一億総マイクロサービス化が進む昨今ですが、皆様いかがお過ごしでしょうか？ヌーラボでテックリードを務める馬場です。サービス間の通信はマイクロサービスを支える動脈とも言える、とても重要なファクターです。サービス間の通信手段としてヌーラボで利用している「 ジョブキュー 」の基本と、利用例をご紹介します。 ふるえるぞハート！燃えつきるほどヒート！！おおおおおっ刻むぞ血液のビート！ ジョブキュー とは何か？ ジョブキューと聞いてなんだか難しいものと感じる方や、何が嬉しいのかわからない方もいらっしゃるのではないでしょうか？ 簡単に言ってしまうと、ジョブキューとはキューに登録されたジョブを逐次実行するものです。 これはメッセージキュー(MQ / Message Queue) やタスクキューと呼ばれることもあります。 ジョブキューを構成する要素には以下のようなものがあります。 ジョブ : 何らかの

GraalVMのJavaネイティブビルド機能でどの程度起動が速くなるのか？～サーバレス基盤上での評価～ / How fast does GraalVM's...Shinji Takao

年末ですね。更新がおろそかになっていたので、たまにはちゃんとした話をしたいなと思い、前々から書こうと思っていたRedisの話を書いてみました。 検証に使用したRedisは3.2ですので、新しくバージョンが変わると以下の話は変わってくるかもしれませんが今のところそのようなことはしばらくなさそうです。 以下長々とRedisを本当に使えるように設定したり調べたり検証したりした内容を書いていきます。 いまさらですが Redisは構造データを持てるオンメモリデータベースサーバで、RDBとは違いますがHashやListなどのデータ構造を記録することができる高速なストレージサーバです。 オンメモリDBでHashを持つことができるので、KVSのように扱われることもあるのですが、memcachedと比較すると機能は多く、レプリケーションやAtomicなデータ処理なども可能です。 導入の前に Redisに限っ

こんにちは、菊池です。 API GatewayとLambdaで構成するAPIから、AWS Batchのジョブを実行する環境を作成してみました。Lambdaには向いていない長時間の処理などを、非同期にBatchで実行することで、スケーラブルなジョブ実行環境にできないかと思いました。 API Gateway + LambdaからBatch Jobを実行する 構成イメージは以下のようになります。 APIに対しリクエストを行うと、Lambda関数はBatchに対しジョブの実行を要求し、すぐにレスポンスを返します。Batchはその後、APIのリクエストとは非同期でジョブを実行します。 ElasticBeanstalkのworker環境や、StepFunctionsに実装したActivity State Machineの呼び出しでも、非同期にEC2上のアプリケーションを実行することは可能です。しかし、

コンニチハ、千葉です。 AWS Batchを導入する機会があり、AWS Batchのコンポーネントを整理してみました。 AWS Batchとは？ AWS Batch登場以前、バッチ処理でスケーラビリティをもたせようとすると以下のような構成案がありました。SQSを利用したpull型のバッチ処理です。 処理対象をSQSにキューイング EC2上にデプロイされたプログラムにより、キューを取得、処理、キューを削除 AutoScalingを設定し、キューの数によりスケールアウト、スケールイン この方式を利用する場合、SQS、AutoScaling、AMI(アプリをインストール)を設計・構築する必要があり各サービスを理解して使いこなす必要がありました。 この構成を簡単一発で利用できるようになるのがAWS Batchです。 AWS Batchでは、Dockerを利用したバッチ処理環境が構成できます。FIF

コンニチハ、千葉です。 AWS Batchを導入する機会があり、やったこと、設計したことなどをまとめました。 AWS Batchってなに？は、こちらにまとめましたので御覧ください！前提知識として必要になります。 本エントリーでは、設計時に考えたことをまとめます！ ECR Dockerコンテナを格納するリポジトリが必要になります。プライベートリポジトリであるECRを利用しましょう。リポジトリを利用する認証もIAMロールで対応できるのでシンプルに利用できます。 AWS Batch環境の作成前に、リポジトリを作成しダミー用コンテナイメージをアップしておきましょう。 IAMロール 必要なIAMロールです。AWS Batch作成前に事前に作成しました。EC2のインスタンス用とコンテナ用の2種類が必要になります。 EC2インスタンス用ロールとしては、「AmazonEC2ContainerService

サービス開発部の外村 (@hokaccha）です。 クックパッドのアプリには「料理きろく」という機能があります。 モバイル端末から料理画像のみを抽出して記録することで食べたものが自動的に記録されていくという機能です。 今回はこの料理きろくで画像判定をおこなっているバックエンドのアーキテクチャについて紹介します。なお、実際に判定をおこなう機械学習のモデルのはなしは以下の記事に書かれているのでそちらを参照してください。 料理きろくにおける料理/非料理判別モデルの詳細 - クックパッド開発者ブログ また、以下のスライドでも料理きろくのバックエンドについて紹介されているのでこちらも参照してみてください。 処理の概要 ざっくりとした画像判定のフローとしては、次のようになります。 クライアントアプリは端末内の画像を判定用に縮小してサーバーにアップロードする サーバーはアップロードされた画像を機械学習を

Mercari Advent Calendar 2017 の16日目は@sota1235がお届けします。 この記事では私のチームが開発しているメルカリチャンネルでFirebase Realtime Databaseを使うにあたり行っている工夫をご紹介します。 同じ文脈の話を今年のPHPカンファレンスでも発表したのですが、この記事ではその時お話できなかったもう少し細かい工夫を4つ紹介したいと思います。 Realtime Databaseへのリクエストを間引く Realtime Databaseは非常に高トラフィックな通信を捌くことができます。 とはいっても無尽蔵にデータ更新処理をしたり読取処理をできるわけでは当然ありません。 メルカリチャンネルでは以下のように多くの用途にRealtime Databaseを利用しています これらを全て素直にRealtime Databaseに書き込むとすぐに

Perlは、ずっと長い間、Perlから派生した言語のユーザーから、否定され続けてきた言語だ。 「Perlをやらすなんて老害」「Perlはオッサン」「若者にPerlを押し付けるな」「Perlは死んだ」「Perl言語から〇〇言語へ」 若い人たちは、流行に敏感だ。自分が「イケテナイ」ことなんてしたくないよね。でも、ネガティブキャンペーンをする人たちは、若い人たちの特徴を知っている。「かっこ悪い」とか「流行からはみ出している」とか「自分だけダサイ」とか、若い人は、非常に気にするということだ。 ネガティブなメッセージがWebにあふれていると、若い人たちは、将来に希望を抱けないし、関わっても意味がないんじゃないかと思うし、みんなでワーワー騒げた方が楽しいと感じる。 ネガティブキャンペーンを使ってマーケティングを行うコミュニティは、そのことを知っている。 古いプロジェクトと組み合わせて、新しいモジュール

goroutineの数を制限しつつ並列にジョブを実行したい ジョブは定期的に投入できたい ジョブが空っぽになっても終了しないで欲しい SIGTERMとか送ったら実行中のジョブが完了するまで待ってから終了してほしい というようなものが欲しくなることが最近よくある！のでメモ 参考 fireworq/dispatcher.go at 86126cb7de9fdc5ccc98d57aaa80f1abd5694463 · fireworq/fireworq · GitHub worker.go · GitHub Big Sky :: golang の channel を使ったテクニックあれこれ 実装 gistbe9fac4aa02419d68c6770a85e53c936 この実装ではmainの中のforループでのみジョブをenqueueしているが、 定期的に外部リソース(APIたたいたり、DBを眺

最近、マルチコアでの性能向上についてよく考えている。フューチャーアーキテクト（裏）アドベントカレンダーです。 マルチコアの性能向上の基本 マルチスレッドの性能向上というと、アムダールの法則というのが有名で、なにかと引用される。僕の本の「Goならわかるシステムプログラミング」でも引用させていただいた。 P は並列化できる仕事の割合、N は並列数です。ある仕事のうち 50% の部分が並列化 可能だとすると、N を無限大にしても(分母の右側の項がゼロになる)、パフォーマン スは 2 倍にしかなりません。90% が並列化可能だとすると、最大で 10 倍になります。 並列化の恩恵がどれだけあるかは、並列化できる仕事の割合によって変わるのです。 アムダールの法則によると、並列化して効率がどれだけ改善できるかは P にかかっ ているといえます。P を改善するには、

「 00. はじめに 」 「AWS Lambda」を使って、「AWS Batch」にjobをSubmitするまでの実装 (設定) 手順をまとめたいと思います！ 今回考えている構成は、下記の通り。 処理フロー 特定のBucketにファイルをアップロード (ユーザー) ファイルアップロードを検知 (Lambda:トリガー) AWS Batchにjobを投げる (Lambda: index.js) この構成を実現するために実装が必要な部分は、下記の通り。 (1) S3バケットの作成 ( 本記事では、割愛 ) (2) AWS Batchの初期設定 (3) Amazon Lambda関数作成 (4) [検証]ファイルアップロード 「 01. AWS Batchの初期設定 」 AWS Batchとは？ 「Job definitions(ジョブ定義)」を使って生成した「 Jobs (ジョブ) 」を「 J

クラウドへの移行を含むデータセンター(以下DC)移行事例を基に、WebサービスをDC移行するための基本的な技術要素を紹介します。具体的には移行手順、データベースのデータ移行、ネットワーク、DNSなどです。 最近、社内で大規模なDC移行を実施しつつあり、DC移行とはなにかをメンバーへ共有するための文章でもあります。 ちなみに、この記事はHosting Casual Talks #4の発表内容を書き下ろしたものです。 移行事例 サービスAの事例 移行前 移行ステップ1 移行ステップ2 移行ステップ3 サービスBの事例 システム概要 フェーズ1: メインシステムとマイクロサービス型DBの移行 フェーズ2: その他のマイクロサービスの移行 移行のための技術要素 既存データの移行 新規データの移行 サービスドメインのDNSレコード変更 内部エンドポイントの変更 IPアドレス参照の場合 FQDN参照の

こんにちは、アプリケーションエンジニアのid:shiba_yu36です。今日は社内で数年ほど取り組んでいる障害情報の社内共有についてご紹介したいと思います。 障害情報を社内共有する理由 サービスを運営しているなら、出来る限りサービスが一時的に止まってしまうなどの障害を起こさないように事前に対策を取るなど気をつけるべきです。しかし、どれだけ事前に対策をとっても、急激なアクセスの増加や、意図しないバグの混入、オペレーションのミスなどを理由として、障害を起こしてしまうことがあります。 障害が起きた時、それに暫定的に対応して終わりとしてしまうことも多いです。しかし、復旧した後大事なのは、障害に対して適切に振り返りをし、同じサービスで同様の理由で障害を起こさない、また社内で同様の理由の障害を未然に防ぐことです。 そこで、はてなでは障害の暫定対応をした後は、障害の振り返りや他チームへの知識共有のために

概要 原著者の許諾を得て翻訳・公開いたします。 英語記事: How We Built A Multi-Tenant Job Queue System with PostgreSQL & Ruby 原文公開日: 2018/01/24 著者: Huy Nguyen サイト: Holistics Blog 長期間運用されるプロセス（画像のリサイズ、レジュメのスキャン、負荷分析など）を必要とするWebアプリでは、バックグラウンドジョブキューシステムが重要になります。RabbitMQ（メッセージキュー）、Celery、ActiveMQ、Sidekiqなどのソリューションはよく設計されていて、業界でかなり人気を集めています。 本記事では、Ruby/Rails + Postgresを用いて弊社のB2B SaaSアプリ向けのマルチテナントジョブキューを設計/構築する方法をご紹介いたします。ここでは高度な問

次記事: RabbitMQはSidekiqと同等以上だと思う: 中編（翻訳） 概要 原著者の許諾を得て翻訳・公開いたします。 英語記事: RabbitMQ is more than a Sidekiq replacement – Not again 原文公開日: 2018/03/07 著者: Stanko Krtalić Rusendić 原文が長いため、3本に分割します。中編と後編は今後公開いたします。 私はRabbitMQに乗り換えたこともあって、Sidekiqについてああだこうだと書いてきました。本記事では、production運用を1年間行って得た知見と所感を述べたいと思います。 本記事を書いたきっかけは、ある地元のRuby meetupグループで私が行ったスピーチが大きな反響を呼んだことでした。 そもそもSidekiqやRabittMQがなぜ必要なのか Sidekiqなどのいわゆ

2024年4月26日追記 WEB+DB PRESS総集編［Vol.1～136］が発売されたので、今後はぜひこちらをお買い求めください gihyo.jp pixiv運営本部 技術基盤チームのうさみけんた(@tadsan)です。 2018年4月26日に技術評論社さまからWEB+DB PRESS総集編 ［Vol.1～102］が発売されます（一部書店には既に並んでいるようです）。これは2000年12月に発売されたWEB+DB PRESSの創刊号から102回までの全バックナンバーのPDFを収録した、超大ボリュームの総集編（WEBからもダウンロード可能）です。 17年に及ぶWEB+DB PRESSの歴史の中で、ピクシブ株式会社も2014年から2017年までの間、連載企画『PHP大規模開発入門』を執筆・掲載させていただきました。 連載記事一覧 連載各回の内容は以下の通りです。 Vol.80 「モダンな開

最近、仕事や趣味でAWS Batchをよく使っています。仕事と趣味のそれぞれの用途は以下の通りです。 仕事: 機械学習を用いた異常検知システムのパラメータ学習 PyCon mini Osakaで異常検知システム構築の裏側について発表しました - yasuhisa's blog 学習データ取得と混合ガウス分布のパラメータ推定が元気に動いています 趣味: ML Newsという機械学習関連のエントリをまとめてくれる君 元になるエントリをTwitterから取得する部分 機械学習に関連するエントリか判定する分類器の学習 取得してきたエントリの判定 AWS Batchの使い方やモニタリング方法が大分こなれてきたので、エントリにまとめておきます。 AWS Batch is ... AWS Batch is not ... モニタリング方法 Job Queue Statusのモニタリング 成功/失敗したタ

Gaurun でかんたん構築！ ユーザーごとに個別にプッシュ通知出来るシステムの作り方 大島 雅人 2018.06.19 40 36823 こんにちは、開発支援Gでインフラの運用をしている大島です。 本記事では、スタディサプリENGLISHでユーザーごとに個別にプッシュ通知を送る際の仕組みについて検討したことを含めて説明していきます。 ( 前置き ) スタディサプリ ENGLISHで個別にプッシュ通知を送りたい事情が出てきた スタディサプリENGLISHは、ユーザーのTOEICの点数UPにより貢献するために、『パーソナルコーチプラン』というサービスを新しく立ち上げました。このサービスでは、コーチがチャットや電話を利用してユーザーの学習に寄り添うというものです。その際にユーザーに対し、「個別に返信がきました」や「電話がかかってきました」といったプッシュ通知を出す機能が要件として挙がりました。

Consul の文脈で出てきた Sidecar Proxy なんかは Sidecar Pattern に あてはまります。ぼく自身、このあたりの知識があまりないので、初歩的な知識を得たいと思い、以下の論文を読んでみました。 Design patterns for container-based distributed systems. Google が出したこの論文では、Container が分散システムにおけるデザインパターンにどう位置付けられていっているのかという話と、 これまでに出てきたデザインパターンを以下の 3 つの種類に分けて説明しています。 Single-container management patterns Single-node, multi-container application patterns Multi-node application pattern コ

昨年の2月から原著『Effective Java Third Edition』の草稿のレビューが始まり、レビューが終わったのが11月で、昨年末には原著が発売されています。翻訳作業は、昨年の12月から始めて、すべての作業が今月初めに終了しました。今回も、翻訳および（索引作りも含めた）組版までLaTeXで行いました。 原著のレビューのときには気付かなかった多くの間違いは、翻訳作業を通してJoshua Bloch氏へ知らせており、原著の4th printing（第4刷）では修正されています（原著の正誤表は、こちらです）。 今回はもっと早く終わるかと思ったのですが、結局、約430時間を翻訳作業に費やしました。翻訳に先立っての原著のレビューは約42時間でした。 Amazon.co.jpでは、以下のように紹介されています。 Javaプログラマーにとって必読の定番書『Effective Java』の改訂

マクドナルドの「McCafé by Barista（マックカフェ バイ バリスタ）」併設店舗では「黒蜜きなこ抹茶フラッペ」「抹茶ラテフラッペ」「アイス抹茶ラテ」「抹茶ラテ」を9月12日から期間限定で発売します。 秋の季節定番の抹茶シリーズ。昨年人気だった黒蜜きなこ抹茶フラッペは、京都産のほろ苦い宇治抹茶を増量。国産牛乳を合わせた抹茶ラテフラッペに、きな粉、沖縄県産黒糖を使用した黒蜜、もちもち食感の白玉、ホイップクリームをトッピングすることで、クリーミーな味わいを楽しめるとか。Mサイズ490円、Lサイズ530円。 同時に、抹茶の芳醇な風味を楽しめ抹茶ラテフラッペ（Mサイズ450円、Lサイズ490円）、ほろ苦い宇治抹茶と国産牛乳によるコクが特長のアイス抹茶ラテ（Mサイズ390円、Lサイズ430円）、宇治抹茶の香りと国産牛乳の優しい甘みが特長の抹茶ラテ（Sサイズ350円 、Mサイズ390円）が登

ラジオNIKKEIは9月12日、視聴者からのインターネット投票で流す曲を決める音楽番組で、担当ディレクターが投票結果を意図的に操作していたと発表した。「リスナーの皆さまの期待・信頼を裏切る行為」と謝罪し、番組を打ち切った。 投票結果の操作があったのは、平日正午から生放送していた1時間番組「Click DE On-Air」のうち、主に月曜と金曜の放送だという。この番組では、あらかじめ計30曲のタイトルをWebサイトに掲示し、その中から聴きたい曲を視聴者がクリック。投票数が多かった12～13曲を優先的に流していた。 この番組の月曜と金曜を担当するディレクターが、自動で何度もクリックできるアプリケーション（連打アプリ）を使って一部の楽曲への投票を水増しし、流す曲を操作していた。8月24日の放送で連打アプリを使った結果、アクセスが集中して番組用PCからサーバに接続できなくなり、その原因を技術担当者

日本人の睡眠時間について厚生労働省が調査したところ、40代のおよそ半数が平均で６時間未満だったことがわかりました。厚生労働省は睡眠不足になると精神的な病気や高血圧などにつながるおそれがあるとして、注意を呼びかけています。 このうち１日の平均睡眠時間が６時間未満だった人は、全体で男性が36.1％、女性が42.1％にのぼり、中でも40代が最も多く、男性が48.5％、女性は52.4％とおよそ半数にのぼりました。 また、平均の睡眠時間が５時間未満という人は、全体では男性が7.5％、女性が9.2％で、40代では男性が11.3％、女性は10.6％でした。 さらに直近の１か月間に睡眠で休養が十分に取れたか尋ねたところ、「あまりとれていない」や「全くとれていない」と答えた人は、全体では20.2％にのぼり、40代では30.9％に達しました。 休養が十分取れていないと答える人の割合は平成21年の調査以降、徐々

イーロン・マスク といえばテスラやスペースXが有名ですが、他にもボーリングカンパニーやニューラリンクといった面白いことをやっています。そのイーロン・マスクがマリファナを吸ったということでジョー・ローガンのポッドキャストが注目を浴びましたが、内容はイーロン・マスク が様々なことについて台本なしに率直に語った素晴らしいものです。マリファナの部分だけを抜き出して批判するのはもったいない内容です。質問に対して数秒考えて、ゆっくりとリラックスしながらも真摯に答える態度はとても好感が持てます。 しかも映画『スペースボール』のファンだなんて、ボクはイーロン・マスクが一気に大好きになってしまいました。 このインタビューは日本の人たちにも知ってもらいたいので、英語の内容を聞き取り日本語の抄訳を用意しました。何しろ2時30分という長丁場です。全てを翻訳できませんが、重要だと思われる部分は翻訳しました。 火炎放

去年，いまのチームに来たときは僕がフロントエンドのリファクタリングを進めたり面倒を見たりしていた．JS得意な友達がバイトに来てくれるようになり，今はその人がBabelを入れたりしてくれている．彼がバイトに来てくれなかったら，いまだになんとなく興味があるので見ますみたいな感じで一人で面倒見ていた気もする． よくある話で，属人性を高めないように自分の知識を展開しましょうという話があるけど，具体的にアクションプランを考えてもどれが一番良いのかわからない．抽象的に考えると，自分の仕事をなくして退職に追い込むような動きをすると良い．周りのレベルが上がったり移譲されたりしてその分野で価値を発揮できなくなってれば自分じゃなくてもできるようになっている 自分でなくても実装できるようになって，作戦の相談に乗ったりとかしていると，次はそこの属人性が上がってきて，自分のバリューを再びなくすには，誰でも計画を立て

最近、「Ray-Ban2018キャンペーン」と称するアカウントのプロモーションツイートを見かけます。Twitter では、レイバンと言えばスパムと認識する人も多いと思いますが、今回はレイバンの公式サイトに間違いなく誘導しています。 https://twitter.com/rayban_cam2018/status/1034989165329305601 より引用 そのため「スパムかと思ったら公式だった」のようなツイートを見かけます。しかし、レイバンを扱う Luxottica Group S.p.A. とその子会社ミラリジャパン株式会社とは、無関係のアカウントであるとレイバンカスタマーサービスより回答を得ました。なりすましアカウントです。 この記事の投稿時点では、公式サイトへリンクしているのみですが、公式アカウントと誤解させ、フォロワーを獲得した後、フィッシング詐欺を行う恐れもあるので注意が

薬物依存、とりわけ、覚せい剤の乱用は、現在の日本社会におけるひとつの大きな問題だ。 厚生労働省によれば、平成になってからの四半世紀、覚せい剤取締法違反で検挙された人数は時に2万人、近年、減少傾向にあるとはいえ毎年1万人以上を数える。これは、違法薬物の中で圧倒的な1位で、2位の大麻にくらべて常に数倍にのぼる（いずれも輸出入や製造・栽培についての検挙も含まれているので、単純に使用したことで検挙された人の数ではないことには留意）。 社会的な関心も大きい。 例えば、芸能人が、覚せい剤を使って逮捕されたとする。 ワイドショーはもちろん、ニュース番組ですら、時に政治や国際問題よりも多くの時間をさいて伝える。スポーツ紙や週刊誌は、さらに強い関心を寄せるかもしれない。 「転落への道」「心の闇」などといった紋切り型の言葉を使い、「信頼を裏切った」「ファンに申し訳が立たない」と断罪することも多い。 「いち早い

エロ漫画です。

MySQL(MariaDB)には、レンジパーティションってものがありまして、うーなんでしょ？ある規則にしがったデータをおのおののデータファイルに振り分けてくれるストレージエンジン的なものです。 データ領域が分割されるため、大量のデータを処理することによる性能上のボトルネックの発生を抑えられる MyISAMなど、テーブルサイズに上限がある場合でもそれ以上のデータを格納することが可能になる といった点です。 MySQLでもMariaDBでも、古いバージョンからある機能ではありますが、数百万規模のデータですとSQLの条件によって、読み込む分母のレコード数が少なくなるため、パフォーマンスは向上するわけですね。 サンプルテーブル こんなテーブルを作ってみました。非パーティショニングテーブルですね。つまり普通のテーブルです。これをベースにパーティショニング化を検証してみます。 | sample_tab

2018.09.11 DevOpsを支える今話題のHashiCorpツール群について（HashiCorp Meetup 3rd）でお話しした資料です

けものフレンズ２ 先日、けものフレンズ２PV第一弾が満を持して公開されました。 今更ですので詳細は割愛致しますが、低評価が高評価の約10倍。 前作けものフレンズPV第一弾の割合が高評価が低評価の約50倍ですから、２に対しての荒れ模様が窺えます。良くも悪くもけものフレンズの視聴者層がインターネット全体に広がったのを感じますね。どちらにせよオタクは出来によってすぐ掌返す生物ですので、放送後にどういう評価に落ち着くか今から楽しみです。 それこそ初期の評価から180度扱いが変わった作品がけものフレンズでした。 恥ずかしながらアプリ版の時代から触れてはいませんので、最初期の話はできませんが、アニメけものフレンズに放送直後から注目していた人間の一人として、今回はアニメけものフレンズ初期のインターネット界を振り返っていきましょう。 具体的にどれが要因でどう広まったかを数値などで解説しているブログは氾濫し