スマホアプリ「モンスターストライク」のサーバー負荷は、年末年始に1年のピークを迎えます。2018年元旦のサーバー負荷に立ち向かうために実施した対策の一例として、データベースサーバー（MySQL）を安全に水平分割した事例を紹介します。見積もりから計画、実施に至るまでを時系列で振り返ります。

BCU30での発表資料です

先日2018年4月17日は全国学力・学習状況調査が行われた日でした。 A問題（主として「知識」），B問題（主として「活用」）という形式では最後の年となります。 さて，この全国学力・学習状況調査については様々な意見がありますが，中学生の数学理解の実態について（あくまで紙面調査に過ぎないのでごくごく一端ですが），量的な分析という意味では貴重な情報を提供してくれていると私は捉えています。 以下，まずは【数と式】領域に限って，個人的に興味深い問題とその反応について簡単に見てみたいと思います。 （1）方程式の解の意味 まずは2016年度のA問題から。 この問題の正答率は以下のとおりです。 問題で， を代入すると両辺の値が で等しくなることが示されているわけですが，正答率は48.2%です。 両辺の式の値である を「方程式の解」としている生徒が30.9%います。 こんな分析もされています。 A3(1)は

概要 Google 翻訳 API を無料で使えないかと思ってたところ、 Google Apps Script の LanguageApp クラスを発見し、「これは！」と思ったので早速 GAS から使って無料の翻訳 API 作ってみた話です。 GAS のシンプル設計のおかげで実装は非常に簡単なので、 3 分でサクッと作れます。 1. GAS にアクセス https://script.google.com にアクセスし、 + 新規スクリプト を選択。GAS エディタが立ち上がる。 2. 実装 GAS プロジェクトに適当に名前をつけて、コーディング開始。コードは以下の 5 行で完成（エラーハンドリングサボってます）。 コードは以下。リポジトリはこちら > https://github.com/tanabee/google-translation-api コードの説明 1, 5 行目: funct

TL;DR 「機械学習をやるなら線形代数はやっとけ」的な話が出るけど具体的な話があまり見当たらない 研究でなく実務レベルで機械学習を扱う場合にどのような線形代数の知識が必要になるのか考えてみた 高校でやるベクトル・行列＋αくらいあれば概念的には十分で、計算が苦じゃない基礎体力が重要では？ 機械学習が流行ることで、機械学習に必要な数学的基礎にも話が及ぶことが多くなってきている。 特に、線形代数や微積に関しては基礎を押さえとけみたいなことを言う人が結構いる気がする。 中身のない話をしたい場合はまあそれだけでもいいのだけれど、具体的に何が必要になるのかを説明してくれてる人はあまりいない。少なくとも自分の観測範囲では。 レベル感が様々なので万人に通用する議論はできないのはしょうがないが、「自分としてはこれは必要だと思っている」みたいな意見は聞いてみたい。 自分の考えはどうだろう、ということで線形代

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 機械学習や深層学習が人気の昨今ですが、それらのモデルの精度に最もクリティカルに影響するのはインプットするデータの質です。データの質は、データを適切に把握し、不要なデータを取り除いたり、必要なデータを精査する前処理を行うことで高めることができます。 本頁では、データ処理の基本ツールとしてPandasの使い方を紹介します。Pandasには便利な機能がたくさんありますが、特に分析業務で頻出のPandas関数・メソッドを重点的に取り上げました。 Pandasに便利なメソッドがたくさんあることは知っている、でもワイが知りたいのは分析に最

Amazon DynamoDBは、RDSのようなインスタンスサイズによる課金モデルではなく、ストレージのデータ使用量とスループットを基にした課金モデルになっている。 インスタンスサイズによる課金モデルでないデータストア系サービスとして、他にはS3、Kinesisなどがある。 これらは、AWSの中でも、フルマネージドサービスと呼ばれる位置づけとなるサービスだ。 フルマネージドサービスは、ElastiCacheのようなそうでないものと比較し、AWSに最適化されていて、サービスとしてよくできていると感じている。 Mackerelの時系列データベースのスタックの一つとして、DynamoDBを採用している。 時系列データベースの開発は、コストとの戦いだったために、それなりにコスト知見が蓄積してきた。(時系列データベースという概念をクラウドの技で再構築する - ゆううきブログ) (※ 以下は、2018

AWS データベースブログの記事 「Amazon DynamoDBによる CQRSイベントストアの構築」 を勝手に読み解く

先月投稿した2015年Webサーバアーキテクチャ序論では、Webサーバアーキテクチャを学ぶ道のりと代表的な実装モデルの概要を紹介しました。 今回は、前回同様、主に新卒Webエンジニア向けに、Webアプリケーションサーバとデータベースサーバ間の接続管理モデルと運用事情について紹介します。 データベース接続の永続化やコネクションプーリングとは何なのか、なぜ必要なのかといったことが主な話題です。 背景 データベース接続の永続化とはなにか データベース接続のオーバヘッド データベース接続の永続化手法 コネクションプーリングとはなにか コネクションプーリング: ドライバ型 コネクションプーリング: プロキシ型 コネクションプーリング全体について PostgreSQLとMySQL 参考資料 まとめ 背景 2015年Webサーバアーキテクチャ序論では、Webサーバアーキテクチャの話とWebアプリケーショ

〜そのデータで、意思決定は変わりますか？　戦略の策定、新機能の検証、さらに広報まで。組織を横断して最適なデータ活用を実現する、メルカリのBIチームとは〜 データを活用できる組織とできない組織、その違いはどこにあるのだろうか。 国内唯一の「ユニコーン企業」とも称される、株式会社メルカリ。同社の東京オフィスでは、2018年4月時点で7名のデータアナリストから成るBI（Business Intelligence）チームが、経営目標の達成をデータ分析で支える役割を担っている。 チームのマネージャーを務める樫田 光さんは、「『分析こんなに頑張りました』という大げさな資料は、意思決定をする側には必要ない」と語る。 その言葉通り、同社では分析の結果をあくまでもスピード重視で共有。また、できるだけ多くの人がデータを活用できるようにするため、組織を横断した仕組みづくりも強化している。 例えばその活動のひとつ

今の場合は A さんが 31 歳の場合のストーリーでしたが、A さんが 20 歳～ 35 歳のうちのどの年齢であったとしても、似たようなストーリーで必ず 4 回の質問で当てることができます！(他の例も是非考えてみてください。) ちなみに、このような「真ん中で切ってどちらかに絞って行く」タイプのアルゴリズムには二分探索法という名前がついています。応用情報技術者試験でも頻出のテーマですので馴染みのある方も多いと思います。 1-2. つまり、アルゴリズムとは 上の年齢当てゲームという問題では、相手の年齢を当てる「方法・手順」を二分探索法に基づいて導きました。このようにアルゴリズムとは、 問題を解くための方法・手順 のことです。さて、アルゴリズムと聞くと「コンピュータ上で実装されたプログラム」のことを思い浮かべる方も多いと思いますが、必ずしもコンピュータと関係がある必要はなく、日常生活でも多々登場

各農家からの出荷を約50の市場へ配送する際の、各トラックにどの品目を何ケース積載するかの配車プランを自動作成するアルゴリズムを開発。

All slide content and descriptions are owned by their creators.

はじめに 日本の人口は2017年10月1日時点で1億2670万人ほど。都道府県の人口1位はもちろん東京都で、1372.4万人。最下位となる47位は鳥取県で、56.5万人。その差は約24倍にもなります。 現在ではあまりにも当たり前の東京の人口1位。しかし、かつては東京が人口1位ではなかった時代が続いたことは、あまり知られていません。 現在は東京が1372万人、ぶっちぎり 逆に人口ワーストは山陰と四国、北陸の県。 元来日本はここまで東京一極集中ではなく、その地方に応じた産業が活発で、今より地方が元気な時代がありました。 人口の統計がはじまった1872年から見てみると、実は東京ではなく、意外な都道府県がトップに立っていることが分かります。そんな思わぬ再発見の多い「歴代人口ランキング」（※）を見ていきましょう。 ※：採用する人口データは、1872～83年までは本籍人口。1884～1907年までは乙

インフラ勉強会のビジョン インフラエンジニアとして経験の浅い人が、幅広く活躍できるようになることです。 インフラ勉強会はスキルの入り口が分からない人がノウハウを持ち寄る場所であることを目指します。 スキルのある人は独学でステップアップできますが、経験の浅い人が仕事では聞きづらい基礎の入り口から重点的にやっていきます。 ITエンジニアの悩みと課題 社内ではなかなか仕事での悩みを相談することができない。 自分自身のスキルを上げたいが、会社では勉強する場所や時間がない。 社内に尊敬できる技術者がいないので、自分自身の目標のレベルが分からない。 社内では刺激が少なく、モチベーションが上がらない。 ※このような課題をインフラ勉強会に参加することで解決していくことができます。地方にいてオフライン型の勉強会や交流会に参加できない方にもチャンスが生まれます。 講義内容 クラウドにサーバ構築することだけが講

Kubernetesは、コンテナアプリケーションをデプロイするためのオーケストレーションツールです。Kuberenetesは分散環境におけるスケーラブルなコンテナ実行環境をつくるための、さまざまな機能が提供されています。 もともとはGoogleが開発したBorgをもとにOSS化したものですが、今日ではマイクロソフトやRedHatも積極的に開発に加わり、非常に早いスピートで機能拡張していて、追いかけるのも大変です。 Kubernetesの大きな特徴は宣言的設定にあります。 この宣言的設定とは、イミュータブルなインフラを作るための基本的な考え方で、「システムのあるべき姿」を設定ファイルにて宣言する！という考え方です。Kubernetesは設定ファイルに書いたとおりのインフラを維持するように設計されています。 Kubernetesはコンテナを「Pod」という単位で管理します。このPodをKube

なぜ地方のクリーニング屋で機械学習？　「無人店舗作りたい」 たった1人、独学でAI作る副社長の挑戦（1/2 ページ） 「中小企業でお金もない、人もいない。ここ10年でIT化に取り組んできたが、今ある課題や業界の将来を見据え、今はAI（人工知能）を自作している」──福岡県田川市でクリーニング店を8店舗展開するエルアンドエーの田原大輔副社長はこう話す。同社はスーツやズボンなどを判別する画像認識システムなどを導入。人材が不足するクリーニング業界の中で業務効率化を図るためいち早くIT化に取り組み、いずれは無人店舗のオープンを目指す。 IT化に取り組んだ10年 電話からSkypeによるビデオチャットへ、メールからチャットワークへ、ExcelからGoogleスプレッドシートへ──2008年ごろから10年近くクリーニング業務のIT化を進め、15年11月にGoogleの機械学習用オープンソースライブラリ「

倉貫さんの資料プロエンジニアになるための「アジャイル開発」再入門が素晴らしいのでリンクしておく。 新入社員向けのアジャイル研修の資料は、これを使えば十分ではないかな、と思った。 以下はラフなメモ書き。 【研修資料】 【参考】 アジャイル開発とウォーターフォール型開発の違いについて再考: プログラマの思索 アジャイルとウォーターフォールは文化や価値観のレベルで異なるという話 - たなかこういちの開発ノート アジャイル開発の本質 ? アジャイルとウォーターフォールの違いとは | Social Change! ソフトウェアは完成しても価値はない ? アジャイル開発は何を解決するのか | Social Change! アジャイル開発とは：「アジャイル開発」をエグゼクティブサマリにまとめてみた | Social Change! ドキュメントをなくしてもうまくいく？ ? 人に依存するリスクへの対処とは

◎prologue 一般的にLinuxサーバに導入されておりWebサービスではほぼほぼ利用されている。その上リスクが大きい脆弱性がとあるOSSで見つかったことがあります。 どう対処しようかと社内がざわつく。それもそのはず顧客のサーバ台数が尋常でなく多かったから。 基本的な対処は (1)そのOSSのバージョンが脆弱性の対象かどうか確認。 (2)脆弱性の対象であった場合、顧客と調整した上アップグレードする。 簡単に言うとこれだけですが、人力でやるには難しい状況。 そんな中 (1)のリストをさっと作ってくれたのが尊敬するSuper programmer & Gentleman(比喩ではありません)の同僚。 その時彼が利用していたのがAnsible。 その窮地を解決し、彼の技術blogでよく取り上げとても推していたAnsible。 それから結構時が経った今、 不毛な労力を技術力で解決し品質もあげた