先日のPHPカンファレンスやPHPカンファレンス関西、buildersconでお話しした内容を元にして、 Laravel(PHP)を使って分析処理の簡単な実装や、 ミドルウェアを組み合わせた分散処理の実装を紹介します。 本ブログのサンプルアプリケーションは下記になりますので、 コードやミドルウェアなどを参照ください。 github.com Laravelとkafka Connect、Elasticsearchの組み合わせ Apache Kafkaを使ったスケーラブルなアプリケーションの入門編です。 レコード量が多い複雑なコンテンツのデータや検索要件、Like検索など、 RDBMSの不得意な分野などを対応することも多いかと思いますが、 RDBMSとElasticsearchを併用しKafkaで複雑さを吸収して、 アプリケーションをスケールさせるようにしてみましょう。 データベースのテーブル設

こんにちは。SI部の腰塚です。 RDBやデータウェアハウスの仕事に携わることが多かった筆者は、数年前からたびたび聞こえたビッグデータ分析や機械学習のための分散処理フレームワークに興味を覚えたものの、ついぞアクセスしないままここまで来てしまいました。 今回ブログを書くにあたって、せっかくなのでイチから手さぐり入門し、いまさら他人に聞けない分散処理の初歩からhadoop・sparkを触ってみるまでをまとめたいと思います。 1.分散処理の基礎知識 1-1.分散処理の処理方式：MapReduce まず分散処理とは、ひとつの計算処理をネットワークで接続した複数のコンピュータで同時並列で処理することです。 ビッグデータ活用の市場が日々大きくなるに従って、数百テラ～ペタのデータ処理も珍しいものではなくなっており、日常的にこの規模のデータを扱うシステムでは、現実的な時間的・費用的コストで処理する工夫が必要

はじめに 僕が代表をしている株式会社KOSKAでは製造業の原価管理をIoTで自動化するGenkanというサービスを提供しております。 そんな弊社では半年前、バックエンドをRoRからScalaに移行したのですが、これが素晴らしく効果が高かったので以下の記事を書きました。 スタートアップである弊社が全員ほぼ未経験でRoRをScalaに移行した理由、その効果と苦労点 しかし、最後に書いたのですが、苦労する点もとても多いです。 弊社CPOが苦労する点を抽象的な部分に関しては以下の記事で書いてくれてはいます。 0からScalaを本番導入して感じたこと・考えたこと - Qiita ただ、実際にコードを書き始めた時に引っかかりやすい点をできるだけ詳しくあげておくことで、導入しようと考えた人がなるべく簡単に導入できるという状況を作りたかったので、書きました。 それではスタートです。 RubyやPHP、Py

× Create an Account Browse just-for-you logo designs and save the ones you love!

本項は「C# Tokyo オンライン「世界一わかりやすいClean Architecture」他」による発表の登壇原稿となります。過去に発表した.NET版の記事はこちらにアーカイブしています。 本稿のサンプルコード・PPTはこちらで公開しています。 「CC BY-SA 4.0」で公開していますので、気に入っていただけたら営利目的含め、ライセンスの範囲で自由に利用していただいて問題ありません。 github.com また動画を以下で配信しています。よろしければご覧ください。 世界一わかりやすいClean Architecture はじめに まず初めに、クリーンアーキテクチャの誤解されがちな二つのことについてお話させていただきます。 その上で、クリーンアーキテクチャの本質とは何か？押さえておくべき、本当に重要だと考えている三つの事について、お話しします。 注意事項 さて本題に入る前に、少し注意

普段KotlinでSpring Bootアプリケーションを書いています。 で、 @NotBlank や @Size(max = 10) などでバリデーションを指定できると様々な記事で書かれているわけですが、これがいつも効かなくて困っていました。やっとこさ解決できたので、その方法をまとめておきます。 サンプルの仕様 以下のような仕様とします。 Personというクラスがあり、nameを持つ nameはPersonName型として指定する（値オブジェクト的な） nameは空文字列を拒否し、10文字以下とする Personの登録を行うエンドポイントを持ち、JSONで受け取る サンプルの仕様にもとづいたコード Personクラスの定義や、PersonName用のJsonDeserializerの定義は省略しています。 PersonName.kt import javax.validation.co

IntelliJ で Spring Boot を動作させる場合にホットデプロイの設定でハマる事例が後を絶たないらしく、情報を調べていても Spring Boot のバージョンもまちまちでなかなかこれといった解決策に辿り着かない。 休日に試行錯誤していたがとても苦戦したので備忘。 尚ビルドシステムとしては Gradle を使用することとする。 ちなみに私は Spring Boot は初めてなので理解が怪しいところがあるかもしれない。 新規 Spring Boot プロジェクト Spring は 10 年以上前から存在する歴史ある Java のフレームワークだが、昔は Spring ですべて賄うというよりは Struts と Spring を組み合わせて構築するといったパターンが多かったように思う。 その後途中あたりから Spring MVC という Web アプリケーションを作成する為のパッ

「打ち上げ花火の奥菜恵を観たことない男は人生を損してる」 90年代の終わり頃、とある大学の映像学科に入学した直後、日本各地から集まった10代後半の男同士でそれぞれ好きな映画の話をしていた時のことだ。 みんな最初はそれぞれスカして見栄を張り、クエンティン・タランティーノやデヴィッド・フィンチャーやダニー・ボイルといった、当時のいわゆる「格好いいお洒落な映画監督」の名前を上げていた。 しかし、誰かがふと「俺、岩井俊二の『打ち上げ花火、下から見るか？横から見るか？』が好きなんだけど」と口にすると、「実はオレも」「あの奥菜恵は神」なんてほぼ初対面なのに爆発的に盛り上がった。 驚いたのはその場にいた10人弱の男子全員が、本作をテレビ放送時に観ていたということだ。 『打ち上げ花火、下から見るか？横から見るか？』 『打ち上げ花火、下から見るか？横から見るか？』は、1993年にフジテレビ系列で毎週木曜の夜

「リリィ・シュシュのすべて」とは 「リリィ・シュシュのすべて」とは、2001年に公開された岩井俊二監督の映画です。 若かりし頃の市原隼人や蒼井優などが出演しており、インターネット掲示板を通して物語が進んでいくという、当時としては斬新はストーリーの映画でした。 （後に同じようにインターネットを通して物語が進む「電車男」等がヒットします。） 監督の岩井俊二が、「遺作を選べたら、これにしたい」と語るほど、監督の想いが強い作品でした。 約17年後のロケ地・栃木県足利市を巡る 本作の公開は2001年、ストーリーの設定としては、1999年から2000年にかけて。 公開から、約17年後の今、本作が撮影されたロケ地をまわってみました。 本作のロケ地は、ほとんどが、ストーリーの設定と同じく栃木県足利市で撮影されています。（一部は宇都宮市で撮影されたそうです。） 探すのが大変なものもありましたが、回ってみまし

5. 5 目録 ◼ 私の失敗体験談（不均衡データの学習） ◼ 機械学習開発における壁 • 機械学習のビジネスフレームワーク「5D」 • Define（定義する） • Data（データを集める） • Development（開発する） • Deploy（実装する） • Drive（運用する） ◼ ビジネス応用における壁 • AIを使ったキュウリの自動選別 • 機械学習を使って売り上げに貢献する • 機械学習を使わない選択肢 ◼ まとめ 6. 6 目録 ◼ 私の失敗体験談（不均衡データの学習） ◼ 機械学習開発における壁 • 機械学習のビジネスフレームワーク「5D」 • Define（定義する） • Data（データを集める） • Development（開発する） • Deploy（実装する） • Drive（運用する） ◼ ビジネス応用における壁 • AIを使ったキュウリの自動選別 • 機

Gaiax Advent Calendar 2016、19日目の記事です。 私は普段、Railsでアプリケーション開発をしています。 しかし、今入っているプロジェクトで、ある解析をしたら面白いんじゃないかということでやってみました。 今回はそのお話です。 何を解析するのか 例えば、本が好きな人達がいるとしましょう。彼らは様々な本が好きで、好きな本の作者が紐付いています。 Aさんは伊坂幸太郎、東野圭吾、村上春樹が好き。Bさんは伊坂幸太郎、J.K.ローリングが好き。CさんはJ.K.ローリングだけ好き。などなど。 （ちなみに私は挙げた人たちの本は全然知りません。唯一、ハリーポッターは好きでした。） 各人が好きな作家テーブルを作る まず、好きな作家に対して[0,1]のフラグを立てます。 伊坂幸太郎 東野圭吾 村上春樹 J.K.ローリング

シグモイド関数を微分するには合成関数の微分を用いて行います。 まず、シグモイド関数 $$f(x)=\frac { 1 }{ 1+{ e }^{ -x } } $$ において $$u=g(x)=1+{ e }^{ -x }$$ と置くと、 $$y=f(u)=\frac { 1 }{ u } ={ u }^{ -1 }$$ より、合成関数の微分を使って $$f'(x)=\frac { dy }{ dx } =\frac { dy }{ du } \frac { du }{ dx } \\ =-{ u }^{ -2 }(-{ e }^{ -x })\\ =\frac { { e }^{ -x } }{ { u }^{ 2 } } \\ =\frac { { e }^{ -x } }{ (1+{ e }^{ -x }) ^{ 2 }}$$ となりますが、この先がちょとトリッキーな式の変形を行い、

「誤差逆伝播学習法」とは？ 誤差逆伝播学習法(BP: Backpropagation)とは、ニューラルネットワークの学習法の１つで、今現在もっとも主流で強力な学習法を指します。 その名の通り、ネットワークを誤差情報が逆伝播することから名前がつけられていますが、ちょっとそれだけでは分かりづらいですね。 この記事では、誤差逆伝播学習法の仕組みとその実装を解説していきます。 解説部では、少し数式が多いですが、ひとつひとつ丁寧に見ていけば必ず理解できると思います。 また、誤差逆伝播学習法の考え方は、様々な学習方法に応用されている学習法なのでしっかりと理解しておきましょう！ 実行環境 以下は筆者の実行環境です。 今回も数値計算用のNumPyとグラフ描画用のmatplotlibを使います。 Python　3.7.3 NumPy　1.16.3 matplotlib　3.0.3 「誤差逆伝播学習法」実装の