この記事は、下書き供養 Advent Calendar 2018 - Adventarの2日目の記事です。 めっちゃ専門的な内容になってしまいました。ごめんなさい。 某Slackでの議論内容をブログに書こうとしたのですが、下書きのまま放置していました。 Wednesday, August 15th と書いてあるので、約半年前の内容となります。 もくじ もくじ はじめに 「データ基盤の3分類」と「（一般的な）技術要素」 1.データレイク（Data Lake） 2.データウェアハウス（Data Warehouse） 3.データマート（Data Mart） 私が考えるデータ基盤の定義 私が考える「あるべき構成」 技術要素を分けるのはアンチパターン 進化的データモデリングを容易にしよう チームとアーキテクチャを選ぶ まとめ 参考 余談 追記 はじめに データ基盤と世間一般で言われるシステムには分類

ハイパーパラメータ自動最適化フレームワーク「Optuna」のベータ版を OSS として公開しました。この記事では、Optuna の開発に至った動機や特徴を紹介します。 公式ページ 公式ドキュメント チュートリアル GitHub ハイパーパラメータとは？ ハイパーパラメータとは、機械学習アルゴリズムの挙動を制御するパラメータのことです。特に深層学習では勾配法によって最適化できない・しないパラメータに相当します。例えば、学習率やバッチサイズ、学習イテレーション数といったようなものがハイパーパラメータとなります。また、ニューラルネットワークの層数やチャンネル数といったようなものもハイパーパラメータです。更に、そのような数値だけでなく、学習に Momentum SGD を用いるかそれとも Adam を用いるか、といったような選択もハイパーパラメータと言えます。 ハイパーパラメータの調整は機械学習ア

話したネタ dockerを立ち上げたときに、ネットワークに何が起こるのか？ iptablesでは何が起こるのか？ dockerのbridgeとは何なのか？ libnetworkとは何か？ docker network pluginを作るためには、何を書くのか？ dockerを使うと出てくるvethとは何なのか？ dockerコンテナのIPを誰が振っているのか？ IPAMとは？ dockerから出ていくとき、どういう要素を通って外に出ていくのか？ –network host の Host とは？ Overlayとは何か？ VXLANとは？ BUM(Broadcast, unknown-unicast and multicast traffic)トラフィック問題 ARPプロキシ ARPの情報をどうやって、あらかじめ知っておくのか？ VXLANはVLANの拡張か？ VXLANではどうやってカプセ

この記事は 裏 freee developers Advent Calendar 2018 の 2 日目です。 タイトルにもあるとおり、11/26 - 11/30 までラスベガスで開催された AWS re:Invent 2018 に参加してきました。この記事はまさに帰国途中の空港から書いています。 re:Invent は初めて参加しましたが、とても充実した時間を過ごせました！ また re:Invent に参加して自分の中で大きな変化がありました。当初は Advent Calendar に参加レポートを書くつもりだったのですが、今回はその変化について書いてみようと思います。 AWS との出会い 自分が初めて AWS を触ったときは、まだ東京リージョンもなく、サービスの数も両手で数えられました。はっきり覚えていませんが、アカウントを作ったのは 2010 年の後半だったと思います。その後、JAW