エンジニアリンググループの松原です。 前回記事にしました通り1、エムスリーエンジニアリンググループの有志で「エムスリーテックブック#1」を技術書典6に出展します。 配置は【か59】となりましたので技術書典6にお越しの際はよろしくお願いします。 今回は表紙、目次が固まってきたので販売予定の技術書について紹介をさせていただきます。 「エムスリーテックブック#1」について エムスリーテックブック#1表表紙 タイトル: エムスリーテックブック#1 ページ数: 約100ページ 価格(税込): 1,000円 執筆者: 池田、平岡、Owl、滝安、松原 進行支援: 西名 監督: 山崎 イラスト: 迫田 内容については以下で技術書典に登録しています。 あのエムスリーテックブログにも記事を書くメンバーが集まって一冊の本を書き上げました！ 今回はGraphQL、ITインフラ、コンテナ、Ruby、Goと、それぞれ

みなさんは、好きな複素数ってありますか？（ただし実数は除く） 「好きな整数」を持ってる人なら少なくないと思います。それこそラッキー7の7とか。自分の誕生日とか。691とか。 「好きな実数」まで広げても、eとかπとかとか、いろいろあるでしょう。 でも、「複素数」となると？　「私の好きな複素数は○○です」って言ってる人、ほとんど聞いたことないです。あったとしても、2乗して-1の「」そのものとか、3乗すると1になる「ω（）」とかぐらいのものでしょう。 これって不思議だと思うんですよね。整数だったら2でも3でも163でも、それぞれに面白い性質が山ほどあることを思うと、例えば「」や「」などという個別の複素数にもそれぞれに面白い性質はいくらでもある、と考えるのは当然でしょう。でも、個別の整数について面白い性質を知っているほどには、個別の複素数の持つ面白い性質をわれわれは知らない。不思議です。 そういう

PC版アメーバピグユーザーのみなさまに、今後のサービス運営につきまして大切なご報告がございます。

昨年の年末にアメリカに移住して、今はシアトルの近くの Kirkland というところに住んでいる。大体三か月たって、いろんなことを体験した。移住した理由は単純で、コンピューターサイエンスの世界ではアメリカがどう考えても一番進んでいるので、そこで修行して通用するようになったら楽しいかなと思ったからだ。他にも他国の人を観察しているととても生産性が高い。特にアメリカの人は生産性が高い傾向が高い。なんでこんなにアメリカはコンピューターの世界が向いているのだろう？その一旦を感じた気がしたので久々にこのブログを書いてみることにした。 Kirklandの風景 自分へのご褒美を買う アメリカに移住すると、当然日本にいる友達とかと会えなくなる。私は一人でもさみしくない人だけど、さすがにこたえるだろうと思った。だから大好きなバンドをまたやろうと思った。ただ、こっちは正直レベル高いし、私はヴォーカリストだから、

はじめに kaggle APIはローカルPCのターミナル(コマンドプロンプト)からshellコマンドでkaggleの環境を操作することができる呪文．Pythonで実装されている xonshはPythonで実装されている(？)shell kaggle APIをxonshで動かせばxonsh人口もkaggle API人口も増えて幸せなのではないか？ というわけでkaggle APIをxonshから使ってみましょう． ただ，1から書いていくとアレなので主に xonshからkaggle APIへのアクセス xonshからkaggle APIを通してkernelにPush の部分を記録します．kaggle APIやxonshの導入については以下を参照してください． また，installationには日本語の記事もありますので参照してください*1 xonsh xon.sh 日本語による紹介記事 vaa

はじめに 『機械学習のための特徴量エンジニアリング』の書誌情報 Kaggleのワークフロー 1. （探索的データ分析） 2. ベースラインモデルの構築 3. Validationの構築 4. 特徴量エンジニアリング 5. ハイパーパラメータ調整 6. アンサンブル 『機械学習のための特徴量エンジニアリング』の貢献箇所 Kaggle観点で本書をオススメする読者 おわりに はじめに このたび、『機械学習のための特徴量エンジニアリング』をご恵贈いただきました。 Kaggleと親和性が高い書籍名で、Twitterのタイムラインなどを見るに、Kaggleに興味がある層を中心に大きな注目を集めているようです。 本記事では本書の発売に寄せて、Kaggleの自分流のワークフローと「特徴量エンジニアリング」の位置づけについての私見を述べます。その上で本書がKaggleのワークフローのどの部分に寄与するかを説

エンジニアリンググループの@suusan2goです。現在は所属としてはAIチームで、機械学習以外のことを色々やっています。が、諸事情により少し暇になったので、弊社のクラウド電子カルテ「M3 DigiKar」チームに入ってRailsアップグレードをやっています。 今回の記事ではM3 DigiKar(以下デジカル)のRailsアップグレード(4.2 => 5.2)で、得られた知見をお話したいと思います。 デジカルの技術スタックについて デジカルは様々な技術スタックから出来ています。WEBアプリケーションとしてはRailsがメインですが、診療報酬の点数を計算したり保険請求をしたりといった複雑な業務知識が求められる箇所ではScalaを使っていたりします。エムスリーデジカルCTOの冨岡の発表資料を見ていただくと雰囲気がつかめるかと思いますので、以下の記事をご確認ください。 logmi.jp デジカル

こんばんは、かえるるる(@kaeru_nantoka)です。 先日、10ヶ月勤めたSES企業に辞意を伝えました。 そして4月からは、ストックマーク株式会社（https://stockmark.ai/ ）にて、NLPを応用した機械学習エンジンを開発する機械学習エンジニアとして参画することになりました。 ちょうどいい人生の節目なので、流行っている転（退）職エントリを描いてみようと思います。 概要 ・営業職だけど趣味で始めたプログラミングにハマったよ ・未経験だけど第二新卒的なアレでプログラマーになるぞ ・ひょんなことから kaggle にハマったぞ ・なんか上京することになったよ ・なんで私がエクセル職人に！？ ・なんとかソロ銅メダル取れたぞ ・kaggle 強くなりたいからもう一度転職するぞ！ 筆者のスペック ・経済学部卒 ・プログラミング歴1年ちょい（2017年12月~） ・kaggle(

こんにちは。ぼへみあです。 Google Homeで照明をつけたり、テレビをつけたりしているのですが、ネットワーク経由でどんなところを巡って自宅に帰ってくるのか気になって調べてみたら、地球１周以上の距離を巡っていた話です。 ネットワーク依存が進むIoT家電 昨年2018年の年末に、ネットワーク接続型の学習リモコンのサーバーがダウンして、電気がつけられなくなった、というニュースがありました。 www.itmedia.co.jp その記事のブックマークコメントでは、このような意見がスターを集めていました。 「電気もエアコンもつけられない」　スマートリモコン「Nature Remo」で障害相次ぐ - ITmedia NEWS スマートスピーカーもスマートリモコンも同じ家の中の同じネットワークにつながっているのにいちいちインターネットを経由して通信する仕組みだが、ちょっと馬鹿らしい感じ2018/1

はじめに Machine Learning Casual Talksをはじめた理由 発表資料 「エムスリーにおける機械学習活用事例と開発の効率化」 発表資料 概要 所感 「BEDOREにおける対話エンジンの開発と運用」 発表資料 概要 所感 LT「bfloat16について」 発表資料 概要 所感 LT「強化学習を可視化する。chainerrl-visualizerを動かしてみた」 発表資料 概要 所感 LT「分散深層学習のチューニングや辛い話」 発表資料 概要 所感 パネルディスカッション おわりに おまけ はじめに 本日開催された「Machine Learning Casual Talks #8」に参加しました。今回は「Blog枠」での参加です。 機械学習を用いたシステムを実運用している話を中心に、実践的な機械学習に関して気軽に話せる会を開催します。 実際に運用していく上での工夫や、知見

mdlineというMarkdownでタイムライン(年表)を書いて、HTMLなどの形式にしたりできるパーサ、ジェネレーターなどのツールを書きました。 特定の記法で書いたMarkdownから年表的なタイムラインを作成するツール書いた。 $ npx mdline ./timeline.md -o timeline.html 現在はMarkdown to HTMLができる。https://t.co/7Vv0DUmYkX pic.twitter.com/oYJICloElA — azu (@azu_re) January 20, 2019 たとえば、次のようにECMAScriptのタイムライン(年表)をmdlineが決めたMarkdown形式で書きます。 （実際にはただのMarkdownなのですが、次のように 日付: タイトル とHeaderのレベルを合わせるとタイムラインとして扱う感じです) ##

自然言語処理をサービスで活用しよう！ Sansanに学ぶ「多種多様なテキスト」からのデータ分析 自然言語処理をサービスに投入し、“できること”とは？名刺管理サービス「Sansan」を提供するSansan社では、名刺に記載された情報のデータ化において、自然言語処理を徹底的に活用しています。同社のデータ統括部門DSOCで日夜研究を続ける奥田裕樹さんと高橋寛治さんの2人に、サービスの裏で動く、自然言語処理のユースケースを語っていただきました。 名前や企業名、電話番号、メールアドレス──。名刺のなかには、重要な個人情報がテキストの形で記載されています。 そういった情報や企業のWebページ情報などを解析し、ユーザーに有効活用してもらうべく研究開発を続けているのが、法人向けクラウド名刺管理サービス「Sansan」や個人向け名刺アプリ「Eight」を提供するSansan株式会社です。同社はいわば、日本で

これは何か？ pickle でファイル保存できるのとほぼ同じ書き方で保存できる joblib.dump/joblib.load について調べた。 pickle と joblib の比較について。compress を使うと joblib の方がファイルサイズが小さくなる。読み込み速度も変わるかもしれない。 joblib の compress の値は3程度が良いと言われているが、実際調べてると大体3くらいでちょうどいいことが確認できた。 背景 pickleの代わりにjoblibを使って永続化する - 計算物理屋の研究備忘録 joblib.dump/load は pickle とほぼ同じ使い方？ただし compress オプションを指定しないと圧縮してくれないので、圧縮レベルを3くらいにするのがよいとか。 https://t.co/TAvMnIlLO5— Tak (@takaishikawa42

Arrow_Fdwを作るモチベーション 昨年、かなり頑張ってマルチGPUや拡張I/Oボックスを使用してシングルノードのクエリ処理性能10GB/sを達成できた。ただ一方で、PG-StromがPostgreSQLのデータ構造をそのまま使えるという事は、トランザクショナルに蓄積されたデータをそのまま使えるという手軽さの一方で、どうしても行指向データに伴う非効率なI/Oが処理速度全体を律速してしまうという事になる。 昨年の10月頃から直接お会いした人にはお話していたが、現在、PG-StromでApache Arrow形式のファイルを扱うようにするための機能強化に取り組んでいる。目標としては、３月末には動かせる状態にしたいと思っているが。 Apache Arrow形式とは、Sparkの人がよく使っているデータ形式で、大量の構造化データを列指向で保持する事ができる。特定の行を更新したり削除したりといっ

昨年(2018年11月22日)arXivに投稿された論文「Data Augmentation using Random Image Cropping and Patching for Deep CNNs」にて、CIFAR-10でSoTAなエラー率 2.19%を記録したという新たなデータ拡張手法であるRICAP(Random Image Cropping and Patching)が提案されています。 趣味で作っているラーメン二郎識別モデルにRICAPを適用するとどうなるか興味があったため、年末年始にPyTorchで実装して検証してみました。 検証では、RICAPだけでなく、RICAPの論文でも参照されているデータ拡張手法であるmixup、そして、CutoutおよびRandom Erasingと組み合わせた場合にどの程度の識別精度となるかも比較しています。 また、大きなモデルやデータセットで

東京大学、漫画内のキャラクタの顔分類を行う機械学習を用いたクラスタリング法を発表 2019-01-16 東京大学の研究チームは、漫画内のキャラクタの顔分類を行う機械学習を用いたクラスタリング法を発表しました。 論文：Character Representation Adaption in Individual Manga 著者：Koki Tsubota, Toru Ogawa, Toshihiko Yamasaki,Kiyoharu Aizawa 所属：The University of Tokyo 本論文は、漫画内のキャラクタに対して、クラスタリングすることでキャラクタの顔分類を行う手法を提案します。前提として、漫画におけるコマと顔のバウンディングボックスを検出しているものとします。（したがって、本提案の精度はバウンティングボックスの検出精度に比例します。） 本提案手法は、漫画内のキャラ

2018年8月末に2年半在籍した Sansan株式会社を退職し、約４ヶ月のニート期間を経て、 2019年1月1日付けで、Crevo.inc に入社し、本日1月7日が初出社でした。 (トップ画像は、退職した当時、都会のコンクリートジャングルが辛くて、北海道知床まで逃げたときの写真です。夏の北海道は最高です。) Sansanでの思い出僕は、大学時代は、情報系専攻ではなく、経済・経営専攻の文系学生でしたが、何かと運に恵まれメガベンチャーである Sansan株式会社に新卒で入社できることができました。 Sansan株式会社での同期や同僚のメンバーには、技術面、人柄に恵まれた環境で、Webエンジニアとして成長させてもらい、僕は幸せ者でした。 (特に一人鍋ツイッタラーで有名なばんくし君と同期・同じ部署だったのは、いろいろ刺激的でした) 学生時代からアルバイトでプログラミングをしてはいましたが、 - R