BERTを用いた日本語文書分類タスクの学習・ハイパーパラメータチューニングの実践例
BERT を用いて livedoorニュースコーパス分類タスクを学習ハイパーパラメータチューニングによって，テスト正答率を 87.6% から 96.7% まで改善おまけ：カテゴリ「エスマックス」の判別は極めて容易 カラクリ株式会社の Research & development チーム（長いので以下 AIチーム）の吉田です．おはこんばんにちは． 本記事では，BERT (Bidirectional Encoder Representations from Transformers) を用いて日本語文書分類タスクを学習し，さらに精度向上のためにハイパーパラメータチューニングを実施した場合の実践例について記しました． BERTは，文章（正確にはトークン列）が入力されるとその特徴ベクトルを出力する，巨大なニューラルネットワークです．2018年10月にGoogleから発表された論文で提案された手法で
GAE/Goにおけるコスト最適化 #golang – timakin – Medium
Go Advent Calendar 2018 ２日目の記事です。１日目はtenntennさんの「実装して理解するスライス #golang」でした。 せっかくなので実益に繋がる話を書くべきだと思っておりまして、今回はGoConでGAE/Go 2nd genに対して注目が集まっていたのもあり、「GAE/Goでの運用コスト最適化」について書こうと思います。 （とはいえ、この分野だとGCPUG界隈のsinmetalさんやvvakameさん、apstndbさんあたりが圧倒的に詳しく、僕が書くことに関してはやや恐縮するのですが） どれくらいコストを減らしたかサービスを運営する中で、クライアントからAPIが叩かれるだけでなく、クローラー等による大量のアクセスがある場合、いくら小規模でもかなり費用が可算できます。そしてそれは安いと評判であるGAEでも例外ではありません。 お財布が困窮していたわけではない
【Kaggle】Katibで船コンペ銅メダル
Kaggle部作りましたこんにちはNTT研究所の大嶋です． 最近社内にKaggle部を作って同僚とKaggleに勤しんでいます．この度初参加したコンペの結果が出たのでその活動報告をしたいと思います． Kaggleとはもはや説明する必要も無いほど有名ですが，Wikipediaによると ”Kaggleは企業や研究者がデータを投稿し、世界中の統計家やデータ分析家がその最適モデルを競い合う、予測モデリング及び分析手法関連プラットフォーム及びその運営会社である。” です． KubeFlow/KatibについてそもそもKaggleに参加しようと思ったきっかけは，私の開発するKubeflow/Kaitbの実験場として最高だと思ったからです．Katibは機械学習におけるハイパーパラメータチューニングを簡単かつ効率よく行うことを 目的としたOSSであり，私はメンテナの一人として活動しています．Katibの詳
プロダクトマネージャーは、自分達が「頭がいい」ことを理解しなければならない – Teruhisa Fukumoto – Medium
みなさんこんにちは。 チャットボット開発のスタートアップでプロダクトマネージャー（以下PM）兼エンジニアをやっている福本です。 先週11月6日~7日にかけて、プロダクトマネージャーカンファレンス2018(pmconfjp)が行われましたね。僕も参加してきましたが、「PMという職種が市民権を得てきている」というのが、当日の盛況ぶりから伝わってきました。 さて、今回はカンファレンスで色々な方と接して改めて感じた「PM」という人種について(偉そうに)語っていきたいと思います。例によって、この記事は僕の妄想に基づいた怪文書となっています。 「頭がいい」とは今回もタイトルを刺激的にしてみたわけですが、僕はPMの地位を不当に上げるために「頭がいい」という表現を使ったわけではありません。ましてや、PM上げをすることで遠回しに「オレは頭がいいぞ」という主張がしたいわけでもありません。 僕はPMの「頭の良さ
海外と日本でのソフトウェア開発職の文化を振り返ってみた – reyabe – Medium
こんにちは。阿部と申します。とある渋谷のIT企業でエンジニアのお仕事をしています。普段はブログを書いていないのですが、お勤め先の社内ブログ用に以前執筆した記事をlean-agile podcastで紹介していただく事になり、当時の記事を今回こちらのプラットフォームでも公開する事にしました。長文になりますが、ご興味を持たれた方は是非ご覧ください。 「海外と日本でのソフトウェア開発職の文化を振り返ってみた」という記事のタイトルにしているのですが、この話のモチベーション・裏付けとしてまず自分のバックグラウンドを簡単に説明しておきます。私は名前によらず外国籍・海外育ちで、今までヨーロッパと日本それぞれでベンチャー・中小企業・大手の仕事環境を６社ほど転々とし、色々な国のエンジニアと仕事をしてきました。 （＊ちなみに、日本語で記事を書くのはあまり得意でないので、言葉遣いがおかしいところは大目に見ていた
インターネット業界と金融業界では仮想通貨を全く違う視点で見ている
インターネット業界と金融業界の間に大きなギャップを感じつつも、金融業界流のユーザインサイトを理解する重要性をひしひしと感じているという話です。 前職まではネット業界に首まで浸かってエンジニアをやってきましたが、仮想通貨業界に携わるようになり金融業界一筋の方々と接する機会が増えてきました。この2つの業界は服装からキャリア観まで、まるっきり違う人々で構成されています。そこで直面するのは仮想通貨で注目するポイントに対するギャップです。早い話が「なぜこんなにすごい発明を目の前にして価格や流動性の話に注意が向くんだろう？」ということです。 しかし、この違和感は徐々に薄れていきました。この2つの業界では同じユーザを見たとしても「ユーザに提供すべきもの」に対する考えに大きなギャップがあることが分かってきたのです。そしてこの2つのユーザ像は相反する部分を持ちつつも、両方とも正しく無視できないというのが今の
Apache Kafkaを使ったアプリ設計で反省している件を正直ベースで話す
Apache Kafka: Producer, Broker and Consumer2017年は生まれて始めてApache Kafkaを本格的に業務利用（PoCではなく本番運用）した年でした。Apache Kafka的なメッセージングミドルウェアそのもののは、社内的な事情でよく使っていたのでその使い勝手に対して困惑はほとんど無かったですし、ミドルウェアとして非常に安定しているため、Kafkaクラスタそのものでの不具合らしい不具合が発生したことは一度もありませんでした。 しかし、Kafkaのトピック設計などに関してのベストプラクティスは事例ベースでもあまり見かけたことがなく、チームメンバーと悩むことも多かったです。このストーリーでは、主にKafkaを利用したアプリ設計で考えたことや失敗したことを振り返りつつ共有します。なお、パーティション数や各種バッファサイズなどのチューニング要素は今回取
メルカリの小泉さんと組織の課題について話したら恐ろしい程勉強になった話 – tsukuruba – Medium
僕の中で仕事人生に影響を与え続けてくれている三大COO（と勝手に呼んでる人たち）がいる。 一人目がアカツキ共同創業者COOの香田哲朗くん、二人目がフリークアウト(元)COOで現hey代表の佐藤裕介さん、そしてメルカリ社長兼COOの小泉文明さんだ。 それぞれ社長もできる人だが、COOとして事業及び組織の構築も構造的分析もハイレベルにできる。恐ろしく広域のアビリティを持ち、バイタリティとバランス感覚に優れ、超人的な仕事量をこなす人たちである。 そのうちのお一人であるメルカリ小泉さんと1on1させてもらう機会があり、その話が組織の課題に悩む他の人にもとても有用だと思ったのでメモを公開させていただくことにした。（ほんとにメモなんで乱文ご容赦ください） ツクルバでは組織・文化づくりに社をあげて徹底的に投資していく方針なので、非常に参考になった。 ＊＊＊以下メモ＊＊＊ [お題] メルカリで急激に組織を
Vueを昔触った後Reactをどっぷり触ってもう一回Vueを触ってReactに戻って得た感想
最近ReactとVueをどっちも触る機会があったり、「ReactとVueどう選定するの？」という問いを投げられ、スッと答えられなかったな、と後悔があったりしていたので、Vueを触って得られた感想をまとめてみる。 結論としてなにか新しいことを発見したというものではなく、世間で言われている事を自分なりに再構築しただけの結論になったと思う。 TL; DRVueからは全体的に優しさ（Gentleさ）を感じる事が多く、良い点だと感じた大規模になるときReactの堅牢さは魅力的。Vueが大きくなった時に支えられ設計が出来るかは個人的には懐疑的。「こうだったらVue、こうだったらReact」みたいな分岐点があるというわけではないので、最終的には好みになってくると思う。ぞうさんが好きかきりんさんが好きか。これまでのフレームワーク遍歴今回の話をするにあたって、僕と各フレームワークの付き合いをまとめておくと、
Progressive Web Apps on iOS are here 🚀
With iOS 11.3, Apple has silently added support for the basic set of new technologies behind the idea of “Progressive Web Apps” (PWAs). It’s time to see how they work, what are their abilities and challenges, and what do you need to know if you already have a published PWA. ⚠️ Updated version of this article ⏩ firt.dev This App is a PWA and it appears full screen -offline capable- on an iPad. It a
資金調達時におけるスタートアップの企業価値評価について
起業家からよく受ける質問として、資金調達時のスタートアップの企業価値評価について、VCはどのように見ているのか？というものがあります。 定量的な一つの回答として、例えばSaas領域だとARRの5-10倍がひとつの目安、などがありますが、実際の資金調達、特にシリーズA以降の資金調達については、このような方程式に当てはまらないケースが多い気がしています。 このあたりについて、キャピタリスト視点で少し書いてみようと思います。 1、VCの投資採算基準に合わない企業価値評価をすることは難しい まずはじめに、VCが外部の出資者から資金を預かり、出資者から求められているリターンを返すという職業である以上、スタートアップに投資し、事業を成功させることで何倍の投資リターンが見込めるか（Multiple）、何年で何倍の投資リターンが見込めるか（IRR）、という視点は絶対にはずせません。 そうなると、VCが投資
Can Lambda@Edge make AWS CloudFront the most flexible CDN out there?
At Mesosphere we run two CloudFront distributions for our DC/OS Universe downloads service. One for downloads.mesosphere.com and one for downloads.mesosphere.io, where the latter is mostly still in use for historic reasons and only receives a single percentage of total traffic. All requests used to get proxied to a singe S3 bucket origin. Over the last few month we noticed that our traffic on Clou
インティメート・マージャーが今年頑張ること
2018年がはじまって2営業日目なので出すタイミングを失わないように2017年の振り返りと2018年の抱負を出しておければと思っています。 2017年の振り返り2017年は「DMPの価値定義」が変化していった1年だったと思います。流行り言葉としてのDMPに対しては廃れた感じが出てきており、データ活用で成果を出していくフェイズになってきた1年だったと思います。 そういう側面から以下のようなことが増えてきました 費用対効果を見られることが増えてきたマルチチャネル(オフラインを含む)での活用実績が増えてきた(3rd party データと言う意味では)ターゲティング用というよりはフィルタリング用の活用が増えてきたいい意味でも悪い意味でも弊社で保有しているデータは広くて浅いデータが多いというのが特徴でターゲティング用のデータとしてはクライアント様が持たれている自社データのほうがずっと効率が良くて、そ
漫画で説明する Flux
Lin Clark 氏が “A cartoon guide to Flux” というタイトルでとてもわかりやすく Flux についての記事を投稿していました。この文章のなかでも書かれていますが Flux はとてもホットな話題です。しかし、まだまだ十分に理解されていない技術なので、著者の Lin Clark 氏に許可を頂いて翻訳させていただきました。何か間違いや分かりにくいところ、より良くするための助言などありましたら気軽に@sota0805 までコメントお願いします。 （以下、2015年9月29日に Lin Clark 氏によって書かれた “A cartoon guide to Flux” の翻訳です。） 漫画で説明する FluxFlux は現在のウェブ開発で最もよく理解されていない話題の１つです。このガイドでは誰もが理解できる方法で説明しようとしています。 問題はじめに Flux が解決
オライリーから「仕事ではじめる機械学習」が出版されます
どういう本なの？まえがきのスクリーンショットを貼りましたが、この本は多くの機械学習の本とは異なり、機械学習の実務で使えるようになるために知りたい、機械学習を含めたシステムのアーキテクチャや機械学習プロジェクトの進め方、効果検証をどうするのかということをまとめました。 めざすところのイメージ既に多く刊行されているTensorFlowやChainerでディープラーニングをしてみようというものでもなければ、機械学習の理論をわかりやすく解説するといった類のものでもありません。ゼロから作るDeep LearningやCourseraのMachine Learningで学んだけど、実際の仕事に活かすにはどうしたら良いだろう？という疑問に答えているつもりです。また、大学の講義などで機械学習は学んだけど、実際仕事で機械学習のプロジェクトを進めるときはどうすればいいんだろう？という人にも得るものがあると思い
Beyond 800 words: new digital story formats for news
The 800-word article is still the dominant form of online news from most publishers. This largely seems to be a legacy from printed newspapers and to a lesser extent this is true for online news video online too, with much of it still produced in traditional made-for-TV formats albeit shorter. But back in 2014 research from Quartz found that “the place between 500 and 800 words is the place you do
iPhone X の Safari における Web コンテンツの表示 - ONO TAKEHIKO - Medium
iPhone X が発表されて間もなく、ディスプレイの「切り欠き」については至るところでちょっとしたイジリ合戦が始まっています。中には実際に信じてしまっている人もいるほど秀逸なものがありまして、それがこちら。 思わずクスッときてしまいますが（笑）、まあ当然こんなことにはなりません。 iPhone X にはディスプレイの上下左右に iOS の占有領域が存在し、それ以外（アプリのタッチイベントを認める領域）を Safe Area と呼ぶようです。Safe Area の外にある上部領域にはステータスバーとして時計やアンテナのインジケータなど iOS のシステムアイコン等が並び、下部の領域には iPhone X で導入された「ホームバー」が存在することになります。 では iPhone X の Safari で Web サイトを表示した場合に一体どのようになるのか？それを Web 上の情報を元にまと
Pythonの環境構築を自分なりに整理してみる
機械学習ブームなどにより、 Python を触り始める Rubyist が増えてきたと思います。その際に問題になりやすいのが環境構築です。Rubyだと rbenv がデファクトスタンダードになっているのに、なぜか Python に… 私の立ち位置もともとは、数年前まで 年に一回Python3でNLTKやらscikit-learnやら機械学習や自然言語処理の環境を作ろうと試みては失敗してPython使うものかと思っていた人でした。それが、Anacondaで環境導入すると、面倒なことは何も考えずに済むということを知り、CookpadではAnacondaを前提に環境構築を勧めていました。 今は、ymotongpooに「郷に入っては郷に従え」と言われたため、pip+virtualenv/venvで全てをこなしていますが、これで困ったことは特にありません。macOS, Windows, Linuxそ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Leverage rich media ad support in AMP pages
Satoshi Is Actually Building an Ethereum Company (and Other Developments)