BERTを用いた日本語文書分類タスクの学習・ハイパーパラメータチューニングの実践例
BERT を用いて livedoorニュースコーパス分類タスクを学習ハイパーパラメータチューニングによって，テスト正答率を 87.6% から 96.7% まで改善おまけ：カテゴリ「エスマックス」の判別は極めて容易 カラクリ株式会社の Research & development チーム（長いので以下 AIチーム）の吉田です．おはこんばんにちは． 本記事では，BERT (Bidirectional Encoder Representations from Transformers) を用いて日本語文書分類タスクを学習し，さらに精度向上のためにハイパーパラメータチューニングを実施した場合の実践例について記しました． BERTは，文章（正確にはトークン列）が入力されるとその特徴ベクトルを出力する，巨大なニューラルネットワークです．2018年10月にGoogleから発表された論文で提案された手法で
Elasticsearchを用いて類似度ベクトル検索をやってみてわかったこと
2019年7月31日、検索技術研究会が主催するイベント「Search Engineering Tech Talk 2019 Summer」が開催されました。「検索」や「検索システム」にまつわる技術や手法を共有する本イベント。第3回となる今回は、3人のエンジニアが、現場の経験を通して学んだノウハウや、検索にまつわる知見を語ります。プレゼンテーション「Elasticsearch における類似度ベクトル検索のベストプラクティスを求めて 」に登壇したのは、伊藤敬彦氏。講演資料はこちら Elasticserchにおける類似度ベクトル検索のベストプラクティスを求めて 伊藤敬彦（@takahi_i） 氏（以下、伊藤）：「Elasticserchにおける類似度ベクトル検索のベストプラクティスを求めて」ということで、いろいろ調査をしてみましてとりあえずまとめてみましたというお話です。 シュッとやると最初は書
プログラムの同時実行をチャンと理解しよう： 並列と並行の違いなんて、どうでもいいからさ - 檜山正幸のキマイラ飼育記 (はてなBlog)
定期的に、「並列（parallel）処理と並行（concurrent）処理は違うから混同しちゃいかん」みたいな話が出るんですが、言葉のニュアンスというか、雰囲気で使い分けるというなら、それは趣味嗜好の問題で人好き好きでしょ。違いを強調しながらも、明確なモデルを持たない話なら小うるさいだけでショウモナイ感じだしね。 というわけで、ハッキリとした議論の土台になるようなサンプルを紹介します。とても単純なサンプルですが、雰囲気で話すよりはマシだと思います。 内容： なぜ「並列 vs. 並行」は無意味なのか 議論の進め方と説明の方法 状態遷移モデルと超単純なサンプルP1 言葉使いに関する注意 2コアプロセッサの超単純なサンプルP2 P1とP2を使った2つのマシンM1とM2 時分割実行方式M3と2コア実行方式M4 ひとつのプログラムを並列化して実行するM5 二分法は色々あるんだよ 二分法に拘らなくても
【画像処理入門】アルゴリズム＆プログラミング
【画像処理とは】特徴・応用例 画像処理（Image processing）とは、コンピュータを用いて画像に対して次の処理①②を行うことです。 – 処理内容 応用例
科学的で現代的な「人を動かす」──『事実はなぜ人の意見を変えられないのか-説得力と影響力の科学』 - 基本読書
事実はなぜ人の意見を変えられないのか-説得力と影響力の科学 作者: ターリシャーロット,上原直子出版社/メーカー: 白揚社発売日: 2019/08/11メディア: 単行本この商品を含むブログを見る事実では人の行動は変わらないという。議論をしたときに「これこれこういう事実がある」という主張をしても相手の意見が変えられなかった、ということは多かれ少なかれみな体験しているものではないだろうか。たとえば、アメリカではワクチンを摂取することで知的障害などが発生するリスクがあるというデマが拡散して、そのせいで百日咳やおたふく風邪が今更蔓延するというアホくさい状況が発生している。 ワクチンによって知的障害リスクが上がるのは完全にデマなので、科学的な事実の啓蒙を行えばいいでしょ、と思うかもしれないが、実はこれには全然効果がないのである。ある実験では反ワクチン思想を持つ親を集め、麻疹にかかった子どもの痛まし
【コラム】 ITPに思う、今後のウェブサイト運営における技術との向き合い方 - コラムバックナンバー - アナリティクス アソシエーション
【コラム】 ITPに思う、今後のウェブサイト運営における技術との向き合い方 Option合同会社 柳井 隆道 発信元：メールマガジン2019年10月16日号より 先日Safariの新しいバージョン（13）がリリースされ、ITPも最新の2.3が適用されました。ITPの細かい内容については省略しますが、実機のSafariで検証していて思ったことを書かせていただきます。 ■ITPが難しい まず今回のSafariでは 「検索広告からの流入時、広告からの誘導先リンクにクリックIDを入れていると、流入先サイトでJavaScriptが生成するすべてのcookieの有効期限が1日になる」※ 挙動が見られました。 ※ITPの仕様を正確に網羅した記述ではありません。わかりやすく実害の大きい例を紹介しています。また必ずしも毎回すべてのJavaScript生成cookieがこのようになるわけでもありません。今後の
スウェーデン発のプロトタイピングツールNoodlを触ってみた - Qiita
Noodl(ヌードル)とは TOPPというスウェーデンのイケてるデザインの会社がつくってる新しいプロトタイピングツール。 日本で使ってる人は見たことない。 Noodl Topp Design & Innovation 特徴 Macアプリで作業し書き出しはwebベース IoTデバイスとの連携もできる ストレージがある jsが動く Unityと連動もできる なんでもできそう とりあえず触ってみる インストール ここから Download Lesson Noodlを起動するとLessonというのが出てくるのでそれをやってみる。 ボタンひとつでブラウザチェックできる バーの上部に preview in web browser がありそこをクリックするとローカルのブラウザで簡単に見れる。 非常に便利。 Nodeと呼ばれるものを組み立てていく Nodeはビジュアルもロジカルなものもアニメーションもある
NTTが「6G」向け通信技術を開発、5G超え「シャノン限界」まで高速化
NTTは2019年5月27日、理論的な通信容量の上限である「シャノン限界」を達成し、かつ実現可能な符号化方式を開発したと発表した。名称は「CoCoNuTS（Code based on Constrained Numbers Theoretically-achieving the Shannon limit）」。5G（第5世代移動通信システム）の実用化が迫るなか、「6G」とも言うべき次々世代通信に向けた要素技術が早くも姿を見せ始めた。 シャノン限界とは、一定の周波数帯域幅における通信容量の上限値のこと。決まった帯域幅の通信路は通信容量に限界があることを「シャノンの定理」と呼び、数学者・電気工学者で「情報理論の父」と呼ばれるクロード・シャノンが証明した。 5Gに実装されているLDPC（Low Density Parity Check）など既存の符号化方式は、特殊な条件を満たす通信路でしかシャノ
社内勉強会で作ったDocker/Kubernetes入門の資料を公開しました - inductor's blog
TL; DR Docker/Kubernetes初心者の方と一緒に仕事をすることになったので、はじめの一歩として勉強会を開いたときに作成した以下の資料を公開しました。 speakerdeck.com 資料の目的 ZOZOテクノロジーズではたくさんのプロジェクトがあり、技術的にも古いものから新しいものまでいろいろなものが使われています。その多くは歴史的経緯や開発者たちのレベル感、今まで経験した技術などをベースに選定されることが多いです。 弊社 岡がCNDT2019にて発表した以下の資料や、ZOZOTOWNの作り直しの真っ赤な広告にもあるように、古い技術を使い続けてグロースを続けてきた結果、社内のプロジェクトのいくつかはスケーラビリティとして飽和に近い状態のものもあります。 ZOZOTOWNのCloud Native Journey from Toru Makabe www.slideshar
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
