Deep Learningについて真面目に勉強し始めると、最初に必ず登場する存在があります。そう、畳み込み層です。可愛いですね。これ無しでDeep Learningを語るのはほぼ不可能なくらい、画期的で重要なアルゴリズムです。畳み込み層はDeep Learningの基本なだけあって、色々なサイトで詳しく解説されています。どのサイトも非常に分かりやすいです。しかもその実装も各種フレームワークを使えば1行で書けてしまうので、畳み込み層は誰でも容易に使いこなすことが出来るツールとなっています。 さてそんな畳み込み層ですが、ここで一つ疑問が湧きました。それは、私たちは畳み込み層を本当にちゃんと理解しているのかということです。分かった気にはなっていないでしょうか。畳み込み層ちゃんのことを本当に知っていますでしょうか。 分かったつもりになっていませんか?(ダニング=クルーガ効果)というわけで、これから
はじめにGoogle Apps Script は無料で色んなことが実現できるため、ついつい「全て GAS でやっちゃおう」みたいな話になりがちです。Google Apps Script も万能ではないので、強み・弱みを理解した上で他の選択肢と比較して使うのをお勧めします。 Google Apps Script のプロジェクトを 2–30 個作ってきた中で、自分なりのプラクティスをまとめてみます。 この内容は Cloud Next ’18 in Tokyo で登壇したときの内容を含んでいます。この登壇から半年以上経ったのでアップデート部分も以下にまとめています。 Google Apps Script の強み・弱みまず、強みと弱みについてまとめてみます。 強み 1. Google Apps の API を簡単に呼び出すことができる一番の強みはこれだと思います。Google Apps Scrip
全てのTransformer記事はTransformerから始まる「Transformer」概要2017年中旬、Googleが発表した論文「Attention is all you need」で提出されたモデル「Transformer」は、深層学習の自然言語処理(NLP)分野でいまはデファクトスタンダードとして使われています。Transformerは要するに、過去の自然言語処理(NLP)で多く使われる再帰型ニューラルネットワーク(RNN)や畳み込みニューラルネットワーク(CNN)を「Self-Attention Layer」に入れ替えたモデルです。 それ以降、大抵の自然言語処理(NLP)分野で発表された研究や論文は、Transformerで再構築して発表されています。期待を裏切らなく、再構築されたモデルの結果は、以前の結果を上回っています。 Transformerは2017年に公開され、今
Photo by Manuel Cosentino on Unsplashエンジニアの桂です。 現象最近、 Google Colab で、Hugging Face の Transformers で使える日本語学習済み BERT、 bert-japanese を使っていると以下のエラーが出るようになりました。 ----------------------------------------------------------Failed initializing MeCab. Please see the README for possible solutions:https://github.com/SamuraiT/mecab-python3#common-issuesIf you are still having trouble, please file an issue here,
*2020/02/10更新 日本語の学習部分をGithubに上げました 前回、BERT初の文章要約「BertSum」を紹介した後、オープンソースの日本語の要約モデルが見つからないという事実が発覚しました。なので、 勢いに乗り日本語の文章要約モデルをPytorchで作って、多言語対応可能の要約モデル「要約マン」を書きました!要約はBertSumの構造をそのまま使っているので先に紹介文を見る事をお薦めします。 要約モデルが有る言語:英語、日本語 (2019.12月現在) PrerequisitesPythonパッケージpytorch (v1.3.0)pytorch_pretrained_bert (v2.0.0) (HuggingFace’s)googletrans (v2.4.0)pyknp (v0.4.1) (KUROHASHI-KAWAHARA LAB)日本語NLPBERT日本語Pret
Eureka EngineeringLearn about Eureka’s engineering efforts, product developments and more.
いま所属している会社は、ボトムアップな会社ということになっている。正確にはボトムアップとトップダウンが混在していてたまにミスリーディングなのだが、だいたいはボトムアップな会社といえるだろう。 それで、たまに、学生と会ってくれといわれて、うちの会社がボトムアップの会社なんですよ〜、と話すことがある。だがこのボトムアップというやつ、採用活動では『いかに若いうちから活躍できるか』をぐいぐいアピールするための文句ではあるのだが、実際、現場でどういうコミュニケーションになっているのか、あまり説明されない。どういう会社が「良い」ボトムアップの会社なのか、わりとみんな意識していない。 とりあえず適当に若いのに丸投げてみたら、いつの間にかイケてる提案を持ってきた、なんてことは、ありえない。それを実現するためには、上司側の見えない努力がたくさん必要なのだ。 こんなマニアックな話をしている人は多くないと思うの
In recent years, a highly interesting pattern has emerged: Computer scientists release new research findings on arXiv and just days later, developers release an open-source implementation on Github. This pattern is immensely powerful. One could call it collaborative open computer science (cocs). Open Source KnowledgeOpen-Source and Open-Knowledge have profoundly changed our world. From nuclear pla
世界中で話題になっているパナマ文書。各国で政権を揺るがすような事態にもなっていますが、純粋にデータとしてみた場合、これは計算機やデータ解析に関わる人々にも面白いものだと思います。データの中身や背景などについてはさんざん報道されていますのでここでは触れません。一方、現場でどのような作業が行われているのかはあまり報道されていません。現実的な問題として、人力ではどうしようもない量のリークデータを手に入れた場合、調査報道機関はどんなことを行っているのでしょうか?私も以前から疑問に思っていたのですが、先日あるデータベース企業と、データ分析アプリケーションを作成する会社のブログにて、その実際の一端を窺うことができる投稿がありました: Panama Papers: How Linkurious enables ICIJ to investigate the massive Mossack Fonseca
Elasticsearch River Web とは通常Elasticsearchは、用意されている様々なAPIを使いデータのインデックスを行います。そのためたとえば、企業サイトのサイト内検索をElasticsearchを使用して実現する場合は、Webサイトの全コンテンツをElasticsearchにインデックス可能なフォーマットにデータ化し、API経由でインデックするという方法が一般的と思われます。もともとDBなどでコンテンツ内容を管理していればその方法でも対応できるかもしれませんが実際対応するとなると結構面倒です。しかし、このRiver Webを使うとWebサイトをクローリングできるため、サイトの各ページを検索対象にしたい場合は大変便利です。 今回は、このElasticsearch向けWeb Crawlerプラグイン「elasticsearch-river-web」の基本的な使い方につ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く