はじめての自然言語処理 | オブジェクトの広場
ウェブ、メール、SNS 等、私たちの周りには自然言語で記述された文章が溢れていて、様々な情報や価値が含まれています。 しかし、その量は膨れあがり、人間が目視で内容を確認し対応することは困難になってきています。 自然言語処理技術で、これら膨大な文章を人手によらず判断、抽出、検索、変換し、適切なアクションにつなげることができます。そして深層学習の登場により、その性能が飛躍的に向上していることはウェブの翻訳サイトなどを通じ皆さんも体感していることでしょう。 本連載は手を動かしながら自然言語処理技術を学びたい人、システムに組み込んで役立てたい人を対象にしています。 BoW、TF-IDF のような基礎から BERT をはじめとした深層学習を用いた最新手法まで、日本語で動作させるサンプルコードを交えながら紹介していきます。 以下はこれまでの連載でカバーされている内容を俯瞰したイメージです。図中の丸数字
第119回 認知バイアスをうまく活用して人々を特定の行動に導く方法～「ナッジ」や「仕掛け学」を参考に～ | オージス総研
前回まで話題にしてきたCOCOA(新型コロナウイルス接触確認アプリ)の普及が進まない事例からもわかるように、世の中の多くの人々に特定の行動をとってもらいたい場合に、お願いしたり説得したりするだけではなかなかうまくいかない。世の中の多くの人々どころか、筆者の場合、妻や子どもたちさえうまく動かすことができず、自分の影響力のなさを嘆く日々である。この難しさの理由のひとつに、人間の認知過程において様々なバイアスが働いていることがあると説明してきた。 認知バイアスは多くの場合、無自覚のうちに働いているので、これを制御することは外部からも自分自身でも非常に難しい。やはり根気強くお願いしたり説得したりするしか方法はないのではないかと、あきらめにも似た気持ちになりがちである。 ところが、社会心理学や行動経済学の発展によって、認知バイアスの特徴が明らかになってくるにつれ、今度は、認知バイアスが無自覚のうちに
はじめての自然言語処理 類似文書検索の手法と精度比較 | オブジェクトの広場
自然言語処理とは、人間が自然に使っている英語や日本語などの言語をコンピュータで処理する技術です。自然言語処理でできることには機械翻訳、要約生成、感情分析などがありますが、今回は比較的シンプルな例として類似文書検索に焦点を当ててみたいと思います。類似文書検索はテーマとしては真新しいものではありませんが、本記事では単語の分散表現を用いる手法や Watson Discovery も含めた各種の類似文書検索手法について、日本語データに対して精度比較試験をした結果を紹介します。複数の手法を同一の日本語データで比較した記事はあまり見ないので面白いのではないでしょうか。 1. 始めに 本記事では類似文書検索の各手法について、単語の分散表現を用いる手法や Watson Discovery も含めて精度比較試験をした結果を紹介します。まず各手法の概要を紹介しますが、ここでは数学的な細かい説明などは省くので概
(プログラマのための) いまさら聞けない標準規格の話 第1回 文字コード概要編 | オブジェクトの広場
プログラマがシステム開発において共通で必要となる、技術と業務の狭間の共通知識を解説します。連載第1回は文字コードの概要編です。 0. はじめに 業務システムを開発する場合、プログラミング言語、フレームワーク、ミドルウェア、業務知識など以外に、共通で必要となる知識があります。文字コード、国際化、日付・時刻の扱い、住所コード、郵便番号、電話番号などの各種コード、…。 本連載では、プログラマがシステム開発で必要となる、技術と業務の狭間の共通知識を解説して行きたいと思います。 連載第1回は文字コードの概要編です。コンピュータシステムにおいて、文字情報は文字コードを用いて処理されます。文字コードとは、各文字に対応付けられた数値 (符号) のことです。近年、新規に開発される業務システムでは Unicode が使われることが多いと思いますが、既存システムとの連携など他の文字コードが使用されることもまだま
単一責任の原則（Single responsibility principle）について、もう一度考える | オブジェクトの広場
単一責任の原則（Single responsibility principle）について、もう一度考える はじめに オブジェクトの広場をご覧の皆様ならば、「SOLID原則」という言葉を聞いたことがあるかもしれません。 SOLIDとは、以下の5つのソフトウェア設計原則を並べたバクロニムです。 Single Responsibility Principle：単一責任の原則 Open/closed principle：オープン/クロースドの原則 Liskov substitution principle：リスコフの置換原則 Interface segregation principle：インターフェース分離の原則 Dependency inversion principle：依存性逆転の原則 ソフトウェアエンジニアが知っておくべき設計原則のセットとして、Clean Architecture や
参加者がつくる対話の場 オープンスペーステクノロジー | オブジェクトの広場
2018年7月20, 21日に開催されたエンタープライズアジャイルの集いで、オープンスペーステクノロジーによるワークショップがありました。オープンスペーステクノロジーは参加者が主体となって対話を進める手法です。初顔合わせの参加者が多い中でもワークショップは非常に盛り上がり、オープンスペーステクノロジーという手法の凄さを改めて感じました。一方で、参加者のほとんどがオープンスペーステクノロジーという手法をご存じなく、残念にも思いました。もっと広くこの手法を知って欲しいと思い、オブジェクトの広場としてもオープンスペーステクノロジーの説明記事を書くことにしました。 エンタープライズアジャイルの集いの1日目に行われた基調講演については、『エンタープライズアジャイルの集い 基調講演レポート』にレポートがありますので、合わせてご覧ください。 オープンスペーステクノロジーとは 私の理解でオープンスペーステ
はじめての自然言語処理 BERT を用いた自然言語処理における転移学習 | オブジェクトの広場
前回は Rasa NLU を用いて文章分類と固有表現抽出について紹介しました。今回は昨年後半に話題となった BERT について説明し、chABSAデータセットを用いた感情分析での実験結果、アプリケーションへの組み込み方などを紹介します。 1. 始めに 本記事では Google の BERT について、その概要を紹介し、BERT の事前学習済みモデルを用いてファインチューニングにより独自のモデルを構築することを念頭に、BERT の入出力インタフェースや学習データの構造を説明します。そして、ファインチューニングにより独自のモデルを構築する例として、chABSA データセットを用いた感情分析モデル生成の実験結果およびアプリケーションから利用する際のポイントを紹介します。 2. BERTの概要 BERT (Bidirectional Encoder Representations from Tra
OOエンジニアの輪！ 〜 第 21 回 川合史朗 さんの巻 〜
Hope is a good thing, maybe the best of things, and no good thing ever dies. （希望は良いもの、おそらく最上のものだ。そして、良いものは決して消えない。：『ショーシャンクの空に』より） 高林さんとのつながり -- 今回は、高林さんからのご紹介ですが、どういったつながりですか？ 実は、直接お会いしたことは一度もないんです。一番最初はですね、Paul Graham の『Beating the Averages』 っていうのを、私が翻訳（邦題『普通のやつらの上を行け』）させて頂きまして、それの感想をメールで頂いたのがきっかけです。それから、私が開発している Scheme 処理系(Gauche)を使って頂いています。 -- 川合さんにとって翻訳って、あれは自分で読んで面白いものをみんなに見てもらう、っていうところですか？
「宅ふぁいる便」サービスにおける不正アクセスについて ～お客さま情報の漏洩について（お詫びとご報告）～ | オージス総研
(*)ログイン用メールアドレスが無効で当社からの連絡が届かない件数（134万8，361件）含む （２）漏洩内容 氏名（ふりがな）、ログイン用メールアドレス、ログインパスワード、生年月日、性別、職業・業種・職種（*）、居住地の都道府県名、メールアドレス2、メールアドレス3。加えて、2005年から2012年の期間でのみ、お客さまに回答いただいていた必須入力情報でない、居住地の郵便番号、勤務先の都道府県名、勤務先の郵便番号、配偶者（*）、子供（*）も含まれます。 (*)該当する選択肢番号を選ぶ形式のため、具体的な職業・業種・職種、配偶者や子供の有無などは明記されていません。 ２．原因 （１）本サービスのセキュリティ対策に継続的に取り組んでいましたが、一部サーバーの脆弱性を攻撃され、不正アクセスが行われました。 ３．経緯 （１）サーバー内に不審なファイルが保存されていることを検知し、直ちに調査を開
おれはJython第1回
※ Netscape4.Xをご利用の方は、こちら からご覧ください。 Jythonを始めよう Jythonとは 今回紹介するJythonは、JVM上で動作するスクリプト言語です。Jythonは、Pythonというスクリプト言語の処理系の一つです。Jythonの処理系はJavaで記述されています。Jythonを使うとこんなメリットがあります。 Javaと違ってコンパイルする必要がない 「ちょっと書いて実行」というRAD開発に有利。 「擬似コードを使って設計するのに近い感覚」で実装できる シンプルなオブジェクト指向スクリプト言語なので、同じ処理内容を記述するときに、Javaより楽に直感的に記述できる。 JythonからJava、JavaからJythonを利用できる JavaのクラスのテストをJythonで記述できる。アプリケーションのカスタマイズ部分をJyhtonで記述できる。 例えば、システ
アジャイルなソフトウェア開発とは | オブジェクトの広場
同僚の協力もあり 2002 年にアジャイルモデリング ( AM ) 日本語リソースサイト [1] を開設し, 2003 年に AM 本 [2] を刊行して以降, 筆者にとって「 AM の適用事例を作る 」ことが大きな課題として残されていました. 幸いにも, 2003 年から社内開発でアジャイルなソフトウェア開発を適用する機会を得るとともに, 2004 年にはお客様からアジャイルなソフトウェア開発のプロジェクトのお手伝いを依頼されたり, 社内開発で AM を実践する機会を得ることができました. 読者の皆さんが AM を学ぶ際の参考となることを目指して, 今回から数回の連載で AM を実践するために筆者が勉強したり, 考えたり, 実践したことを紹介させて頂こうと考えています. とりあえず, 今回は AM の土台となるアジャイルなソフトウェア開発について説明します. 1. アジャイルなソフトウェ
これから始めるエンタープライズ Web API 開発 | オブジェクトの広場
近年、Web APIは広く普及し、インターネットではサービスのインタフェースとして一般的なものとなりました。下図のとおり、この10年間、Web APIは増加の一途を辿っています。またインターネットだけでなく、企業内の業務システムでも普及しはじめており、システム間連携や開発ツールの制御などに利用されています。Web APIが次々と世に送り出されるなか、Web APIの品質は、それを利用するアプリケーションの品質を左右する重要な要素となっています。本連載では、Web APIの公開／構築に興味のある方向けに、Web APIの設計や実装の課題とその解決策をご紹介します。第1回の本記事では、まず、Web APIが普及した背景と設計課題について、簡単にご紹介していきます。 Web APIが普及した背景 2000年代前半までのWeb API Web APIがどのような利用シーンを背景に普及していったかを
さわって理解するDocker入門 第4回 | オブジェクトの広場
本連載では、Docker に興味はありつつも、まだ触ったことのない方向けに、実際に Docker を触って理解していただくための記事を提供します。これまでの記事では、単一のイメージまたはコンテナを取り扱う方法について取り上げてきました。しかし、実際の開発では、データベースや Web サーバなどの複数プロセスを組み合わせてシステムを構成することが一般的でしょう。Docker を使ったシステムでは、1 つの関心事を 1 つのコンテナに割り当てる（Each container should have only one concern）ことが公式ドキュメントでも推奨されており、必然的に複数のコンテナを扱うことが多くなります。本記事では、開発環境やテスト環境向けに、ローカルホスト上で複数コンテナを起動する方法として Docker Compose というツールを紹介します。 複数コンテナ管理ツール D
さわって理解するDocker入門 第5回 | オブジェクトの広場
本連載では、Docker に興味はありつつもまだ触ったことのない方向けに、実際に Docker を触って理解していただくための記事を提供します。今回は、Docker Machine というツールを用いて Windows PC 上に Dockerホストを作成する方法を紹介します。Dockerホストというのは、Docker がインストールされ利用できる状態になっている環境のことです。Dockerホストを作成する方法については、本連載の第1回で Docker for Windows や Docker Toolbox という GUIツールを紹介しましたが、今回取り上げる Docker Machine は CLIツールです。Docker Machine は、VirtualBox 等の仮想環境ツールがあれば、たった1行のコマンドを実行するだけで Dockerホストを作成してくれます。 Dockerホス
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
さわって理解するDocker入門 | オブジェクトの広場
これから始めるエンタープライズ Web API 開発 | オブジェクトの広場