- はじめに - 今回、技術書典11に「Rustによる機械学習概覧」というタイトルで、所属企業であるエムスリー株式会社の執筆チームより出る「エムスリーテックブック3」に文章を寄稿した。 執筆チームからの熱いコメントは以下。 販売ページは以下。 techbookfest.org 本ブログは、エムスリーテックブック3を企画して立ち上げてから、自分で同人誌を書くまでのお気持ちを綴った、所謂ポエムである。 - はじめに - - Rustによる機械学習への想い - - エムスリーテックブック3の立ち上げ - - おわりに - - Rustによる機械学習への想い - ポエムといえば自分語り、自分語りといえばポエム。まず思い出に浸ろう。 私が機械学習を初めて実装したのは高専の頃。あの時はC/C++とJava、C#なんかを使って、何とかアルゴリズムを理解して実験していた。VisualStudioの起動に悠

なろうRaWiというサイトは、「小説家になろう」に投稿された作品のタイトルとあらすじをAIが評価してくれる「タイあら判定」機能を提供している。 このサービスの運営者である下城米雪（カシロメユキ）氏は自らこの機能を使い、高評価を受けたタイトルを元に短篇小説を投稿。 すると、なろうユーザーにバズを引き起こし、短篇版を元に連載版を執筆すると「ヒューマンドラマ」ランキングで年間1位になるほどの人気を得て『え、社内システム全てワンオペしている私を解雇ですか？』（PASH!ブックス）として書籍化（なお、元の短篇や連載版のタイトルはこれより長かった）。書籍版もKindleのライトノベルランキングで一時1位になった。 なぜかコスプレ姿で働いている凄腕エンジニアの佐藤愛が、勤務先の社長交代を機にコストカット目的で解雇されるも、再会した幼なじみのスタートアップに参画。そこで始めた「真のプログラマ塾」を通じて様

huggingface / transformersを使って日本語BERTの事前学習を実施してオリジナルな言語モデルを作ってみる自然言語処理PyTorchberttransformershuggingface はじめに huggingfaceのtransformersのライブラリを使ってBERTの事前学習をやってみました。日本語でBERTの事前学習をスクラッチで行っている記事が現段階であまり見当たらなかったですが、一通り動かすことができたので、メモがてら残しておきます。 BERTの事前学習をしてみたいけど、いまいちやり方がわからない人の一助になれば幸いです。 正直まだわかっていないところが多々ありますし、紹介する内容がセオリーな方法かもよくわかっていません。 あれこれ試している最中ですので、もっとこうしたほうがいいよ、みたいなアドバイスございましたらご教示いただけると幸いです！ 参考文献

「spaCy 3.1」では、トレーニング中に予測ドキュメントに注釈を設定するパイプラインコンポーネントを指定できるようになり、パイプライン内の前のコンポーネントの予測を、後続のコンポーネントの機能として簡単に使用可能になっている。 また、任意の重複する可能性のあるテキストのスパンにラベルを付けられ、重複する場合と重複しない場合があるスパンの候補を提案するsuggester関数と、各候補の0個以上のラベルを予測するラベラーモデルで構成される、SpanCategorizerが追加された。 さらに、EntityRecognizerが既知の不正な注釈で更新できるようになり、部分的でスパースなデータを利用可能になったほか、カタロニア語の新たなコアファミリとdanish-bert-botxo重み付けを使用したデンマーク語の新しいトランスフォーマーベースのパイプラインなど、5つの新たなパイプラインパッケ

はじめに たまには　Rust も書きます。機械学習に興味があり、興味があれば何でも触ります。 smartcore とは とある Rust の機械学習に詳しい人に、最近の Rust の機械学習ライブラリのデファクトぽいのを聞いたところ、丁寧に linfa か smartcore を教えて貰いました。はじめに linfa を試したのですが、うまく行きませんでした。僕は Rust の toolchain で gnu(mingw) を使う派なのですが、linfa は Intel MKL をリンクする必要があり、Intel MKL は MSVC 形式のライブラリしか提供していません。DLL から .a を生成してリンクしてみたりもしましたが、結局うまくリンクできず諦めてしまいました。MSVC の toolchain や他の OS(Linux) だと問題なく動くんだと思います。 しかたなく、残りの s

はじめに 機械学習で予測モデルを作るときは データの分割 データの前処理 予測モデルの学習 クロスバリデーションによるハイパーパラメータチューニング といった手順を踏む必要がある。慣れるまではこれらの手順に対応する scikit-learn のクラスをひとつひとつ呼び出して自分で一連の処理をやってみるのが勉強になるが、慣れてしまうと似たような手続きを毎回書くのは非常に面倒くさい。 scikit-learn には、この一連の処理を簡潔に記述するためのパイプラインの仕組みがあるので、その使用方法について説明する。 一連のコードは Google Colab 上にアップロードしてある。 データの分割 これは人間が管理すべき問題なので、自動化もやろうと思えばできるだろうが、人間がいちいちやったほうがよい。機械学習をやるとき、データは基本的に 訓練データ 教師データともいう。予測モデルを学習させるため

「犯罪をした者等の特性に応じた効果的な指導の実施等のための取組」より興味がある方は、法務省から文書が出ているので読んでみてください。一点注意頂きたいのは、これが「犯罪の未然防止」を目的に使われているわけではないことです。犯罪の未然防止とは、あいつは犯罪を犯しそうだから早めに取り締まろう、という行動のことです。PSYCHO-PASSというアニメで「犯罪係数」という数値が登場しましたが、犯罪係数は犯罪の未然防止に使用されています。これに対し、リスクアセスメントツールは対象者にあった再犯防止プログラムを客観的・定量的に行うことを目的として開発されています。 予測ツールに対しては、精度、人種のバイアス、予測の透明性の欠如などに対し批判があります。一方で、そもそも人間はアルゴリズムほど公平ではないという論調もあります。人間より、アルゴリズムの方が公平な判断ができるということですね。公平性という観点で

IT Leaders トップ ＞ テクノロジー一覧 ＞ スキルアップ ＞ 市場動向 ＞ Pythonエンジニア認定データ分析試験の受験者が開始1年で3000人に到達 スキルアップ スキルアップ記事一覧へ [市場動向] Pythonエンジニア認定データ分析試験の受験者が開始1年で3000人に到達 2021年7月9日(金)日川 佳三（IT Leaders編集部） リスト 一般社団法人Pythonエンジニア育成推進協会は2021年7月9日、Pythonを使ったデータ分析の基礎や方法を問う「Python 3 エンジニア認定データ分析試験」の受験者数が、2021年6月末時点で受験者数3158人となり、試験開始1年で3000人を超えたことを発表した。2021年6月末時点での合格者数は2726人である。 Pythonエンジニア育成推進協会は、Python言語に関する2つの認定試験を実施している。1つは文

AIの社会実装で大切なのは「何を解くべきか」という課題設計 髙橋知裕氏（以下、髙橋）：そういう（ITスペシャリストを育成する）体制があるものの、まだまだAI実装も課題が多いのが現状です。せっかくなので、「AI革命の実現に向けたHEROZのアプローチは？」というテーマで。 中村隆太氏（以下、中村）：これも僕が先に口火を切ると、冒頭にも言いましたが、エンジニアは専門家なんだということがあり「AI、AI」と言っているけど、裏側の技術は、様々な専門領域に分類・分解されていてそれぞれ得意領域が違います。この専門性を上手く統合して、ビジネス×エンジニアの間で分業しないで進めるのが、動くものを作るというか、ちゃんとした価値があるものを作るために重要かなと思います。 先ほどの「課題を読み解く」話があるんですけど、要は「結局、何を解くべきなのか」という課題設計がめちゃくちゃ重要です。予測問題だと思って設計し

米グーグル元最高経営責任者（CEO）で、米国の人工知能国家安全保障委員会（NSCAI）の委員長を務めるエリック・シュミット氏は日本経済新聞のインタビューにオンラインで応じた。中国の人工知能（AI）技術力の肉薄に危機感を示し、米国の対中テクノロジー政策には日韓など「アジアの友好国との強力な関係が不可欠だ」と強調した。シュミット氏は2019年にNSCAIの委員長に就任した。NSCAIはAIに関する

ソフトウェア開発プラットフォームのGitHubが2021年6月に、ソースコードを書くとその続きを補完する機能である「GitHub Copilot」をリリースしました。Microsoft傘下のGitHubが、ライセンスを問わずGitHub上のあらゆるソースコードを学習して作られたCopilotを商業利用することについて、「著作権的に問題があるのではないか？」との議論が巻き起こっています。 Julia Reda – GitHub Copilot is not infringing your copyright https://juliareda.eu/2021/07/github-copilot-is-not-infringing-your-copyright/ GitHubが、人工知能研究組織のOpenAIと協力してリリースしたCopilotは、途中まで記述したソースコードの「続き」を自動で

ミッションから説明していきます。 （目的）描き手の創造性の刺激 本研究では、クリエイティブなスケッチに焦点を当てています。クリエイティブなスケッチを生成・解釈できるAIシステムは、描き手の創造性を刺激して、最終的な成果物を強化することが期待できます。 具体的なシナリオとしては、スケッチの描き始めを自動的に生成すること、描き手の部分的なスケッチに基づいて次のストロークや完成を提案すること、さらなるアイデアを刺激する可能性のあるスケッチの解釈をユーザーに提示することなどが挙げられます。 クリエイティブなスケッチに関するAIの構築は難しいです。スケッチは多様で複雑です。視覚的に珍しいと感じさせる描写であると同時に、認識できるものである必要があります。 また創造性は、美学やスタイルといった主観的な解釈があり、絶対的な指標がありません。 （手法）創造的なスケッチを生成できるAIの構築 Vedanuj

TRUST SMITHは7月9日、荷物の大きさや形状などを認識し、コンテナやトラックなどの運搬車両に効率よく積み込むことを可能とするAIアルゴリズムを開発したと発表した。同社は、AI・数理アルゴリズム・ロボティクス分野の最先端のテクノロジーを活用したソリューションを提供する、東京大学(東大)発のベンチャー企業。 現状、荷物の積載現場では、コンテナ・トラック・倉庫のラックなどにそれらの荷物を積む際、現場の作業員が経験を元に荷物の形状・性質に合わせた積載計画を実施している。だが、そうした従来の積載計画では実際のところ、荷物の積込効率が必ずしも高いとは言い切れず、運送コストや在庫保有コストの観点で大きなロスが発生するという課題があった。 今回開発されたアルゴリズムは、荷物の大きさを自動計測するAIと、荷物の積載計画を自動で行うAIを組み合わせることで、積み込みまでの作業を効率化するというもの。強

はじめまして。喜早です。 業務では主に開発チームのマネジメントと要件定義を生業にして日々を過ごしています。 さて、多少エモめのタイトルをつけましたが、今回は機械学習とそれを構築する人間との倫理のお話をしようと思います。 機械学習モデルとバイアス 先日、社内の研修で、アンコンシャス・バイアス研修というものを受講しました。 アンコンシャス・バイアスを日本語訳すると「無意識の思い込み、偏見」です。 人間の行動は、自分の過去の経験や知識に基づいて発言や判断をすることが多いと思います。 その発言、判断の中に、自分でも無意識にステレオタイプや思い込みが含まれてしまっていることがあります。 アンコンシャス・バイアスは誰でも持っているものなので、完全に止めることはできない。 ただ、そういう人間の特性があることを自覚して、発言・判断を行う際には注意して行動しましょう、 というような内容でした。 で、これを受