サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
レイングッズ
note.com/asahi_ictrad
現在対応している言語はPython・Java・TypeScript・.NETです。この記事のサンプルコードは全てPythonになります。 ちなみにYOLOでは、メイン機能である音声認識まわりをLambdaに移行するタイミングでPowertoolsを導入しました(2023年3月、下記記事もご覧ください)。 導入して感じたメリットはざっとこんな感じでしょうか。 構造化ログが簡単に生成される バリデーションを自前で実装しなくて良くなる API Gatewayとの統合がいろいろ楽になる それぞれ後ほど紹介したいと思いますが、とにかくよしなにやってくれるのです。 インストール方法と使い方導入はとても簡単で、Lambdaレイヤーかpipから使えます。 AWSコンソールでサクッと使う「AWSレイヤー」にPowertoolsのレイヤーが用意されています。使いたいLambda関数でこのレイヤー追加するだけで
こんにちは、メディア研究開発センターの山野陽祐です。 先日、朝日新聞の記者に特化したWhisper (音声認識モデル)を構築し、3月末から社内向けツール「YOLO」にて運用を開始しました。それに至るまでの道のりをこちらの記事でご紹介します。 なお、学習データとして活用するファイルは、社内会議や公の記者会見とし、個人情報やセンシティブな情報が含まれるファイルは使用しておりません。 データ「YOLO」は音声や動画の文字起こしをする社内向けのサービスで、約2年前にリリースしました。この間にアップロードされた音声ファイルや動画ファイルは数千時間におよび、そのうち学習に使えるデータも多くあります。 ここでは、YOLOで蓄積されたデータを紹介し、続いて学習データや評価データについても述べます。 YOLOデータアップロード時、ユーザーにファイルの"ジャンル"を指定してもらうようなサービス設計をしています
こんにちは。メディア研究開発センター(M研)の田口です。 最近、大規模言語モデル(以下、LLM)に関するニュースが毎日のように出ています。直近約1ヶ月の間にもOpenAIのAPIのアップデートが発表されたり、日本語のLLMが公開されたりしました。 少し前(といっても4月末)に「ChatGPT/OpenAI API/LLM活用事例~NewsPicksと朝日新聞の合同勉強会を公開」でLTをしました。このときはChatGPTの見出し生成の簡単な性能検証をしただけなので、この記事では最近公開されたLLMモデルの検証をしてみました。 ※この記事では社内データでなく公開データされているデータセットで実験しています LTの資料はこちらになります。 日本語LLMを要約タスクで検証するさっそく本題に入りましょう。今回は5月以降に発表された以下の日本語LLMを要約タスクで評価してみようと思います。 cyber
メディア研究開発センターの新妻です。 ※本記事はQiitaの朝日新聞社アドベントカレンダー(6日目)にも参加しています。 字名(あざな)はその土地の地形や地質を表している?地名はその土地の特徴が由来している、なんて話を聞いたことがないでしょうか。例えば、台地に位置しているような場所には、東京都文京区の「目白台」や奈良県生駒市の「白庭台」といった◯◯台といった地名がついていたりします。そんな話を聞くと、なんとなーく日本地図で地名の分布を見たくなりませんか?自分は見たくなってしまったんで、サクッと作ってあれこれ見てみました。 その結果、こんな感じのマップができました。 ©︎mapbox ©︎OpenStreetMapマップ作成に利用したデータは、Geolonia 住所データです。 本データは、Geoloniaによって国土交通省位置参照情報サービスをベースに作成されたCC BY 4.0で提供され
はじめにこんにちは。 メディアラボチームで新規事業に取り組んでいる市野です。 PCを利用する上で避けられないウィンドウ操作 (アプリケーションを開いたときに表示されるあれです) 。表示されたあとに、適切なサイズに変更したり、他のウィンドウと被らないように位置を変更することも多いのではないでしょうか。 これって地味に時間がかかる細かい作業ですよね、、、 もし、マウスを使わずにキーボードショートカットだけで適切な位置・サイズに変更できたら、、、 もし、なんならキーボードすらも使わず、表示されているウィンドウ群を自動で適切なサイズ・位置に変更できたら、、、 実はそのようなことを可能にしてくれるツールが開発・公開されています。自称効率厨の私としては、頻繁に行うウィンドウ操作の効率化は見逃せません。大きな可能性を秘めている "ウィンドウマネージャー" について今回はご紹介します。 本記事では私が主に
メディアデザインセンターの山本剛史と申します。普段はWebメディアのアクセス解析や、ABテストによる改善検証など、サイトグロースを担当しています。 朝日新聞社のWebメディアとしては朝日新聞デジタルが有名ですが、それ以外にも多様なWebメディアを運営しています。そうした多様なメディアの運営を行っているのがメディアデザインセンターです。 今回、メディアのアクセス解析で利用しているGoogle Analytics(GA)のGA4移行に伴い、タグ管理ツールのGoogle Tag Manager(GTM)でも移行作業が発生したため、GTMで設定したタグ情報の収集ツールを開発したので紹介します。 Google Analytics(GA)でアクセス解析運営メディアではアクセス解析ソフトのGoogle Analytics(GA)を使い、日々サイトを分析しています。GAはアクセス解析ソフトとしては最も利用
メディア研究開発センターの倉井です。 最近Tesseractを使ってOCRをしたいことがあったのですが、新たにフォントを学習させたい場合など、いくつか初見では難しい設定をする必要があったので、備忘録的に残したいと思います。 合わせて元の画像のノイズをopenCVを使って取り除き、綺麗にする方法も共有したいと思います。 なお、検証に当たって大いに参考にさせていただいたWebページのリンクを最後にまとめています。 TesseractをインストールするTesseractは記事執筆時点(2022.05.31)で、v5.1.0まで公開されています。 5系ではモデルのfinetuneをしたい場合、文字の写っている画像とその文字のアノテーションデータが必要となり(筆者調べ)、その準備が大変です。 一方で4系では学習させたい文字列とフォントさえ準備すれば、学習用のデータを自動で生成してくれるので、追加学習
メディア研究開発センター(M研)の田森です。 今回は、M研で開発中の校正支援ツール「TyE(たい)」の紹介をしたいと思います。ネーミングは先に開発した「TSUNA(つな)」の兄弟分、ということでお察しください。 TyEとはTyEができることはシンプルで、日本語で書かれた文の「誤っていそうな箇所」を指摘します。APIで提供しているので、様々なアプリケーションやサービスに適用できます。下記の例は、作成中のデモ画面でのチェック結果です。 TyEによる検知結果TyEの特徴を以下にまとめました。 検知のためのルール辞書を必要としません。 日本語のルールから逸脱している部分を自動的に検知します。 助詞や「同音異義語」といった、ルールにしづらいものも検知できます。 「文字の追加が必要」「誤った文字が入力されている」「余計な文字がある」ことを検知できます。 上記の例では、それぞれ赤、緑、青で示しています。
朝日新聞社デジタル機動報道部でデータジャーナリズムの取り組みに携わっている山崎です。もともとエンジニアとして入社した背景を武器に、データの分析やそのビジュアライゼーションを記事の執筆に活かしています。 今回はちょっとこちらのNoteにお邪魔して、4月に朝日新聞デジタルで配信がスタートした、オープンデータ分析による大型連載(←自分で言うな)「みえない交差点」のテクニカルな部分を紹介したいと思います。 1.そもそもどんな連載?分析の元データとなったのは、警察庁がオープンデータとして公開している「交通事故統計情報のオープンデータ」です。 警察では、事故が起こった際に、天気や場所、日時、当事者の年代など、どのような人身事故だったかを詳細に記録しているのですが、個人情報などをのぞいた一部のデータを2019年分から公開しています。 このオープンデータに含まれる緯度・経度を活用して、事故が多発している場
はじめに こんにちは、メディア研究開発センターの浦川です。 この記事では、本日12月21日から東京・六本木にあります21_21 DESIGN SIGHTで開催される「2121年 Futures In-Sight」展にて展示中の作品「Imaginary Dictionary -未来を編む辞書」についてご紹介します。 この作品は、デジタル技術を生かしたアート作品の制作などを行うQosmo, Incとの共作による「未来を編む=未来に存在している(かもしれない)語の収められた辞書をつくる」といったプロジェクトです。 はたして、どういった過程を経て「未来を編む辞書」がつくられているのか。今回はその裏側についてお話ししてまいります。 作品について 作品(撮影:Qosmo, Inc.)作品(撮影:Qosmo, Inc.)展示風景(撮影:吉村昌也) この作品は、未来に存在しているかもしれない新しい言葉や、
一方、私たちのチームで使っているprodigyをがっつり紹介した記事はあまり見かけません。有償のハードルはやはり高いのか、日本ではあまり浸透していないのかわかりませんが、1回購入でずっと使えて※、長い目で見ればコスパは良いという実感もあるので、この場で紹介してみたいと思います。 ※無料アップグレードは12ヶ月、など制限もありますので詳細は公式サイトを確認ください。 prodigyとは prodigyを提供しているのは、Explosionというソフトウェア会社です。同社が提供するspaCyという自然言語処理用ライブラリなら聞き覚えがあるという方も多いかもしれません。 prodigyで行えるアノテーションタスクや料金など、詳細は以下の通りです。 アプリタイプ: webアプリケーション 入出力データ形式: jsonl(ndjson) 料金(1回購入):personal:$390 company:
今回のテックブログは、BERTの系列ラベリングをサンプルに、Inferentia、GPU、CPUの速度・コストを比較した結果を紹介します。Inf1インスタンス上でのモデルコンパイル・推論の手順についてのお役立ちチュートリアルも必見です。 AWS Inf1とは こんにちは。メディア研究開発センター (通称M研) の田口です。今回はAWSのInf1インスタンス上でBERTモデルを動かす際の流れをご紹介したいと思います。 さて、みなさんは機械学習モデルの推論をどこで走らせていますか? BERTのようなサイズの大きいモデルを走らせる場合、コスト上問題なければTPU・GPUを使いたいですよね。とはいえ、できるだけコストは抑えたいのでCPUを選択すると「推論速度が…」という悩みがでてきます。そこでM研では、GPU・CPUに代わる選択肢としてInferentiaというチップを搭載したAWS Inf1の検
みなさま、はじめまして。朝日新聞社の田森と申します。私は「メディアラボ」という部署の研究チームで、私含め6名のチーム員とともに朝日新聞社の中にあるリソースを利用した研究開発を日々進めています。今回は、我々が開発した自動要約生成エンジン「TSUNA」と、その開発の裏側をご紹介できればと思います。 なお、今回のエントリのタイトルはTSUNAが実際に出力した見出しです。他にも下記のようなものを出力しました。多少変なものも混じっていますが、それっぽいものは出せているのではないでしょうか。 「メディアラボ」の研究開発 TSUNAとの裏側を紹介 リソースとTSUNAの開発 「メディアラボ」の裏側 私の「メディアラボ」の裏側 リソース研究、私含め6名チーム TSUNAとリソースが結ぶ裏側、私も開発したら... 生成エンジンの裏側とは? 「メディアラボ」開発を日々進む 「メディアラボ」の研究開発 TSUN
「般若心経」をT5(Text-to-Text Transfer Transformer)を使って現代語訳してみた! ICTRADの山野です。 この記事は、 T5という自然言語処理の手法を用いて、 漢文形式の般若心経を現代語訳にチャレンジした、 いわゆる「やってみた」系の記事です。 「漢文」って、書き下しのルールや意味が理解できれば、普段使う日本語の深さも教えてくれるものですが、ちょっととっつきづらいイメージがありますよね。なので技術を使って簡単に現代語訳することができたら、身近に感じられるんじゃないかと思い、まずは「般若心経」でチャレンジしてみました。 あわせて、「朝日新聞ってなんだか堅そう」、「新聞社のエンジニアって普段何してるかわからない」っていう方は、ぜひこの記事を見て「ICTRAD」の研究開発チームが何をやっているかちょっとでもわかってもらえればなと思います! ※すぐに現代語訳の結
このページを最初にブックマークしてみませんか?
『朝日新聞社 メディア研究開発センター|note』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く