ヤフーにおける自然言語処理モデルBERTの利用
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。Yahoo! JAPAN研究所で自然言語処理の研究開発をしている柴田です。 私は自然言語処理の研究と、最新の自然言語処理技術を社内のサービスに適用できるようにする開発の両方を行っています。今日は後者の話をします。 この記事ではBERTというモデルに焦点をあて、BERTの概要と、社内でのBERTの利用、最後に具体例として検索クエリのカテゴリ分類について紹介します。 ※この記事で取り扱っているデータは、プライバシーポリシーの範囲内で取得したデータを個人が特定できない状態に加工しています。 1. BERTとは 2018年にGoogleからBERT (Bidirectional Encoder Representations
経産省発の npm モジュール！住所や電話番号の正規化、ジオコーディングなどができる IMI コンポーネントツールを試した！
経産省発の npm モジュール！住所や電話番号の正規化、ジオコーディングなどができる IMI コンポーネントツールを試した！ Code for Japan の関さんが SNS でシェアしてて知ったのですが、経産省さんがなにやらオープンソースで住所や電話番号の正規化などなどをするツールを公開したとのこと。 https://info.gbiz.go.jp/tools/imi_tools/ 経産省が住所変換や法人種別名、電話番号の正規化に使えるIMIコンポーネントツールを公開しました。 ソースコードも公開。README にも使い方が丁寧に書かれていました。https://t.co/fPbV00EgZP 素晴らしい動き。こういう... #NewsPicks https://t.co/bew0qGKMFE — Hal Seki (@hal_sk) May 28, 2020 ぶっちゃけ当初はあまり期待
今日からGDPR施行だけど実は何もしてなかったぜというWEB担当者のために書いた - フジイユウジ::ドットネット
こんにちはこんにちは。5月25日ですね。 今日からGDPR施行じゃないですか。 ヤバくない? 何もしてなくない? やっべえな、というWEBサイト担当者/アプリ開発者のためにブログをしたためます。 内容的には「GDPR、何をしたらいいかも何もわからん」という人向けです。これでバッチリ適法、というレベルになるわけではないことは理解して読んでね。 できる限り適切に書いているけれど、この通りにしたら酷い目に遭ったぞなどのクレームは受け付けません(免責)。 あと、プライバシー保護ガチ勢の人はユルい内容に怒らないで欲しい。間違いへのツッコミかあれば歓迎ですが優しくお願います。 長いからこれだけ読んでおくと大丈夫 ① 欧州圏からアクセスできるとかユーザー1人いるとGDPR対象事業者になる、わけじゃない ② プライバシーポリシー更新してるだけで対応済みとしている企業も多い セキュリティコンサル的な会社が専
モバイル革命で衰退したものワースト10（上） - 中華IT最新事情
2007年にiPhoneが登場して以来、モバイル革命が進行しているが、その中で、売れなくなった商品、消えゆく商品もある。尋空的啓示録が消えゆく商品、現象を10挙げている。今回は、そのうちの５つを紹介する。 キャンディー、ガム 米国でiPhoneが登場してから10年で、スーパーでのキャンディーの売れ行きは15％も落ちている。レジ前の棚に置かれているキャンディーやガム、電池といった小物商品が売れなくなったからだ。 レジ前商品は、レジ待ちの行列に並んでいるときに目につき、ついついカートに入れてしまう。それが、スマートフォンが普及してから、行列しているときにスマホをいじるようになり、レジ前商品に注意がいかなくなったからだ。 さらに、中国ではスマホ決済が普及をし、レジ待ちの行列自体がなくなりつつある。余計に売れなくなっているという。 ▲スーパーレジ前の棚にはガムやキャンディー、電池などが置かれること
富裕層の「アリペイ離れ」が始まっている - 中華IT最新事情
一部の富裕層にアリペイ離れの現象が見られるという。アリペイの理財商品である余額宝の利回りは4％台。まとまった資金を持っている富裕層にしてみれば、余額宝よりも利回り7％台の銀行の理財商品の方が魅力的だからだと今日頭条が報じた。 アリペイのもうひとつの魅力「余額宝」 アリペイは、アリババが運営するQRコード方式スマートフォン決済で、都市部であればほぼどの店でも使えることから、街中の対面決済の主流な手段となっている。都市部で現金で決済する人は相当珍しい状況だ。 しかし、多くの中国人がアリペイを利用するのは、この決済機能だけではなく、金融機能にも魅力を感じている。 ひとつは、余額宝と呼ばれる理財機能。余額宝に入金をしておくだけで、4%以上の利子がつく。しかも、いつでも１元単位で引き出すことができるので、多くの人が給料をもらったら、限度いっぱいまで余額宝に入金してしまい、その日使う分だけを引き出して
一般データ保護規則（GDPR）対策によるGoogleAnalyticsのデータ保持期間を変更するリスク | Cntlog
「一般データ保護規則（GDPR）のお知らせがGoogleからメールがあったのをきっかけに、色んなところで、「Googleアナリティクス」のデータが削除される懸念の記事やツイートを見かけました。 私も「ああ、危ないな」と思って設定をいつか変えなきゃと思っていたのですが、運良く博識な友人達のこの件の討論を見かけて、削除しない設定にしちゃ駄目だなという気持ちになりました。 私が何を誤解していて、なぜ削除期間の設定を変えなかったのかをメモしておきます。 認識していなかったデメリット この分野では素人なので恐縮ですが、「個人情報のデータを持っている（EEA域外に移転した場合）と自分が罰せられる可能性がある」という事です。 Googleを始めとした、各企業が対策に乗り出した一般データ保護規則（GDPR）は私もよく分かっていないのですが、こちらが簡潔に書いてあって理解がしやすかったです。 EU 一般デー
タイムゾーン呪いの書 - Qiita
コメント欄で「Software Design 誌 (2018/12) に寄稿した内容や修正などをこちらの記事にも適用したい」と言ったあと、やるやる詐欺でずっと放置していましたが、三年近く経ってようやく 2021年 7月に大幅に改訂し、同時に Zenn に引っ越すことにしました。 タイムゾーン呪いの書 (知識編) タイムゾーン呪いの書 (実装編) タイムゾーン呪いの書 (Java 編) なにやら長くなりすぎたので三部構成になっています。 この Qiita 版は、しばらく (最低一年は) 改訂前のまま残しておきます。 タイムゾーンの存在はほぼ全ての人が知っていると思います。ソフトウェア・エンジニアなら多くの方が、自分の得意な言語で、タイムゾーンが関わるなにかしらのコードを書いたことがあるでしょう。ですが、日本に住んで日本の仕事をしていると国内時差もなく1 夏時間もない2 日本標準時 (Japa
データエンジニアとデータの民主化 〜脱・神 Excel 〜 - 一休.com Developers Blog
この記事は 一休.com アドベントカレンダー 2017 の 13 日目です。 一休データサイエンス部の id:kitsuyui です。データエンジニア兼データサイエンティストをやっています。 この記事はもともとアドベントカレンダー上では「脱・神 Excel (仮)」という名前で枠で取っていたのですが、 少し主語が大きすぎたかな？と反省しています。 書いているうちに全く主旨が変わってきましたので、副題とさせていただきました。 今回は一休社内でのデータエンジニアリングにまつわる負担、それらを解決する Redash, Embulk, DatabaseMEMO の導入の流れを書こうと思います。 また、その過程で副次的に発生した FLOSS へのコントリビューションなどなどについては、 14 日目のエントリで説明したいと思います。 一休とデータ活用 一休は今日まで上質な宿・レストランの予約サービス
クラウドに基幹を移行して5年超経過 - 急がば回れ、選ぶなら近道
もう5年か、まだ5年というべきかちょっと判断に迷う。大抵の業務系のシステムがクラウドを始めるのは現実的には今年来年以降になるので、今の自分達の状況は多分、今後の業務系システムをクラウド移行したユーザの近未来になると思う。ので、予想的にまとめておく。本格的にクラウドを利用した業務アプリケーションの5年がどうなるかの一つの指針になるかと。 以降は別に統計データでもなんでもなく5年間を眺めてみて自分の印象。 ・障害：大規模は５年で2-3回程度。一度は業務に影響が出て客先にお詫びに行った。AWSだったけど、サポートからは「もう回復してるのでチケットクローズね」みたいな話だったと記憶している。その後は大体四半期に一回程度のN/W障害。障害は普通に起きているし、オンプレと比べてどうか、という比較では細かい障害件数は減った気はしていない。ただし、「ドカンと来るでかい障害」は確実に減った。 ・データ増加対
Panic Blog » ソースコードの盗難について
先週、動画変換ファイルアプリ HandBrake のMac版によってマルウェアに感染との報道がありました。（日本語記事参考: 動画変換ソフト「HandBrake」Mac版にマルウェア感染の危険性 | CNET Japan）2つの配信サーバのうちの片方で、感染したHandBrakeアプリが3日間公開された状態になっており、ダウンロードして起動するとそのコンピュータは攻撃者による遠隔操作が可能な状態になる、というものです。 運が悪く、さらにコンピュータ運にも恵まれず、公開されていた3日の間に感染したHandBrakeをダウンロード、起動したためにプログラマのMacが感染してしまいました。 その結果、どこかの、誰かに、私たちのアプリのソースコードが盗まれました。 続けて、以下の大切な3つについてお知らせします: ・今回の攻撃者がユーザ情報にアクセスした兆候はまったくありませんでした。 ・さらに、
「バカ避け」会社選び質問に答えてみた: BPS株式会社｜TechRacho by BPS株式会社
morimorihogeです。トレーナーレベルは23、図鑑は103です。 はてな匿名ダイアリー（通称増田）で 派遣先を選ぶ際の「バカ避け」としての質問項目 という記事がバズっていたので、同じような価値観で会社選びをされている方向けに回答記事にしてみました。 転職を考えている・検討しているエンジニアの方はぜひ目を通してみて下さい。 基本情報 一般的な情報は弊社HPを見てもらうとして、それ以外の点についてざざっと。 弊社は社員数40〜50名程度の開発会社です。社員数は現在も拡大中で、それにともなって非エンジニア職の人数も増えつつありますが、今でも社員の7〜8割はエンジニアまたは元エンジニアで構成されています。 メンバの大半は正社員で、その他に契約社員とアルバイトが数名という構成です。どうしても手が足りない部分だけはSESで他社から応援に来てもらうこともありますが、ごく少数です。 エンジニアが主
「パナマ文書」解析の技術的側面
世界中で話題になっているパナマ文書。各国で政権を揺るがすような事態にもなっていますが、純粋にデータとしてみた場合、これは計算機やデータ解析に関わる人々にも面白いものだと思います。データの中身や背景などについてはさんざん報道されていますのでここでは触れません。一方、現場でどのような作業が行われているのかはあまり報道されていません。現実的な問題として、人力ではどうしようもない量のリークデータを手に入れた場合、調査報道機関はどんなことを行っているのでしょうか？私も以前から疑問に思っていたのですが、先日あるデータベース企業と、データ分析アプリケーションを作成する会社のブログにて、その実際の一端を窺うことができる投稿がありました: Panama Papers: How Linkurious enables ICIJ to investigate the massive Mossack Fonseca
米国IT業界に過去あった多重下請構造、それが破壊された理由 - プロマネブログ
日本のIT業界を「SIガラパゴス」と言う前に知っておきたい海外ベンダ事情 - プロマネブログ 前回の記事を書いたあと、うっかりしていたことに気づいたので、追記です。 ユーザ企業とベンダ企業との関係については、他国との比較を色々書いたのですが、多重構造について深堀り書くのを忘れてました。 米国の事情についてもうちょい書きます。 下請構造が崩壊したアメリカ 端的にいうと、米国にも日本と同様の下請構造は過去ありました。 日本と同様に、元請けが大規模な案件を受注し、それを２次３次請けにシステム開発再委託するという構造です。 政府調達元請けの平均60.4％が下請け及び補給品に再投資され、それらのさらに平均83.2％が3次へ再投資、さらにその83.2％が再々投資、と繰り返される事により、初期調達額$369M（元請けのみ）は、上記再投資の構造より算出される係数2.06を乗ずる事により、$759Mと推計さ
目grep入門 +解説
2019/10/16 初心者向けCTFのWeb分野の強化法 CTFのweb分野を勉強しているものの本番でなかなか解けないと悩んでいないでしょうか？そんな悩みを持った方を対象に、私の経験からweb分野の強化法を解説します。 How to strengthen the CTF Web field for beginners !! Although you are studying the CTF web field, are you worried that you can't solve it in production? For those who have such problems, I will explain how to strengthen the web field based on my experience. (study group) https://yahoo-osa
ドキュメントは最強のコミュニケーションツールである――Joelの機能仕様書入門
ドキュメントは最強のコミュニケーションツールである――Joelの機能仕様書入門：プロジェクト成功確率向上の近道とは？（1）（1/2 ページ） ITシステム開発の問題点の一つであるコミュニケーションの失敗。本連載では、これを防ぐ方法としてお勧めしたい3つのドキュメントを紹介していく。今回は「Joelの機能仕様書」のポイントを解説する。 連載目次 はじめに 本連載では、ITシステム開発がビジネスに貢献していくために必要な、最も基本的な条件である“システム開発の成功”につながるいくつかのポイントを紹介します。 筆者は、さまざまなコンピューターシステム開発に長年携わってきたソフトウェア技術者ですが、この連載では、あえて技術的ではない話題を中心に述べます。というのも、技術論だけではシステム開発が成功する条件としては不十分ですし、すでにたくさんの優れた技術論が各方面で展開されています。あらためてそこ
Baseball Play Study 2015 プロ野球振返りスペシャル(BPStudy#100) (2015/12/18 19:00〜)
注意 現在X(旧Twitter)でのソーシャルログインができない事象を確認しています。事前にX(旧Twitter)側で再ログインした上でconnpassのソーシャルログインを行うか、 「ユーザー名(またはメールアドレス)」と「パスワード」の組み合わせでのログインをお試しください。合わせてFAQもご確認ください。 お知らせ 2024年9月1日よりconnpassサービスサイトへのスクレイピングを禁止とし、利用規約に禁止事項として明記します。 9月1日以降のconnpassの情報取得につきましては イベントサーチAPI の利用をご検討ください。 お知らせ connpassではさらなる価値のあるデータを提供するため、イベントサーチAPIの提供方法の見直しを決定しました。2024年5月23日(木)より 「企業・法人」「コミュニティ及び個人」向けの2プランを提供開始いたします。ご利用にあたっては利用
荒木町にネルドリップで入れるコーヒー専門店 コワーキング利用も
四谷荒木町に、コーヒー専門店「猫廼舎（ねこのや）」（新宿区荒木町8）がオープンして2カ月がたった。店舗面積は9.7坪。座席数は14～16席。 （関連画像）同店の荻野店長 「以前から取引先やフリーランスの方が自由に集まり、コーヒーを楽しむことができる空間を、社内につくりたかった」と話すのは店長の荻野さん。当初は、もともと経営していたIT関連の会社の事務所を探していた。その中で紹介を受けた今の店舗を一目で気に入り、喫茶店メーンの事務所を持つことに決めたという。「新しい事務所を紹介すると言って連れてきた人たちは、みんな驚いていました」と荻野さんは笑う。 コーヒーはオーダーを受けてから、豆をひき、ネルドリップで抽出したものを提供する。全国のコーヒー店を飲み歩く中で、一番おいしいと感じた入れ方がネルドリップだったという。豆は主にイエメンとエチオピアのものを使用。ブレンドは4種類ほどを用意し、来客者の
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NTTとIPAの「シン・テレワークシステム」はラズパイだった。1ユーザーあたり月14円で運用可能
「情報システム産業では、2000年代後半から協力会社を中心として労働環境の悪化が相次ぎ受託開発ビジネスの限界に直面。丸投げ委託、多重下請けと人月ビジネスの横行等により、業界全体の魅力が低下した」という経済産業省の産業構造審議会の公式見解について
not found
