新型コロナ禍が我が国の政治の深刻な問題をあぶり出しています。一市民としては支持する政治家を本腰入れて検討しなければいけません。 個人的な問題意識は主に「労働」と「財政」にありますので、これらの問題に積極的に取り組んでくれる方がいいです。今回のコロナ禍でこの2つは本当に切実な問題になりました。反対に「脱原発」とか「改憲」はやめてほしいかな……「財政再建」とかも当然ムリ！あ、もちろん国政の話です。 そんな訳でデータの力で問題意識の合う現職国会議員を探してみました。使うのはみんな大好きPython3 on Google colab(Jupyter notebook)です。技術的な話を飛ばして結論だけ見たい方はこちらからどうぞ。 やったこと まずはTwitterをやっているすべての現職国会議員のTweetを一人当たり最新1000件ほど取得します。現職国会議員のアカウント一覧は国会議員いちらんリスト
Web系企業での一人目の機械学習エンジニア・データサイエンティストに必要なスキルと経験して思ったこと - Qiita
０、はじめに マッチングアプリで機械学習エンジニアをやっているはやとと言います。今回は「Web系企業での一人目の機械学習エンジニア・データサイエンティストに必要なもの、やって感じたこと」について書いていこうと思います。 「Web系企業で機械学習エンジニアやってみたい！」「組織としてデータ分析や機械学習をやり始めたいけど何からやったらいいかわからない！」という方も多くいるでしょう。 Web系企業での機械学習エンジニア・データサイエンティストの動きはメルカリのブログとか本でよく見ます。しかし、まだ規模があまり大きくない会社における機械学習エンジニア・データサイエンティストの記事や本は一切見当たらず、また、立ち上げ（そんな大げさな言葉を使っていいのか分かりませんがw）の話が書いてあるものは見たことがないです。そのため、もしかしたら日本で初めての記事になるのではないかなと考えてワクワクしながら書い
【生成AI】知らないと後悔する、GPT-4oだけでシステム開発を300%効率化するハック【CodeAGI】 - Qiita
【生成AI】知らないと後悔する、GPT-4oだけでシステム開発を300%効率化するハック【CodeAGI】Python生成AIChatGPTGPT-4CodeAGI 都内のIT企業に勤めている、ソフトウェアエンジニアの D̷ELL と申します。 本稿はQiita Engineer Festa 2024の参加記事です。 本日は生成AI（GPT-4o）のAPIキーだけで、システム開発を300%効率化するハックを共有したいと思います。 概要 生成AIによるアプリケーション開発自動化が実現しつつある時代になってきた 日本企業における「Excelドキュメント」は数多く、生成AIを実践投入しづらい GPT-4oのAPIキーさえあれば、社内のドキュメントからシステムを自動構築してくれる仕組みがあった はじめに みなさんはアプリケーション開発における生成AIの利用と言えば、何を想像しますか？おそらく大半の
前回までのあらすじ：2020年に作ったソフトウェアや開発技術をふりかえる - laiso Write Code Every Day プログラマーの人にありがちな趣味だと思うんだけどWrite Code Every Day （John Resig - Write Code Every Day）を2008年ぐらいからやっていて、昼に仕事でコード書いて夜になったら自分の楽しみのために何か作るか〜というのを繰替えして生活してる。 John Resig の記事との違いは今読みながら比較していたんだけどGitHubに上げるっていう部分はやらなくなってしまった。クレデンシャルとかハードコードしてるやつとか半分他人のコードコピペしたやつとかの清書がめんどくさいというのがあるし、クローラーなどは自分だけが使うぶんにはいいけど公開した方が迷惑になる——みたいなジャンルのコードが結構あって段々省くようになってし
世の中の企業がどのように機械学習を活用しているのか事例を知り、業界全体や自社の目の前の業務で抱えている課題解決に活かせるかを考えるきっかけとなるよう、52種類の事例を紹介します。 近年、AIにおける要素技術のひとつである「機械学習」を活用したニュースを耳にすることが多く、漠然と自社でも活用したほうが良いのではないかと考えている方は多いのではないでしょうか。 世の中の企業がどのように機械学習を活用しているのか事例を知り、業界全体や自社の目の前の業務で抱えている課題解決に活かせるかを考えるきっかけとなるよう、57種類の事例を紹介します。 宇宙ビジネスメディアである本サイト「宙畑（そらばたけ）」では、そんな「機械学習」にインプットするデータの一つとして、俯瞰的・継続的にデータを取得可能な「衛星データ」を提案しています。事例と合わせて、「衛星データ」の可能性にも注目いただけると幸いです。 ※202
BigQueryとGemini 1.5 Proによるラーメン店クチコミの定量分析 - G-gen Tech Blog
G-gen の神谷です。本記事では、Google Maps API から取得したラーメン店のクチコミデータに対する定量分析手法をご紹介します。 従来の BigQuery による感情分析の有用性を踏まえつつ、Gemini 1.5 Pro の導入によって可能となった、より柔軟なデータの構造化や特定タスクの実行方法を解説します。 分析の背景と目的 可視化イメージ 分析の流れとアーキテクチャ クチコミデータ取得と BigQuery への保存 API キーの取得 データ取得のサンプルコード クチコミ数の制限と緩和策 料金 感情分析とデータパイプライン Dataform の利点 Dataform を使った感情分析のパイプライン定義例 感情分析の結果解釈 ML.GENERATE_TEXT（Gemini 1.5 Pro） 関数を使用した高度な分析 ユースケースに応じた独自の評価観点によるクチコミの定量化
著作権侵害を未然に防ぐ機能も持つ 昨年紹介した音楽生成AI「Stable Audio」が「Stable Audio 2.0」となり大きく進化した。 生成AIがブレイクするきっかけを作った画像生成AI「Stable Diffusion」を開発したStability AIによる音楽生成AIだ。2023年8月にバージョン 1.0をリリースした際にはこの連載でも紹介した。グーグルの「MusicLM」のようにプロンプトを与えることで、音楽を作り出す音楽生成AIで、Stable Diffusionのようにステップを経て徐々に生成が完了する“拡散モデル”を使用しているのが特徴だ。Stable Audio 2.0では、モデルが新しくなったのが最大の改良点だ。ある入力に対応して生成される出力に関して、生成のルールやパターンを決めるのがモデルである。つまり、知識やアルゴリズムを持つ中核部分が改良されたことにな
ChatGPT、LINE Botとの相性抜群ですよね。流暢におしゃべりできるし、プロンプトの工夫をすればキャラ設定もできます。 でも、今日はそういうお話ではありません。何を作るのかではなく、どうやって作るかについてお話します。かといってコードを自動生成してもらうという話でもなく、もう全然作り方が変わってしまったというお話です。 チャットボットの処理フロー LINE Botに限らずあらゆるチャットボットや対話システムは、ざっくりいうと以下のような仕組みになっています。 ユーザーの発話の意図や関連情報を読み取って（インテント判定・エンティティ抽出）、それを処理し（スキル実行）、処理結果をメッセージとして応答します。図の例だとインテントとして「天気予報」、エンティティとして「佐賀」を読み取って、天気予報APIなどで処理していることでしょう。 これまでのチャットボットの作り方 先の例をPython
1.2億件の特許を学習 数秒で類似特許を発見するAIデータプラットフォームが生まれるまで | Forbes JAPAN 公式サイト（フォーブス ジャパン）
毎年、グローバルで300万件以上出願されている「特許」。しかし、特許の管理や検索、申請に関わる技術は高度化し、フローは複雑さが増している。 多くの国にまたがる国際出願が標準化する中で、発明者や弁理士がグローバルに特許の存在を調査する作業は藁の山から1本の針を探すよりも困難な作業と言われており、プロのサーチャーでも一件の調査に数日〜数カ月を要する、と言われている状況だ。 そうした特許検索における課題を解決すべく、先日、正式版がリリースされたサービスがAI特許調査プラットフォーム「Amplified（アンプリファイド）」だ。 同サービスは世界中の1億件以上の特許をディープラーニングで学習したAIが、入力される文章に対して即時に類似特許を発見する、というもの。これまで数日〜数カ月かかっていた先行技術調査が約30〜60分以内に短縮されるとのこと。料金は「Pay-Per-Projectプラン」が調査
最近では、古今東西、いろいろな小説がオンラインで公開されている。それらの小説を読み始めたら時間がいくらあっても足りないほどだ。そこで、今回は、簡単なネガポジ判定の手法を使って、その小説を読む前に、小説を解析して好きな小説の傾向を掴む方法を紹介しよう。セットアップ不要でブラウザで使えるPython環境の実行環境Colaboratoryを使うので、気軽に形態素解析や自然言語解析の初歩を実践してみよう。 ネット小説は読み放題！ 今は小説好きには堪らない時代だ。明治以前の文豪たちの作品であれば、多くは著作権が切れているので「青空文庫で読み放題で、オンライン小説の投稿サイトの「小説を読もう！」なら70万を超えるタイトルが読み放題だ。筆者も小説が好きなので、時々読んでいるのだが、とにかくいろいろな種類があるので、どれを選んで良いのか悩むほど。そこで、今回は、ネガポジ判定の手法を利用して、小説を簡単に解
naturalclar.devReact Summit Remote Edition まとめ(前編)April 18, 2020 2020/04/17 に開催された React Summit Remote Edition を視聴していたのでそのレポートを書きます。 コロナウィルスが蔓延っているなか、登壇者、実況者、参加者すべてがリモートで参加する盛大なイベントとなりました。 YouTube Live で視聴するのみなら参加費は無料（！）で大変ありがたかったです。 有料枠では、登壇者に質問できる Slack チャンネルや、登壇者と直接 Zoom で対話できる枠、技術的な質問を自由に聞ける Workshop、懇親会にてオンラインバー、QuakeJS大会など、世界中の参加者と交流する枠などが用意されていました。 開催時間が日本時間の22:00-2:30で、質問する体力がでなさそうだったので、今回
Raspberry Pi4 model Bで動画の高速処理が可能に——スペクトラム・テクノロジー、「はじめてのクラウドAI開発キット2」発売｜fabcross
同キットはRaspberry Pi4 model Bを採用しており、インストール済みのCloud SDKとPythonプログラムにより、GoogleのクラウドAI（Google Cloud Machine Learning）をAPI経由で利用できる。 画像認識のほか、音声認識や自然言語解析、自動翻訳や動画認識などが利用可能で、Raspberry Pi4 model Bにより動画の高速処理が可能となったほか、OpenCVの搭載により顔認識も利用できる。 Googleの学習済みモデルを利用でき、同社のAIノウハウを最大活用できることが強みだ。
こんにちは、Development部門に所属しているSREの佐藤と申します。 Development部門では複数プロダクト共通の基盤構築や、新技術の検証、インフラ整備などを幅広く担当しています。これまでストックマークではCI/CD基盤の構築やAWS上で構築するインフラのコード化、ニュース収集基盤のアーキテクチャの改善や運用負荷軽減から、製品利用状況のデータ分析基盤構築などに取り組んできました。 今日はAstrategyという製品でのMLOpsの取り組みについて話します。 AstrategyについてAstrategyは国内外Webメディアを対象として情報を収集・構造化し、調査・報告業務を包括的にサポートする検索プラットフォームです。 図1: 「言葉のAI」自然言語解析を用いたオープンデータ解析ツール 複数の分析画面を提供しており、目的に応じて異なる観点で市場変化や競合動向を可視化できます。
など非効率で属人的な作業と困難がある。また、ホワイトワーカーが、情報収集や資料検索、文書作成にかける時間は、労働時間の約50%を占めると言われている一方、これらの生産性を上げるためのソリューションが提供されていない。 「Asales Slide Finder」は、営業の提案活動における提案書・企画書作成業務の負荷を軽減、ナレッジシェアを促進させることで、営業一人ひとりの生産性を向上させ、組織全体の提案力向上を目指すという。具体的な機能は以下。 スライド共有 提案資料や企画書をアップロードすることで、スライドを1枚単位で共有できる。BoxやSalesforceとも連携が可能。チーム・社内のナレッジを共有し、営業活動における生産性を向上させる。 スライド検索 自然言語処理と画像解析により、スライドに含まれる文字やデザインが似ているスライドを検索可能。1ファイル1ファイルを開いて必要な資料やスラ
今回の参院選の投票率は52.05％だったそうです。 それに対して、Twitterユーザにより「私のタイムラインでは投票率100％なのになぜ」という趣旨の発言がなされ、それを受けて別の誰かが「同類だけが集まったタイムラインの偏りを思い知れ」等と揶揄する、という光景を複数カ所で見ました。 たしかに、タイムラインでの投票率が本当に100%であり、かつ世の中の投票率が52％だったのであれば、それはその人のTwitter上の人間関係と世の中が乖離していると言えます。 しかし実際にはそうではないのではないでしょうか？「私のタイムラインでは投票率100％」という前提の方が間違っているということはありませんか？ その投票率100％、本当に100％ですか？ タイムラインの投票率を調べる 実は、かくいう僕自身も、「我がタイムラインの投票率は100%だな、ガハハ」と思っていました。公示日以降、期日前投票へ行った
データ駆動型経営の時代 昨今、データドリブンビジネス、ないしはデータ駆動型経営という言葉が語られるようになって久しい時代です。インターネット、そしてスマートフォンの発達に後押しされたソーシャルネットワークの高度な発展により、多くのユーザーはより自由にそしてより気軽に意見を発信できるようになっています。 これにより、企業が関与しないところで様々なサービスや商品が評価され続け、SNSに投稿されたその評価は暗黙的に別のユーザーの購買行動に影響を与え続けています。またそれと同時に、公的な人格、私的な人格等、複数人格をユーザーが使い分けた際の可視化も可能となり、ユーザーの購買行動は細分化を続ける一方です。 このような背景を踏まえて企業のマーケティング活動は、従来の作りこんだ販売戦略型から、オーガニックグロースと言われるユーザーがユーザーを呼び込む行為を促進させる方向へシフトしつつあります。このために
COBOLは事務処理分野で利用する言語の統一と標準化を目指して開発されたプログラミング言語だ。「Common Business Oriented Language」の略であり、日本語にすると「共通事務処理用言語」になる。手作業で行っていた手続きを変えることなく、紙によるバッチ業務のデータを伝票（レコード）として記述し、それをコンピューターで自動化するものだ。多くのレガシーCOBOLシステムにおいてこの基本設計は変わっていない。 近年利用されているJavaなどのモダンな言語の多くは「オブジェクト指向」を取り入れているが、その普及は1959年に誕生したCOBOLの20年以上も後である。現在主流のリレーショナルデータベースの基礎である「リレーショナルデータモデル」の考案も、COBOL誕生から約10年後の1970年だ。 COBOL的思考においては、データを伝票として捉え、データ定義の際にはレベル番
未経験者でも言語解析を簡単に始められちゃう。そう、Cognitive Serviceならね。 - ecbeing labs（イーシービーイング・ラボ）
お久しぶりです。堀内です。 前回の記事からずいぶん期間が空いてしまいましたが、気にせずいきましょう。 今回はMirosoft AzureのサービスであるCognitive Servicesに触れていきます。早速始めていきたいと思います。 Cognitive Serviceのサービスを開始しよう Cognitive Servicesと言っても色々な種類のサービスが存在します。 https://azure.microsoft.com/ja-jp/services/cognitive-services/ 今回は言語メニューの「Language Understanding」を使用したいと思います。 https://azure.microsoft.com/ja-jp/services/cognitive-services/language-understanding-intelligent-serv
何もない所から一瞬で、自然言語処理と係り受け解析をライブコーディングする手品を、LTでやってみた話 - Qiita
要約 超高精度自然言語処理＆係り受け解析を実施するGiNZAがすごくて、 Colaboratoryにより環境構築不要でブラウザだけでサクッと使える。 そのサクッと感を強調すべく、LT（ライトニングトーク）の最中に その場で環境構築＆コードを書いて自然言語処理、 しかも高精度＆高機能ができるよ、という「手品」をやってみた。 一見スゴイが「手品」にはタネがあって・・・。という話をする。 最後まで読むと、以下の二つのノウハウが分かる ・GiNZAで、ゼロから３分で高精度自然言語処理する方法 ・LTでライブコーディングする手品のタネ 背景①： GiNZAすごいっ！ 2019年4月に発表された「GiNZA」という、 日本語自然言語処理オープンソースライブラリを動かしてみたら、 簡単に高精度で（超重要）、係り受けやベクトル化なども含めた、 自然言語処理全般が実施出来たので驚いた。 ご参考： https
JR東日本は5月22日、運行管理の効率化に向け、AIとクラウドを組み合わせた業務支援システムを導入すると発表した。過去に起きた人身事故、車両の故障、線路の不具合などの詳細と、係員による対応をデータ化し、クラウド上に構築したAIに学習させたもの。今後は事故が発生した際に、係員がシステム上で報告すると、類似した事例に基づいた対応策をAIが提示。意思決定をサポートする。 5月25日にJR東の東京総合指令室で運用を始める。複数の鉄道会社をまたぐ直通運転が増加し、首都圏の鉄道網が複雑化する中で、係員の判断の正確性とスピードを高める狙い。事故の際に係員が入力した内容は他のメンバーにも共有されるため、部署内での意思疎通や報告業務も効率化できるという。 この他、同システムのクラウドストレージには、事故対応に関する規定やマニュアル、新人教育用のオンライン教材などを保存できる。係員は事故がない時にこれらを参照
ChatGPTのような大規模言語モデル(LLM)は、今後あらゆる場面で活用されていくことは間違いありません。そして、このパラダイムシフトは、コーディングだけでなくUIやUXのデザインにも大きく影響することになると思います。 今のところ、OpenAIが提供している「素のChatGPT」は、言ってみれば「膨大な量の学習をした人が何もググったり調べたりせずに記憶だけで応えてくれている状態」ですが、Bing AIやChatGPT Pluginのように、必要に応じて検索や外部サービスを使いながら応えてくれるような対話型AIが今後たくさん登場することになるでしょう。 今回は、ChatGPTを既存のサービスと連携させる方法をみていきますが、プロンプトエンジニアリングは、指示文や質問文を工夫することで適切な回答を引き出すだけではなく、既存のプログラミング言語によるコーディングと適材適所で組み合わせることで
チョムスキーとディープラーニング
チョムスキーとディープラーニング 2021.01.23 Updated by Ryo Shimizu on January 23, 2021, 10:12 am JST ノーム・チョムスキーはアメリカ合衆国の哲学者、言語学者、認知科学者、政治哲学者である。 チョムスキーは人間は生まれながらにして言語を理解するための能力が備わっており、その能力を駆使することで短期間にどんな国の言葉でも学習することができると説く。別の言い方をすれば、あらゆる言語の根底には本質的に同じ性質を持つ「普遍文法(Universal Grammer)」が存在し、英語や日本語、ドイツ語、スワヒリ語などは普遍文法から生成された表現形に過ぎないのだという。 チョムスキーの主張するところでは、全ての言語は生成文法(generative grammer)に基づく。 筆者がなぜ全く専門外に思える言語学に興味を持ったのかといえば、こ
RPAを支える技術についての解説 - Qiita
概要 RPA (Robotic Process Automation)ってそもそも何でしょう？元々バッチスクリプトやオブジェクトモデル (Excel VBA etc.) を駆使してのプログラミングでの自動化を行っていた時代から、GUIが主流になりそのうえで動作するアプリケーションも大規模化してきたことから、2000年代前半からGUIのテスト自動化や、中国へのテストのアウトソースプロジェクトなどが盛んにおこなわれるようになってきました。 実はRPAの老舗といわれるBlue Prism (2001年)や、Automation Anywhere (2003年)、UiPath (2005年)といったグローバルの主要RPAベンダーは、いずれも2000年代前半に創業しています。当初はソフトウェア業界のテスト自動化のニーズから用途が広がってきたようです。 RPAの基礎技術自体は実は20年も前からある？
【macOS】 macOS Mojvabe 10.14.6 Python 3.6.9 NumPy 1.14.6 Pandas 0.22.0 Scikit-Learn 0.20.1 XGBoost 1.0.2 ハイパーパラメータ（英語：Hyperparameter）とは機械学習アルゴリズムの挙動を設定するパラメータをさします。少し乱暴な言い方をすると機械学習のアルゴリズムの「設定」です。 この設定（ハイパーパラメータの値）に応じてモデルの精度やパフォーマンスが大きく変わることがあります。例えば男女を分類するモデルを構築していた場合、特に調整を行わずに初期設定のままモデリングを行なった結果、最初は90%の正解率を得ることができたとします。90%の精度では使い物にならないと上司に怒られたので、ハイパーパラメータ（モデルの設定）を調整したところ93%へ改善することがあります。ハイパーパラメータチュ
クロスリバ、映画・小説・ゲームを世に出す前にヒット解析予測できる「StoryAI」をβローンチ - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報
Image credit: Xrosriver コンテキスト解析技術を開発するクロスリバは14日、ストーリー・シナリオ分析 SaaS「StoryAI」をβローンチした。このサービスは映画・ドラマ・ゲームなど、シナリオ形式のストーリーを自然言語解析しストーリーに内在する感情を数値化。得られた数値を時系列に配置することで、ストーリーが持つ感情抑揚をグラフ形式で見える化するものだ。クライマックスにはグラフの波に高まりが見られる。 映画・ドラマ・ゲームなど、創作コンテンツは映像や音楽など多様な要素で構成されているものの、発案者や創作者がプロデューサーや編集者に企画を通す際には、企画書・プロット・シナリオだけで判断されていることが多い。 つまり、ストーリーを見れば、そのコンテンツがヒットするかどうかがわかる。（クロスリバ 代表取締役 川合雅寛氏） 目を見張るような SFX も、ドキドキ感を誘う BG
文章要約AI「タンテキ」どう使う? 利用事例やユーザーの声を公開、独自の自然言語処理APIも公開 バズグラフ - ロボスタ ロボスタ - ロボット情報WEBマガジン
株式会社バズグラフでは、独自の自然言語解析技術を駆使した文章要約AI「タンテキ」を現在無料で公開している。 同社では、このサービスがより便利になるよう日頃から文章要約AI「タンテキ」を利用しているユーザーにインタビューを行い、意見を取り入れながら日々の開発に努めており、この度、文章要約AI「タンテキ」活用方法の紹介も兼ねて、実際に行ったユーザーインタビューの内容を公式サイトにて公開したことを2021年12月28日に発表した。 また、独自の自然言語処理システムのAPIを、同年11月1日より公開しており、現在連携企業やユーザーを募集中だ。 文章要約AI「タンテキ」とは 文章要約AI「タンテキ」は、独自の自然現処理エンジンにより、主にニュース記事を中心としたAIによる文章要約を可能としたサービスだ。簡単な会員登録(無料)を行うだけで、タンテキで公開している全ての機能を利用できる。同サービスは、文
ファンダムがメディアになる日｜藤井風さん「死ぬのがいいわ」世界的ヒットの分析から｜こちら徒然研究室(仮称)｜note
#藤井風 さん #死ぬのがいいわ #ShinunogaEWa の #Spotify インドでの11月6日の順位は「74位」でした。 再生回数と共 に自己最高となっていますね。インドは過去に #BTS さんが一位を獲っている市場でもあるので instagramでのやりとりも追い風になったのでしょうか。がんばれ〜 #FujiiKaze pic.twitter.com/EvP11fhuBP — 徒然研究室✍🏻 (@tsurezure_lab) November 7, 2022 インドと日本のチャートは大きく異なる念の為に当研究室でも、SpotifyのインドにおけるデイリーチャートTop 200の全時系列データを取得し、過去のチャートイン楽曲を調べてみましたが、J-POPやJ-ROCKは見当たりませんでした。 そもそも両国の過去チャートの登場した楽曲の中で共有して出現するのは、総楽曲数8,104
リクルートのAI研究機関が、高速・高精度な日本語の解析を実現する日本語自然言語処理ライブラリ「GiNZA version 4.0」を公開 | Recruit - リクルートグループ
株式会社リクルートホールディングスの中間持ち株会社である株式会社リクルート（本社：東京都千代田区、代表取締役社長：北村吉弘、以下リクルート）は、このたび、当社のAI研究機関であるMegagon Labsより、高速・高精度な日本語解析を実現する日本語自然言語処理オープンソースライブラリ「GiNZA version 4.0」を無料公開しました。 日本語自然言語処理ライブラリ「GiNZA」について 自然言語処理技術とは、私たちが日常的に使っている言語（自然言語）をコンピューターに処理させる一連の技術を指し、検索エンジンや機械翻訳、対話システム、顧客の声分析など、生活・ビジネスにおけるさまざまなシーンで利用されています。 リクルートの研究開発機関・Megagon Labsが開発・提供する「GiNZA」は、機械学習を利用した日本語の自然言語処理に関心があり、日本語に特化した自然言語解析を行いたいと考
チャットボットは自身で開発したプログラム単独で完結できる場合は少なく、何らかのAPIを呼び出すことが多いと思います。（自然言語解析関連、ストレージ関連、翻訳や天気など各種サービス関連・・・） したがって必然的にI/O待ち時間が発生しがちで、非同期処理との相性が良いはずなのですが、LINEBOTに関しては非同期処理のサンプルを全然見かけないので記事にしてみました。 APIクライアントの非同期対応状況について まずもってですが、根っことしてLINE Messaging APIの公式Python SDKが非同期処理に対応していないという状況があります。古いPythonバージョンがまだサポート対象であることが理由のようで、EOLは間近としてもまだしばらくかかりそうです。（2021年1月27日時点） [Feature Request] Asynchronous/Asyncio support ところ
中島みゆきと松任谷由実の歌詞を言葉の出現頻度と高頻出ワードの類似ワードで比較してみる - 身近な日常をやんわりデータサイエンスしてみよう
自然言語処理、テキストマイニングに関するプログラムのライブラリが多く公開されてきて、PythonやRなどによるプログラミングのスキルさえ習得すれば、大量の文章から言葉と言葉の関係、文章と文章の関係などを誰でも容易く分析することができるようになっています。 データサイエンスは情報と情報を科学的(統計解析など）に比較する手法です。好きな、個性的なミュージシャンの曲を比較するのは面白くもあり、楽しいです。 歌詞の頻出ワードをwordcloud表示 今回は、私と同年代(やや年上ですが)の中島みゆき600曲と松任谷由実415曲の歌詞を、出現するワードの頻度でwordcloud表示してみました。出現頻度が高いほど大きく表示されています。 中島みゆきと松任谷由実の歌詞の頻出ワードで大きな違いは"人"です。 中島みゆきは"人"を歌っていらっしゃるようです。 頻出ワードランキング 頻出ワードランク5位までを
日々、人々により新しい製品やサービスが誕生し、世界中の多くの人々が利用しています。 開発者の皆さんが開発するモノにより、世界の人々の生き方、働き方が変わっているのです。ですので、我々は必ず2つの質問を問う必要があります。まず、1つは「何が開発できるか？」そしてより重要なのが「世界は何を求めているのか？」 マイクロソフト自身も同じです。会社が47年前にでき、素晴らしい機会の時期でもありつつ、クライシスが発生した時期でもあります。同じ月にAltair 8800が発表されたの同時に、Newsweekではインフレ・経済の停滞・エネルギー不足について語られていたのです。我々の創業者はこの左の雑誌を手にして、世界で愛される様々なツールを提供しました。2022年の今、我々は両方の雑誌を手に持ち、「関連付ける」必要があるのです。それが我々の包括的な機会であり、責任でもあります。 そこで「 何が開発できるか
エンジニア向けのニュースアプリを作った【個人開発】
要約 エンジニア向けのニュースアプリをFlutterで作った。 毎日Zenn、Qiita、noteやそのほか海外のテックメディアを開くのが面倒。 RSSフィードで登録していくのもいいが面倒だし、時に不要な情報もある。 個人に最適化されたニュースを提供し、エンジニアの日々の情報収集を効率化させることを目的とした個人開発アプリを作ることにした。 スマホアプリ開発言語はFlutter,バックエンド言語はPython、インフラはGCPのCloud FunctionsとFirebaseを利用。 背景と課題 わたしたちエンジニアは毎日チェックすべき情報が多すぎる。毎日Zenn、Qiita、noteやそのほか海外のテックメディアをひらいて、不要な情報の中で自分に関連するような情報を見つけて確認する作業をしているとあっという間に１時間が経過してしまう。おそらく、わたしたちが重要な記事に辿り着いて読んでいる
自然言語解析の“非常に革新的”な歴史の変化 「文章の特徴を捉える」から「文章を理解して解釈する」へ Teamsチャットボット開発：Azureを使って安全に社内文書を引用できる 自己紹介と、本セッションの概要 北爪聖也氏：では「Teamsチャットボット開発：Azureを使って安全に社内文書を引用できる」ということについて発表します。 簡単に自己紹介をします。株式会社piponの代表をやっている、北爪と申します。piponという会社は、さまざまなデータ解析やシステム開発の受託をしている会社です。人工知能学会に論文を提出したり、バイエル薬品という製薬会社さまとのオープンイノベーションプログラムに採択いただいたりしている会社になります。 ということで今回は、「ChatGPT」と「Teams」などのビジネスチャットを連携することでどんなボットが作れるかを解説したいと思います。 さらに、RAG（Ret
今年2回目となる、Microsoft Ignite が11月2日より開催されました。この投稿はMicrosoft Corporation Satya Nadella の基調講演をまとめたものです。 過去1年半による影響により、組織は大きく変わりました。医療ではテレビ会議を通じた医療サービス、金融ではデジタルウォレットの普及、小売ではコンタクトレスショッピングやデリバリーサービスなどです。 デジタル変革は急務となり、小中大と規模を問わず、生産性をデジタル技術により高め、Tech Intensity（テクノロジーの密度）を高めることでコストの削減にもつながります。現在、根本的にはモバイル・クラウドの世界から、ユビキタスコンピューティングの時代へと変わりつつあるのです。 これから先10年のデジタル変革は、過去40年のデジタル変革の量に匹敵します。 それではトレンドにお話します。まず、ハイブリッド
ＡＧＣ、FRONTEOと共同でAI Q＆Aシステム「匠KIBIT」を開発ガラス製造の匠をコンピューター上で実現 ＡＧＣ株式会社（本社：東京、社長：島村琢哉 以下、ＡＧＣ）と株式会社FRONTEO（本社：東京、社長：守本正宏 以下、FRONTEO）は、コンピューター上にガラス製造の知見を集約し、AIを用いて簡単にその知見を引き出すことができる、AI Q＆Aシステム「匠KIBIT」を共同で開発しました。ＡＧＣの国内ガラス製造拠点中心に運用を開始しており、今後は欧州を含む世界中のＡＧＣのガラス製造拠点に、本システムの展開を検討しています。 AI Q＆Aシステム「匠KIBIT」 「匠KIBIT」使用時の様子 ガラス製造は、溶解・成形・加工などの複数の技術が組み合わされており、操業には独自の高い技術力が必要です。技術力が他社との差別化に繋がっている一方、各工場が蓄積したノウハウの共有や、熟練技術者か
2020年10月28日〜30日の3日間にかけて開催された「第11回 Japan IT Week 秋」。業界のキーパーソンによる講演に、多くの人が耳を傾けました。本記事では、その1つである「デジタル時代のAI活用 事業会社におけるAIの活用事例と成功のポイント」を掲載。富士通クラウドテクノロジーズ株式会社 ビジネスデザイン本部 データデザイン部 部長 西尾敬広氏が「『AIの価値』を決める、3つのポイント」などについて語りました。 事例：クラウドにアップされた画像から、口臭を判定 西尾敬広氏：これは消費財メーカーであるライオンさんの事例です。「NONIO」という口臭ケア商品がありまして、その販促ツールで「NONIO MIRROR」というサービスがあります。みなさんもぜひご利用いただければと思います（笑）。 舌の画像をスマホで撮りクラウド側でその画像を解析し、みなさんの口のニオイのレベルを判定し
スクレイピング・ハッキング・ラボ Pythonで自動化する未来型生活 「スクレイピング・ハッキング・ラボ Pythonで自動化する未来型生活」発行主旨・内容紹介 「スクレイピング・ハッキング・ラボ Pythonで自動化する未来型生活」目次 「スクレイピング・ハッキング・ラボ Pythonで自動化する未来型生活」Amazonでの購入はこちら 「スクレイピング・ハッキング・ラボ Pythonで自動化する未来型生活」楽天市場での購入はこちら スクレイピング・ハッキング・ラボ Pythonで自動化する未来型生活 インプレスグループで電子出版事業を手がけるインプレスR&Dは、技術書典や技術書同人誌博覧会をはじめとした各種即売会や、勉強会・LT会などで頒布された技術同人誌を底本とした商業書籍を刊行し、技術同人誌の普及と発展に貢献することを目指し最新の知見を発信する技術の泉シリーズ2020年9月の新刊と
言語には自然言語と人工言語の2種類がある。 自然言語とは人が意思疎通を目的として、生活の営みの中で自然に発展させてきた言葉をいう。一方、人工言語はプログラミング言語や数式をいう。 両者の違いは何かというと、曖昧さがあるかどうかだ。 人工言語は「1+1=2」というようなもので、曖昧さが無い。そのため、人によって解釈が変わることはない。 しかし、自然言語の場合はどうか。例えば「高い」という言葉を例にとってみると様々な解釈ができるはずだ。物の位置が「高い」、金額が「高い」、程度が「高い」など。 とはいえ、「富士山は高い」という時、富士山はお金のかかる商品だ、と解釈することはあるだろうか。恐らく日本人であれば無いはずだ。 解釈がブレない理由は、日本人のほとんどが「富士山」という文字を目にしたときに、静岡県と山梨県にまたがる「山」をイメージすることができ、かつ、様々な意味があるなかで、物の位置が「高
要約 エンジニア向けのニュースアプリをFlutterで作った。 毎日Zenn、Qiita、noteやそのほか海外のテックメディアを開くのが面倒。 RSSフィードで登録していくのもいいが面倒だし、時に不要な情報もある。 個人に最適化されたニュースを提供し、エンジニアの日々の情報収集を効率化させることを目的とした個人開発アプリを作ることにした。 スマホアプリ開発言語はFlutter,バックエンド言語はPython、インフラはGCPのCloud FunctionsとFirebaseを利用。 背景と課題 わたしたちエンジニアは毎日チェックすべき情報が多すぎる。毎日Zenn、Qiita、noteやそのほか海外のテックメディアをひらいて、不要な情報の中で自分に関連するような情報を見つけて確認する作業をしているとあっという間に１時間が経過してしまう。おそらく、わたしたちが重要な記事に辿り着いて読んでいる
Metaは大規模AI言語モデル「OPT-175B」を開発、これを無償で提供することを発表、オープンサイエンスの手法でAIの危険性を解明する
Metaは大規模なAI言語モデル「Open Pretrained Transformer (OPT-175B)」を開発し、これを無償で提供することを明らかにした。世界の研究者は、最先端のAIを自由に使うことができ、これにより自然言語解析の研究が進むことが期待される。AIモデルは、その規模が拡大すると、アルゴリズムが新たなスキルを習得することが知られている。同時に、アルゴリズムが内包する危険性が増大し、社会に甚大な被害を及ぼすことが問題となっている。Metaはオープンサイエンスの手法で研究を進め、AIの危険性を解明することを目指している。 OPT-175Bとは Metaが開発したOPT-175Bとは大規模な言語モデルで、自然言語解析(Natural Language Processing)と呼ばれる言葉を理解する機能を持つ。OPT-175BはTransformerベースの言語モデルで、Met
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
国会議員のTweet40万件分析して支持すべき政治家を探してみた - エルの楽園
2021年に作ったモノや技術をふりかえる - laiso
【保存版】課題から探すAI・機械学習の最新事例57選 | 宙畑
音楽生成AIの進化速度に舌をまく、無料でも試せるStable Audio 2.0を使う (1/2)
ChatGPTではじめる新しいLINE Botの作り方 - Qiita
ゼロからはじめるPython(58) 読み放題のネット小説をネガポジ判定で評価してみよう
React Summit Remote Edition まとめ(前編)
BERTを使ったMLバッチ処理実サービスのアーキテクチャとMLOpsの取り組み
社内文書をBERT使用の技術でテキスト解析、欲しい資料を1枚単位でレコメンドするサービス発表 | Ledge.ai
「私のタイムラインでは投票率100％なのに」は本当に100%なのか - nomolkのブログ
高まるデータ分析の重要性とそれを支えるAWS | gihyo.jp
イノベーションを阻害するCOBOL的思考の呪縛を解き、若手を呼び込むには
JR東、運行管理にAI・クラウド導入 過去の事故情報など学習、有事に対応策をレコメンド
ChatGPTプロンプトエンジニアリングとUI/UXデザイン｜緒方 壽人 (Takram)
ハイパーパラメータとは？チューニングの手法を徹底解説（XGBoost編）
FastAPIで非同期処理に対応したLINEBOTを開発する - Qiita
Microsoft Build 2022 キーノートまとめ - 吉田の備忘録
自然言語解析の“非常に革新的”な歴史の変化 「文章の特徴を捉える」から「文章を理解して解釈する」へ
Microsoft Ignite 2021 秋の基調講演まとめ - 吉田の備忘録
ＡＧＣ、FRONTEOと共同でAI Q＆Aシステム「匠KIBIT」を開発
「ベテラン辞めたらどうする問題」をAIで解決できるか？ 非属人化を目指し、技術継承が進む背景
Python使用Webスクレイピングテクニック解説本 - mojiru【もじをもじる】
コンピュータはどうやって自然言語解析をしているのか | IoT NEWS
エンジニア向けのニュースアプリを作った【個人開発】 - Qiita