こんにちは。GMO NIKKOのH.Tと申します。 GoogleからNotebookLMというサービスが出ましたので触ってみました。 NotebookLMの使い方 NotebookLM は簡単にはじめることができます。 NotebookLM にアクセスし、新しいノートブックを作成します。 そして自分が作成したいプロジェクトのための参照資料をアップロードすると、読み上げやブリーフィングシートの作成、FAQ、アイデアの整理などが可能になります。また、NotebookLM に質問して、すべてのソースの概要 ( 学習ガイドや目次など ) を自動的に作成することもできます。 Googleのブログより やってみた 早速使ってみました。 まず、上図のTry NotebookLMをクリックしますと以下のような画面が開きます。 「新しいノートブック」をクリックします。 あらかじめ青空文庫より「吾輩は猫である

こんにちわ。 GMO NIKKOのT.Mです。 Google AI Studioとは Google AI Studioは、GoogleのAIモデルであるGeminiを使ってプロンプトの検証やモデルのチューニングなどが行える開発ツールです。Gemini APIのAPIキーの取得もできます。 Google AI Studioの始め方 Googleアカウントがあれば始められます。 企業などでGoogle Workspaceを使っている場合は、「早期アクセスアプリ」を有効にする必要がありました。システム管理者に相談してみましょう。 Google AI Studioの起動 Google AI Studioの公式ページから「Google AI Studioにログイン」ボタンを押せば、画面が開きます。 ログインするとGoogle AI Studioが開きます。 クイックスタート クイックスタートのドキュ

こんにちは、GMO NIKKOのM.Hです。 この度、第38回人工知能学会全国大会（以下、JSAI大会）に2日間参加してきました。JSAIは日本国内では最大規模となるAI学会の大会となり、1年に1回開催されております。 今回は出展側としてではなく聴講側として参加し、その中で非常に興味深い発表がいくつかありましたので、そのハイライトをいくつかご紹介しようと思います。 はじめに 本記事の内容は筆者の個人的な感想や理解に基づくものです。 本記事で言及している論文・講演に対する認識と理解は全て筆者によるものであり、誤りを含んでいる可能性があります。 JSAI大会について 人工知能学会とは、AIに関する研究の進展と知識の普及を図り、その発展に寄与することを目的として設立された学会です。その学会が開催する全国大会は、主軸となるAIやそれに関連する研究成果の発信や研究のネットワーク形成の場として毎年1回

はじめに GMO NIKKOの吉岡です。 みなさん、生成AIは活用してますか？ ChatGPTに始まり、Claude3やGeminiなど、実用的なAIがどんどん出てきてますね。 自分も使ってはきましたが、課金が気になってしまいます。 これではサービスに組み込むことは難しいですよね。 そのためローカルで動くLLMを追ってきましたが、今年に入って実用的な日本語を返すことができるモデルがいくつか出てきているので、サーバー構成からインストール方法、LLMの起動まで紹介しようと思います。 ローカルLLMを動かす上で一番重要なのはGPUのVRAMです。 LLMは7B、13B、70Bモデルが多いですが、量子化しない場合、必要なVRAM容量は動かすモデルの大体2倍なので、13Bモデルでは26GのVRAMが必要です。 NVIDIAのGPUを使ったCUDAが前提になっているのですが、一般向けでは24Gモデルが

この記事は GMOアドマーケティング Advent Calendar 2023 21日目の記事です． はじめに こんにちは．GMOアドパートナーズにてインターンシップとして参加させていただいております，kantayamaです．現在は修士課程2年で，確率ニューラルネットモデルに関する理論研究をしています． インターンシップをしていく中で，マーケティング・ミックス・モデリング（MMM）に興味を持ち，まずは実装してみようということで，Googleが公開しているMMMライブラリ「LightweightMMM」を触ってみました．実際に実務で活用するにはより厳密な解析が必要になるかと思いますが，とりあえずMMMの全体像を掴みたいなと思い実装してみたので今回紹介させていただきます． マーケティング・ミックス・モデリング（MMM）とは 概要 MMMとは，メディア運営や広告掲載など，個々のマーケティング施策

※GitHubアカウントでのログインがあります。これはチームコラボレーションの機能で必要になってくるからとのことです。ログインせずに試せるようにもしていくそうです。 使用感 ダブルクリックでの選択 クリックでのカーソル移動 キーボードショットカット などMacの基本的な操作感のまま直感的に入力できるようになっています。 またtabキーでは通常のタブ補完もできますし、実行コマンドの詳細も確認できたりします。 ブロック コマンドごとにブロックに別れています。そのため コマンドごとに（コマンド、出力、その両方、プロンプト、ディレクトリ）をコピー ブロック内での検索 ブロックで移動できるのでスクロールが少なく済む などがメリットとしてあります。 ブロックごとにコピーできるので共有するときなど捗ります。 コマンドパレット、コマンドサーチ ⌘P でコマンドパレットにアクセスできます。 コマンドパレット

はじめに おはようございます。こんにちは。こんばんは。 GMOアドマーケティングのY-Kです。 前にBERTを使って文をベクトルに変換してからなんやかんやする記事を書いてから約半年が経過したのですが、その間にChatGPTが大きく流行り、言語生成系AIに大きな風が吹きました。 というわけで今回は、OpenAIのEmbeddings APIを利用し、記事タイトルの類似度を見てみようと思います。 準備 今回も例のごとくGoogle Colab上で行います。 https://colab.research.google.com/?hl=ja OpenAIのEmbeddings APIを利用できる様にAPIキーは事前に取得しておいてください。 まずは必要なライブラリを使えるようにします。

こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。前回の記事「AWS SAPを取得したら視野が広がった話」を読んでいただいた方々、ありがとうございます。今回のテーマは「AWSエンジニアから見たGCP」第2弾として、代表的なGCPのコンピューティング系サービスについてAWSと比較し感じた点についてお話いたします。 (第1弾の記事はこちら↓)IaaSCompute EngineAWSではEC2に相当するサービス。各種インスタンスタイプや提供OSイメージ、インスタンス向けのストレージ機能、オートスケール機能など、インスタンスのアーキテ... DWH BigQuery BigQueryはフルマネージドなサーバレスDWHサービスで、Googleが開発した大規模データ向けの分散システムであるDremelを基にしておりSQLクエリを使用して大規模データの分析を行うことができる。さ

この記事は GMOアドマーケティング Advent Calendar 2022 23日目の記事です。 こんにちは、GMOアドマーケティングの平木と申します。 今回は、非エンジニアPdMの自分が、Vertex AIで広告配信用の機械学習モデルを作成してみた体験について書いていきたいと思います。 Vertex AIとは Vertex AIとはGoogle Cloud Platform 上における機械学習プラットフォームで、データの前処理からモデル構築、予測やデプロイまでを一元的に行うことができるプラットフォームです。 Vertex AIのAutoML を使用することで、コードを書かずにGUIベースの操作のみでモデルをトレーニングすることができるため、学習を兼ねて広告配信用の機械学習モデルを作成してみました。 何を予測する機械学習モデルを作成するか 今回は、広告配信用の機械学習モデルとしてより初

はじめに この記事は GMOアドマーケティング Advent Calendar 2022 21日目の記事です。 おはようございます。こんにちは。こんばんは。 GMOアドマーケティングのY-Kです。 今回は、 「最近話題の自然言語処理の機械学習のモデルを自分でも軽く触ってみたい！ でも、難しいこと書かれててわからない(号泣)」 という層に向けて、 数ある自然言語処理モデルの中でも有名なBERTモデルを使って、文同士の意味の類似度を計算するという簡単なタスクを難しいことは極力置いといてやっていきます。 準備 今回もGoogle Colab上で行います。 https://colab.research.google.com/?hl=ja BERTの学習には時間と膨大な学習データ、豊富なインターネットリソースが必要なので、 Hugging Face上で公開されている学習済みBERTモデルを利用してい

この記事は GMOアドマーケティングAdvent Calendar 2022 20日目の記事です。 みなさんこんにちは、GMOアドマーケティングのM.Hです。 今回はXAIの一つである「SHAP」というライブラリについて、自然言語処理向けの機械学習モデルの観点から書いていこうと思います。 はじめに 昨今ではもはや聞き馴染みとなった「機械学習」や「AI」ですが、そのモデルはコンピューティングシステムの計算能力の向上と共に加速度的な速さで複雑化してきています。もちろんそのようなモデルを使ってビジネスに貢献ができれば嬉しいのですが、モデルの中身に関してはブラックボックス化されていることがほとんどで、「何が要因となってこの結果がもたらされたのか？」という部分はなおざりになりがちです。 機械学習のビジネス利用が当たり前に行われるようになった今日では、こういった原因や要因に関して人間がわかる形で示そう

はじめに おはようございます。こんにちは。こんばんは。 GMOアドマーケティングのY-Kです。 今回は機械学習への足がかりとなるような記事を書きたいと思ったので、クラスタリングタスクを通して機械学習の流れを大雑把に書いていこうと思います。 機械学習における基本的な データ分析 -> 予測 -> 評価の流れを体験しつつ、読んでいる間に気になるところがあればそこを深掘りしていくなど、機械学習への興味/勉強の第一歩としていただければと思います。 クラスタリングとは クラスタリングは機械学習における教師なし学習の一種で、データの類似度でデータをグループ(クラスタ)分けする手法のことを指します。 データに対して答えが存在する教師あり学習とは異なり、各データに答えがない状態で学習されるので、クラスタリングによってまとめられたデータのグループが何を示しているのかは解釈が必要となります。 しかしその分、ク

この記事は GMOアドマーケティング Advent Calendar 2021 17日目の記事です。 はじめに おはようございます。こんにちは。こんばんは。 GMOアドマーケティングのY-Kです。 突然ですが、機械学習関連のタスクでこんなことを経験したことはありませんか？ 書籍や論文に載せられている有効的な手法を使用したにもかかわらず、タスクの評価指標(KPI)が向上しない訓練データ上では良い結果だが、本番環境で予測させてみるとそうでもないそもそも、機械学習を用いてタスクを取り組む際、どこから手をつけていけば良いかが分からない 機械学習についての基本的な知識はある(はず)与えられたデータに対して、データ分析〜学習〜予測の一連の作業を行なったことがある(大学の研究、kaggleのコンペ等)が、実際のビジネスの施策として機械学習を用いようと考えた途端に思考が纏まらなくなる 上記のような、ひよっ

この記事は GMOアドマーケティング Advent Calendar 2021 12日目の記事です。 こんにちは、GMOアドマーケティングのS.Rです。 機械学習エンジニアとしてよくある開発はレコメンダーシステムの構築になります。今日は皆さんへTensorFlow Recommenderで簡単に映画レコメンダーシステムを構築する方法を紹介します。 TensorFlow Recommenderとは TensorFlow Recommender（TFRS）は、レコメンダー システムを構築するためのライブラリです。 TensorFlow Recommenderで学習データの準備、モデルのトレーニングと評価まで簡単に作業が行えます。 モデルの簡単な説明 TensorFlow Recommender の基本モデルはユーザーが商品を購入する履歴を利用してレコメンド結果を作成することです。 Colabの

この記事は GMOアドマーケティング Advent Calendar 2021 8日目の記事です。 こんにちは。GMOアドマーケティングのS.Rです。 今回はJumanppと構文分析のツールKNPを連携する方法を皆さんへ紹介します。 KNPとは 構文解析については京都大学黒橋・ 褚・ 村脇 研究室の公式サイトで下記のように紹介されています。 KNPは同じく京都大学橋・ 褚・ 村脇研究室で開発されている日本語の構文解析を行うシステムです。 形態素解析システムJUMANの解析結果(形態素列)を入力とし、文節および基本句間の係り受け関係，格関係，照応関係を出力することができます。 引用元 | 京都大学大学院情報学研究科知能情報学専攻黒橋・褚・村　脇研究室 (https://nlp.ist.i.kyoto-u.ac.jp/ ) ColabのInstanceを作る 今回はGoogleのMachine

はじめにこんにちは。GMOアドマーケティングのKONCEです。新卒で入社し、数年経ちました。日々の業務で学ぶことは多いですが、今年度は技術の深堀りをテーマにやっていきたいと思っています。今回は入社してDBやSQLに関しては業務内で学ぶことが多く、特別訓練をしていたわけではなかったのですが、「SQLアンチパターン」を用いて学びながら、改めて自分の現状を見つめ直していけたらと思います。今回は学習を行う側面と自分自身のレベルについて見直していきたいので 知っていた → ○ 部分的に知っていた → △ 知らなかった → ... 今回は後編です。 今回も 知っていた → ○ 部分的に知っていた → △ 知らなかった → × を付けてみようと思います。 目次 SQLアンチパターンについて Ⅲ部 クエリのアンチパターン 2-1. [△]13章 フェア・オブ・ジ・アンノウン（恐怖のunknown） 2-2

はじめに こんにちは。 GMOアドマーケティングのKONCEです。 新卒で入社し、数年経ちました。日々の業務で学ぶことは多いですが、今年度は技術の深堀りをテーマにやっていきたいと思っています。 今回は入社してDBやSQLに関しては業務内で学ぶことが多く、特別訓練をしていたわけではなかったのですが、「SQLアンチパターン」を用いて学びながら、改めて自分の現状を見つめ直していけたらと思います。 今回は学習を行う側面と自分自身のレベルについて見直していきたいので 知っていた → ○ 部分的に知っていた → △ 知らなかった → × を付けてみようと思います。 目次 SQLアンチパターンについて Ⅰ部 データベース論理設計のアンチパターン 2-1. [○]1章 ジェイウォーク（信号無視） 2-2. [×]2章 ナイーブツリー（素朴な木） 2-3. [○]3章 IDリクワイアド（とりあえずID） 2

この記事は  GMOアドマーケティングAdvent Calendar 2020   23日目の記事です。 みなさんこんにちは、GMOアドマーケティングのM.H.と申します。 突然ですがみなさんは機械学習する時にどのような環境で実行していますか？Google Colaboratoryでは、制限はありますが無料でTPUを使用し、高いパフォーマンスで学習を進めることができます。 今回はこのTPUを使って、モデル内のハイパーパラメータを自動で探索してくれるKeras Tunerを使っていく方法と注意点についてお話しします。 そもそも、TPUとは TPU(Tensor Processing Unit)とは、Googleが開発した機械学習特化型のプロセッサのことで、基本的にGPUよりも高速で学習を進めることができます。計算量が多く、バッチサイズが大きい場合に特にその効果を発揮します。 私たちがこのパワ

この記事は GMOアドマーケティング Advent Calendar 2020 4日目の記事です。 はじめ こんにちは。 GMOアドマーケティングのS.Sです。 時系列データの中には、株価のreturnデータのように変動の大きさが時間とともに変動するようなものがあります。 今回の記事ではARCHモデルを使って、時系列データの変動の大きさを見積もってみたいと思います。 データの準備 大きく株価が変動するようなイベントというと、2008年のサブプライム危機があったので、その時期の変動の大きさの変化をある程度モデルでも捉えることができればよさそうということにします。 サブプライムの直前の時期のアップルの株価データがmatplotlibのサンプルに含まれているので、以下からダウンロードします。 株価のlogarithmic differenceをとるのは大雑把に日次の変化率を計算するためです。 h

こんにちは、GMOアドマーケティングのS.Rです。 日本語のNLP（自然言語処理）で形態素解析は大切な処理の１つとなります。 今回は、形態素解析ツール「MeCab」へWikipediaの辞書を追加する方法を紹介します。1. 日本語の形態素解析ツールMeCab MeCabは日本語の形態素解析ツールです。詳細はWikipediaの説明をご覧ください。 MeCabはオープンソースの形態素解析エンジンで、奈良先端科学技術大学院大学出身、現GoogleソフトウェアエンジニアでGoogle 日本語入力開発者の一人である工藤拓によって開発されている。名称は開発者の好物「和布蕪（めかぶ）」から取られた。 MaCab、2019年09月17日、ウィキペディア日本語版、https://ja.wikipedia.org/wiki/MeCab 2. 「MeCab」へWikipediaの辞書を追加する方法の説明 1)