「分析コンペLT会」は、KaggleやSIGNATEなど、データ分析のコンペに関連するLT（ライトニングトーク）を行う会です。久保田氏はデバッガの必要性と、jupyter notebookでのdebug方法について発表しました。 debug力があれば軽減されるノートブック入門のあるある 久保田史洋氏（以下、久保田）：今日は5分のLT（ライトニングトーク）なので、5分で終われるかがちょっと不安ですが、急ぎ足で「jupyter notebookでのdebug入門」というタイトルで発表します。よろしくお願いします。 自己紹介も短めです。「Twitter」「Kaggle」を「fkubota」という名前でやっています。バンドルカードの株式会社カンムで、機械学習エンジニアをやっているKaggle Expertです。 コンテンツは、主にビギナーに向けて話します。2本立てで、「debugについて」「jup
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
どんなアプリ？ みんな大好き「いらすとや」さん 記事の挿絵に使ってみたいけれども、適切な画像を探すのに苦労していませんか？ 検索キーワードを何にしようか迷ったり、一つ一つ検索するのは面倒だなぁとか。 そんな苦労を解決してくれる、 ドキュメントの文章をまるっと全部与えると、自動で特徴的なキーワードを見つけてくれて、そのトピックに合った画像を「いらすとや」さんから探してきて、文章中に埋め込んでレコメンドしてくれるアプリを作ってみました。 例えば、下図のように北大路魯山人「だしの取り方」の文章を全部与えると、「鉋（カンナ）」や「だし」などの特徴的なキーワードを自動抽出して、それに合った挿絵を適した位置にレコメンドしてくれ、簡単に挿絵入りの文章を作れます。 加えて、レコメンド完了までの所要時間は数秒です。簡単かつ高速！ 以下、このアプリの作り方について解説していきます。 なお、本記事はあなたの文章
機械学習・ディープラーニングの学習を入門レベルで挫折しないために - orangeitems’s diary
入門レベルで挫折しないために 初心者が無料で勉強できる良教材いろいろまとめを読み、AIを支える技術、具体的には機械学習やディープラーニングについて興味を持ったので入門記事を読み進めてみました。具体的にはChainer Tutorialです。 tutorials.chainer.org このチュートリアルは、機械学習やディープラーニングの仕組みや使い方を理解したい大学学部生以上の方に向けて書かれたオンライン学習資料です。 とはじめに書いてあったので大丈夫か‥と。 おそらく読み進められた方もいらっしゃると思うのですが、「うーんわからん」と離脱するポイントがいくつも見えましたのでまとめておきます。読み進める前に本記事を読めば離脱が防げるかもしれません。 学習を進める上で重要なポイント Chainer Tutorialの意義（全体を通して） AIを「使う」ために、ここまで詳しい数学やPython・
OpenAI GPT-3 APIの使い方を解説
アカウントが作成できたらログインします。 そして、Anaconda Promptなどからpipでopenaiというライブラリをインストールします。 pip install openai Google Colaboratoryでも大丈夫です。 Google Colaboratoryであれば !pip install openai ですね。 そして、以下のモジュールをインポートします。 import os import openai API keyを設定します。 API keyはログインしたあと右上の"Personal"から"View API keys"をクリックすることで確認することができます。 そのAPIを以下のようにopenai.api_keyに設定します。 API_KEY = "受け取ったAPI key" openai.api_key = API_KEY これで前準備ができました。 文
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
【AIアプリ開発の決定版】Colaboratory+VSCodeによる最小工数の機械学習環境構築手順の紹介 | さくらのナレッジ
こんにちは! テリーです。先日NVIDIA GTCというイベントがありました。GPUテクノロジーカンファレンスの略です。NVIDIAが進めている最新の技術と商品を紹介しているため、AI、動画、音声、その他あらゆる高速コンピューティングのトレンドを理解することができます。年々紹介する分量が増えてきていましたが、今年は特に量が多かった印象です。 さて、機械学習エンジニアやストリーミングエンジニアの諸氏におかれましては、開発環境の維持コストに頭を悩ませている方も多いことでしょう。なぜなら、あまりにも技術の進歩が激しく、去年50万円も出して購入したGPUパソコンでさえ、今年の新商品に搭載されている機能が使えないということが毎年のように繰り返されているからです。最新のGPUとパソコンを渋々買い替えている人が多いと思いますが、セットアップも中古売却もめんどくさいです。なんとかならないでしょうか? 今回
無料でAIがイラストを自動で色別レイヤーに分割してPhotoshopやクリスタで読み込めるようにしてくれる便利ツール「layerdivider」インストール＆使い方まとめ
AIによって1枚のイラストを色や明るさに応じて自動でレイヤーにわけてくれるツール「layerdivider」を、抹茶もなかさんが無償で公開しています。ブラウザのUIにイラストを読み込ませてボタンをクリックするだけでレイヤー分けしてくれるだけでなく、Adobe PhotoshopやCLIP STUDIO PAINTで読み込めるPSD形式のデータにも出力してくれるとのことで、実際にローカルPCにインストールして使う方法をまとめてみました。 GitHub - mattyamonaca/layerdivider: A tool to divide a single illustration into a layered structure. https://github.com/mattyamonaca/layerdivider ・目次 ◆1：Pythonのインストール ◆2：Gitのインストール
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
2022年版：実務の現場で働くデータサイエンティスト向け推薦書籍リスト（初級5冊＋中級8冊＋テーマ別14冊） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by ElasticComputeFarm from Pixabay) 今年も恒例の推薦書籍リストの季節がやって参りました。……なのですが、相変わらず続くCOVID-19の影響*1でデータ分析業界及び隣接分野の新刊書を読む機会が減ったままにつき、例年とほぼ同じラインナップになっている点、予めご容赦いただければと思います。 初級向け5冊 総論 R・Pythonによるデータ分析プログラミング 統計学 機械学習 中級向け8冊 統計学 機械学習 テーマ別14冊 回帰モデル PRML 機械学習の実践 Deep Learning 統計的因果推論 ウェブ最適化 ベイズ統計 時系列分析 グラフ・ネットワーク分析 SQL コメントなど 初級向け5冊 初級向け書籍リストはあまり出入りがないのが通例ですが、今回も微妙に入れ替わりがあります。 総論 AI・データ分析プロジェクトのすべて[ビジネス力×
ONNXモデルのチューニングテクニック (基礎編)
基礎編 / 応用編１ / 応用編２ サイバーエージェント AI Lab の Conversational Agent Teamに所属している兵頭です。今回は私が半年ほど蓄積したONNXのチューニングテクニックを全てブログに残したいと思います。皆さんが既にご存知であろう基本的なことから、かなりトリッキーなチューニングまで幅広くご紹介したいと思います。長文になりますがご容赦願います。 このブログのメインターゲット層は「リサーチャーが実装したモデルを実環境へデプロイするタスクを有する方々」です。一部リサーチャーの方々の参考になる情報が混じっていることもあるかもしれませんが、あまり興味を引かない内容だとは思います。リサーチャーメインの組織に属しながらリサーチエンジニアの立ち位置で身を投じていますので、研究の観点の少し手前あるいは少しその先の部分を担っている立場からこのブログを記載しているものとご認
画像生成AI「Stable Diffusion」で絵柄や構図はそのままで背景や続きを追加する「アウトペインティング」などimg2imgの各Script使い方まとめ
2022年8月に一般公開された画像生成AI「Stable Diffusion」をユーザーインターフェース(UI)で操作できる「AUTOMATIC1111版Stable Diffusion web UI」は非常に多機能である上にものすごい勢いで更新されており、Stable DiffusionのUIツールとしては記事作成時点で決定版といえる存在です。そんなAUTOMATIC1111版Stable Diffusion web UIでは、画像から画像を生成できる「img2img」に便利なScriptが用意されているので、実際に使ってみました。 GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI https://github.com/AUTOMATIC1111/stable-diffusion-webui AU
「実践的データ基盤への処方箋」から読み解く「データを扱うビジネスパーソン」のキャリアパス - Lean Baseball
なんやかんやで, ITコンサルタント（復帰）生活から半年経ったマンです. マネジメントからアーキテクチャ, はたまた技術的なLTまでやらせてもらえて楽しく過ごしております*1. 昨年の話になりますが, コミュニティーやその他の活動で色々とお世話になってる @yuzutas0さん達が執筆しました, 「実践的データ基盤への処方箋」を頂戴いたしました. 実践的データ基盤への処方箋〜 ビジネス価値創出のためのデータ・システム・ヒトのノウハウ 作者:ゆずたそ,渡部 徹太郎,伊藤 徹郎技術評論社Amazon ひと言で言うと, データ活用のためにこういう本が欲しかったんや！！！ というくらい良著で, データ活用に必要な「人・組織・アーキテクチャ」をいい感じに網羅的に扱っていて良きでした（と, 読み終えた時の感想ツイートがそう言ってました）. データを扱う人すべてにおすすめしたい一冊です 読み終えた後も,
ランサーズ Advent Calendar 2020 24日目の記事です。 昨日は まなみん さんの 「思考発話法でUXリサーチをしてみた話」 でした。 概要 社員ではなく、1人のフリーランス人材（ランサー）として、ランサーズ社を手伝っています。 「こんなことをやってきたよ！」という話を、書ける範囲で書きます。 CRM（顧客管理）x データ活用 の案件を主に担当しています。 注意 本稿は筆者個人の見解に基づく内容であり、関係組織を代表するものではありません。 不適切・考慮不足だと感じさせてしまう点があれば、それは筆者個人の責任によるものです。 どうぞ筆者個人宛てにご指摘のコメントをいただけますと幸いです。 もくじ 概要 注意 もくじ きっかけ 案件1:顧客セグメント可視化 案件2:社内システム改善 案件3:オープンデータ活用 その他:データプラットフォームのメンテナンス性向上 意識している
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
今回は、仕事で使うことを主眼において、PythonとExcelを比較してみよう。結論から言えば、適材適所で用途に応じて使い分けるのがベストだ。とは言え、どのような場合にPythonを使うと良いのか考察してみよう。 Python vs Excel - 五番勝負 第一回戦 - どちらが気軽に使えるか？ 最初に、PythonとExcelで「どちらが気軽に使えるか」を比べてみよう。言うまでもなく、Excelを使う時は、スプレッドシートのセルにデータを入力し、マウスで操作を選んでいくというスタイルだ。これに対して、Pythonはエディタでプログラムを書いて実行するか、Jupyter NotebookやColaboratoryなどの対話実行環境を開いて、プログラムを記述していくというスタイルだ。 ExcelはGUIで操作を行う Pythonはエディタや対話環境を開いてプログラムを記述していく やはり、
日本語BERTモデルをPyTorch用に変換してfine-tuningする with torchtext & pytorch-lightning - radiology-nlp’s blog
TL;DR ①TensorFlow版訓練済みモデルをPyTorch用に変換した (→方法だけ読みたい方はこちら) ②①をスムーズに使うための torchtext.data.Dataset を設計した ③PyTorch-Lightningを使ってコードを短くした はじめに 日本語Wikipediaで事前学習されたBERTモデルとしては, 以下の2つが有名であり, 広く普及しています: SentencePieceベースのモデル (Yohei Kikuta さん提供) TensorFlow版 Juman++ベースのモデル (京大黒橋研提供) TensorFlow版 PyTorch版(Hugging Face transformers準拠) このうち, SentencePieceベースのものは現在TensorFlow版のみの提供となっており, PyTorch版は存在しません。 そのため, 私のよう
はじめに：SEOにユーザー行動は必要？ ※この記事は、2022年の年末に実施されたISM LT祭りにおいて、筆者が話をした「Land&Surf分析って何やるの？どうすればいいの？」の詳細解説記事になります。 はじめましてJADEの山田です。 皆さんは、こんな話聞いたことありませんか？ 「今のSEOにはユーザー行動が重要だ！」 「直帰率や、回遊率がランキングに影響を与えている！」 SEO担当者の方でしたらこういった話を耳にしたことがあるかもしれません。 では、本当に重要なのでしょうか？ もし重要だとしたら、どういう分析を行いますか？どういう施策を打ちますか？ ここまで答えられる方はそんなに多くないのではないかなと思っております。 そこで今回のブログでは以下の2つについてお話をしたいと思っております。 SEOにおけるユーザー行動の重要性について ユーザー行動の分析方法 SEOにおけるユーザー行
今年の3月から機械学習の勉強を始めて9ヶ月たったのでその振り返りと今後機械学習に入門する人の参考になればという記事です。 巷の記事だと「数学何もわからない人向けの機械学習~」みたいなものが多いので「数学チョットワカル人向け」に勉強方法をまとめてみようと思いました。 前提として筆者は大学で数学を専攻しており、社会人になってからはプログラミングを生業としております。 # 前提知識のおさらいいきなり機械学習入門～のような書籍に入る前に、基礎知識としてこの辺を抑えておくと良いと思います。 ## 線形代数:大学1年レベル機械学習の説明はほとんど行列の計算として表現されますので大前提として。手を動かして計算問題を解くのもおすすめです。 プログラミングのための線形代数 https://www.amazon.co.jp/dp/4274065782 ## 基礎統計(頻度主義):大学1年レベル正規分布や指数分
はじめに 〜衛星データとは〜 人工衛星データとは、人工衛星を利用した“リモートセンシング”によって取得されたデータを指します。 これまで人工衛星データは専門ツールや大容量データ処理基盤が必要なため、利用できる組織は大学機関や一部の専門機関が限られていましたが、昨今のオープンソース・ライブラリの普及やデータ処理基盤のクラウド利用により、一般組織でも気軽に人工衛星データを扱える外部環境が整ってきました。 衛星データを利用することで、これまで取得することができなかった様々な場所・時間・対象の状態をビッグデータで解析することが期待できます。 そこで本記事では、どの様にデータを扱うのかを、衛星データ解析の専門ツールを利用せず（最も身近なツールの一つであるpythonを利用）、誰でも気軽に試すために無償で利用方法を紹介していきたいと思います。 また、今回はビジネスや社会実装に利用イメージが沸きやすい衛
MediaPipe と TensorFlow.js を使ってブラウザで顔と手をトラッキングする
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
3月2日に開催された、分析コンペ 勉強会で、「Colaboratoryで分析コンペをする時のテクニック集」として発表をしました。 speakerdeck.com この記事では、その内容を書きたいと思います。 Colaboratoryテクニック9つ 1. テーマの設定（darkモード等）、エディタの設定（インデント幅等） 2. ColaboratoryかKaggleNotebookか判別 3. Notebook名を取得 4.Google Driveのファイルへのアクセスを許可 5.学習する際は、MyDriveはなるべく使わない 6.a Kaggle Apiを使用する 6.b データのKaggleDatasetsへのアップロード 7 Mydriveからのweightのロードが遅い場合 8 Githubのrepositoryをclone public repositoryをcloneする場合 p
「Kaggleに挑む深層学習プログラミングの極意」は超実践的でKaggleをしない人にも役立つ書籍でした - karaage. [からあげ]
「Kaggleに挑む深層学習プログラミングの極意」献本いただきました 出版社様より「Kaggleに挑む深層学習プログラミングの極意」を献本いただきました。 Kaggleに挑む深層学習プログラミングの極意 (KS情報科学専門書) 作者:小嵜 耕平,秋葉 拓哉,林 孝紀,石原 祥太郎講談社Amazon もともと著者の1人である u++ (id:upura)さんがブログで紹介していたときから、絶対読みたかった本だったので、献本素直に嬉しかったです。 今のところ、興味のあった1〜3章まで手を動かしながら読んで、4章、5章はざっと目を通したといったところですが、凄い良い本という手応えを得ていますので、紹介したいと思います。 「Kaggleに挑む深層学習プログラミングの極意」レビュー 最初に、自分自身のレベル感を書いておくと、AIはほぼ趣味で勉強しています（仕事でも、一応最近ちょっとだけ使った経験あり
![「Kaggleに挑む深層学習プログラミングの極意」は超実践的でKaggleをしない人にも役立つ書籍でした - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/4018a95d99fa914eb62e9e998c6ee90dab249b0e/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20230201%2F20230201003729.jpg)
PFNが提供する教育コンテンツについて - Preferred Networks Research & Development
PFNフェローの丸山（宏）です。2月にプログラミング教育についてのブログを書きました。またそれに合わせて制作した教材を利用して、6月に弊社カフェテリアで、小学生を対象にした体験教室を開催しました。この体験教室については、丸山（史郎）がロボットカーの体験教室について、西澤が火星語翻訳を題材にした教材について書いています。今回、山梨大学と共同で、高専・大学学部向けの教材 ロボットカーで学ぶ深層学習の基礎 を開発しました。このブログでは、これら一連の教育関連の活動について、その意義と全体像をもう一度整理してみたいと思います。 また、付録に、現在PFNが提供する教育用コンテンツのリストがありますので、そちらもご利用ください。 古典的プログラミング 2016年に文部科学省が主宰する「小学校段階における論理的思考力や創造性、問題解決能力等の育成とプログラミング教育に関する有識者会議」は、議論の取りまと
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
月3000枚の墓石写真を自動で名前消し “AIに無関心”だった元石材屋の社員がエンジニアと業務AIを作るまでの一部始終
元石材屋の女性がIT企業に転職。エンジニアと協力してAIを開発し、墓石情報サイトの業務削減に成功する──Webサービスの開発を手掛けるエイチームライフスタイル（名古屋市）で実際にあった出来事だ。 キーパーソンは、同社で墓や葬儀に関する情報サイト「ライフドット」の運営に携わる小野寺智子さん（ライフエンディング事業部）。もともとは石材屋でチラシ作りなどの仕事をしており、AIには関心がなかったという。そんな小野寺さんがどういった経緯でAIによる業務削減を実現できたのか。そのきっかけは親会社であるエイチームがグループ全社で行った社内研修にあったという。 サイトに掲載する写真の加工作業に手間と時間が 小野寺さんは2年前の2019年、「もっとWebに携わる仕事がしたい」と考えエイチームライフスタイルに転職。務めていた石材屋がライフドットと提携していたこともあり、同サービスを運営する部署に配属された。
はじめに 本記事は 機械学習をどう学んだか by 日経 xTECH ビジネスAI② Advent Calendar 2019 の8日目になります。 これから市場に漕ぎ出していく初学者の方々の参考になれば幸いです。 プログラミング経験 学生時代 (ロボット工学、流体力学) : C/C++; 組み込み、数値流体計算、研究ツール Matlab; 現代制御理論の授業で少々 前職 (ADAS) : C/C++; 組み込み、社内ツール Python; アルゴリズムのプロトタイピングやデータ整理 ※AI関係ではない 現職 (建築・土木の施工管理) : C++; 組み込み Python; 機械学習・Deep Learning JavaScript (Node.js, GoogleAppsScript)・HTML・CSS; 社内ツール Julia; 興味本位で触れてみている C/C++, Matlabは
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
この世には「関数電卓」と聞いて目が輝く人と、そうでない人がいるでしょう。エンジニアである私も含め、目が輝く人は、日本では少数派なのではないかと思います。残念なことです。 「電卓」がなくなって困る人は大勢いるはずですが、「関数」を知らなくても、普通に生きて行けるのも事実。でも関数がなかったら、株価を予測してお金儲けできないし、現代社会を支えるテクノロジーは明治か中世くらいに戻ってしまいます。関数は、社会科学を含む科学的現象を数学的に見るための「目」としてとても重要です。理系の学生は、「科学の目」を養うために関数電卓を使います。 「プログラミング」と聞いて目が輝く人は、関数電卓の場合よりちょっと多いかも知れません。なんと最近の関数電卓は、Pythonでプログラミングできるのです。「えっ、そうなの？」と思った人。私も同じ事を思いました。CASIOの関数電卓『fx-CG50』は、2018年に公開さ
【高等学校情報科 情報Ⅰ】教員研修用教材：MeCabによる形態素解析とWordCloudの作り方（python） - Qiita
はじめに 今回は文部科学省のページで公開されている情報Ⅰの教員研修用教材の「質的データの分析」についてみていきたいと思います。 ここでは、MeCabによる形態素解析とWordCloudをRで実装する例が書かれています。 今回はその内容をpythonに置き換えていきたいと思います。 高等学校情報科「情報Ⅰ」教員研修用教材（本編）：文部科学省 第4章情報通信ネットワークとデータの活用・巻末 （PDF:10284KB） PDF 環境 ipython Colaboratory - Google Colab 概要 今回は、「情報Ⅰ」教員研修用教材の「第4章情報通信ネットワークとデータの活用・巻末」について、 学習23 質的データの分析 のRの箇所をpythonに書き換えたいと思います。 テキストマイニングについて 1 形態素解析について pythonのソースコード MeCabを使えるように前準備しま
Webアプリとデータ基盤をサクッと立ち上げるためのプラクティス - Google Cloudとサーバレスなサービスで良しなにやってみた - Lean Baseball
個人開発（趣味プロジェクト）でプロダクトを作りながら, 本職の仕事でソリューションアーキテクトっぽいことをしているマンです*1. 最近は個人開発のネタとして, プロ野球選手の成績予測プロジェクト ヘルスケア周りの自分専用プロダクト開発 この2本軸で週末エンジニアリングをしているのですが, これらの事をしているうちに, Webアプリケーション + 分析用のデータ基盤の最小セット, みたいなパターンが見えてきた クラウドにおけるサービスの選び方・スケール（=拡張）するときに気をつけるべき勘所 みたいなのがまとまってきました. せっかくなので, 言語化した上で再現性をもたせよう！という主旨でこのエントリーを書きたいと思います. なお, これだけは強く言っておきます. 参考にするのは自由です&真似ができるようなプラクティスではありますが, ベストプラクティスかどうかは（この記事を読んだ皆様の）状況
はじめに AIが将棋のプロ棋士より強くなってから久しい。 一方で羽生善治先生は、 「接待将棋のようなことはAIには難しい」と喝破している。 では実際に接待AIを作ろうとすると、どのような点が難しく、 どこまでのレベルの「接待」なら出来るのだろうか？ 本稿は、「接待将棋」という難問に挑んだ開発日誌的な記録として、 得られた接待AIの考え方にいたるまでの物語である。 参考： 人工知能に「接待将棋」はできない──羽生善治と石山洸が語る将棋とAIの進化 先に完成品を記載（実際に遊べるURL） 結論から述べると、あるシンプルな実装方針で、 自身ではある程度納得出来る実装を得ることが出来た。 以下がその結果（接待AI）と実際に遊べるアプリだ。 PC/スマホどちらでも対応。 「将棋」は難しすぎるため「どうぶつしょうぎ」で作った。 「どうぶつしょうぎ」は、そのユーザを考えると、 実は地球上で最も「接待」が
流行りのテキストからのAI画像生成 (Midjourney, DALL-E 2, StableDiffusion, DiscoDiffusionなど) について、歴史、仕組みから試し方までまとめる
はじめに 9/10から開催の 技術書典13 で記事としてまとめるための、調査、素材置き場です。まず、日本語で界隈を概観するには以下記事がおすすめ。 (8/22) もうすぐ来ると言われるStableDiffusionのモデル配布の衝撃について。 その根拠の一つである、Eman Mostaque氏 (Founder of Stability.ai) の、意味深なカウントダウンツイート。 (8/23) 公開されました。 Colaboratoryでの試し方をnpakaさんが公開しています。 さらにtuningが可能なColab notebookをpharmapsychoticさんが公開しています。 ローカルで動かす方法は、koyoarai_さんのZennより。 無償、英語・日本語で試せるWebアプリをshi3zさんほかが公開しています。 目次 各Text-to-Imageの試し方 Prompt E
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
今回は初心に帰って類似文章検索です。連載の第1回で扱ったネタですが、 BERT を用いて再挑戦してみましょう。BERT のモデルは Hagging Face Transformers の事前学習済みモデルを用いるので、お手軽に試せるかと思います。手法としては Sentence BERT を用い、おまけとして Poor Man's BERT についても紹介します。 （本記事公開後に公開されたデータセットで再検証しています。最新情報は 第18回 をご覧ください。 2021.12.21 追記） 1. はじめに 本記事では Sentence BERT 1による類似文章検索について、学習や推論のコード例と実験結果を交えてご紹介します。前々から Sentence BERT を試したいと考えていたものの、教師あり学習に必要な日本語の類似文データが用意できずにいました。その後、画像キャプションのデータセッ
TL;DR BigQuery で分析する際の tips をまとめてみる。長くなりそうなのでいくつかに分割して書く part1 はエディタとして何を使うかとか実行結果の連携などについて書く BigQuery console/DataGrip を使いつつ、結果を GitHub issues/Google Sheets/Bdash Server で共有するという感じで使っている 仕事で BigQuery を使って分析することが多いので、いくつかの回に分けて BigQuery を使って分析する際の tips をまとめていくことにする。今回は part1 としてエディタとして何を使うかとか実行結果の連携などについて書く。 個人的な探索的・アドホック分析用途の話に限定して、組織的にどういうデータ分析基盤を使うかとかそういう話はしない（会社だと ETL の L として dbt https://www.g
オープンソースのペイントソフト「Krita」で、テキストや画像から自動で画像を生成することができる話題のAI「Stable Diffusion」を利用できるようになるプラグインが複数登場しています。 Stable Diffusionは、入力したテキストに沿って画像を生成する「text2img」や、大まかな線画のようなラフな画像からでも精細な画像を生成することができる「img2img」で、画像生成が可能なAIです。Stable Diffusionはウェブ上で使えるデモ版が存在するだけでなく、Creative ML OpenRAIL-Mライセンスの下で配布されているものをローカル環境で実行することも可能。実際にStable Diffusionを使う方法はさまざまあるのですが、低スペックPCでも無料かつ待ち時間なしで使う方法が以下の記事の通り。 画像生成AI「Stable Diffusion」を
Tue Feb 09 2021 00:00:00 GMT+0000 (Coordinated Universal Time) 昨年の 11 月にオライリー・ジャパンから『ウェブ最適化ではじめる機械学習』という本を出版しました。大変ありがたいことに、いくかのブログで取り上げていただけているようです。 出版してから少し日が経ちますが、まだギリギリ新刊かなということで、書籍の紹介と舞台裏の話を書きたいと思います。 何の本？ ひとことで言うと、ウェブエンジニア／ウェブマーケターこそ機械学習に入門するのに最適な役職なんだよ！という本です。 私は普段ウェブサイトのフロントエンドエンジニアとして仕事をしていますが、仕事の中で機械学習との接点はあまりないように感じます。ひとことでウェブエンジニアリングと言ってもその範囲は広いので一般化は難しいですが、基本的には HTML / CSS / JavaScrip
Stable Diffusion を Colab で Web アプリ化する - 詩と創作・思索のひろば
Stable Diffusion が来てるねってことで貧者の GPU であるところの Colaboratory でいろいろ試したいのだけどノートブック上で Python のコードをこまごまいじりながら試行錯誤するのは微妙に体験が悪い。 ちょっとしたウェブサービスとして立てて実行できるとよいけれど、なかなかクラウドサービスも帯に短し襷に長しという感じで GPU を気軽に借りられるところはなさそうだ……と思ったら、Colab 上に HTTP サーバを立てられることを知ったので、その方法でやってみることにする。 やってみたソースは以下。 GitHub - motemen/stablediffusion-server-on-colab README にあるノートブックを開いて Huggingface のトークンを埋め、GPU を選択して実行するとサーバが起動する。サーバが起動する前のセルに表示され
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
人のコードを読むのしんどい、自分の環境だと動かない…… 「debug力」で解決するデータ分析のぴえんをこえてぱおん状態
Chrome への HTTP/3 と IETF QUIC の導入について
Spectre の影響を受けないウェブを作るための概念実証について
あなたの文章に合った「いらすとや」画像をレコメンド♪（応用編） - Qiita
ウェブ エコシステムの根本的なセキュリティ保護に向けて
ウェブのプライバシー強化: サードパーティ Cookie 廃止への道
ランサーズのデータ活用を手伝っている話 - 下町柚子黄昏記 by @yuzutas0
Chrome におけるスキームフル Same-Site の適用について
ゼロからはじめるPython(53) Python vs Excel 五番勝負 - 仕事で使えるのはどちら？
【詳細解説】ユーザー行動分析していますか？ | ISM LT祭り2022 - ブログ - 株式会社JADE
数学に強いエンジニアむけの機械学習勉強法
【入門】Pythonによる人工衛星データ解析（Google Colab環境） - Qiita
Colaboratoryで分析コンペをする時のテクニック集 - カレーちゃんブログ
Chrome に、邪魔にならない通知許可 UI を導入します
非IT企業に転職した機械学習素人がAIプロジェクトにアサインされてからの奮闘記 - Qiita
Web Vitals を支える科学
関数電卓でPythonを学ぶ理由 思考を深め、プログラミングの楽しみを味わう
「接待どうぶつ将棋AI」が爆誕！おもてなし接待AIを作る物語。 - Qiita
ブラウザと Tensorflow.js を使った BERT の活用方法を考える
はじめての自然言語処理 Sentence BERT による類似文章検索の検証 | オブジェクトの広場
BigQuery を使って分析する際の tips (part1)
画像生成AI「Stable Diffusion」をKritaで使えるようにするオープンソースのプラグイン登場
『ウェブ最適化ではじめる機械学習』を出版しました。 — Shuhei Iitsuka