はじめに こんにちは、久しぶりに技術系の記事を書きます、株式会社カンムで機械学習エンジニアをしている fkubota です。 今日はSQLについてです。 弊社に入社してから毎日のようにSQLのクエリを書いてきました。 クエリを書き始めてからもう3年が経とうとしています。 日々クエリを書きながら少しずつ自分のスタイルが出来上がってきているのを日々実感しています。 僕は 正確で 読みやすく 再利用しやすいクエリを 高速に 生み出すための工夫を重ねてきました。 結果的にテスト駆動開発ぽいスタイルが生まれたので今日は紹介してみようと思います。 似たような記事がないので少しドキドキですが温かい気持ちで読んでもらえると嬉しいです。 対象読者 対象読者は、分析のためにクエリを書いている人とします。 プロダクトに乗せるクエリというより、ビジネス的になにか示唆を得たいときにクエリを書く人を想定します。 痛み
データサイエンティスト協会、IPAと共同で『データサイエンティストのためのスキルチェックリスト/タスクリスト概説』を刊行 | 一般社団法人データサイエンティスト協会
2024年5月10日 金曜日 デジタルPRとプレスリリース配信 お問い合わせinfo@digitalpr.jp受付 10：00〜18：00（土日祝日を除く） 一般社団法人データサイエンティスト協会（所在地：東京都港区、代表理事：草野 隆史、以下 データサイエンティスト協会）は、独立行政法人情報処理推進機構（所在地：東京都文京区、理事長：富田 達夫、以下IPA）と共同で、『データサイエンティストのためのスキルチェックリスト/タスクリスト概説』を刊行することをお知らせします。 本書は、今必要とされるデータ利活用のためのスキルを体系化した「スキルチェックリスト」と業務プロセスを体系化した「タスクリスト」を読み解くための初の公式ガイドブックです。 『データサイエンティストのためのスキルチェックリスト/タスクリスト概説』表紙（出典：IPA） 『データサイエンティストのためのスキルチェックリスト/タス
機械学習系の話題が多い昨今ですが、実際触ってみると期待した精度・結果が出ないなんてことはよくあることではないでしょうか。 機械学習特有の性質として、データ自体がモデルを変化させ、結果として業務に影響を与えたりします。 仮に、機械学習屋さんが精度が出るモデルを構築したと言っても、それを導入するときに、システム全体での品質の維持に苦労したりします。 ということで、不確実性の大きい機械学習系開発についての、設計・テスト戦略でどうやってリスクを低減していけるかが一つカギになってくると思い、方法論について勉強しましたので、そのメモです。 非常に参考にしたのはこちら。 arxiv.org テストそのもののテクニックなどは、一般的なテスト駆動開発に関する書籍を合わせてをご参考ください。 テスト駆動開発 作者:Kent Beck発売日: 2017/10/14メディア: 単行本（ソフトカバー） テスト駆動P
みなさん、業務スーパー使ってますか？私は、朝ごはんに業務スーパーのインスタントフォー（チキン味）を食べるようにしていることから、週1回は業務スーパーに通っています。最近、全都道府県に店舗が出店されたそうです（パチパチパチ）。 というわけで、業務スーパーの全店舗の位置をプロットしてみようかと思いました。あと可視化だけだとちょっと退屈なので、気象データを使っていくつかの店舗の気温の比較を行います。foliumで作った可視化は次のようになります。 開発環境: Python 3.9.1 folium 0.12.1 pandas 1.2.3 requests 2.25.1 requests_html 0.10.0 xarray 0.16.2 ハンズオン開催します はんなりPythonで、この記事であったrequests / requests-htmlを使ったデータ取得ハンズオンを行います。ご関心をお
データサイエンティストはどこまでエンジニアリングをすべきか？ | CyberAgent Developers Blog
AI事業本部 Dynalystでデータサイエンティストをしている藤田です。 Dynalystの開発チーム内にはデータサイエンス（以降DS）チームがあり、そこにはデータサイエンティスト・機械学習エンジニア（以降まとめてデータサイエンティストと呼ぶ）たちが所属しています。私がこのチームで働く中で、「プロダクト所属のデータサイエンティストがどこまでエンジニアリングをすべきなのか」ということを考えることがあったのでまとめてみました。当然これは一般的な答えではなく、人・チーム・組織の現状や目指すべきところによって答えは変わるので、あくまで1チームの1個人が考えたこととして読んでもらえればと思います。 プロダクト所属と横断DS組織所属 エンジニアリング云々の話をする前に、まずプロダクト所属と横断DS組織所属のデータサイエンティストの違いについて軽く説明します。両者のメリット・デメリットについても書きた
戦力になるレベルのデータサイエンティストを育成することの難しさ - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pexels from Pixabay) 僕自身がデータサイエンティストという肩書きを与えられて働くようになった9年前から、一貫して問題意識を持ち続けてきたのが「データサイエンティストをどう育成すべきか」についてでした。その後、この9年の間に質の良し悪しや量の多寡はともかく多くのデータサイエンティスト向け技術講座・資料が沢山世に出るようになり、一見その育成体制はそれなりに整ってきたように見えます。 以前議論していた「何故戦力になるレベルのデータサイエンティストが育たないのか」4項目を発掘して面白かった 1. 実戦可能レベルになるまでの学習量が多過ぎる 2. 『知っている』から『使いこなせる』への溝が深い 3. コミュニケーションで死ぬ 4. ビジネス価値と結びつけて自走するところに溝がある— TJO (@TJO_datasci) 2021年6月1日 しかし、当事者たちか
PolarsというPandasを100倍くらい高性能にしたライブラリがとても良いので布教します1。PolarsはRustベースのDataFrameライブラリですが、本記事ではPythonでのそれについて語ります。 ちなみにpolarsは白熊の意です。そりゃあまあ、白熊と大熊猫比べたら白熊のほうが速いし強いよねってことです2。 何がいいの？ 推しポイントは３つあります 高速！ お手軽！ 書きやすい！ 1. 高速 画像はTPCHのBenchmark（紫がPolars）3。 日本語でも色々記事があるので割愛しますが、RustやApach Arrowなどにお世話になっており、非常に速いです。MemoryErrorに悩まされる問題も解決されます。開発者のRitchieがしゃれおつなツイートをしてるので、そちらも参考にどうぞ ↓ 4。 抄訳： （ひとつ目）Pandasは黄色くした部分でDataFram
画像生成AI「Stable Diffusion」に「悪い例を集めたLoRA」を組み合わせて高品質な画像を生成する手法が登場、簡単に試せるデモも公開されたので試してみた
2023年7月に公開された「Stable Diffusion XL 1.0(SDXL 1.0)」は既存のStability AI製モデルと比べて高品質な画像を生成できるだけでなく、LoRAによる生成画像の調整にも対応しています。データサイエンティストのマックス・ウルフ氏は「悪い例」を集めて作成したLoRAを用いてSDXL 1.0による生成画像の品質をさらに向上させる手法を考案し、LoRAファイルおよび誰でも試せるデモを公開しています。 I Made Stable Diffusion XL Smarter by Finetuning it on Bad AI-Generated Images | Max Woolf's Blog https://minimaxir.com/2023/08/stable-diffusion-xl-wrong/ LoRAは参考となる画像を集めて絵柄や服装などを追
データ分析 SQL とその実行結果を共有・検索できるアプリ Bdash Server を作りました - クックパッド開発者ブログ
こんにちは。クックパッドでエンジニアをしている @morishin です。Bdash Server というデータ分析 SQL を共有するアプリケーションを作って社内で使い始めたのでその紹介をします。 クックパッドのサービス開発は「仮説を立てる」→「作ってリリース」→「効果検証」の繰り返しで進んでいます。ここで言う効果検証というのは作ったサービスが狙い通りの使われ方をし、ユーザーに価値を提供できているかどうかの確認のことです。その手段は複数あり、実際に使っていただいたユーザーさんにインタビューをさせていただく場合もあればアプリケーションから送信されたアクセスログ等を分析することで評価する場合もあります。この記事では後者の定量分析を効率化するためのツールを作った話をします。 アプリの概要 まずはアプリの機能を紹介します。Bdash Server は、Bdash という同僚 (@hokaccha
移り変わる「データサイエンティストの『常識』」について考える - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) 先日、こんな話題を見かけました。 【夏なので怖い話】 こないだ、いかにもエリートな男性と知り合ったんですよ 彼は年収1000万で飛ぶ鳥を落とす勢いのデータサイエンティストだっていうじゃないですか それでふとAICの話題を持ちかけたんです 「あー現実であまり使わない数学の話はわかりません」 …おわかりいただけただろうか？— ゆうな (@kawauSOgood) 2019年8月14日 で、悪ノリした僕はこんなアンケートをやってみたのでした。 データサイエンティストという肩書きで年収1000万円以上の高給取りが、知らなかったとしても許される項目はどれですか— TJO (@TJO_datasci) 2019年8月15日 このアンケート結果こそが、今回の記事を書こうと思ったきっかけです。ある程度知識のある方ならお分かりかと思いますが、ここで挙げた「AIC」「正則
Googleアカウントさえあれば無料でPythonの機械学習プラットフォームが使えるColaboratory(通称Colab)というサービスがある。既に本連載でも何度か紹介したことがあるが、3月末に待望の有料プランが日本でも始まった。有料プランでも制限はあるもののGPUを備えた超高性能マシンが月1072円で使い放題になったのは大きい。実際に有料版を試してみたので使い勝手を紹介しよう。 1072円で高性能マシンが使い放題に Colabについて復習してみよう まずは、改めてPythonのColabについて紹介しよう。一言で言うならGoogle Colabはブラウザ上で使えるPythonの実行環境だ。Googleが無料で提供しており、教育用途や研究用に使えるものだ。 そもそもPythonで人工知能(AI)を、特に機械学習を試してみたいという人は多いことだろう。ところが、Pythonや機械学習の実
ChatGPTのGPT-4Vを使ってSQL文を画像から作成する - Taste of Tech Topics
igaです。 ポケモンsleepを継続していますが、カビゴン評価がマスターになれません。 ChatGPTが見たり、聞いたり、話したりできるようになる、と言われている「GPT-4 with vision (GPT-4V)」が使えるようになったので、早速使ってみたいと思います。 openai.com 今回は、データベースのテーブル関連図を画像ファイルでもらった想定で、画像からテーブルのDDLが生成できるかを確認してみます。 やりたいこと 以下のような、テーブルの関連図とサンプルデータが描かれた画像ファイルをもらいました。 この画像ファイルをChatGPT-4に渡して、SQLのDDLが生成できるか確認します。 画像を解釈できるか確認する いきなりDDLを作らせる前に、まずは画像ファイルに書かれたテーブル構造を、マークダウンで出力してもらいます。 プロンプトの入力欄の左に絵のアイコン（画像の赤で囲
メルカリ・ヤフー・ZOZO開発者が語る「画像検索」の最前線！ Bonfire Data & Science #1 イベントレポート
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog 祝！ データサイエンス領域で初めての Bonfire！！ そんな記念すべき初回のイベントレポートを書かせていただきます、Yahoo!ショッピングでサイエンス領域を担当している東孝信です。 Bonfire Data & Scienceは、データとサイエンスに関わる人たちが情報共有できる勉強会/交流会です。 今後も定期的に開催される予定ですので、興味のある方は第2回以降もぜひチェックしてください！ さて、第1回のテーマは「画像検索」です！ 最近EC系のサイトで類似画像検索が出来るようになったけどどうやってるの？ 画像検索のモデルってどうしてるの？ 画像検索のインフラはどうしてるの？ 私たちの会社でも画像検索を用いたサービスを構築できる
登山地図アプリ「YAMAP」を運営するヤマップ（福岡県福岡市）は6月7日、21年に発表した「道迷いしやすい登山道」の一部に標識が設置され、迷う人がいなくなったと発表した。アプリ利用者のデータを分析して分かった。 ヤマップはアプリ内で利用者から寄せられた「迷いやすい」タグ付きの投稿と登山者の軌跡（移動）データを分析し、国内の登山道でとくに迷いやすい地点5カ所を「道迷いしやすい登山道」として21年8月に発表した。同社の働きかけもあり、このうち神奈川県内にある2カ所に標識が設置された。 1カ所は神奈川県と山梨県との県境に位置する西丹沢の大界木山～浦安峠で、21年9月に標識が1本設置された。その後、YAMAPの軌跡データを分析したところ、道を間違える人はゼロになったという。 もう1カ所は神奈川県の丹沢山、櫟山～栗ノ木洞に位置する登山道で、21年の12月に案内標識が設置された。こちらも設置後は道を間
アドビが生成AI「Firefly」を一般公開 「Creative Cloud」に統合 コンテンツは商用利用可能
アドビは9月13日、コンテンツ生成AI「Adobe Firefly」のWeb版と、同社の一部デスクトップアプリに統合されたFireflyの機能を一般公開した。これにより、Fireflyによって生成されたコンテンツの商用利用が解禁される。 一般公開版の概要 Fireflyは2023年3月からβテストが行われてきた。当初はプロンプト（文章）によるコンテンツ生成は英語にのみ対応していたが、日本語を含む多言語対応を進めるなど、機能の拡充を進めてきた。「Adobe Photoshop」「Adobe Illustrator」などのデスクトップ向けβアプリにも、Fireflyの技術が順次搭載されている。 →初登場時の記事 →Photoshopアプリへの実装時の記事 →Illustratorアプリへの実装時の記事 Adobe（アドビの親会社）によると、これまでにFireflyを使って生成されたコンテンツは
(Image by Pixabay) こんな記事が、しばらく前に我らが盟主タカヤナギ＝サンによって言及されていました。 データサイエンティストになる魅力がなくなってきた理由を４つの理由（ジュニアのポジションが減っている、アナリスト職種で良い、データサイエンスを簡単だと思いすぎ、AutoML出てきた）とともに紹介。 Why Is Data Science Losing Its Charm? by @iamharshitahuja https://t.co/fqRUil9QLr— Shinichi Takayanagi (@_stakaya) 2020年6月8日 Why Is Data Science Losing Its Charm? データ分析業界の中の人という立場から見れば、ここで言われている主張については分からないこともありません。ただ、同意できる部分もあれば同意できない部分もあり、ま
はじめにこんにちは！つむです🐈 8月より社内で実施するchatGPTをフル活用したUI勉強会を実施しています📚 開催までの背景や内容決定までのプロセス、プログラムをご紹介します🚩 使用するペルソナ・ユーザーストーリー・情報アーキテクチャ図を生成するプロンプトも公開しますのでぜひご覧ください✨ 自己紹介2022年KDDIにUXデザインコースで新卒入社（KDDIアジャイル開発センターに兼務出向中） auショップ向けDX施策やワーケーション施設検索サービス「タビトシゴト」などでUIUXを担当 背景UI業務多いのにUIデザイナーが少ないKAGデザイナーは基本的に上流を主戦場に置くUXデザイナーやサービスデザイナーとして業務をしている方が多いです。 しかし私は学生の頃からUIが得意たっだため最初はUIデザイナーからスタートし、徐々に上流へ足を広げる方針にしていただきました🙌 配属直後はUIデ
PyCon JP 2020 での発表スライドです。 GitHub: https://github.com/taishi-i/toiro/tree/master/PyConJP2020
Line Man Wongnai, an on-demand food delivery service in Thailand, is considering an initial public offering on a Thai exchange or the U.S. in 2025.
画像生成AI二強の最新動向 マイクロソフトの検索エンジンBingで画像生成機能が追加されたほか、デザインプラットフォームCanvaでも画像生成が可能になるなど、生成AI技術を活用した画像生成ツールが身近な存在になりつつある。 この画像生成領域を牽引してきたのは、Stable Diffusionを展開するStability AI（ロンドン拠点）とMidjourneyを展開するMidjourney, Inc（サンフランシスコ拠点）の2社だ。 ChatGPTの開発企業として知られるOpenAIも画像生成AI「DALL-E」を開発しているが、現時点では、画像のクオリティでStable DiffusionとMidjourneyには及ばず、後塵を拝する状況となっている。そんな中、Stability AIが最新の画像生成モデルをリリース、画像クオリティがさらに向上したとして注目を集めている。 Stabi
ChatGPT Code Interpreter を利用して、お手軽にデータ分析・可視化 - Taste of Tech Topics
カメラ好き機械学習エンジニアの@yktm31です。 先日、OpenAIから、公式のプラグインとして「Code Interpreter」が発表されました。 「Code Interpreter」は、ChatGPT上でPythonのコードを生成・実行する仕組みを持っています。 これまでも、ChatGPTで、プログラムのソースコードを出力することは可能でしたが、実行まではできませんでした。 「Code Interpreter」は、ChatGPTの有料版で利用することが可能ですが、ユーザーが自然言語で指示や要求を出すだけで、 ChatGPTがその内容を理解し、ソースコードの生成から実行まで行えたり、既存のコードを解釈してその動作を説明したりすることが可能になります。 openai.com 本記事では、この「Code Interpreter」を利用して、CSVファイルを元に、データの可視化を行ってみま
ポーズや構図を指定してサクッと好みのイラスト画像を生成しまくれる「ControlNet」＆「Stable Diffusion」の合わせ技を試してみたよレビュー
Stable Diffusionなどの画像生成AIの登場によって、手軽に好みの画像を出力できる環境が整いつつありますが、テキスト(プロンプト)による指示だけで好みのポーズのイラストを生成するには長い時間や経験が必要です。新たに開発された「ControlNet」を画像生成AIと併用すれば、好みのポーズを指定したイラストを簡単に生成できるとのことなので、実際にインストールして使い方を確かめてみました。 GitHub - Mikubill/sd-webui-controlnet: WebUI extension for ControlNet https://github.com/Mikubill/sd-webui-controlnet ControlNetでポーズや構図を指定してAIイラストを生成する方法｜ddPn08｜note https://note.com/ddpn08/n/n7fce83
ホクソエムサポーターの白井です。 今回は日本語の word2vec に着目し、日本語の学習済み word2vec の評価方法について紹介します。 自然言語は非構造化データであるため、単語や文章を計算機で扱いやすい表現に変換する必要があります。 そのための方法の1つに word2vec があり、Bag of Words (BoW) や tf-idf とならんでよく用いられます。 一般に、word2vec は Mikolovが提案した手法 (CBOW, Skip-gram) をはじめ、 GloVe や fastText など、単語をベクトルで表現する単語分散表現のことを指します。 word2vec は教師なし学習のため、コーパスさえ準備できれば誰でも新しい単語分散表現を学習することができます。 しかし、実際に word2vec を使う際に、どのように評価すれば良いのかがよく分からず、配布されて
テレワークについて、導入企業の過半数がメリットよりも「デメリットの方が多い」──帝国データバンクはそのような調査結果を2月10日に発表した。 調査対象の企業1837社（業種問わず）のうち31.5％が「テレワークを実施している」と答えた。そのうち「メリットの方が多い」が15.1％、「デメリットの方が多い」が16.4％となり、テレワークを実施している企業の52.1％がデメリットの方が多いと感じていると分かった。 ソフト受託開発やパッケージソフトなどを含む「情報サービス」に分類できる業種では、81.0％の企業がテレワークを実施していると回答し、業種別の実施率が最も高い結果になった。そのうち「メリットの方が多い」が47.6％、「デメリットの方が多い」が33.3％となり、企業全体の結果と逆転し、メリットを感じる声が多く見られた。 自由回答で集めたテレワークの主なメリットを集計すると「通勤時間や移動時
「ChatGPT Meetup」は、プロンプティングからOpenAI API、さらには周辺のライブラリやHubのエコシステムまで広く活用の助けになる知見を共有し、みんなで手を動かして楽しむためのコミュニティです。2回目に登壇したのは、株式会社リンクアンドモチベーションの岡田大輔氏。OpenAIからAzure OpenAI Serviceへの移行について発表しました。 登壇者の自己紹介 岡田大輔氏：機能開発を「ChatGPT」を使ってやってみたので、そこからわかったことを共有させていただければなと思います。 最初に自己紹介です。岡田大輔といいます。リンクアンドモチベーションで働いていて、今4年目です。アプリのエンジニアをしています。ふだんはRailsとVueでWebアプリを作っているのですが、今回は、機能開発のところで（ChatGPTを）いろいろ触ってみました。 ChatGPTを使った機能開
Azure OpenAI Service 「on your data」 で独自データを使ったチャットを実現する - Taste of Tech Topics
こんにちは、igaです。 先日は台風の影響が出る前に出かけられて、リフレッシュできました。 今回は、Azure OpenAIとチャットする際に、独自データを使用してみます。 独自データの使用（原文の表記はon your data）は、2023年8月現在パブリックプレビューとして利用できる機能です。 techcommunity.microsoft.com 独自データの使用（以降、on your dataと表記します）により、例えば企業内ドキュメントやFAQをAzure OpenAIに検索させることで、ユーザーからのチャットでの問い合わせに対して企業内ドキュメントやFAQを検索した結果をAzure OpenAIがチャットの応答として返すことができるようになります。 今回は、on your dataを利用するまでの流れを試したいと思います。 on your dataのポイント on your d
「仕事ではじめる機械学習 第2版」を読んで思った「ソフトウェアエンジニアとデータサイエンティスト, ML Ops」のこと - Lean Baseball
このエントリーのテーマです このエントリーは, 「仕事ではじめる機械学習 第2版」出版お祝いのエントリーとなります. 仕事ではじめる機械学習 第2版 作者:有賀 康顕,中山 心太,西林 孝オライリージャパンAmazon 私自身, 第1版登場の2018年頃*1から「機械学習エンジニア」「企画・提案のフェーズから機械学習プロジェクトを回すマン」など, まさに機械学習を仕事とするロール・立ち位置で働いたり個人開発をしたりしていた身として, 色んな場面で参考にしていた書籍の待望の第2版登場で嬉しいです. 待ちに待った仕事ではじめる機械学習第2版、戴きました🙏 週末読んで感想書くぞ📕 pic.twitter.com/66mcTzxja5— Shinichi Nakagawa / 中川 伸一 / Senior Engineer (@shinyorke) 2021年4月15日 縁あって著者の皆様およ
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
「AIによってパン棚の充足率を可視化して仕入れ量を適正化したことにより、売り上げが18％増加した」。イオングループで小型スーパーマーケットを展開するまいばすけっとの柳田信一管理本部システム企画・新規事業企画マネージャーはこう話す。 東京都と神奈川県を商圏とする同社は近年、新規出店を加速させている。2018年度以降、3年連続で70店舗以上を増やし、2021年2月末時点で921店に達した。それに伴い業績も伸ばしており、売上高ベースで2019年度は前年同期比12％増、20年度は同16％増を達成している。 まいばすけっとの店舗に並ぶのは主に食品だ。日持ちする加工食品や冷凍食品、菓子類などに加え、パンや牛乳などの日配品、野菜や肉といった生鮮食品を扱う。食品の品ぞろえは競合のコンビニエンスストアより豊富といえる。さらに、店舗への商品配送を商品種ごとに1日1回にとどめるといったローコストオペレーションで
ChatGPTが話題沸騰ですね。今回はエヴァンゲリオンに登場するMAGIシステムをGPT-3のAPIで実装した有料記事を書いてみました。ぜひチェックしてみてください！(サンプルコードはPython) MAGIシステムを一言で言うと 性格の異なる3体のAIが、それぞれ独立に見解をだし、それを集約して1つの結論をだすという合議制のシステム エヴァのMAGIシステムをGPT3で作ってみた 深津氏の記事に触発され、GoogleColabで実装してみました。（面白い記事を書いてくれた深津氏に感謝です。）詳しくは↓ 以下が手順 OpenAIのアカウントにログイン。 2.API keysを発行しましょう。 ここからがコード。 3.openaiをインストール pip install openai4.まずはサンプルコードで疎通確認をしましょう。ちなみに、今回使用するコードは以下の繰り返しになります。 imp
Googleが超高品質な動画生成AI「Lumiere」を発表、フレーム同士のつながりが自然で「テキストや画像から動画生成」「写真の一部を動画化」「動画の一部分を指定して加工」などなど機能てんこもり
Googleの研究チームが動画生成AI「Lumiere」を2024年1月24日(水)に発表しました。Lumiereではフレーム同士が自然につながった違和感の少ない動画を生成可能で、テキストや画像を入力して動画を生成できるほか、動画の一部分を指定して別の動画に置き換えたり、写真の一部分だけを動かしたりといった操作も可能です。 Lumiere https://lumiere-video.github.io/ テキストや画像を入力して動画を生成できるAIは数多く存在していますが、それらのAIの多くは「フレームを複数枚生成し、フレーム同士を補間する」という手法で動画を生成しているため、フレーム同士のつながりが不自然になりがちです。一方で、Lumiereは「動画全体のフレームを一度に生成する」という手法を採用しており、フレーム同士のつながりが自然で違和感の少ない動画を生成可能。生成可能な動画のフレー
イオンリテールが、快適な買い物環境を実現するために「AIカメラ」の活用を進めている。2021年5月、「イオンスタイル川口」（埼玉県川口市）に導入したのを皮切りに、70店舗にまで拡大（22年11月末時点）。22年度末には約80店舗に導入予定だ。
本稿は、自身がデータ分析者だと思っている人に対して、こういうのが事業会社におけるデータ分析者に求められている価値の出し方なんじゃないだろうか、というのを提案してみるために書きます。 そのため、一切の自身の所属団体、所属していた団体とは関係なく、あくまで一個人のプライベートな意見であることを記しておきます。 私はビジネスマンとしてまだまだ経験が浅く、至らないところが多いため、以下の点で間違っていたり、至らないことが考えられます。 ・そもそもプロセスの全体像を勘違いしている ・プロセス自体への理解が浅い ・そこでバリューは出ないだろうという点に重点を置いている ・webでの分析に寄りすぎている 最後の問題はできるだけ一般的に書こうとはしますが、それでもそれはwebの話じゃんというのがちょいちょい出てくる気がします。 上記の問題点はあるのですが、自身がどう思っているかを記しておくことは非常に有意
ChatGPT APIで「素人質問で恐縮ですが…」と鋭い質問してくるSlack Botを作った - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 今回は、議論を活性化する質問をLLM技術によって生成できないかと考え、『この分野は素人なのですが…Bot』を開発した内容を、ご紹介します。 こんにちは、アナリティクスサービス部の藤田です。 ブレインパッドでは、有志による社内勉強会がとても活発で、ほぼ毎日何かしらの勉強会が開かれています。社内勉強会では、参加者による質問が重要な役割を果たします。質問によって、質問者は理解を深めることができ、他の参加者や発表者にとっても新しい視点を得ることができます。しかし、参加者が多い
こんにちは！逆瀬川( https://twitter.com/gyakuse )です！ 今日はLangChainの使い方について書いていこうと思います。 ChatGPT API の欠点について LangChainについて書く前に、ChatGPT APIの使いづらい部分をまとめていきたいと思います。 これを考えておくと、なぜLangChainが必要であるかということがわかり、さらに今後どのような機能が搭載されうるか/されるべきかということがわかります。 ChatGPT APIを使う際の難しい部分は一般的に以下のようにまとめられます。 プロンプトの共通化や管理が面倒くさい 最近の事実をベースとした質問-応答が難しい 最大の入出力合計が4096トークン(約3000字)であるため、長い情報を持たせることがしづらい ExcelやCSV、PDF等を直接読み込ませることができない 出力の処理のチェーンの
たった数行でpandasを高速化する2つのライブラリ(pandarallel/swifter) - フリーランチ食べたい
pandas はデータ解析やデータ加工に非常に便利なPythonライブラリですが、並列化されている処理とされていない処理があり、注意が必要です。例えば pd.Sereis.__add__ のようなAPI(つまり df['a'] + df['b'] のような処理です)は処理が numpy に移譲されているためPythonのGILの影響を受けずに並列化されますが、 padas.DataFrame.apply などのメソッドはPythonのみで実装されているので並列化されません。 処理によってはそこがボトルネックになるケースもあります。今回は「ほぼimportするだけ」で pandas の並列化されていない処理を並列化し高速化できる2つのライブラリを紹介します。同時に2つのライブラリのベンチマークをしてみて性能を確かめました。 pandarallel pandaralell はPythonの m
Turing株式会社の自動運転MLチームでインターンをしている東大B4の中村です。 突然ですが、web検索のように簡単に、ストレージ内に保存されている、日時以外のメタ情報のない動画が検索出来るようになったら幸せになれると思いませんか？ 例えば「赤信号で車が停止している」という検索クエリに対して、実際に赤信号で停止している動画が返ってきたら、簡単にそれを信号検知＋停止のモデル学習に使えるようになります。 今回私が開発した動画検索システムはこれをAIの力を借りて実現しました。これにより、格段に動画検索の利便性が増し、より多様な動画を簡単に使用できるようになりました。今回はそのシステムについて紹介します。 ワンパンで動画を探せると嬉しい 課題 Turingでは、走行パートナーの方々と共に大量の走行データを収集してきました。車両にカメラ・データ収集キットを載せて、文字通り毎日朝から晩までデータを取
こちらの記事はRecruit Engineers Advent Calendar 2020の24日目の記事です。メリークリスマス！ adventar.org 仕事の分析で使うデータはほとんどがBigQueryに保存されているため、基本的な分析作業の多くはBigQueryでSQLを書くことで行なっています。 BigQueryでテキストデータを扱おうと思うとSQLではできない or 取り回しが悪いことも多く、一度Pythonでスクリプトを書いてその結果を再度BigQueryのテーブルに格納し、Joinして分析に使うということをしていました。 しかしこのやり方だとテキストデータを分析したいときは毎回Pythonのコードを書きにいかねばならず、またPythonでのテキスト処理も決して早いとはいえず、せっかくBigQueryでさくさく分析しているのにどうしてもテキスト処理に部分が作業時間のボトルネッ
政策データダッシュボード一覧｜デジタル庁
日本のデジタル社会実現の司令塔として、デジタル庁は政府内において、データと根拠に基づいた政策判断・効果の可視化の推進を先導する役割を担っていきます。その一環として、政策に関わるデータを「政策データダッシュボード」として公開します。これは、デジタル庁のデータに基づいたオープンな政策立案・実施を目指す取組みの一環として実施するものです。 マイナンバーカードの普及に関するダッシュボード マイナンバーカードの申請件数と交付枚数・健康保険証としての利用登録・公金受取口座の登録数等を紹介しています。
株式会社ブレインパッドの2019年新卒研修資料です。SQL操作に関する基本的な内容を扱っています。 SQLローカル環境の構築方法については事前にこちらをご参照ください https://speakerdeck.com/brainpadpr/sql-local-environment-construction
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
より信頼できるクエリを書くために、SQLでもテストを書く - ハヤオキスルフクロウ
機械学習アプリケーションにおけるテストについて - Re:ゼロから始めるML生活
Pythonのみで業務スーパーの各店舗と気象状況を可視化する - Qiita
超高速…だけじゃない！Pandasに代えてPolarsを使いたい理由 - Qiita
ゼロからはじめるPython(76) ColabのGPU高性能マシンが月1072円で使い放題になっていた件
迷いやすい登山道、登山アプリのデータ解析で明らかに 登山道整備に一役
何故データサイエンスは魅力を失いつつあるのか - 渋谷駅前で働くデータサイエンティストのブログ
ChatGPTをフル活用したUI勉強会！プロンプトも大公開｜つむら
最先端自然言語処理ライブラリの最適な選択と有用な利用方法 / pycon-jp-2020
TechCrunch | Startup and Technology News
Stable DiffusionとMidjourneyはどちらが優れている？ 「画像生成AI」の可能性と課題
学習済み日本語word2vecとその評価について - 株式会社ホクソエムのブログ
テレワーク導入企業の過半数「デメリットの方が多い」 情報サービス業では逆転 帝国データバンク調査
「OpenAI」から「Azure OpenAI Service」への移行 「LangChain」を使って実装する中で気づいたこと
「恐ろしい時代になった」日清に走った生成AIショック わずか3週間で全社導入へ | Ledge.ai
まいばすけっとがAIで仕入れ改善、Python未経験でも1人月で開発できた訳
GPT-3のAPIを使ってエヴァンゲリオンのMAGIシステムを実装してみた。（Pythonで解説）｜es
いないはずの時間帯にまさかのお客が!? イオンリテールが「AIカメラ」を導入して気付かされたこと
データ分析者のバリューの出し方を考える｜だみ〜
ChatGPT APIの運用で必須のツール: LangChainの使い方まとめ (1) - Qiita
Bardのようなimage2textAIを構築して動画検索システムを作る
SQLで始める自然言語処理 - やむやむもやむなし
データハンドリングのためのSQL / SQL for data handling
news.yahoo.co.jp
yularihappysmile.com
diamond.jp
comic-days.com
diamond.jp
kten.2chblog.jp