概要 最近機械学習の輪読会を開く機会があったため、今回以下の内容をまとめることにしました。 機械学習初学者の勉強方法 おすすめ輪読本 おすすめ輪読方法 ですので、 機械学習の勉強を輪読会で行いたい 機会学習初学者である という方に向けた内容となっております。 私自身は記事を書いた時点で機械学習エンジニア2年目で、機械学習の勉強自体は4年目くらいになります。 ですので私もまだまだある意味で初学者で、こういった記事を書くのは恐縮なのですが、もし「この本がいいよ！」とか「こういったやり方はどう？」など何かご意見ありましたらお気軽にコメントいただけたら嬉しいです。 機械学習の始め方 それではまず機械学習初学者の勉強方法についてですが、実はこちらに以前ロードマップをまとめています。 https://note.com/kotabrog/n/n6ca9ff6f52f2 おすすめ輪読本と輪読方法 というこ

Google Cloud を試す$300 分の無料クレジットと 20 以上の無料プロダクトがある Google Cloud で構築を始めよう 無料トライアル 「すべての人にハッピーなひとときをお届けし、価値を創造します」というミッションの達成を目指すコカ･コーラ ボトラーズジャパン株式会社。販売エリア 1 都 2 府 35 県に約 70 万台が展開されている自動販売機の新規設置や管理業務を効率化するためのデータ分析・機械学習プラットフォームに、Google Cloud が採用されています。データ分析の重要性や分析・機械学習プラットフォーム構築プロジェクトについて、データサイエンティストに話を伺いました。 利用している Google Cloud サービス：BigQuery、DataFlow、Vertex AI（旧 AI Platform）、Cloud AutoML 日々変化する KPI に臨

デジタル庁は9月17日、新型コロナワクチンの接種証明書を、スマートフォンで電子交付する際の仕様案を公開し、意見の募集を始めた。マイナンバーカードを使って専用アプリから申請すれば、スマホ画面に証明書を表示できるようにする案だ。ワクチン接種情報を取得するAPIも提供し、事業者が予約サイトなどで使えるようにする計画だ。年内にサービスを開始する予定。 ワクチン接種証明書の電子交付は、既に交付が始まっている紙の証明書と同じ内容を、スマートフォンに表示させる仕組み。 仕様案では、専用の「接種証明書アプリ」をダウンロードし、マイナンバーカードと4ケタの暗証番号を入力して申請すると、2次元コード付きの接種証明書が交付される。2次元コードからは、氏名や生年月日、接種日、ワクチンのメーカーやロット番号といった情報が読み取れる。 海外渡航予定がある人は、専用アプリでパスポートの指定エリアを読み込めば、パスポート

Docker Desktopが有料化へ、ただし250人未満かつ年間売り上げ1000万ドル（約11億円）未満の組織や個人やオープンソースプロジェクトでは引き続き無料で利用可能 Docker社は、これまで無料で提供してきたDocker Desktopの有料化を発表しました。 We're updating and extending our product subscriptions! New subscription tiers include Personal, Pro, Team, and Business. Details here: https://t.co/pyDetDKGjC #Docker #Subscriptions pic.twitter.com/Or8l6YoIUO — Docker (@Docker) August 31, 2021 Docker DesktopはWind

※この記事はデータサイエンス専門メディア「Da-nce」からの転載です 袖部分がふんわりしているボリューム袖は、今年がトレンドのピークかもしれない。来年も続くかどうかは注視する必要がある――。 ファッションAIによるトレンド分析サービス「#CBK forecast（カブキフォーキャスト）」を提供する、株式会社ニューロープ代表の酒井聡さんは、膨大なデータからファッションアイテムの行く先を語る。 株式会社ニューロープ 酒井 聡氏 ファッションに特化したAIをファッションEC、メーカー、メディア、商社等にSaaS提供するスタートアップ、ニューロープの代表。リコメンデーションやパーソナライズ、トレンド分析、需要予測、オペレーション支援など、ドメインにフォーカスしてバーティカルに取り組む。2018年東洋経済誌の「すごいベンチャー100」選出。 九州大学芸術工学部でアートとサイエンスを学んだ後、200

「ユニクロ（UNIQLO）」は、9月17日にリニューアルオープンする東京・銀座のグローバル旗艦店「ユニクロ 銀座店」を公開した。12フロアの各階に、「ユニクロ」の商品やサステナビリティ関連の活動、同社の歴史などを紹介するインスタレーションブースを設置。気づけばわれわれの生活の中に溶け込んでいた「ユニクロ」を、改めてしっかり知ることができる売り場となっている。12階には初のカフェも導入し、オープン前から話題を呼んでいる。 【1階】“LifeWear”の世界観を表現するフロアの1階には、色とりどりのカシミヤニットが振り子で揺れるインスタレーションを導入。改装前はみっちり商品を陳列していた奥の壁も、商品がくるくる動く楽しいインスタレーションスペースに 【1階】生花コーナーの「ユニクロ フラワー」も改装に合わせて導入した。9月17日時点で、生花コーナーがある店舗は全国で9つ。バラなども含め、一律1

悪用されても気付けない 「駅名は明かせませんが、約110の駅のコンコースなどに設置したおよそ5800台の監視カメラの一部に、顔認証機能を搭載しました。マスクをつけていても、不審者の顔を判別できる能力があります」（JR東日本広報） JR東日本が、ひっそりと「顔認証監視カメラ」を導入したことをご存じだろうか。駅利用者の顔と、登録されている犯罪容疑者や不審者の顔をリアルタイムで照合し、検知しているというのだ。 五輪開幕に合わせて、7月から導入していた。顔データの出元や最終的な情報提供先は「答えられない」と言うものの、警察とみて間違いない。 先月24日夜、東京・港区で男性に硫酸をかけた男は、JR品川駅から新幹線に乗って逃走した。男は28日にスピード逮捕されたが、この捜査にも顔認証監視カメラが活用されたとみられる。 捜査に役立つなら、問題ないと思うかもしれない。しかし、顔の画像を無差別に収集されるの

国土交通省は、全国の道路交通量調査で、調査員ら人手による観測を廃止する方向で検討に入った。 【図解】仕事「自動化」の可能性 交通監視カメラの映像を人工知能（AI）で解析する手法に転換し、業務の効率化やコスト削減を狙う。将来的には交通量を常時観測できる体制を構築し、渋滞対策などにデータを活用できるようにする。 国交省は自治体と共に5年に1度、全国の国道や都道府県道などを対象に大規模な交通情勢調査を実施。走行する車の台数や速度を調べ、道路整備計画の立案に生かしている。 データの収集は、調査区間に配置した調査員が走行する車を目視で確認するなどして行っているが、今秋の調査では、国が担当する区間に限り調査員による観測を廃止。AIがカメラ映像から車種などを解析する手法を導入する。

この記事は、DataFrameとして取り込んだ「データ確認」と「データ変換」で使えるカンニングシートです。 必要なライブラリ # 頭の3行を表示 df.head(3) # 最後の4行を表示 df.tail(4) # 2,4,6行目を表示 df.loc[[1,3,5]] # 4~9行目を表示 df.loc[3:8, :] # 条件を指定して合致する行のみを表示する df[df['currency'] == 'USD'] # currencyカラムがUSDの行のみ抽出して表示。 df[df['cost'] > 30000] # costカラムが30000より大きい行のみ抽出して表示。 df[df['point'].isnull()] # pointカラムがブランクの行のみ抽出して表示。

LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog LINEの開発組織のそれぞれの部門やプロジェクトについて、その役割や体制、技術スタック、今後の課題やロードマップなどを具体的に紹介していく「Team & Project」シリーズ。今回は、LINE公式アカウントの分析業務を担当しているData Science室のOA Data Scienceチームを紹介します。 マネージャーの西手嘉昭、永峰宏規に話を聞きました。 ※関連記事：LINEの広告プラットフォームの分析業務を担当するチームを紹介します OA Data Scienceチームのデータサイエンティストの皆さん まず、自己紹介をお願いします。 西手：2017年4月に、OA Data Scienceチームにデータサイエンティスト

stan推定後の可視化に便利なパッケージとその関数について紹介します。 ・stanfitオブジェクトについて ・rstanパッケージの関数 ・bayesplotパッケージの関数 ・tidyverseでstanfitを扱う

最終更新日： 2021年10月5日 AIへの注目が高まるとともに、ビッグデータの重要性もさらに高まり、AIの分野では、膨大なデータをいかに集めるかどうかが鍵となっていました。しかし、教師データを作成するために大量のアノテーション（タグ付け）を行う必要があるなど、大量かつ高品質のデータを作成するには大きくコストがかかるという課題がありました。 そのような中、AIの分野ではアルゴリズムに偏重した考え方よりも、比較的少ないデータ量でもいかに高品質のデータを集めるかどうかが重要であるというデータセントリック（データ中心）なAI開発の考え方が普及しています。これからは少量で高品質なデータをいかに効率よく、低コストで作成できるかが成功と失敗を分けるポイントとなります。 今回は、AI開発を高速化するアノテーションプラットフォームサービスを提供するFastLabel株式会社の鈴木 健史氏に、注目されるデー

少し前のことですが、こんな話題がありました。 自分がこれまで現職で手がけた機械学習ソリューションでは 1. そもそも「予測」ではなく「説明（解釈）」をアウトプットにする 2. クラス分類確率の高いものだけアウトプットし、低いものは「未定」扱いにして捨てる などという形で実務の現場で使ってもらってます。精度勝負をしないのも一つの解かと https://t.co/NmZJCPnue2— TJO (@TJO_datasci) 2021年8月29日 実際問題として「ある目的のために機械学習システムを開発し、非常に高精度のものが出来上がったが、結局色々あって実戦投入されなかった」という話は、自分の身の回りでも業界内の伝聞でも事欠きません。 しかし、機械学習と言えばどちらかというと「より精度の高いモデルを追い求める」試み、もう少し下世話に言うと「精度勝負」によって、連綿と発展してきたという歴史がありま

第94回Tokyo.Rでトークした際のスライド資料です。

IT Leaders トップ ＞ テクノロジー一覧 ＞ BI／BA／DWH ＞ 事例ニュース ＞ NTTドコモ、データ分析基盤にBigQueryを導入、クエリーの約7割をRedshiftからBigQueryに移行 BI／BA／DWH BI／BA／DWH記事一覧へ [事例ニュース] NTTドコモ、データ分析基盤にBigQueryを導入、クエリーの約7割をRedshiftからBigQueryに移行 2021年9月7日(火)日川 佳三（IT Leaders編集部） リスト NTTドコモが自社のデータ分析基盤に「Google BigQuery」を導入した。オンプレミスとAWS（Amazon Web Services）で構成していた既存のデータ分析基盤にBigQueryを追加し、2021年7月から本格稼働を開始している。現在、高い処理性能を要求するユースケースなどユーザークエリーの6～7割をBigQ

機械学習のためのすごいPythonライブラリ Image by Free-Photos from Pixabay はじめに Pythonは機械学習に不可欠な要素で、ライブラリは作業をより単純にしてくれます。最近、MLのプロジェクトに取り組んでいる時に、素晴らしいライブラリを6つ見つけました。ここでは、それを紹介します。 1. clean-text clean-textは本当に素晴らしいライブラリで、スクレイピングやソーシャルメディアデータを処理する時にまず使うべきものです。最も素晴らしい点は、データをクリーンアップするために長く凝ったコードや正規表現を必要としないことです。 いくつかの例を見てみましょう。 インストール #Importing the clean text library from cleantext import clean # Sample text text = """

DXコンサルタントの日淺と言います。 2019年からDX専門のコンサルティングファームを経営し、これまで30社以上の大小様々なDXプロジェクトを支援しています。 私が、2年前にDXコンサルティングファームを経営し始めたころは、「DXって何？」と言われることが多かったですが、今は、DXといえば、ビジネス用語として通じるように変化してきたことを実感しています。 現在、本年中の発刊を目指して、私自身も出版社と企画を進めています。 以前、「DXとはなにか？」という視点でもおすすめ本もまとめたので、こちらも合わせてご覧ください。 今回は、更にDX推進する方、プロジェクトを運営しなくては行けない方を対象に 「DXプロジェクトを進めるための本」を選んでみました。 この記事は、 DXプロジェクトの推進方法をどうしたら・・・？DXの最前線の現場ではなにが起こっているのか？ という方向けに書いていますが、 ぜ

“以前はベンダー任せだった”システム開発を1年でほぼ内製化　エディオン、大転換に戸惑う現場を導いた戦略とは：大規模なクラウド移行がきっかけに 柔軟なシステムの変更に自社で対処する力を付けようと、内製化を考える企業は多いはずだ。だが、これまで開発の大半を外注していた企業が内製に振り切ることは簡単ではない。そんな力業に挑んだのが、全国規模で家電販売チェーンを展開するエディオンだ。「そんなことが本当にできるのか」と戸惑うIT部門のメンバーを説得し、実際に内製化を進めたというリーダーはどのような戦略をとったのか。クラウド化の過程と併せて聞いた。

「もし私が顧客に何がほしいかを聞いていたら、彼らは『もっと速い馬がほしい』と答えただろう」という自動車王フォードの名言があります。またユーザー中心のはずのUXデザインで「顧客の声を聞かない」「ユーザーは本当に欲しいものを言葉にできない」という言葉を聞くことがあります。どうすればよいのでしょうか。欲しいものを訊くのではなく、行動の目的を訊くことで、ユーザーの本当のニーズにたどりつくことができます。Read less

こんにちは。takapy（@takapy0210）です。 本エントリは下記イベントでLTした内容の元に、補足事項やコードスニペットなどをまとめたものになります。 kaggle-friends.connpass.com ちなみに今回LTしようと思ったきっかけは以下のような出来事からだったので、みなさんのTipsなども教えていただけると嬉しいです！ 情報出回ってる感あるけど、colab pro × vscode ssh のオレオレ運用方法を晒すことにより、もっと良い方法のフィードバックもらえるのではドリブンでLTするのはありなのかもしれない・・・？— takapy | たかぱい (@takapy0210) 2021年8月1日 LT資料 当日みなさんから頂いたコメント 環境構築手順 ngrokアカウント作成と認証キーの取得 ColabにGoogleドライブを接続、ngrok、sshサーバー起動

世界有数の研究者やITエンジニアが集うAI企業Preferred Networks（PFN）。秋葉拓哉さんは、同社で機械学習基盤の執行役員を務めている。前職は国立情報学研究所の特任助教で、世界最高峰の国際会議で多数の論文が採択される研究者だった。さらに競技プログラミングのコンテスト「TopCoder」では、世界で数十人しかいない「ターゲット」というレベルに達し、データ分析コンペティション「Kaggle」では、世界で200人ほどの「Kaggle Grandmaster」の称号を得ている。 競技プログラミングとKaggleでその道を究めた秋葉さんは、習得したスキルや知識をどのように業務に生かしているのか。挫折を味わいながらも、それを乗り越えてきた秋葉さんのキャリアをひもとく。【松本香織、羽田顕人、斎藤公也】 〈Profile〉 秋葉 拓哉（あきば・たくや） 株式会社Preferred Netw

※本記事の内容は取材時のものであり、組織名や役職等は取材時点のものを掲載しております。 ECサイトにおける商品の推薦は、売上を大きく左右する生命線と言っても過言ではありません。顧客にどのタイミングでどんな商品を表示するか。その根幹をなす推薦システムの開発に携わるのが、データマーケティング部門データサイエンスBグループのMLエンジニア、竹野さん（2021年2月入社）です。 スタートアップでデータ分析からアプリ開発まで幅広い経験を積んだ竹野さんが、次のフィールドにモノタロウを選んだ理由とは？膨大なデータと向き合いながらどんなチャレンジをして、何を目指しているのか？話を聞きました。 ものづくりの流通を担うデータに魅力を感じる ーー現在、どんな業務を担当しているのですか？ ECサイトの推薦システム開発に携わっています。私が所属するグループは、データサイエンスとしてのロジックと、それを実行するアプリ

シリコンバレーのチップ製造スタートアップ・Cerebras Systemsが2021年8月24日に、1枚のシリコンウェハーをそのまま使った巨大チップを備えた小型冷蔵庫サイズのディープラーニングシステム「Cerebras CS-2」を発表しました。 セレブラス・システムズ、世界初の脳規模の人工知能ソリューションを発表 | Business Wire https://www.businesswire.com/news/home/20210824005645/ja/ Cerebras Systems connects its huge chips to make AI more power-efficient | Reuters https://www.reuters.com/technology/cerebras-systems-connects-its-huge-chips-make-ai-

背景 はじめまして、JX通信社でインターンをしている原田です。 近年深層学習ではモデルが肥大化する傾向にあります。2020年にopen aiが示したScaling Laws（[2001.08361] Scaling Laws for Neural Language Models） の衝撃は記憶に新しく、MLP-Mixerが示したように、モデルを大きくすればAttention構造やCNNでさえも不必要という説もあります。（[2105.01601] MLP-Mixer: An all-MLP Architecture for Vision） しかし大きな深層学習モデルを利用しようとすると、しばしば以下のような問題に悩まされます。 推論速度が問題でプロダクトに実装不可能 GPU/TPUはコスト上厳しい プロダクトの性質上バッチ処理が不可能（効率的にGPU/TPUが利用できない） 例えばJX通信社

悩むトリケラトプス データアナリストとかデータサイエンティストとか色々あるけど、違いがよく分からないよ、、 この記事では、こんな悩みに答えていきたい。 私自身は現在データアナリストとして働いている。データアナリスト以外の経験はないが、自分の周りの情報を参考にしつつ、この記事を書いている。 データ系職種6選 データ系職種の分類や定義は人や企業によって様々であることを前置きしつつ、今回私は以下の6つの職種について整理を行った。 データ集計屋データアナリストデータサイエンティストデータエンジニアデータアーキテクト機械学習エンジニア 上記の6つである。 基本的にデータ系の職種と聞いて、パッと思い浮かぶものは含まれているのではなかろうか。これら6つの職種について整理してみる。 データ系職種を整理してみた 上記の6つの職種を自分なりに整理してみたのが以下の図である。 横軸はエンジニアリング寄りか、ビジ

より良い顧客体験を生み出すには、カスタマーに好評を博したサービスや製品の特徴や要因を知る必要があります。Megagon Labs Tokyo は旅行情報サイト『じゃらんnet』上で公開されている宿泊施設へのクチコミと、それを基に加工・作成した文章にラベル付け（アノテーション）を行ったJapanese Realistic Textual Entailment Corpus （以下JRTEコーパス）を開発し、日本語自然言語処理における学術コミュニティ向けに公開しました。本記事ではJRTEコーパスと、利用例として簡単な機械学習を紹介します。 オンラインサービスにおけるクチコミは、サービスや製品の利用を検討しているユーザには不可欠な存在です。土地勘のない地域がどのような特徴をもっているか、初めて利用する施設のどのような点が他者から好評を博しているかといった知識があれば、私たちは納得して選べるように

Optuna™は、オープンソースのハイパーパラメーター自動最適化フレームワークです。 「Optuna Meetup #1」では、Optunaのユーザー、導入を検討している方、また開発者を中心に、Optunaの様々な活用方法が共有されました。Yamazaki氏は、Optunaの開発のきっかけ、歴史、そして概要について発表をしました。全2回。後半は、コードの書き方とリリースや互換性に対する考えについて。前回はこちら。 「Optuna」ではどのようなコードを書くのか Hiroyuki Vincent Yamazaki氏：では、コードをちょっと見てみましょう。 まず、Optunaのインストールですが、pipもしくはcondaでサクッと入るのがいいかなと思います。Optunaはpure Pythonなので、難しいコンパイラーのセットアップは一切必要ありません。簡単にインストールできると思います。 O

こんにちは！ Webフロントエンドエンジニアの眞野 隼輔です。 毎年大きな反響を頂いている、エンジニアコースの新人研修の内容を紹介させていただきます。 研修の概要 リクルートでは、エンジニアコースでスペシャリスト採用された新卒のエンジニアを対象に、現場で培われた「本当に必要な生きた知識・技術」を取り入れた新人研修を開催しています。 前半は研修では各分野に長けた社員による講義形式の技術研修を行い、後半は仮配属という形でそれぞれ別の部署に配属されて実際の業務を経験するOJTとなっています。 この技術研修はそのほとんどが内製されており、ベテラン社員による経験を元にした講義を通して生きた知識・技術を獲得できます。また、実際に手を動かす演習型の講義ではベテラン社員からのレビューやフィードバックを得られるため、知識の定着や更なる成長へと繋がります。 本年度の技術研修も、昨年度に引き続きフルリモートでの

GoogleColabとVSCodeを用いたデータ分析環境運用Tipsについてお話ししました。 後半では、kaggleのコンペティションに参加する際のTipsなども記載しています。 補足ブログ：https://www.takapy.work/entry/2021/08/17/185047 LT…

うちはデブオプスみたいなところはすごく意識していまして、エンジニアとユーザーやお客様の間に、いかに人がいないかが大事だと考えています。エンジニアがユーザーや顧客の課題にどれだけダイレクトに、データを見て仮説を持って、開発の前段階のレベルでどれだけ関われるか。 本当のような嘘の話の代表例３つを挙げるなら「梅田・ヘップファイブの観覧車にカップルで乗ると別れてしまう」「スカイツリーが東京五芒星の一角を成している」、そして「データを見て仮説を得る」です。 ３つ目の『本当のような嘘の話』はタチが悪くて、1000人に１人はデータを見るだけで本当に仮説を浮かべてしまうのです。それは単に変態なだけで、普通はそんなことできません。 なぜ「できない」と私は断言できるのか？　その根拠を、順を追って説明していきます。 仮説とは何か？　どうやって仮説を作るのか？仮説とは、ある「問い」に対する、正しさが証明できていな

文章の感情分析を手軽にやりたい！ 最近はTwitterやnoteなどが浸透し、誰もが気軽に自分の言葉を世界中に発信できるようになりました。 今、この世の中にはあらゆる文章があふれかえっています。 文章には書き手の様々な『感情』が内在しているわけですが、その感情を機械的に分析できたら便利だと思いませんか？ 例えば、ある商品に関するツイートを集め、それらの感情を分析することができれば、その商品に対して多くの人が好意的なのか否定的なのかわかるかもしれません。 文章(テキスト)の感情分析は、自然言語処理の一分野として現在進行系で研究が続けられています。 まだ発展途上でありますが、感情分析を行うツールがいくつも登場しています。 本記事ではその中でもPythonで手軽に試すことができる「ML-Ask」というライブラリについてご紹介します。 Googleアカウントさえ持っていれば、あなたも10分後には感

DeNAは8月11日、機械学習などの性能を競い合うプラットフォーム「Kaggle」（カグル）で行われたゲームAIのコンペティションで、自社のエンジニアが所属するチームが優勝したと発表した。同社の強化学習ライブラリを活用してAIを開発したという。 優勝したのは、同社所属のデータサイエンティスト・田中一樹さんと、AI開発支援などを手掛けるquantum（東京都港区）の大渡勝己さんの2人で構成する「チームHandyRL」。大渡さんはDeNAでも強化学習の研究開発に取り組んでいる。 コンペのテーマは、4匹のガチョウを相手にぶつからないよう移動させながら、最後まで生き残れるかを競う対戦型ゲーム「Hungry Geese」。各チームのAIがガチョウを操作し、スコアを競った。 ゲームは一手一手状況が変わるため、相手の戦略に応じて自分たちの戦略も変更するなど、多人数ゲームならではの要素がAI開発に要求され

はじめに Baikal について Baikal を支える技術と工夫 AWS アカウント Terraform ワークフロー基盤 Athena Lake Formation アーキテクチャ Extract & Load データ生成元 AWS アカウントにある RDS からデータ抽出 データ生成元 AWS アカウントにある DynamoDB からデータ抽出 社外の API からデータ抽出 Transform workspace に配置されたデータの変換 データ生成元 AWS アカウント内の生ログ変換 ウェアハウス内での加工 Share 今後の課題 開発の一部を他チームへの委譲 データ異常検知 BI ツールの導入 はじめに DRE チームの hyamamoto です。 新卒の方々が入社されて 4 ヶ月ということで、時の流れの速さを感じています*1。なお、現在、新卒の方々でリレー方式でブログを書いて

ZOZOテクノロジーズは9月2日、服のコーディネート約255万件とアイテム約200万件などを含むデータセット「Shift15M」をオープンソースとしてGitHubで公開したと発表した。服の流行が変化してもAIの認識精度を高く保つための研究への活用を見込む。 公開したデータは、服のコーディネートを試せるアプリ「IQON」で2010～2020年に投稿されたコーディネート情報や、投稿日時、「いいね」の数、ジャンルやカテゴリー情報、機械学習用に付与したラベルなど。 同社によると、ファッション関連のデータは流行の変化や新製品の登場によってデータの分布が変わる「分布シフト」という現象が起き、AIによる認識精度が低下する。分布シフトはファッション以外の分野でも起きるが、これまでデータセットの不足で研究が進まなかったという。 Shift15Mと合わせて、10年間のコーディネートの傾向を基に分布シフトの再現

連載目次 前回は、ColabCodeモジュールを使って、Google Colab上でVisual Studio Code（以下、VS Code）のサーバ版ともいえる「code-server」を実行する方法を見ました。今回は、colab-sshモジュールを使って、ローカル環境で実行しているVS CodeからGoogle ColabにSSH接続する方法を紹介します。 colab-ssh インターネットを「vscode colab」などの語で検索すると、VS CodeからGoogle ColabにSSH接続するための情報が数多く見つかります（もちろん、colab-sshモジュールを使った方法も見つかります）。それらの情報の多くは少し手間がかかるものです。ここでは、なるべく手間がかからないように、colab-sshモジュールを使うことにしました。 colab-sshはGoogle ColabへのS

スキニージーンズでプレミアムデニムブームをけん引した「Jブランド」 スキニージーンズでプレミアムデニムブームをけん引した「Jブランド」 スキニージーンズでプレミアムデニムブームをけん引した「Jブランド」 ファーストリテイリング（以下、ファストリ）は8月5日付で、傘下の米ロサンゼルスのプレミアムデニムブランド「Jブランド（J BRAND）」の事業会社、J Brand Holdings, LLCを清算した。21年夏物から卸販売を中止し、ファストリグループ内での販売に切り替えていた。事業はファストリグループ内に移管しており、今後もブランドを継続する。清算は、「国内外で『Jブランド』の存在感を強め、将来の可能性につなげる」（広報担当者）ための措置という。 同ブランドは本国のアメリカや日本など世界20カ国以上の百貨店やセレクトショップに卸販売していた。21年夏物以降、ファストリグループの「プラステ（

Analytics Infra チームの@hizaです。 この記事ではメルカリの分析環境を改善した事例を紹介します。 今回は「運用に課題があってリプレースしたいが、業務への影響が大きすぎてリプレースできない」そんな板挟みな状況を解決した事例です。 また、その紹介を通じてメルカリのData Architectがどんな仕事をしているのかその一部を感じてもらえる記事をめざしました。 メルカリのデータ活用の現状 メルカリには様々な職種でデータを活用する文化があります。 AnalystやML Engineerの他にも、PdMやCustomer Supportなども業務にデータを活用しています。結果として社内のBigQueryユーザー数は月間800名を超えるほどになりました。 こういった環境ではデータが良く整備されている事が事業の成果に大きく影響しえます。例えば、使いやすいDWHがあれば多数の社員の業

個人用メモです。 機械学習は素材集めがとても大変です。 でもこの素材集め、実は無理してやらなくても、元から良質な無料データベースがあったようなのです。 URLはこちら YouTube8-M https://research.google.com/youtube8m/explore.html 提供されているサービスは以下の通り 800万個の動画 19億個のフレーム 4800個の分類 使い方はExploreから画像セットを探し、ダウンロードするだけ。 他の方法も見つけた open images dataset 「すごい神だな」と思ったのは これもう完成されてますよね もちろんこの認識前の画像もセットでダウンロードできます。 Youtube-８Mとは、画像数を取るか、精度で取るか、という違いでしょうか。 他にも良い素材集を教えていただきました （はてなブックマーク情報 @sek_165 さん ）

「体にフィットするソファ」（税込9990円から7990円に） 「シリコーン調理スプーン」（590円から490円に） 「素材を生かしたカレー キーマ」（290円から250円に） 「羽根まくら」（1190円から690円に） 「綿パイルフェイスタオル・中厚手」（490円から290円に） 良品計画の「無印良品」は2021年秋冬、200品目で最大40％超の値下げを行う。対象商品は食品、生活雑貨、寝装ファブリック、衣料品のベストセラーアイテムが中心で、“人をダメにするソファ”として人気の「体にフィットするソファ」（税込9990円から7990円に）や、「シリコーン調理スプーン」（590円から490円に）なども含む。11月にかけて順次実施していくが、一部商品は既に値下げ済みだ。 同社は1980年の創業当時から、素材や製造工程、包装の見直しによって定期的に値下げを行っている。昨年10月には靴下やインナー類な

著者のTyler Folkman氏はコンテンツマーケティング会社Branded Entertainment NetworkでAI技術部門のリーダーを務めており（同氏の詳細は同氏公式サイトを参照）、以前に同氏が執筆した記事をAINOW翻訳記事『心配しないで、エクセルは意外と効果的』として紹介しています。最近、同氏が執筆した記事『データサイエンティストはコードの書き方を知っていなければならない』では、データサイエンティストがコードを上手に書けるようになるためのヒントが解説されています。 Folkman氏によれば、データサイエンティストはコードを書く機会が多いものも、ソフトウェアエンジニアほどには高品質なコードを書けず、また上手にコードを書く努力を怠っています。しかし、AIモデルがさまざまな製品や環境に実装されるようになった今日、データサイエンティストであっても高品質なコードを書けるようになるべ

3行まとめ ・分析組織のロードマップとフェーズを分析 ・分析組織の戦略と組織体制を分析 ・分析組織を運営する上での注意事項を列挙 データソリューショングループの天野です。 最近運動不足を解消するために体組成や歩数をモニタリングしており、徐々に成果が出ています。「継続は力なり、計測も力なり」ですね。 前回公開の記事から時間が空いてしまいましたが、今回は事業会社の分析部門責任者の観点から分析組織を「分析」するというテーマにて記事を書きました。 具体的には分析組織の運営に関わるロードマップやフェーズ毎の役割を始め、個社毎に策定するデータ戦略に用いられる要素や分析組織の体制パターン、そして知っておくことや避けた方が良いことなどを「分析」します。「分析」というワードがありますが持論をまとめているだけで、データがまったく出てこないので客観性に乏しくデータ分析者には物足りない内容かもしれませんが、ひとつ

全てのカードキーを無にする……？ 「Suicaスマートロック」提供へ JR東日本、JR東日本メカトロニクス、株式会社アートの3社は2021年8月30日（月）、ICカード乗車券Suicaの新サービス「Suicaスマートロック」を2021年冬から開始すると発表しました。 日頃利用しているSuicaやモバイルSuicaのID番号を専用サイトから登録することで、そのまま、オフィスやホテルなどの入退室の鍵として使えるサービスです。施設管理者側でのカード発行が不要になり、管理コストも軽減されるといいます。 「Suicaスマートロック」サービスイメージ（画像：JR東日本）。 システムの運用は、JR東日本が提供する「Suica認証情報提供サービス」を活用しているとのこと。クラウド化されているため、現地に専用のサーバ群を設置する必要もなくなり、業務効率化やコスト削減にもつながるといいます。 さらに、期日限定