「GAFAM」から学ぶ、自動テスト手法――アジャイル開発で単体テストの“確からしさ”を検証する、ミューテーションテストとは
「GAFAM」から学ぶ、自動テスト手法――アジャイル開発で単体テストの“確からしさ”を検証する、ミューテーションテストとは：海外企業に学ぶテスト自動化（1） 海外の先進的企業の事例を基にテスト自動化に使われる手法を解説する本連載。第1回は、アジャイル開発において単体テストを検証する「ミューテーションテスト」について。 今の時代に「海外に学ぶ」というタイトルは反感を覚える方がいるかもしれませんが、残念ながら日本のソフトウェア企業と「GAFAM」（Google、Amazon.com、Facebook、Apple、Microsoft）との技術力の差は大きいです。それは日本の技術者が米国などの海外の技術者より劣っているという話ではなく、企業の利益の差が大きいと思っています。例えば、Googleの利益は約4兆円で、利益率約20％、1人当たりの利益は約7000万円、Microsoftの利益は約6兆円、
Kaggleランカーの7人に聞いた、2021年面白かったコンペ7選と論文7選 | 宙畑
7名のKagglerの方にアンケートにご協力いただき、2021年に面白かったコンペと論文を教えていただきましたのでその結果を紹介します。 2022年8月31日以降、Tellus OSでのデータの閲覧方法など使い方が一部変更になっております。新しいTellus OSの基本操作は以下のリンクをご参照ください。 https://www.tellusxdp.com/ja/howtouse/tellus_os/start_tellus_os.html 2021年も数多くのデータ解析コンペが開催され、興味深い論文が多く発表されました。 毎年Kaggle等のデータサイエンスコンペティションに取り組んでおられる人達にアンケートを実施し、その年の記事をまとめてきました。 そして本年も7名のKagglerの方にアンケートにご協力いただき、2021年に面白かったコンペと論文を教えていただきましたのでその結果を紹
If You Work With Textual Data, Learn These Pandas Methods
Photo by Uriel Soberanes on UnsplashAs much as I like working with numbers, textual data keeps in existence in my workflow. I haven’t measured or analyzed it but I feel like the amount of textual data I had exceeds that of numeric data. The most significant difference between textual data and numeric data is the amount of cleaning and preprocessing they require. Numbers usually come in a format th
AutoTrainでテキスト分類 - Qiita
AutoTrain🚂🚂🚂とは ノーコードでテキスト分類や要約などがstate-of-the-artできるサービスです。AutoNLPだとググラビリティが低かったので名称が変わったのだと思います。 データ準備 livedoorニュースコーパスのタイトルと本文を結合して、9つのカテゴリを分類しようと思います。 !wget https://www.rondhuit.com/download/ldcc-20140209.tar.gz !tar xf ldcc-20140209.tar.gz import glob import pandas as pd data = [] for path in glob.glob('text/**/*-*.txt'): with open(path) as f: data.append({ 'url': next(f).strip(), 'datetime
ローソン､SNS躍進の仕掛人
私がこの世に生まれてこなかったら、この世に存在しなかったものを作る――。 愛読書『考具』（加藤昌治著）からヒントを得て作ったという座右の銘を語るのは、ローソン広告販促企画部（兼CRM推進部）の白井明子・アシスタントマネジャー。SNSのキャラクター「ローソンクルー♪あきこちゃん」の生みの親だ。 「あきこちゃん」といえば、SNSで知らない人はいないほどの人気キャラだ。コンビニエンスストア国内2位のローソンの学生アルバイト店員という設定で、ツイッター（Twitter）からフェイスブック（Facebook）、ライン（LINE）まで24メディアに登場。店舗やネット通販で扱う新商品情報の提供や、キャンペーンの告知を行っている。 あきこちゃんに「友達」登録した会員数は全メディア合計で490万人、うち多くがライン経由で390万人だ。更新ペースは、ツイッターで1日5～8回、フェイスブックで同2回程度。人気キ
集計作業のお悩みをAIで解決／第4話「文章自由回答データを効率的に集計する”教師なし学習AI”とは」｜マクロミル公式note
前回は、意見や感想などの文章で記述された自由回答データの集計についてご紹介しました。今回はAIを活用して効率化するプロセスをご紹介します。 １.「教師なし学習AI」で行われる処理 今回もアンケートで得られた「作りたてコーヒーサービスがあったら利用したいか」という質問に対する以下のような文章での自由回答データを使用します。前回はアフターコーディングを人の手で行う方法をご紹介しましたが、今回はAIでアフターコーディングを効率的に行う過程を解説していきます。 今回は「教師なし学習」という種類のAIを活用して、分類分けを行います。ここでは大きく分けて3つの処理を経て文章のデータを分類します。 ※教師なし学習の定義やAIの分類については第3話 をご参照ください。 （１）文章分解：形態素解析などで文章を細かく分解 （２）ベクトル化：分解した文章を「複数の数値の組」でデータ化 （３）クラスタリング：デー
あえて予測の更新頻度を落とす| サプライチェーンの現場目線にたった機械学習の導入 - MonotaRO Tech Blog
モノタロウでデータサイエンティストをしております、朝倉と申します。今回は、モノタロウのサプライチェーンを支えるシステムの1つである需要予測に、機械学習を現場導入した際のお話をしようと思います。 はじめに モノタロウでの発注の仕組みと需要予測 機械学習を導入する取り組みの開始 機械学習の現場導入で起きた問題点① - 発注量が増える 問題点① - 発注量が増えることへの解決策 モデルの切り替えの際に少しずつ更新できる仕掛けに あえて予測の更新頻度を落とす 機械学習の現場導入で起きた問題点② - 結果の解釈が難しい 問題点② - 結果の解釈が難しいことへの解決策 まとめ これからの展望 はじめに モノタロウでは1800万点以上の商品を取り揃えており、50万点近くの商品が在庫化されています。また、11年連続で売上が20%以上成長しており、売上増に伴い物流量も年々増加しております。規模の大きさや複雑
Big Sky :: 「R が生産性を高める〜データ分析ワークフロー効率化の実践」を読んだ。
Rが生産性を高める〜データ分析ワークフロー効率化の実践 igjit, atusy, hanaori 技術評論社 Kindle版 / ￥3,126 (2022年01月21日) 発送可能時間： もともとデータ解析というか機械学習に幾らか興味があり、このブログや Zenn 等でも幾らか記事を書いてきたのですが、R 言語に関してはほぼほぼノータッチで、たまに遊んだりはしていましたが使えるというレベルではありませんでした。 以前から vim-lsp-settings という、Vim からあらゆる Language Server をインストールできるプラグインを作っており、そこで R の Language Server を試したところ、Windows で動かないバグを見付けパッチを送った際に少し触ったのが初めて R を触った体験です。このパッチがマージされたのをきっかけに少しだけ R を触る様になりま
メルカリのデータ分析チームでやったことの振り返り｜樫田光 | Hikaru Kashida
こんにちは。 データアナリスト 兼 チームのマネージャ としてメルカリという会社に4年ほど勤めていたのですが、色々やった気はするが、思い返してみると結局の所何をしたんだっけ？という気持ちに突然なりました。僕は忘れっぽいので、今後もこういう瞬間は何度も訪れそうな気がしています。 ということで、この4月から新しいことを始めるこのモーメントに自分が何をしたのかをちゃんと書き残しておくことにしました。 自分自身の記憶のアーカイブの役割とともに、誰かの参考になれば望外の喜びです。 大体2016−2019年くらいの話です（今のメルカリのデータ分析チームはもっと進化していますのであしからず。） LTVの概念を導入した2022年現在となってみると非常に不可解ではあるが、私がメルカリに入社した2016年頃には、社内では「LTVを見る」という概念はなかった。 ゆえに、投資がリクープ（回収）できているかどうかを
QGISを使って「災害データを地図で分析」してみよう 初心者向けの入門マニュアル｜NHK取材ノート
分析を身につけるには実際に「手を動かす」ことが一番の近道です。 分析ソフトと自治体のオープンデータを使った分析の進め方をとことん詳しく、マニュアル風にご説明します。やってみたいけど難しそう、わからない！という方の参考になればうれしいです。 （※あくまでもイメージをつかむためのものですので、詳しくはネットや参考書など他の情報もご覧ください） 今回のゴール地震による津波で浸水が想定されている区域に、子どもが通う施設がどのくらいあるのか。公開データから分析、可視化する。 以前、私が分析に携わったこの記事では、津波によって浸水が想定されている区域に、高齢者施設がどのくらいあるかを調べました。 このときのデータは、県や自治体などから取材で提供を受けたものがベースになっていました。そのままオープンにすることはできないので、今回は高齢者と同じく避難に手助けが必要な、「子どもの施設」に津波のリスクがあるか
統計検定準1級受験体験記 | MoT Lab (GO Inc. Engineering Blog)
MoT、AI技術開発部の立松です。先日、統計検定準一級(CBT)を受験し合格しました。非常に学びの多い資格だったので、勉強の流れや受験してよかった点などをご紹介したいと思います。 はじめにこんにちは！MoT、AI技術開発部の立松です。普段はDRIVE CHARTというサービスにて、データサイエンティストとして分析業務やモデル開発等をしています。先日、統計検定準一級(CBT)を受験し、合格しました。非常に学びの多い資格だったので、勉強の流れや受験してよかった点などをご紹介したいと思います。 試験概要「統計検定」とは、統計に関する知識や活用力を評価する全国統一試験です。今回私が受けた準1級は、「実社会の課題に対する適切な手法の活用力」というレベルを目安に設計されています。2021年より、CBT(Computer Based Testing)方式の試験に切り替わっており、都合のよい試験日時に受験
「数理最適化」とは――4つの応用事例、実問題適用への手順、機械学習との違い、使い分け方
「数理最適化」とは――4つの応用事例、実問題適用への手順、機械学習との違い、使い分け方：リクルート事例で分かる数理最適化入門（1） リクルートにおける数理最適化の応用事例の紹介を通じて、数理最適化とは何か、どのようにビジネスに応用できるのかを紹介する連載。初回は、数理最適化の概要、リクルートにおける4つの応用事例、実問題適用への手順、機械学習との違い、使い分け方などについて。 近年多くの企業で、ビジネスでのデータ活用が当たり前になっています。中でも機械学習を用いた成功事例については、耳にしている読者の方も多いと思います。一方で、同じくデータ活用の技術である「数理最適化」は、さまざまな領域で成果を上げているにもかかわらず、その実態について知っている人はあまり多くないようです。 本連載ではリクルートにおける数理最適化の応用事例の紹介を通じて、数理最適化とは何か、どのようにビジネスに応用できるの
Rで解析：国土数値情報のデータの読み込みに便利！！「kokudosuuchi」パッケージ
国土数値情報のデータの読み込みやデータの列名、コードリストを簡単に変換できるパッケージの紹介です。大変便利です。 国土数値情報「鉄道時系列データ」のN05-20_GML.zipを読み込んだ例で紹介します。 国土数値情報「鉄道時系列データ」：https://nlftp.mlit.go.jp/ksj/gml/datalist/KsjTmplt-N05-v1_3.html パッケージバージョンは1.0.0。実行コマンドはwindows 11のR version 4.1.2で確認しています。 #パッケージの読み込み library("kokudosuuchi") #ダウンロードしたzipファイルを選択 library("tcltk") TestData <- paste0(as.character(tkgetOpenFile(title = "zipファイルを選択", filetypes = '{
リバタリアンが集まる町を作ったら、そこは熊の巣窟になった──『リバタリアンが社会実験してみた町の話:自由至上主義者のユートピアは実現できたのか』 - 基本読書
リバタリアンが社会実験してみた町の話:自由至上主義者のユートピアは実現できたのか 作者:マシュー・ホンゴルツ・ヘトリング原書房Amazon はじめに どのように人々は集まってきたのか？ 自由な町にヤバいやつらが集まってくる。 リバタリアンらは町を良い方向に変えたのか？ おわりに はじめに 他者の身体や私的財産を侵害しない限り、各人が望むすべての行動は自由であると主張する、リバタリアンと呼ばれる人たちがいる。すべてを自由にすべきと考える原理的な人から、条件的に制約を認める人まで無数の思想的内実があるわけだが、そうした思想を持つ人々にとっては多くの国家・地域は制約だらけにみえるだろう。 自分たちの思想を社会に反映させるためには、民主主義の場合にはリバタリアン的思想を持つ候補者に票を投じたり、自分自身が立候補して国の方針を地道に変えていかなければいけないわけだが、それは当然ながらなかなかに大変な
データサイエンス・データ分析のオススメ本18選 超定番から隠れた良書まで | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Anomaly Detection in SQL
A beginner’s guide to Bayesian CNN
【欠損を把握セヨ】R studio解説: naniarパッケージ
Kindleストアで1,000冊以上が半額など！ コンピュータ・IT本キャンペーン開催中／『Python実践データ分析100本ノック』が55％OFFの1,188円【Book Watch/セール情報】
人気外食チェーン店満足度ランキングTOP100【2024最新版】 | RANK1[ランク1]｜人気ランキングまとめサイト～国内最大級![人気外食チェーン店満足度ランキングTOP100【2024最新版】 | RANK1[ランク1]｜人気ランキングまとめサイト～国内最大級](https://cdn-ak-scissors.b.st-hatena.com/image/square/4a30b69bd4504d65457bd2ae285a50cc12581523/height=288;version=1;width=512/http%3A%2F%2Frank1-media.com%2Fthumb.php%3F%26width%3D470%26height%3D246%26src%3Dfile%2Fparts%2FI0001535%2Fa8bc8af8ae58d88372a3e3c980178aba.jpg)
