データ指向アプリケーションデザイン
監訳者まえがき はじめに 第I部データシステムの基礎 1章 信頼性、スケーラビリティ、メンテナンス性に優れたアプリケーション 1.1 データシステムに関する考察 1.2 信頼性 1.2.1 ハードウェアの障害 1.2.2 ソフトウェアのエラー 1.2.3 ヒューマンエラー 1.2.4 信頼性の重要度 1.3 スケーラビリティ 1.3.1 負荷の表現 1.3.2 パフォーマンスの表現 1.3.3 負荷への対処のアプローチ 1.4 メンテナンス性 1.4.1 運用性：運用担当者への配慮 1.4.2 単純さ：複雑さの管理 1.4.3 進化性：変更への配慮 まとめ 2章 データモデルとクエリ言語 2.1 リレーショナルモデルとドキュメントモデル 2.1.1 NoSQLの誕生 2.1.2 オブジェクトとリレーショナルのミスマッチ 2.1.3 多対一と多対多の関係 2.1.4 ドキュメントデータベース
エムスリーの機械学習エンジニアが語る、医療用語に注目した文書の類似度計算のしくみ
エムスリーの機械学習エンジニアが語る、医療用語に注目した文書の類似度計算のしくみ 医療用語に注目した文書の類似度計算 2019年1月22日、freee株式会社にて、Data Driven Developer Meetupが主催するイベント「Data Driven Developer Meetup #4」が開催されました。サービスをより良いものにするために日々データと向き合っているデータサイエンティストやエンジニアなど、様々な職種で活躍する人々が集い、知見を共有する本イベント。今回は日本経済新聞社とエムスリー株式会社の2社がメインセッションに登壇し、自社の取り組みについて語りました。プレゼンテーション「医療用語に注目した文書の類似度計算 」に登場したのは、株式会社エムスリーのnishiba氏。医療用語が用いられた文書の類似度を計算するために用いた仕組みとその裏側を語ります。講演資料はこちら
BASEを支える機械学習エンジニアチームをゼロからつくってきた1年 - BASEプロダクトチームブログ
出典： https://unsplash.com/photos/36Vbwo1OiZU BASEでData Strategyチームのマネージャーをしている鈴木僚です。 Data Strategyチームのミッションは、データを使ってプロダクトを成長させ、戦略的に事業を推進させることです。 EC事業では、オーナーズ（ショップオーナー）・購入者・社内メンバーの3者からなる膨大なデータが日々蓄積されています。Data Strategyチーム（以下、DSチーム）では、その3者に対して、より良い意思決定ができるよう機械学習を活用したソリューションを提供しています。例えば、直近ではオーナーズがより簡単にショップ運営ができたり、ショップと購入者のマッチングをより適切なものにしていくことに取り組んでおります。また、安心して購入者の方々にショッピングを楽しんでいただけるように商品の品質の自動チェックも始めてお
kaggle: Mercari Price Suggestion Challenge まとめ - copypasteの日記
はじめに コンペ概要 特別ルール kernel only 2stage 特別ルールの影響 データの種類とタスク 評価方法 提出方法 勉強になる Kernel と Discussion Mercari Interactive EDA + Topic Modelling | Kaggle Ridge Script | Kaggle ELI5 for Mercari | Kaggle A simple nn solution with Keras (~0.48611 P 12a776 | Kaggle Wordbatch FTRL+FM+LGB (LBL 0.42506) | Kaggle CNN GloVE single model-Private LB 0.41117 (~35th) | Kaggle Mercari Golf: 0.3875 CV in 75 LOC, 1900 s | K
BERT with SentencePiece を日本語 Wikipedia で学習してモデルを公開しました
TL;DR 日本語 Wikipedia で学習した BERT モデルを公開しました yoheikikuta/bert-japanese livedoor ニュースコーパスで finetuning して良い性能を発揮することも確認 まあまあコスト掛かっているので、役に立った場合は BOOTH の商品ページ でサポートしてくれると嬉しい BERT の登場以降、自然言語処理の応用タスクを気軽に解く機運が高まってきたように思う。 自分はもともと画像分析の方に重きを置いていたが、最近は割と自然言語処理の応用タスクに興味があって色々やっていた。 BERT が決定版とも思わないし今後もどんどん改良はされていくとは思うが、ともかく機械学習モデルを利用する側にとってはかなり気軽に自然言語処理の応用タスクを解けるようになってきている。良いことだ。 これは誰か日本語の tokenizer を使った pretra
機械学習向け教師データ作成ツール、TISがオープンソースで公開：3種類のデータ作成に向く - ＠IT
TISは機械学習に向けた教師データ作成ツール「doccano」をオープンソースソフトウェアとして公開した。テキスト分類、系列ラベリング、系列変換という3つの基本的なタスクで使用するデータを作成しやすいという。 TISは2018年11月6日、自然言語処理や機械学習に向けた教師データ作成ツール「doccano（ドッカーノ）」をオープンソースソフトウェア（OSS）として公開すると発表した。GitHubから入手できる。 doccanoは、機械学習などで教師データに使うラベル付きデータを作成するアノテーションツール。「テキスト分類」、文中の人名や地名などを特定する「系列ラベリング」、要約や翻訳といった「系列変換」という3つの基本的なタスクで使用するデータを作成しやすいという。 これらの基本的なタスクは表計算ソフトなどの帳票ツールでも実行可能だが、例えば系列ラベリングでは文字単位、単語単位でデータを作
ヤフー、AIでドラレコ映像を解析 ガソリン価格や駐車場の満空情報、行列のできる店をナビに反映 実証実験スタート - ITmedia NEWS
ヤフーは10月15日、ドライブレコーダーの映像をAI（人工知能）が解析することで、道路沿いにあるガソリンスタンドのガソリン価格や駐車場の満空情報といった視覚情報をデータ化する実証実験を始めたと発表した。得られるデータを検証しながら、自社の地図サービス「Yahoo! MAP」やアプリ「Yahoo!カーナビ」での活用を目指す。 実証実験では、東京都23区内を走るアスクルの配送用車両に搭載したドライブレコーダーの映像を活用。ガソリン価格や駐車場情報の他、渋滞や事故といった交通状況や、レストランの行列状況など、あらゆる場面を認識して地域情報に反映するような用途を検討する。 ドライブレコーダーの映像はヤフーが管理するサーバに直接送信し、アスクルはデータに関与しない。映像に映ったクルマのナンバープレートや歩行者にはマスキング処理を施し、個人を特定する目的では使用しないとしている。実証実験の期間は201
売れる映画はどんなタイプか 英大学がデータサイエンスで分析
どんな映画が売れるのかをデータサイエンスで分析する試みが、英バーミンガム大学の研究者らによって行われました。“感情”の動きに着目して分析した結果、あるタイプの映画が興行収入が高いとの結果となりました。 分析は6000作あまりの映画を対象に、脚本、映画の情報、興行成績などのデータを使って行われました。映画の脚本を文章ごとに分けて、その文章の「感情」を-1（ネガティブ）から1（ポジティブ）まで数値化。それをもとに、物語の進行につれて感情がどう動くかによって、映画を以下の6タイプに分類しています。 映画をデータで分析 「Rags to Riches」（感情がネガティブ→ポジティブへと上昇）：作品例「ショーシャンクの空に」「恋はデジャ・ブ」「ナイトメアー・ビフォア・クリスマス」 Rags to Riches 「Riches to Rags」（感情がポジティブ→ネガティブに下降）：作品例「サイコ」「
確率統計－機械学習その前に v2.0
確率統計の勉強会資料を大幅に改定しました。数式を最小限にし、統計分析のためのトピックを総覧的に資料化しています。 2021/11/20 内容や記載を拡充しました（合わせて SpeakerDeckに移動しました） https://speakerdeck.com/hidekatsu_izuno/que-lu-tong-ji-ji-jie-xue-xi-sofalseqian-ni
【Python】自然言語処理でラーメン屋を分類してみる - Qiita
はじめに こんにちは、コピペデータサイエンティストです。 3年ぐらい前に「ラーメンと自然言語処理」というおちゃらけLTをしたのですが、今見ると恥ずかしいぐらいショボいので、Pythonで作りなおしてみました。 長くなったので3行でまとめると Web上に転がっている口コミとか紹介文を Pythonのライブラリを用いて解析することで 好きなラーメン屋に似たラーメン屋を見つける手法を構築した 方法 統計的潜在意味解析という手法を用います。ざっくり言うと、文書がどんなトピックを持っているか、何に関する文書なのか、を推定してくれるものです。 以下の様なイメージで各トピックに割り振られる割合を算出できるため、以下の例ではAとBが近い、ということを計算することが可能です。 ラーメン屋A： [0.75, 0.15, 0.10] ラーメン屋B： [0.60, 0.15, 0.15] ラーメン屋C： [0.0
探索的データ解析における正しい可視化手法の選び方と描き方 - Qiita
データ分析における関数の使い方については様々な記事が上がっています。関数を知らなかったり使い方が分からないときは調べればだいたい答えが見つかります。 一方で、実際に分析を始めようとすると、たとえ関数の使い方がわかっていても、データをどのような切り口から何を分析・可視化していけば良いのか困ってしまうことがよくあります。 この記事では、あんちべさんが書いたデータ解析の実務プロセス入門という本をベースに、どのようなデータから何を見たいときにどのような可視化手法を使えばよいのかを、具体例を交えながら整理していきます。 探索的データ解析とは データ解析のアプローチは、大きく分けて仮説をデータで検証する「仮説検証型」とデータから仮説を生み出す「探索型」に分けられます。 実際にデータ解析を行うときは、仮説検証型と探索型を行き来しつつ知見を見出していきます。 データ解析には検証すべき仮説を設定することが必
アプリで農作業をカンタン管理！
農業分野に進出するITベンチャーの中で、農業関係者から注目を集めているのが新潟市に本拠地を置くウォーターセルだ。同社は、Googleマップなどのネット地図データを利用した「アグリノート」というアプリを開発、確実に利用者を増やしている。アグリノートは、スマートフォンやパソコンを使って、農地を管理し、農作業を記録する。入力が簡単で、付けた作業記録もデータとして自動的にたまっていくため、従来の手作業やパソコンでの管理に比べてぐっと手間が減る。農業版のISOと言われるGAP（ギャップ）※認証の取得に威力を発揮するツールとしても期待されている。 ※GAP：Good Agricultural Practiceの略で、日本語では「適正農業規範」や「農業生産工程管理 」などと訳される。「農産物（食品）の安全を確保し、よりよい農業生産を実現する取り組み」のことを指し、一定の基準を満たした農家や団体に対して認
Yahoo! JapanのHadoopクラスタは6000ノードで120PB。指数関数的に増大するデータ需要を技術で解決していく。Hadoop Spark Conference Japan 2016
Yahoo! JapanのHadoopクラスタは6000ノードで120PB。指数関数的に増大するデータ需要を技術で解決していく。Hadoop Spark Conference Japan 2016 日本を代表する規模のビッグデータ処理基盤を持つ企業の1つがYahoo! Japan（以下Yahoo!）です。 同社は2月8日に開催された「Hadooop Spark Conference Japan 2016」において、現在運用中のビッグデータ処理基盤の規模、そして同社が抱えている課題と、それをどう解決していくのかを基調講演の中で示しました。 同社が示した解決方法は、Hadoopなどのビッグデータ処理基盤を使い倒す側から、作る側へ向かうという大胆なものです。同社の貢献はオープンソースとなり、今後さらに多くの課題解決に役立つことになりそうです。 同社データインフラ本部 遠藤禎士（えんどうただし）氏
TensorFlow Tutorial でニューラルネットワークを使う[Python] - よーぐるとのブログ
Googleが発表した人工知能ライブラリTensorFlowを動かしてみました。 チュートリアルを追いながら、ニューラルネットワークの勉強(復習)をしたので理解は深まりましたが、誤りや間違いもあると思います。見つけた場合はご指摘ください。 Download & Install MacOSでのダウンロードは次のようになります。Ubuntu/LinuxだとGPU使うバージョンもダウンロードできる模様 ダウンロードページ # Only CPU-version is available at the moment. $ pip install https://storage.googleapis.com/tensorflow/mac/tensorflow-0.5.0-py2-none-any.whl 動作確認 $ python >>> import tensorflow as tf >>> hel
![TensorFlow Tutorial でニューラルネットワークを使う[Python] - よーぐるとのブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/db307aee397ff10bb8284a594f67d8fe1c01d118/height=288;version=1;width=512/http%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fy%2Fyoghurt1131%2F20151112%2F20151112021353.jpg)
Amazon API Gateway + Lambda + Amazon Machine Learning で会員の購買予測が出来るWordPressプラグインを作る - Qiita
Amazon API Gateway + Lambda + Amazon Machine Learning で会員の購買予測が出来るWordPressプラグインを作るWordPressAWSMachineLearninglambdaAPIGateway 概要 Amazon API Gateway + Lambda + Amazon Machine Learningでユーザの購買(契約)予測が出来るWordPressプラグインを作ってみました。 Amazon Machine Learningでデータを機械学習させ、結果をAPI GatewayからWordPressへ返却、ユーザの購買(契約)予測を管理画面のユーザ一覧に表示させるまでを実施します。 この人のデータからは購入（契約）できそうだなとか、そうではなさそうだなというのを管理画面から可視化する仕組みです。 Amazon Machine
Big Sky :: 適当な日本人の名前や住所をランダムに作れる gimei を golang に port した。
« lingr で stackverflow を検索出来る bot を golang で書いた。 | Main | Vim scriptで「ソフトウェアエンジニアならば1時間以内に解けなければいけない5つの問題」を解いてみた » willnet/gimei - GitHub gimei は、日本人の名前や、日本の住所をランダムに返すライブラリです。テストの時などに使います。似たようなライブラリにfakerがあります。fakerはとても優れたライブラリで、多言語対応もしていますが、ふりがな(フリガナ)は流石に対応していません。gimei ふりがな(及びフリガナ)に対応しています。 https://github.com/willnet/gimei オリジナルは ruby gems です。 mattn/go-gimei - GitHub golang port of gimei https://
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[Android & Kotlin ] アプリの画面遷移とActivity間のデータ転送![[Android & Kotlin ] アプリの画面遷移とActivity間のデータ転送](https://cdn-ak-scissors.b.st-hatena.com/image/square/59ad3aeee1108936402f1b313a1d57494c6781b4/height=288;version=1;width=512/https%3A%2F%2Fakira-watson.com%2Fwp-content%2Fuploads%2F2022%2F04%2Fintent_01b.png)
Sign in - Google Accounts
[ケータイ用語の基礎知識]第759回：LoRa とは![[ケータイ用語の基礎知識]第759回：LoRa とは](https://cdn-ak-scissors.b.st-hatena.com/image/square/3316512dedbf2e297f96f8ae0c7022b6a28f768d/height=288;version=1;width=512/http%3A%2F%2Fk-tai.watch.impress.co.jp%2Fimg%2Fktw%2Flist%2F1003%2F870%2F00.jpg)