この記事はエムスリーAdvent Calendar 2023とMLOps Advent Calendar 2023の12日目の記事です。 AI・機械学習チームの北川です。 最近は猫のかまってアピールがすごすぎて、よく仕事の邪魔されます。 かまって欲しがる猫 現在AI・機械学習チームではMLのバッチをGoogle Kubernetes Engine(GKE)上で運用しています。 現在数えてみたところ240個以上のバッチがGKE上で動いているようです。 AI・機械学習チームでは2019年頃から約４年ほどGKE上でMLバッチを運用しています。 その間にコストの最適化や安定したバッチの運用などに力を入れてきました。 この記事では、主にスケールインとコスト最適化について説明しようと思います。 チームのMLについて全体を把握したい場合は以下の記事が詳しいです。 www.m3tech.blog GKEの
Shinichi Takaŷanagi on Twitter: "”仕事ではじめる機械学習”的な内容の論文。「運用が難しいモデルはやめとけ」や「MLモデルにもテストをちゃんと書け」など大学での教育では見落としがちな内容を示唆している Return on Investment in Machine… https://t.co/RWPhVwYQEP"
”仕事ではじめる機械学習”的な内容の論文。「運用が難しいモデルはやめとけ」や「MLモデルにもテストをちゃんと書け」など大学での教育では見落としがちな内容を示唆している Return on Investment in Machine… https://t.co/RWPhVwYQEP
機械学習パイプラインの概念について説明した資料です。 ## Reference ### ML Pipelines for Software Engineers GigaOm-Delivering on the Vision of MLOps - Microsoft Azure http…
そもそも機械学習の学会とは はじめまして、株式会社メルカリにて機械学習エンジニアをしています上田（@hurutoriya）です。筑波大学修士卒業の後、フリーランスとして経験を積み、株式会社メルカリに機械学習エンジニアとして入社しました。 今回、会社の成果を論文形式でまとめて、投稿した論文がOpML’20 に採択されたので、今回の論文投稿と採択経験を通じて学んだ機械学習系の学会事情や学会に参加してよかったことについて紹介していきます。 機械学習エンジニアの学会事情 まずは、機械学習エンジニアの学会事情について説明します。機械学習に関連する学会には多岐にわたる国際学会が存在します。 代表的なものだけでも下記のような学会があります。 機械学習分野: ICML, NeurIPS データマイニング: KDD. WSDM, CIKM コンピュータビジョン: CVPR, ICCV, ECCV 自然言語処
Cloud Composer 2上でApache Airflow 2のワークフローを実装する - ZOZO TECH BLOG
はじめに こんにちはZOZOデータサイエンス部MLOpsブロック松岡です。 本記事では先日リリースされたGCP（Google Cloud Platform）Cloud Composerの最新バージョンCloud Composer 2について紹介します。 ZOZOTOWNでは、多種多様な商品が毎日新たに出品されています。現在MLOpsブロックでは、機械学習で商品情報の登録を補佐するシステムを開発しています。 このシステムでは商品情報を保存するデータベースへ大量の書き込み処理が発生します。このアクセスによる負荷が日常業務に影響を及ぼすリスクを最小限に抑えるため、推論処理は夜間に行います。夜間に処理を完了させるには強力なマシンリソースを使用する必要があります。コストの観点から処理が行われていない時間はマシンリソースを使用停止する必要もあります。また、人手を介さずに安定して稼働出来る仕組みも求めら
はじめに 4月23日にメルカリ 澁井氏(@cvusk )により、機械学習システムのデザインパターンについてのブログポスト、および実ドキュメントがGitHub Pages公開されました。 https://tech.mercari.com/entry/ml-system-design より引用 また、氏の「データ分析基盤Developers Night #4 〜活用されるデータ基盤のつくり方〜」における「メルカリのデータ分析を支える機械学習システムのデザインパターン」の発表が、 ログミーのまとめ YouTubeアーカイブ にあり、併せて視聴すると、どのように設計パターンという発想に至ったか、またメルカリにおける設計パターン活用の実例に触れられます。 機械学習のシステム構成を学ぶ記事をまとめる - Qiita には、ご本人により、こうした機械学習のエンジニアリング、アーキテクチャ面の参考リンクが
RecSysOps: Best Practices for Operating a Large-Scale Recommender System
RecSysOps: Best Practices for Operating a Large-Scale Recommender System Ensuring the health of a modern large-scale recommendation system is a very challenging problem. To address this, we need to put in place proper logging, sophisticated exploration policies, develop ML-interpretability tools or even train new ML models to predict/detect issues of the main production model. In this talk, we shi
機械学習に携わる業務をするなかで必要になった、機械学習アルゴリズム以外の知識について概要を共有します。主に MLOps 周りと、その立ち上げに必要なものです。 ## Data science for software engineers 有賀 康顕, 中山 心太, 西林 孝著「仕事ではじめる…
Google Cloud が Vertex AI を公開: 各種 ML ツールを統合したプラットフォーム | Google Cloud 公式ブログ
※この投稿は米国時間 2021 年 5 月 19 日に、Google Cloud blog に投稿されたものの抄訳です。 本日の Google I/O にて、マネージド機械学習（ML）プラットフォームである Vertex AI が一般提供になることが発表されました。このプラットフォームは、企業において人工知能（AI）モデルのデプロイおよび維持を迅速に行えるようにするものです。Vertex AI は、他の競合プラットフォームに比べ、モデルのトレーニングに必要なコードの行数をおよそ 80% 少なくできるのが特長です[1]。これにより、専門知識の深浅を問わず、あらゆるレベルのデータ サイエンティストや ML エンジニアが機械学習オペレーション（MLOps）を実装し、開発ライフサイクル全体を通じて効率的に ML プロジェクトを構築、管理することが可能となります。 現在、データ サイエンティストは別
Pytorch-lightning+Hydra+wandbで作るNN実験レポジトリ - Higu`s diary
Kaggle Advent Calender2020の 11日目の記事です。 昨日はhmdhmdさんのこちらの記事です! 2020年、最もお世話になった解法を紹介します - Qiita 明日はarutema47さんの記事です! (後ほどリンクはります) 本記事では、深層学習プロジェクトで使用すると便利なライブラリ、 Pytorch-lightningとHydraとwandb(Weights&Biases)について紹介したいと思います。 対象読者 Pytorchのボイラープレートコードを減らせないか考えている 下記ライブラリについては聞いたことあるけど、試すのは億劫でやってない 書いてあること 各ライブラリの役割と簡単な使い方 各ライブラリを組み合わせて使う方法 各ライブラリのリファレンスのどこを読めばよいか、更に勉強するにはどうすればよいか また、上記3つのライブラリを使用したレポジトリを
GitHub - ml-tooling/best-of-ml-python: 🏆 A ranked list of awesome machine learning Python libraries. Updated weekly.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Introduction Once you have deployed your machine learning model to production it rapidly becomes apparent that the work is not over. In many ways the journey is just beginning. How do you know if your models are behaving as you expect them to? What about next week/month/year when the customer (or fraudster) behavior changes and your training data is stale? These are complex challenges, compounded
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。サイエンス統括本部でYahoo!ショッピングやPayPayモールのおすすめ機能（レコメンドシステム）の開発を担当している正沢です。 この記事では、別々に作られた複数の機械学習のバッチジョブ管理システムをApache Airflow（以降、Airflowと記載します）に集約して、運用負荷を低減した事例を簡単なシステム構成とともに紹介したいと思います。 ※ レコメンドシステムの開発ではプライバシーポリシーの範囲内で取得したデータを用いて行っています Yahoo!ショッピングのレコメンドとは？ Yahoo!ショッピングやPayPayモールには、ユーザーがなにか商品を見ている時に、他にも興味を持ってもらえそうな商品を推薦するレ
The Linux Foundation、機械学習向けプラットフォーム「MLflow」をプロジェクトに追加
The Linux Foundation、機械学習向けプラットフォーム「MLflow」をプロジェクトに追加：「機械学習のベストプラクティスを組み込む」 The Linux Foundationは「MLflow」を新たにLinux Foundationプロジェクトに加えた。MLflowは、Databricksが開発した、特定の機械学習フレームワークや言語に依存しない機械学習向けプラットフォーム。機械学習の開発ライフサイクルを管理する。
はじめに はじめまして、エムスリー AI・機械学習チームの河合(@vaaaaanquish)です。 最近、以下機械学習コンペティションにて 182人中 2位 になりました。 Nishikaサービスローンチコンペ AIは芥川龍之介を見分けられるのか？ competitions summary(https://www.nishika.com/competitions/1/summary)より 本記事は、コンペティションの解法の紹介をしつつ、3月7より開催されている技術書典 応援祭にて販売される、私も執筆に参加したエムスリーテックブック２を宣伝するものです。 はじめに コンペティション概要 利用したfeatureとmodel コンペティション開催中の行動 機械学習パイプラインの選定としてgokartはどうだったか おわりに We are hiring !! コンペティション概要 青空文庫に登録さ
質問内容に対して、手動で実行しその結果をドキュメントに残していれば0.5、CIなどに組み込まれ自動実行されている場合には1.0、どちらにも該当しない場合には0をつけます。各領域においてスコアを合算し、そのスコアの最小値が最終的なML Test Scoreです。従いまして、特定の領域でスコアが高くても、別の領域のスコアが低ければその結果が採用されることになるため、高スコアを得るには全ての領域で高スコアを取る必要がある厳しいものです。 一方、ML Test Scoreを進めるにあたり、同じプロダクトへの継続的な計測であっても回答者が変わった際に回答基準にぶれが生じる課題が発生しました。対策として、設問一つずつに対して社内の状況なども加味した判断基準を作成し、そちらをもとに回答をしてもらうようにしました。具体的には下記のようなものです。 特徴量・データ領域 質問内容： 新しい特徴量は素早く追加可
2020年11月25〜27日の3日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2020」がオンラインで開催されました。そこで LINEのフェローであり、Data Science and Engineeringセンターに所属する並川淳氏が、「LINEではどのようにサービス横断でのデータ活用を実現しているのか」というテーマで、LINEにおけるデータの扱い方について共有しました。 LINEにおけるデータ活用の取り組み 並川淳氏（以下、並川）：本日は「LINEではどのようにサービス横断でのデータ活用を実現しているのか」というタイトルで、並川が発表いたします。私は、LINEではふだん機械学習に関わる開発全般を担当しています。ですが、今日は機械学習に限らず、LINEにおけるデータ活用の取り組みについて幅広く紹介させてもらえればと思っています。よ
こんにちは！SouzohのMLチームでSoftware Engineerをしているwakanaです。 SouzohのMLチームは2021年4月にスタートし、ちょうど2年が経ちます。当時1人だったメンバーも、今では4人になり、レコメンデーションを中心に5, 6個の機能を提供するようになりました。MLOpsも成熟し、より新しく高度なML機能開発に集中して取り組める環境が整ってきていると感じています。 そこでこの記事では、立ち上げから2年たった今SouzohのPython, ML環境がどのようになっているか紹介しようと思います。これからPythonやMLのMonorepoでの開発環境を整えようとしている方、特に少人数での運用を考えてる方の参考になれば嬉しいです。 TL;DR SouzohではPoetry, Bazel, VertexAI Pipelinesで快適なMonorepo開発環境を実現
DynalystのML監視の取り組み事例 | CyberAgent Developers Blog
ML監視は従来のソフトウェア開発の監視要素に加え、モデルや予測値、データに関する監視が必要とされています。 監視の優先順位 上述のようにML監視項目は数多くあり、いきなり全ての監視項目を導入するのは難しいです。 クラウドベンダー各社のMLOpsの成熟度モデル [3]のように、ML監視も段階的に取り組んでいくことが望ましいと言えます。 A Comprehensive Guide on How to Monitor Your Models in Productionの記事ではGoogleのMLOps成熟度モデルに合わせた監視項目を取り上げています。 引用: A Comprehensive Guide on How to Monitor Your Models in Production [4] EVIDENTLY AIが公開してるMonitoring ML systems in product
MLOpsの取り組みについて
はじめに こんにちは。ML・データ部MLOpsブロックの築山（@2kyym）です。 MLOpsブロックでは2022年の上期からArgo CDの導入に着手しました。本記事ではArgo CDの導入を検討した背景から導入のメリット、また導入における公式マニフェストへの変更点や、運用において必須である認証や権限管理など、具体的な手順についてご紹介します。少しでもArgo CDの導入を検討している方の助けになれば幸いです。 またArgo CDを導入するきっかけとなった、複数運用していたKubernetesクラスタを1つに集約するマルチテナントクラスタへの移行についても触れます。マルチテナントクラスタの設計や具体的な移行作業については述べると長くなってしまうため、詳細については改めて別の記事にてご紹介できればと思います。 Argo CDについては、昨年の計測SREブロックの記事でも触れられていますので
MLOps のこれまでとこれから
機械学習の運用に関するさまざまな取り組みについて、過去・現在・未来の観点からまとめた資料です。
To give AI-focused women academics and others their well-deserved — and overdue — time in the spotlight, TechCrunch has been publishing a series of interviews focused on remarkable women who’ve contributed to…
Using MLOps to Bring ML to Production/The Promise of MLOps
In this final Weave Online User Group of 2019, David Aronchick asks: have you ever struggled with having different environments to build, train and serve ML models, and how to orchestrate between them? While DevOps and GitOps have made huge traction in recent years, many customers struggle to apply these practices to ML workloads. This talk will focus on the ways MLOps has helped to effectively in
AI Platform Pipelines の機械学習基盤への導入 - MicroAd Developers Blog
こんにちは、マイクロアド機械学習エンジニアチームの河本（@nnkkmto）です。今回、モデル学習における課題解決に向けて GCP における機械学習基盤に AI Platform Pipelines (Kubeflow Pipelines) を導入しました。今回はその内容について紹介します。 従来の方法 抱えていた課題 手段：AI Platform Pipelines 導入時の方向性 導入内容 実行処理 CI / CD 終わりに 参考 従来の方法 マイクロアドでは学習実行基盤として GCP (Google Cloud Platform) を採用しています。 定期的な学習が必要な推論モデルは、 AI Platform Training の単一の job として学習処理の含まれるイメージを cron 実行することで行っていました。 デプロイ・実行をまとめると以下のような構成になっています。 抱え
Deploy ML on mobile, microcontrollers and other edge devices
第18回 MLOps 勉強会で登壇したスライドです． https://mlops.connpass.com/event/242652/ 各社が実務で取り組んでいるMLOpsに関する事例やMLOpsの各領域で使用されている技術トピックを整理したMLOps Practicesというサイトを公開したの…
MLOps LT大会 2023/7月 登壇資料 https://mlops.connpass.com/event/286716/ バクラクのAI-OCRを支える精度モニタリングについて紹介します。OCR技術は、ビジネスプロセスを効率化する上で必要不可欠な技術の一つですが、その精度を維持するためには、常にモニタリングが必要です。バクラクのMLチームでは、AI-OCRの精度モニタリングに重点的に取り組んでおりその内容を紹介します。
こんにちは．noteの基盤開発グループ機械学習チームに所属している安井です．普段は機械学習を活用したシステムの開発から運用までトータルでおこなっています． noteでは記事の分類やレコメンデーションに機械学習を用いて作成されたモデルが使われています．いくつか例を挙げますと，noteに投稿された記事をカテゴリごとにまとめて見るために，記事をカテゴリごとに機械学習で分類しています．また，”あなたへのおすすめ”としてユーザごとにパーソナライズされたおすすめ記事をとどけるためにも機械学習が活用されています． (図1)noteにおける機械学習の活用箇所それらサービスで活用されている複数の機械学習モデルには記事の内容から分散表現を獲得する似たような仕組みが存在しました．今回はそれらを共通コンポーネントとして切り出し，分散表現を推論・保存まで行う仕組みを構築しました．また，その分散表現を活用したレコメン
MLOpsの各社の定義まとめ - Qiita
CI: 継続的インテグレーション CD: 継続的デリバリー CT: 継続的トレーニング CM: 継続的監視 2.2 Facebook Facebookのエンジニアブログを検索しましたが、ヒットしませんでした。 FBLearnerでMLOpsを実践しているものの、定義を書いているわけではなさそうです。 2.3 Intel Intelのwebサイト内にてMLOpsで検索しましたが、SeldonのCTOの紹介と求人票以外はヒットしませんでした。 https://www.intel.com/content/www/us/en/search.html?ws=text#q=MLOps&t=All プロセッサを作るのがメインの会社だから、無くても仕方ないですね。 2.4 Microsoft 2.4.1 Microsoftの定義 MLOps:Azure Machine Learning を使用したモデル管
Google、「Cloud AI Platform Pipelines」ベータ版を発表！ MLワークフロー作成を支援 | Techable(テッカブル)
Tech Google、「Cloud AI Platform Pipelines」ベータ版を発表！ MLワークフロー作成を支援 Googleは、複雑な機械学習（ML）ワークフローの作成、管理を簡略化する「Cloud AI Platform Pipelines」のベータ版リリースした。 同サービスでは、MLワークフロー作成での全ステップ、データの準備と分析、トレーニング、評価、展開などを支援してくれ、再現性が高く堅牢なパイプライン展開が可能になる。 Cloud AI Platform Pipelinesの導入で、MLワークフローの作成や再利用にかかっていた労力が半減するかもしれない。 ・実行、評価、バージョン管理などの機能を提供Cloud AI Platform Pipelinesは、Google Cloudコンソールから利用でき、セキュアなMLワークフロー実行環境が簡単に用意できる。さらに
はじめに 背景 タスクランナーを導入するモチベーション パラメータ管理ツールを導入するモチベーション 実現したいこと モデルや環境に依存しないタスクによるパイプラインの操作 共通部分と環境特有部分を分離したパラメータ定義 パラメータ定義の構造化 実装方法 利用するツール パラメータファイル 構造化パラメータのマージ処理の実装 おわりに はじめに enechain データサイエンスデスク エンジニアの藤村です。 enechainでは市場活性化を目的として、機械学習や最適化アルゴリズムを用いて電力や燃料などの商品に関する指標を算出し、社内外に提供しています。本稿では、これらを算出するモデルの構築・運用を効率化するために作成した、タスクランナーinvokeとパラメータ管理ツールhydraを一体化したシステムを紹介します。 背景 タスクランナーを導入するモチベーション 機械学習モデルの構築・運用に
AI & MLLearn about artificial intelligence and machine learning across the GitHub ecosystem and the wider industry. Generative AILearn how to build with generative AI. GitHub CopilotChange how you work with GitHub Copilot. LLMsEverything developers need to know about LLMs. Machine learningMachine learning tips, tricks, and best practices. How AI code generation worksExplore the capabilities and be
Weights & Biases is the AI developer platform powering the GenAI industry. Train your own foundation models, fine-tune someone else’s foundation model, manage models from experimentation to production, or develop AI applications powered by frontier LLMs. import wandb run = wandb.init(project="my-model-training-project") run.config = {"epochs": 1337, "learning_rate": 3e-4} run.log({"metric": 42}) m
ペパボのログ活用基盤「Bigfoot」を Google Cloud Platform に移設しました - ペパボ研究所ブログ
研究員の @zaimy です。ペパボ研究所では、自社が運営するウェブサービスのユーザーの行動ログや属性情報を収集・分析・活用するための全社基盤「Bigfoot」を技術基盤チームと協力して開発・運用しています。 Treasure Data をバックエンドとして2016年に運用を開始したこのシステムを、今年 Google Cloud Platform（以下 GCP）を中心とした構成に移設しました。この記事では移設に至った理由、移設時の工夫、移設後の構成などについてお話します。 目次 Bigfoot とは 移設前の構成と移設に至った経緯 GCP の選定理由 BigQuery の存在 AI Platform の存在 コスト 移設時の工夫 データウェアハウスの並行運用 ワークフローの二段階移行 行動ログのスキーマ設計 移設後の構成 bigfoot/platform bigfoot/cloud-com
How to evaluate MLOps Platforms
Companies that pioneered application of AI at scale did so using in-house ML platforms (facebook, uber, LinkedIn etc.). These capabilities are now available in off-the-shelf products. The rush to MLOps has led to too much choice. There are hundreds of tools and at least 40 platforms available: Image by Thoughtworks, from Guide to Evaluating MLOps PlatformsThis is a very difficult landscape to navi
はじめに 先日、AWS認定 機械学習 - 専門知識 (AWS Certified Machine Learning - Specialty) に合格し、AWS認定試験をすべて制覇することができました。11冠達成！ この試験で特に重要なのがAWSの機械学習サービスである 「Amazon SageMaker」 です。 しかし、一口に「SageMaker」といっても「SageMaker ＊＊＊＊」といった関連サービスがとても多い。 もちろん、機能が多いのはありがたいことなのですが、初心者にとっては覚えるのが大変なので、試験の復習も兼ねて、まとめてみました。 SageMaker サービス体系 注意事項 AWS re:Invent 2021 (2021/11/29 - 2021/12/03) 以降に発表されたサービスは別枠としているのは、リリースされて6か月以内のサービスや機能に関する問題が認定試験
Weights & Biases is the AI developer platform powering the GenAI industry. Train your own foundation models, fine-tune someone else’s foundation model, manage models from experimentation to production, or develop AI applications powered by frontier LLMs. import wandb run = wandb.init(project="my-model-training-project") run.config = {"epochs": 1337, "learning_rate": 3e-4} run.log({"metric": 42}) m
The Winding Road to Better Machine Learning Infrastructure Through Tensorflow Extended and Kubeflow - Spotify Engineering
The Winding Road to Better Machine Learning Infrastructure Through Tensorflow Extended and Kubeflow When Spotify launched in 2008 in Sweden, and in 2011 in the United States, people were amazed that they could access almost the world’s entire music catalog instantaneously. The experience felt like magic and as a result, music aficionados dug in and organized that content into millions of unique pl
Weights & BiasesがLLMの開発手法にフォーカスしたホワイトペーパーの第2弾をリリースW&B Fully Connected 2023カンファレンスとAI Expo2023秋にて配布予定 Weights & Biases Japan株式会社（以下、W&B Japan）は本日、大規模言語モデル（LLM）の開発手法にフォーカスするホワイトペーパーの第2弾となる「LLMファインチューニングとプロンプトエンジニアリングのベストプラクティス」を公開しました。LLM導入を検討している企業向けに、自社の保持するリソースやビジネスモデルに合わせたLLM開発手法を選択するための実践的ガイドとなっており、第1弾の「LLMをゼロからトレーニングするためのベストプラクティス」を補完する形で、既存のLLMモデルを拡張する形で自社用途に適応する手法について解説しています。本ホワイトペーパーの印刷済み冊子
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GKEでMLバッチ運用のコツ - エムスリーテックブログ
Introduction to ML Pipelines
機械学習エンジニアの学会での論文発表のススメ。応募から査読通過までの流れ | Offers Magazine
メルカリ「機械学習システムの設計パターン」を読んでみる - Qiita
Introduction to Practical Machine Learning
Monitoring Machine Learning Models in Production
AirflowとKubernetesで機械学習バッチジョブの運用負荷を低減した話
Nishika competitions 2nd solution - エムスリーテックブログ
ヤフーのサイエンス組織におけるMLOps推進チームの取り組み
大量のユーザーデータを横断的に使うために LINEのデータサイエンティストが気をつけているいくつかのこと
メルカリShopsを支えるMonorepo ML開発環境 | メルカリエンジニアリング
BERTを使ったMLバッチ処理実サービスのアーキテクチャとMLOpsの取り組み
MLOpsマルチテナントクラスタへのArgo CDの導入と運用 - ZOZO TECH BLOG
TechCrunch | Startup and Technology News
Get Started with TensorFlow Transform | TFX
第18回 MLOps 勉強会 - MLOps Practicesの紹介
バクラクのAI-OCRを支える精度モニタリング -モニタリングドリブンの改善-
noteの機械学習フローを共通化してレコメンデーションで成果をあげた話｜やすけん / yskn67
タスクとパラメータの一元管理で実現するMLOps - enechain Tech Blog
Using GitHub Actions for MLOps & Data Science
Weights & Biases: The AI Developer Platform
SageMaker初心者必見！AWS認定試験(機械学習)に合格するために絶対に覚えるべきこと - Qiita
Weights & Biases: The AI Developer Platform
Weights & BiasesがLLMの開発手法にフォーカスしたホワイトペーパーの第2弾をリリース
www.chugoku-np.co.jp
minami1.nk.awe.jp
www.hiroshimapeacemedia.jp
tarot-plot.com
l.smartnews.com
l.smartnews.com