PyTorchでは、データセットからミニバッチを取り出すのにDataLoader(torch.utils.data.DataLoader)がよく用いられるが、大きなサイズのデータを用いて実験しているときに、PyTorchのDataLoaderを用いると、とても時間がかかることがわかった。比較のためにデータセットからミニバッチを取り出すイタレータを自作し試してみたが、それと比べてもPytorchのDataLoaderはかなり遅いことがわかった。特にこれは、大きなサイズのデータを用いている時にはボトルネックになりうると思われる。 [追記：2020/03/23] 遅い原因はDataLoaderにデフォルトで使われているBatchSamplerであるというコメントをいただきました。詳しくはコメントをご覧ください。 設定 以下では、データ数が100万のlabelとtargetからバッチサイズ1万のミ
目的 ローカルLLMの推論速度を改善する手法がいくつか報告されています。 今回は実際に報告されている5つの手法を実装して推論速度がどの程度改善するか確認します。 推論処理の高速化手法 1. torch.compile 計算グラフを構築 各演算をCPUやGPUのデバイスに特化した細かい命令に分解 与えられた入力に対して上記の命令を呼び出して演算を効率化 実装 モデルを読み込んだ直後にtorch.compileを追加 model = AutoModelForCausalLM.from_pretrained( model_name, device_map="cuda", trust_remote_code=True, torch_dtype=torch.bfloat16, load_in_8bit=False, load_in_4bit=False, use_cache=False, ).eva
AIミュージックバトル！『弁財天』のスターターキットをPyTorchに移植してアドリブメロディの自動生成を試してみた - 備忘録
はじめに スターターキットについて スターターキットが提供するモデルの概要 実装 必要なパッケージ 実装の概要 メロディ生成実験 実験条件 実験結果 実装の舞台裏やTIPS、TensorFlow版との違いなど おわりに はじめに 最近、下記のイベントが開催されることがアナウンスされた。 benzaiten.studio.site 『AIミュージックバトル！『弁財天』は「伴奏」から「アドリブメロディ」をAIで生成し「どれだけイケてるメロディか」を競うAI自動作曲コンテストです。』 とのことである。 本コンテストではTensorFlowベースのスターターキット（Google Colabで実行可能）が提供されており、自動作曲初心者でも無理なく始められるようになっている。 筆者はPyTorchユーザなので、スターターキットのPyTorch版を作成しておきたいと思ったわけである。自動作曲自体に興味が
GitHub - lucidrains/lion-pytorch: 🦁 Lion, new optimizer discovered by Google Brain using genetic algorithms that is purportedly better than Adam(w), in Pytorch
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
こちらの記事は 2021年6月18日に開催された 第２回分析コンペLT会 - connpass で発表に用いた資料です。 前回の発表 や 他の類似ライブラリとの比較記事 の投稿からある程度時間が経ち、PyTorch Lightning については色々と書き方も変わったのであらためてまとめました。 0. この記事について 対象 素の PyTorch を使ったことがある人 使ったことがない人は必ず Tutorial やってください MLコンペ（特に画像系）に何回か参加する予定がある人 MLコンペは主に Kaggle を想定しています 一度しか参加しないなら素の PyTorch 書き下したほうがはやいです 注意事項 この記事は PyTorch Lightning を使う「べき」という主張ではありません あくまでライブラリの一つの紹介です 「まあそこまで言うなら触ってみよう」というきっかけになるこ
本記事では、Google Colaboratoryで日本語版のBERTを使用する方法について解説します。 BERTそのものについては、昨年執筆した書籍 「つくりながら学ぶ！PyTorchによる発展ディープラーニング」 で詳細に解説しています。 BERTの仕組みを知りたい方は上記の書籍をご覧ください。 書籍では英語版しか扱っていなかったので、本投稿では日本語版でのBERTの使用方法の解説を行います。 （この記事のあと、2つほど書きたいと思っています。） なお本投稿内容の実装コードは以下のGitHubリポジトリに置いています。 GitHub：日本語版BERTのGoogle Colaboratoryでの使用方法：実装コード の、1_Japanese_BERT_on_Google_Colaboratory.ipynbです。 連載一覧 [1] ※本記事【実装解説】日本語版BERTをGoogle Co
pyTorchのTensor型とは - Qiita
2019/9/29 投稿 2019/11/8 やや見やすく編集(主観) 2020/2/1 Tensor型の微分計算の解説Link追加 0. この記事の対象者 pythonを触ったことがあり,実行環境が整っている人 pyTorchを初めて触る人 pyTorchのTensor型をしっかり理解したい人 pyTorchでの機械学習でTensor型dataをどう使っているかを知りたい人 1. はじめに 昨今では機械学習に対しpythonという言語が主に使用され,さらにmoduleとしてpyTorchというものが使用されることがある. 今回はそのpyTorchを使用するための前準備としてTensor型というものの説明をしていく. ただしあくまで参考程度にしてほしいということと,簡潔に言うために間違った表現や言い回しをしている場合があるかもしれないが,そこはどうかご了承していただきたい. 2. Tens
はじめに PyTorchにて, “RuntimeError: CUDA error: device-side assert triggered"というエラーに出くわすことがある ネットに転がってるモデルで発生すると特に厄介である (自分が作った沼ではないので…) またMAEでのマスク処理のような, テクニカルな処理を行う場合などにも頻発 再現性が取れず, 出力されるエラー内容も二転三転. 一定確率で上記のエラーが発生する. 今まではうまく行ってたのに急にエラーが頻発することなども多々あり ということで, 金輪際このエラーに立ち往生しないよう, “CUDA error: device-side assert triggered"に終止符を打とう！ ネットに転がってる議論は入力のshapeが云々・loss関数が云々と具体的で狙い撃ち的すぎる なので, より実践的な解決の手引きをメモ程度にまとめ
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? TorchData pytorchでデーラローダーを作成する方法は色々ありますが，最近（2022年前半）にTorchDataがアナウンスされました． https://github.com/pytorch/data https://pytorch.org/data/beta/index.html でもあまり情報が出回っておらず，検索してもcsvを読み込む程度の説明しか見当たりません．データパイプの分岐や処理などをどうやるのか，何に使えるのかがよく分からないので，記事を書いてみました． リンク先の記事ではtorchdataの簡単な説明から始
はじめに 最近ずっと悩んでいたのが、PyTorchで乱数の種を固定したつもりでも、結果が一定しない問題。環境はGoogle ColabのGPUです。 (2021-04-10) 対策もわかったので修正 (2021-07-06) 従来の方式でGoogle Colabでエラーになったので対策を追記 (2021-08-01) pytorchのバージョンアップに伴い、関数が変わったのでコード修正 どのような問題か 次のようなコードで定義したCNNモデルです。 CIFAR-10学習用に作ったモデルです。 class CNN_v2(nn.Module): def __init__(self, num_classes): super().__init__() self.conv1 = nn.Conv2d(3, 32, 3, padding=(1,1), padding_mode='replicate')
GitHub - open-mmlab/mmocr: OpenMMLab Text Detection, Recognition and Understanding Toolbox
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
こんにちは、Dajiroです。前回の技術記事を書いてからだいぶ日が空きました。本ブログでは機械学習に関する幅広い技術を解説しようと目論んでいるので、まだ扱ったことのない自然言語処理のネタををじっくりコトコト仕込んでいました。本記事では 単語埋め込み 語順の組み込み Self-Attention に焦点を当てながら、2値分類の一連のワークフローの解説と（若干の）実装をご紹介します！実装はこちらの書籍を参考にしました。2値分類を行うためのTransformerのエンコーダ部分が紹介されています。 つくりながら学ぶ！PyTorchによる発展ディープラーニング 作者:小川 雄太郎発売日: 2019/07/29メディア: Kindle版 Transformerとは？ 仕組みの概要 全体の流れ 1. 文章のベクトル化 2. 語順情報を追加 3.アテンションの計算 二値分類と結果の解釈 所感 Trans
GitHub - bitsandbytes-foundation/bitsandbytes: Accessible large language models via k-bit quantization for PyTorch.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Pytorchでモデルを学習した後にモデルの学習済み重みパラメータを保存して、別のプログラムで読み込みたい。特にGPUで学習したモデルを、GPUを持たないCPUのみのPCで使いたい場合によくハマるのでメモを残しておく。 GPUで学習してGPUで読み込む 保存方法(GPUで保存) 読み出し方法 GPUで学習してCPUで読み込む 保存方法(CPUで保存) CPUマシンでのGPUモデルの読み出し 保存時はstate_dict()を使う state_dict()と直接保存のサイズ比較 学習済みモデルをCPUのPCで使う方法 モデルのdeviceをGPUからCPUに変更して保存 モデルの読み出し時にdeviceをCPUに指定 読み出しエラーの再現 GPUで学習してGPUで読み込む GPUで学習したモデルを保存して、GPUで読み込む場合は以下のコマンド。 保存方法(GPUで保存) model_path
A typical PyTorch training program on 8 GPUs with 4 dataloaderworkers per GPU would create at least processes.A naive use of PyTorch dataset and dataloader can easilyreplicate your dataset's RAM usage by 40 times. This issue has probably affected everyone who has done anything nontrivial with PyTorch.In this post, we will explain why it happens, and how to avoid the 40x RAM usage. All code example
PyTorchで自然言語処理でよく使用されるTransformerを少ないコードで使用してみる
参考情報 今回は下記の記事を参考に記述しています。 https://pytorch.org/tutorials/beginner/transformer_tutorial.html 動作確認した環境はGoogle Colabになります。設定方法は下記の記事に記述しました。 Transformerとは複数のAttention処理を使用しているモデルになります。Attention Is All You Needで提唱された手法になります。 Transformerが出るまでLSTMなどのモデルが自然言語処理では一般的に使用されていましたが、LSTMなどのモデルは並列実行が難しく、学習、推論時にパフォーマンスを出すのが難しい問題がありました。 TransformerはAttentionをベースにしたモデルにしてLSTMで使われている処理を使わないようにすることで並列実行速度を上げただけでなく、あら
GitHub - NATSpeech/NATSpeech: A Non-Autoregressive Text-to-Speech (NAR-TTS) framework, including official PyTorch implementation of PortaSpeech (NeurIPS 2021) and DiffSpeech (AAAI 2022)
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Chainerの有用機能をPyTorch向けに再実装したライブラリ「pytorch-pfn-extras」、PFNが公開 | IT Leaders
IT Leaders トップ ＞ テクノロジー一覧 ＞ 開発ツール／プラットフォーム ＞ 新製品・サービス ＞ Chainerの有用機能をPyTorch向けに再実装したライブラリ「pytorch-pfn-extras」、PFNが公開 開発ツール／プラットフォーム 開発ツール／プラットフォーム記事一覧へ [新製品・サービス] Chainerの有用機能をPyTorch向けに再実装したライブラリ「pytorch-pfn-extras」、PFNが公開 2020年5月12日(火)日川 佳三（IT Leaders編集部） リスト Preferred Networks（プリファードネットワークス、PFN）は2020年5月12日、ディープラーニング（深層学習）のライブラリ「PyTorch」（パイトーチ）の機能を拡張するライブラリ「pytorch-pfn-extras」をオープンソースとして公開した。ライブ
by Tri Dao, Daniel Haziza, Francisco Massa, Grigory Sizov Motivation Large language models (LLM) such as ChatGPT or Llama have received unprecedented attention lately. However, they remain massively expensive to run. Even though generating a single response can cost about $0.01 (a few seconds of an 8xA100 instance on AWS), the costs quickly add up when scaling to billions of users, who could have
$ cd distiller/examples/classifier_compression/ $ python3 compress_classifier.py --arch simplenet_cifar ../../../data.cifar10 -p 30 -j=1 --lr=0.01 -------------------------------------------------------- Logging to TensorBoard - remember to execute the server: > tensorboard --logdir='./logs' => created a simplenet_cifar model with the cifar10 dataset Downloading https://www.cs.toronto.edu/~kriz/ci
PyTorch 1.10の新機能「CUDA Graphs」のパフォーマンスを測定してみる - まったり勉強ノート
はじめに 10/21にPyTorch 1.10がリリースされ、今回も面白そうな機能が追加されました。個人的には楽しみにしていた「CUDA Graphs」のAPIのベータ版が追加されたということで早速試してみました。今回はこの試した結果の記事になります。 CUDA Graphsとは？ CUDA GraphsはCUDA 10で追加されたCUDAの機能の一つで、複数のCUDA Kernelの実行にかかるオーバーヘッドを減らすための機能です。 基本的には依存関係表すことができるグラフにCUDA Kernelを登録して、依存関係を考慮して順番にCUDA Kernelを実行するという仕組みです。このCUDA Graphsを通して実行すると普通にCUDA Knernelを実行するのに比べてCUDA Kernelの実行オーバーヘッドを減らすことができます。 詳しくはNVIDIA Developer Blo
Pytorch tensor から numpy ndarray への変換とその逆変換についてまとめる。単純にtorch.from_numpy(x)とx.detach().numpy()を覚えておけばよいので、その使い方を示しておく。 すぐ使いたい場合は以下 numpy to tensor x = torch.from_numpy(x.astype(np.float32)).clone() tensor to numpy x = x.to('cpu').detach().numpy().copy() pytorchでは変数の型としてほとんどtorch.floatを使うので、基本的にはnumpyでnp.float32にキャストしてからtorch tensorへ変換する。また、torch tensor と numpy ndarray はメモリを共有しているようなので、clone()やcopy()
Segmentation Models Pytorch の バックボーン(Backbone) を設定したいように変更する時の方法と注意点 はじめに ディープラーニングのための自動微分をしてくれる PyTroch において、セグメンテーションのタスクのモデルを簡単に提供してくれるのが Segmentation Models Pytorchです。 モデル作成の初学者から Kaggle などのコンペ、業務でも仕様できるくらい便利なライブラリーです。 もう既にバックボーンとなるエンコーダーは自由に選べるほど豊富にあります。 しかしながら、最新のモデルや3Dカスタムなどをする時に簡単にカスタムする方法がわからなかったので備忘録のつもりで例を記載しております。 実装 Python 実装を記載します。 基本のおさらい import segmentation_models_pytorch as smp m
GitHub - robvanvolt/DALLE-datasets: This is a summary of easily available datasets for generalized DALLE-pytorch training.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Making Deep Learning Go Brrrr From First Principles So, you want to improve the performance of your deep learning model. How might you approach such a task? Often, folk fall back to a grab-bag of tricks that might've worked before or saw on a tweet. "Use in-place operations! Set gradients to None! Install PyTorch 1.10.0 but not 1.10.1!" It's understandable why users often take such an ad-hoc appro
GitHub - pytorch/torchrec: Pytorch domain library for recommendation systems
Parallelism primitives that enable easy authoring of large, performant multi-device/multi-node models using hybrid data-parallelism/model-parallelism. The TorchRec sharder can shard embedding tables with different sharding strategies including data-parallel, table-wise, row-wise, table-wise-row-wise, column-wise, table-wise-column-wise sharding. The TorchRec planner can automatically generate opti
GitHub - NVIDIA-Merlin/Transformers4Rec: Transformers4Rec is a flexible and efficient library for sequential and session-based recommendation and works with PyTorch.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
はじめに モデル保存パターン 各パターンの解説 state_dictのモデル保存 entireのモデル保存 TorchScriptのモデル保存 べストな保存方法 まとめ はじめに TorchServeを利用してサービングを実施する際にモデルの保存方法についていくつかパターンがあり，TorchServeで保存したモデルを読み込む際にうまく動作しないといった事があったのでしっかり違いを把握しようと思ってこの記事を書いています．この記事を読んでくださっている人の中にもよく分からずに何となくPytorchにおけるモデル保存を実施している人もいるかと思いますのでそう言った方の参考になればと思います．ちなみにPytorchのバージョンは1.7.0を前提として話を進めます． モデル保存パターン まず保存パターンについて説明していきます． 公式では大きく2つのパターンでのモデル保存を解説しています．また，
We were hard at work in the last couple of months fine-tuning our API, polishing our docs, recording tutorials, and it’s finally time to share with you all V1.0.0 of PyTorch Lightning. Want the lightning answer to scaling models on the cloud? continue reading. The Lightning DNAAI research has evolved much faster than any single framework can keep up with. The field of deep learning is constantly e
GitHub - Lightning-AI/LitServe: Lightning-fast serving engine for any AI model of any size. Flexible. Easy. Enterprise-scale.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
概要 PyTorchの自然言語処理をしていると、EmbeddingBagというやつが出てくるので、これは何？という話。 超初歩的な話なので、詳しい方は見なくて大丈夫です。 時間がない人向け Embedding: Outputのshape=$(InputLength \times EmbeddingDim)$ $$ Output = x_{one-hot} \cdot W $$ EmbeddingBag: Outputのshape=$(EmbeddingDim)$ $$ Output = sum_i(x_{one-hot} \cdot W) $$ 解説 まずは何が行われているのかを簡単に解説します。 変数の定義 \begin{align} & Input \quad x: \quad(InputLength)\\ & Embedding Weight \quad W: \quad(Vocab
PyTorch のオープンソースモデルサーバー、TorchServe を発表 | Amazon Web Services
Amazon Web Services ブログ PyTorch のオープンソースモデルサーバー、TorchServe を発表 PyTorch は、ディープラーニングで最も人気のあるオープンソースライブラリの 1 つです。開発者と研究者は、モデルの構築とトレーニングにおいて享受できる柔軟性を特に重宝しています。しかし、これはストーリーの半分にすぎず、本番環境でのモデルのデプロイと管理は、機械学習プロセスの最も困難な部分であることが多々あります。オーダーメイドの予測 API の構築、それらのスケーリング、保護などがその厄介な部分です。 モデルのデプロイプロセスを簡略化する 1 つの方法は、モデルサーバー、つまり、本番環境で機械学習予測を行うために特別に設計された既製のウェブアプリケーションを使用することです。モデルサーバーを使用すると、1 つまたは複数のモデルを簡単に読み込むことができ、スケー
はじめに 逐次更新による最適化 大枠 勾配法 数式 勾配法コード例 ニュートン法 数式 ニュートン法のコード例 はじめに 最近、しっかり学ぶ数理最適化を購入しました。 しっかり学ぶ数理最適化 モデルからアルゴリズムまで (KS情報科学専門書) 作者:梅谷 俊治発売日: 2020/10/26メディア: 単行本（ソフトカバー） 1章→3章と読んでいく中で、元々馴染みの深い連続最適化の極々基本的な手法である勾配法とニュートン法を試してみました。実装はJAXを使っています。こいつは現状、最高の自動微分ライブラリだと思っております（深層学習ライブラリという観点ではPyTorchの方が今の所使いやすい）。 普通、機械学習では二次微分なんてパラメータが多すぎてまともに計算できる見込みがないので、純粋なニュートン法なんて絶対に使わないのですが、その圧倒的な性能の高さを確認し、兎にも角にも勾配法の弱さを確認
GitHub - GuyTevet/motion-diffusion-model: The official PyTorch implementation of the paper "Human Motion Diffusion Model"
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
May 18, 2022 by Sebastian Raschka Today, PyTorch officially introduced GPU support for Apple’s ARM M1 chips. This is an exciting day for Mac users out there, so I spent a few minutes tonight trying it out in practice. In this short blog post, I will summarize my experience and thoughts with the M1 chip for deep learning tasks. My M1 Experience So Far Back at the beginning of 2021, I happily sold m
Speeding up TensorFlow, MXNet, and PyTorch inference with Amazon SageMaker Neo | Amazon Web Services
AWS Machine Learning Blog Speeding up TensorFlow, MXNet, and PyTorch inference with Amazon SageMaker Neo Various machine learning (ML) optimizations are possible at every stage of the flow during or after training. Model compiling is one optimization that creates a more efficient implementation of a trained model. In 2018, we launched Amazon SageMaker Neo to compile machine learning models for man
『PyTorchとfastaiではじめるディープラーニング ―エンジニアのためのAIアプリケーション開発』 Jeremy Howard, Sylvain Gugger 著、中田 秀基 訳 2021年5月27日発売予定 576ページ（予定） ISBN978-4-87311-942-7 定価4,180円（税込） 本書は、ディープラーニングのトレーニングコースを提供するサイトfast.aiの創始者らが、PyTorchとその上に構築されたライブラリfastaiを用いてディープラーニングを行う方法を解説するものです。特別な訓練や数学の深い知識がなくても実践できるように、平易な言葉と数多くの図でていねいに説明しています。本書で扱うトピックは非常に幅広く、コンピュータビジョン、自然言語処理、協調フィルタリングによるモデルの訓練、精度、速度、信頼性の向上、実用アプリケーションの作成のほか、データ倫理、性能
DataLoaderクラスの概要 DataLoaderクラスは、PytorchのDatasetクラスを用いて、データをロードしてミニバッチを作成してくれるクラスです。非常に単純なクラスに見えるのですが、ドキュメントを見る感じだと、引数が多くて、意外に奥が深そうです。 本記事では、DataLoaderのマルチプロセスの処理など、実行速度に関係する部分を解説していきます。 DataLoaderでデータをロードする場合、データセットをどこか（Datasetの実装によるが主にディスク）からロードして、色々な処理をして、ミニバッチを作成する処理の流れがよくあるパターンです。DataLoaderがミニバッチを作成するとき、Dataset内でされる処理の多さによっては、結構長い処理がなされます。そのため、DataLoaderには、num_workersという引数を設定できるようになっていて、設定したワー
GitHub - DeepGraphLearning/torchdrug: A powerful and flexible machine learning platform for drug discovery
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PyTorchのDataLoaderが遅い - Qiita
ローカルLLMの推論速度を高速化する5つの手法と比較評価
PyTorch Lightning 2021 (for MLコンペ) - Qiita
【実装解説】日本語版BERTをGoogle Colaboratoryで使う方法（PyTorch） - Qiita
【PyTorch】「CUDA error: device-side assert triggered」 解決の手引き
torchdataとwebdatasetの使いどころ - Qiita
PyTorch CNNモデル再現性問題 - Qiita
【自然言語処理】単語埋め込みからSelf-Attention、2値分類まで。 - ころがる狸
Pytorchでモデルの保存と読み込み - Pythonいぬ
Demystify RAM Usage in Multi-Process Data Loaders
Flash-Decoding for long-context inference
ディープラーニングのモデル軽量化ライブラリDistiller - Qiita
Pytorch tensor と numpy ndarray の変換 - Pythonいぬ
Segmentation Models Pytorch の BackBone をカスタムする方法
Making Deep Learning go Brrrr From First Principles
Pytorchにおけるモデル保存の使い分け - tkherox blog
PyTorch Lightning 1.0: From 0–600k
Amazon.co.jp: 物体検出とGAN、オートエンコーダー、画像処理入門 PyTorch/TensorFlow2による発展的・実装ディープラーニング: チーム・カルポ: 本
PyTorchのEmbeddingとEmbeddingBag - Qiita
JAXとPyTorchで勾配法とニュートン法を試す - HELLO CYBERNETICS
Running PyTorch on the M1 GPU
5月新刊情報『PyTorchとfastaiではじめるディープラーニング』
PytorchのDataLoaderの高速化のコツについてすこし解説
plaza.rakuten.co.jp/hesokuriojisan
ja.wikipedia.org
l.smartnews.com
www.sankei.com
roomoor.hatenablog.com
plaza.rakuten.co.jp/hesokuriojisan