2022年の深層学習ハイライト - Qiita
はじめに 2023年になって日が経ってしまいましたが、今年も深層学習の個人的ハイライトをまとめたいと思います。今回は研究論文5本と応用事例4つを紹介します。他におもしろいトピックがあれば、ぜひコメントなどで教えて下さい。 AIの研究動向に関心のある方には、ステート・オブ・AIガイドの素晴らしい年間レビューもおすすめします。また、私が過去に書いた記事（2021年、2020年、2019年）もよろしければご覧ください。 * 本記事は、私のブログにて英語で書いた記事を翻訳し、適宜加筆修正したものです。元記事の方も拡散いただけると励みになります。 ** 記事中の画像は、ことわりのない限り対象論文からの引用です。 研究論文 Block-NeRF: Scalable Large Scene Neural View Synthesis 著者: Matthew Tancik, Vincent Casser,
Google Colabで英語の論文を無料で翻訳する方法 - Qiita
こんにちは！逆瀬川 ( https://twitter.com/gyakuse ) です。 今日は英語論文をサクッと翻訳する方法を共有します。 素晴らしい事前学習済みモデルの恩恵で素人でも1時間程度で実装できてしまいます。 なお、実装めちゃ汚いのですが、そのあたりはご容赦ください。 論文以外の文字埋め込みのないpdfを翻訳したい場合はこちらを参考にしてください: 論文全体の自動要約についてはこちら: 概要 翻訳モデル、レイアウト検知ライブラリとpdfを操作するライブラリを用いて外国語で書かれたpdfファイルを翻訳します。 翻訳にはフリーのニューラル機械翻訳モデルFuguMTを使用します。 この手法の嬉しさ DeepLおよびDeepL APIではpdf翻訳がサポートされていますが、行の切り替わりで別の文章と認識されることが多く、途中までの文章で翻訳されるため精度が落ちてしまいます この手法で
Google Researchの神資料を読み解いてみる①【Deep Learning Tuning Playbook】 - Qiita
はじめに 研究しなきゃなのはわかってるが何から始めればいいんだ、とりあえずでモデル組んだけどまともに動かん。なにがダメなのか分からねぇ、どこをどういじれば何がどう変わるんだ、、、と日々悲鳴をあげている中、Google Researchの研究者による、Deep Learning Tuning Playbook（ https://github.com/google-research/tuning_playbook ）が公開されました。 どうやら深層学習ネットワークをチューニングする際の考え方やら注意点を、Googleの神たちがまとめてくださっているようです。これは読んでおこうと思い、自分の読解とメモついでに和訳してみることにしました。 【注意】 翻訳アプリそのままではなく、一応多少自分なりに解釈して理解したいということで、一部抜けてたり言い回しが違ったり、そのまんま和訳になっているとは限りませ
データアナリストになるためのロードマップ【決定版】 - Qiita
この記事はNuco Advent Calendar 2022の25日目の記事です データアナリストになるためのロードマップとは 本記事の指す「データアナリストとは」 データアナリストとはデータの収集・分析のプロフェッショナルです。 分析した情報を元に仮説を立て、問題解決や目標達成を目指します。 本記事でいうデータアナリストとは、データベースへ自らアクセス可能で、データの処理と傾向の特定、主要なビジネス上の意思決定を支援するデータの視覚化が可能な人間を指します。 データアナリストの業務例 プロダクトの機能改善、事前見積もりや効果検証 施策についての仮説設計と効果検証 予測モデル構築 事業戦略の振り返りやKPI設計 本記事の概要 本記事ではデータアナリストになるためのロードマップを提示します。 ステップ１：独学で学ぶ ステップ２：データアナリストとして就職する（未経験可の求人に通る） ステップ
echoコマンドの移植性が低い歴史的理由とPOSIXの改定方針 ～ 次期POSIXでbashのechoはPOSIX準拠になる！ - Qiita
echoコマンドの移植性が低い歴史的理由とPOSIXの改定方針 ～ 次期POSIXでbashのechoはPOSIX準拠になる！ はじめに 実は bash に組み込まれた echo コマンドは POSIX に準拠していません。しかし 2023 年に予定されている次期 POSIX (Issue 8) の改定で、POSIX 準拠の動作になります。🎉🎉🎉 私のこの言い方には違和感を感じるかもしれません。「POSIX に違反している bash が問題点を修正して、POSIX に準拠させるのではないのか？」と。いいえ違います。POSIX 側が仕様を修正することで、bash は何も変更せずに過去のバージョンも含めて POSIX に準拠するようになります。面白いですね。 この記事は echo コマンドの移植性の問題の歴史を振り返りながら、それを例に POSIX 標準化団体がどのような方針で標準規格を
シェルスクリプトでlsをパイプでつなぐのはなぜ悪いのか ～ ShellCheck: SC2010, SC2011, SC2012 とファイル名改行問題 - Qiita
シェルスクリプトでlsをパイプでつなぐのはなぜ悪いのか ～ ShellCheck: SC2010, SC2011, SC2012 とファイル名改行問題ShellScriptUNIXshellシェル芸POSIX はじめに シェルスクリプトで ls コマンドの出力結果（ファイル名一覧）をパイプで他のコマンドに渡して処理するのは推奨されません。ls コマンドを使ったコードを ShellCheck で検査するとおそらく問題があると警告が表示されるでしょう。ls を使うなという指摘自体には賛成なのですが SC2010、SC2011、SC2012 に書いてある理由については正しい説明がされていないと思っています。この記事ではなぜ ls の出力結果を他のコマンドにパイプで渡すのが悪いのか、ls を使わずに実現するにはどうしたら良いのかを解説したいと思います。一つ補足をしておくと、この問題は CLI コマ
システム運用保守で役に立つ知識 - Qiita
はじめに 私は2次の運用保守の業務経験がメインですが、様々な現場で8年間働いてきました。現在はAWSのシステム運用保守をしています。 二次運用保守は障害対応する際は深い知識が必要になります。 また、保守の方はサーバーを構築したり、スクリプトを開発することもありました。 本記事に記載している内容は運用保守に限らずインフラエンジニアとしても大事な知識だと思います。 私の個人的な見解を元に本記事は作成しているため、多くあるエンジニアの経験の一例として参考程度にしてください。 個人的には本記事に記載した内容をすべて習得することで、経験としてAWSとミドルウェアの運用保守の業務に対応できると考えます。 学習については短期間で詰め込んで勉強するよりは、長期的な目線で毎日少しづつ継続する習慣を付けるのが良いと考えてます。 一次運用と二次運用どちらも大事なお仕事です。 上記の違いについては、以下のサイトが
2022年 Python/データ分析関連の人気Qiita記事150選 - Qiita
はじめに どうもこんにちは。データアナリストをしているkunishouです。2022年も残すところ今日、明日のみ。皆さん年の瀬をいかがお過ごしでしょうか？ 私は先日無事に仕事を納めることができましたが、仕事も勉強も何もしなくていい日が数日続きすでにソワソワしてきました。この禁断症状を抑えるべく、2022年の技術動向の振り返りもかねて、 2022年のPython/データ分析関連の人気記事をまとめてみることにしました（完全に思い付きです）。 本記事では、2022年にQiitaに投稿された Python/データ分析関連の記事の中から いいね数の多かった150記事をピックアップし表にまとめました。 年末年始の暇つぶしがてらにでも読んでもらえたら幸いです。 モチベーション 実はQiita公式からも毎年1月にQiitaの人気記事のランキングが公開されています。ただ、Qiita全カテゴリでのランキングで
機械学習エンジニアの悩み毎：pythonのバージョン問題 - Qiita
皆さん、機械学習、ディープラーニングやる時どの環境使ってますか？ 僕は、JupyterNotebookを使う事が多かったですが、いつも困ってました。 バージョン問題 これ本当に困ります。サンプル調べるとpython2.7系でしか動かない奴、python3系でしか動かない奴。 これちゃんと調べて、違いを変更すればよいのですが、結構面倒でいつも困ってました。 せっかくバージョンをあわせて作業してても、ReactとかNodeの関係で、バージョン違うのをいれる必要が出てきたり、ライブラリもグチャグチャになる事がほとんどです。 Anacondaが解決してくれた Anaconda！ これ使うとバージョン違いの環境から動かせたり、登録済みライブラリとかも管理できます。 environmentでpythonのバージョンを指定できて、それ毎にパッケージの管理が出来ます。 超便利です。 最近は、GoogleC
ググり時間をぶった切る。AWSを最速で攻略するサイト13選 - Qiita
はじめに 自分がAWSをこれっぽっちも知らない頃、 ググって出てきたどこか知らんサイトからだと、「欲しい情報はこれじゃない」ってのが多くあった。 そんなこと繰り返していると エラー、トラブル時に即対応できない 間違って構築したせいで運用時に悪化してしまう 古いソースコードでエラーがでて動かない これで無駄な時間を過ごすことになる。 要は「ググって得たその情報で、作ったものは正しいのか？」 AWSは常にアップデートされ続ける 欲しい情報を手に入れるまで調べる時間を割くなら、 公式展開してるサイトから得たほうが正確である。 ということで、最速でAWSを攻略するサイトをまとめる。 この記事をブックマークでもしておくと、ググる手間も省けるだろう。 目次 AWSドキュメンテーション AWSサービス別資料 トレーニングライブラリ AWSブログ アーキテクチャーセンター ワークショップをする よくある質
コーディングのようにノートを取る技術 - Qiita
はじめに 何かを学習するとき、ノートを取っているでしょうか？ 小学生の頃や中学生・高校生の時の「ノート」は紙に手書きだったかと思います。 しかし、最近になってからはパソコンを使ってノートを取る、という選択肢が増えました。 その変遷の中で生まれたパーソナル・ナレッジ・マネジメント(Personal Knowledge Management) という考え方があります。 その考え方を共有できたらと思います。 直感的なデジタルノート術の原罪 ケース1: ひたすらに手を動かす 学生の頃、黒板に書かれた内容をそのまま必死にノートに写している人がいたのを覚えていますか？ また、その人は成績が高かったでしょうか？ たいていの場合、成績は乏しい人が多かったと思います。自分もそのタイプでした。 手を動かすだけのノート術の不幸な点は、「考える」というアクティビティが行われないため、本当の意味で筋肉を動かすだけと
2022年の不揮発メモリとLinux対応動向について - Qiita
この記事は、Fujitsu Advent Calendar 2022の25日目の記事です。 「え、まだこのネタで書くの？」と思う方もいらっしゃるかもしれませんが、ええ、今年もこのネタで書きます。 1. NVDIMMの終焉とCXLの台頭 1.1 Intel Optane Persistent Memory これを読む皆さんはおそらくご承知のことでしょう。NVDIMMの最有力製品であったIntel Optane Persisntent Memoryのビジネスは、残念ながら終焉に向かうことが以下のように発表されました。 In Q2 2022, we initiated the winding down of our Intel Optane memory business. 実は発表と同時にすぐに製品出荷を終了してしまったわけではありません。以下の記事から少し引用します。 既存のOptane永続
2022年に生産性が向上したと思うmacOS用ターミナル向けツールやコマンド10選 - Qiita
株式会社ゆめみ Advent Calendar 2022 23日目の記事です。 はじめに 2022年も残りわずかとなりましたね。 今年一年を振り返ってみて、普段業務でよく使用しているmacOS用のターミナル向けのツールやコマンドを紹介したいと思います。 動作確認環境 生産性が向上したと思うmacOS用ターミナル向けツールやコマンド 1. Fig.app ターミナルでコマンドの自動補完を行うGUIアプリです。ディレクトリ名やファイル名を自動で補完してくれたり、gitの各種コマンドやブランチ名等も補完してくれます。一般的なコマンドは補完が効くので、かなり生産性向上に寄与してくれました。 見た目は以下のような感じになります。 2. Starship BashやZsh、Fish等で使用できるカスタマイズ可能なシェル用プロンプトを提供するツールです。 細かく調整しなくても、いい感じのプロンプトにして
Google ColabにMeCabとipadic-NEologdをインストールする - Qiita
1.はじめに Google Colab に MeCab と ipadic-NEologd をインストールしようと思ったら意外に手間取ったので備忘録として残します。 2.コード 色々なWeb情報を漁った結果、インストールには下記のコードがベストではないかと思います。 # 形態素分析ライブラリーMeCab と 辞書(mecab-ipadic-NEologd)のインストール !apt-get -q -y install sudo file mecab libmecab-dev mecab-ipadic-utf8 git curl python-mecab > /dev/null !git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git > /dev/null !echo yes | mecab-ipadic-
GitHubを使ってMarkdown文書を５ステップでホームページとして公開する方法 - Qiita
GitHubのウェブページを利用して、情報を共有するプロジェクトが増えています。 Kubernetes プロジェクトの文書や IBM Cloud のマニュアルページも GitHubを使って作成されています。 僕はGitHubの人じゃないですが、この記事で紹介する GitHub pages は、HTMLを覚えなくてもマークダウンで作成できて、テーマを設定によって、見やすい書式へ自動変換される優れたものです。 このリンクは、https://takara9.github.io/md_docs/ この記事で紹介する方法で作成したものです。 ここで実現することは、以下の５項目です。 GitHub Pages を利用してウェブページを作成 https://takara9.github.io/md_docs/ の様に、ユーザー名.github.io/リポジトリ名 でアクセス可能にする HTMLではなくマ
「読めるコード」を書くための7つのチェックポイント - Qiita
この記事はNuco Advent Calendar 2022の15日目の記事です。 なぜ「読めるコード」を書くのか 「読めるコード」を書くことで、コードを読んだだけで何がしたいのかが明確にわかるため、修正や機能追加の際にもコードの解読に時間と労力を割かずにすみます。 また、理解を誤ったまま目的からそれた実装をすることを避けられます。 以降紹介するチェックポイントと、ご自分のコードと照らし合わせてクリアできているか確認をしてみてください。 ７つのチェックポイント 「読めるコード」を書くためには以下の7つのチェックポイントを意識することが重要です。 これらのチェックポイントは、障害を起こさないために意識すべき観点で、コードレビューの際にはこれらのチェックポイントを守れているかどうかを基準に、そのコードが良いコード（読めるコード）かどうかを確認します。 そのため、コードを書く際にも意識すべき観点
Whisperで話者分離ができる！会議や録音データを素早く文字起こし - Qiita
この記事はSafie Engineers' Blog! Advent Calendar 8日目の記事です。 はじめに 映像から取得できる1時間程度の映像（ムービークリップ）を文字起こししたいという要望があったので、文字起こしシステムを作ってみました。 備忘録も兼ねて実施したことをまとめておこうと思います。whisperはOpenAI社が公開している高精度の文字起こしが可能なモデルになります。 文字起こしにwhipsperを使った決め手は以下です。 AWS Transcribeより高精度 pythonで素早く試せる MITライセンス AWS Transcribeで可能な話者分離ができないことが懸念でしたが、話者分離も別のモデルを組み合わせれば実現可能と思いwhipserに決めました。 アーキテクチャ whisper単体では処理の限界があったので、いくつか工夫を加えた結果上記のようなアーキテク
Eclipseを使いたくない人のための無理やりJARファイル作成術 for FUN情報処理演習I - Qiita
概要 本記事はFUN Advent Calendar 2022 part2の19日目の記事です。 昨日はたろうくんの[かわいいは正義] tiikawaコマンドを作った件 [そのプロセスは殺さない，殺したくない]でした。 癒やしは大事ですね。しかし卒論スペースは定期的に片付けましょう。でないと kill -KILL でプロセスを殺したくなります。 明日はkazu8823さんの「二郎の美味しい作り方、そして二郎を食べることによるその効果」です。 ちなみにPart1、Part3もあります。 本記事では、公立はこだて未来大学の2年生の講義「情報処理演習I」でEclipseを使いたくない、Javaもインストールしたくない、という人に贈る「dockerのopenjdkを使ってCUIで無理やりJARファイルを作成する」術を紹介します。 お前誰だよ！という人はきっとOB/OGの方ですね。 はじめに 公立は
BERTで文章のベクトル表現を得るための環境構築紹介 - Qiita
BERTが様々な自然言語処理タスクでSOTAを達成し、コミュニティを賑わせたことは記憶に新しいと思います。 同時にBERTの事前学習には時間がかかることが知られていますが、ありがたいことに本家Googleや有志の方々が事前学習を行ったBERTモデルを配布しています。 本記事ではそんなBERTの恩恵を得るべく、表題のように事前学習済みのBERTを通して文章のベクトル表現を得るための環境作りを紹介します。 私が業務で試した範囲だとBERTのベクトル表現に変更しただけで全てのタスク、特に教師データが少ないタスクでは精度が大きく向上しました。 今までWord2vecやGloVe,fastTextしか知らなかった方は是非試してみてください。 ちなみに本記事で紹介する手法の代案としてbert-as-serviceなどもありますが、デプロイが複雑になりやすいことと、何かしらの例外が発生すると固まってしま
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQL闇歴史のカレンダー | Advent Calendar 2022 - Qiita
