日本語の文章をいい感じに文区切りするライブラリを作った - Qiita
はじめに 昨今、自然言語処理技術の発展はめざましく、様々な分野で応用が進められています。 そんな私も自然言語処理技術やAIを活用した業務をこなすことが多いのですが、その中でとりわけめんどくさい（しかし重要な）作業は、様々な前処理に関するものです。 大抵のタスクで実施することになる主な前処理としては、以下のようなものがあります。 クリーニング HTMLタグや記号等、テキスト中のノイズを除去 正規化(normalization) 全角・半角や大文字・小文字等の統一 文区切り(sentence segmentation) 文と文の区切りを検出し分割 単語分割(tokenization) 文を単語の列に分割 ストップワードの除去 解きたいタスクに不要な単語を除去 私は主にPythonを利用しているのですが、これらの中で日本語の文区切りについては適当なライブラリが無く、毎回似たようなコードを書く羽目
【入門】強化学習 - Qiita
強化学習では何をしていくかというと、 「将来の価値を最大化するような行動を学習」 していきます。 強化学習のモデル 強化学習の基本的な仕組みは次のようになっています。 以下の$t$は任意のステップを示します エージェント（意思決定者）: 意思決定と学習を行う主体 環境: エージェントが相互作用を行う対象 状態: 環境がエージェントの行動を反映した上で、エージェントに与える状況, $s_t$ 行動: $a_t$ 報酬: $r_t$ 方策: $π_t(s, a)$:確率分布で表される行動戦略。任意の状態において、ある行動をとる確率を示す まず環境からある「状態」$s_t$が与えられ → 「エージェント」が「方策」 $\pi_t(s,a)$ に従い「行動」$a_t$を選択し → 次のステップに「環境」から「報酬」$r_{t+1}$と「状態」$s_{t+1}$をフィードバックとしてもらう という流
Pythonの文字列が標準でf文字列になる（かも） - Qiita
はじめに Python言語サミット2020が4月の15日、16日の2日間で開かれました。これはPython実装の開発者（本家のCPythonに加えてPyPyなども）が集まる会議で、単にプレゼンし合う場というよりは言語本体や標準ライブラリの現状や今後に関する議論をして合意を目指すという会議とのこと。 今年はコロナウイルス蔓延の影響で、ご多分に漏れずオンライン開催となったそうですが、2日間の議題を見るとなかなか興味深いものが並んでいます。 全ての文字列をf文字列にする CPythonのパーサーをPEGベースの物にする (C)Pythonの仮想マシンの形式仕様記述 実装非依存のC言語拡張API CPythonのドキュメンテーション保守の変革 ライトニングトーク pip, PyPI そしてパッケージングに今後何を求める？ 「マルチコアPython」プロジェクトの失敗を振り返る Pythonの型導入
Raspberry Pi3 B+と超音波距離センサーHC-SR04で自動運転ロボットカーを作る - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 現実世界の自動運転車を構成する要素は自車位置推定、物体認識、行動判断、車体制御です。これらの4要素全てをラジコンをベースに実装することも可能ですが、自車位置推定を簡易的に実現するのは容易ではなく、また今回は低速走行が目標のため車体制御もほとんど必要ありません。そこで今回は超音波距離センサーで前方に存在する物体を認識し、それを回避するための行動判断をラジコンをベースとした自動運転のロボットカーで簡易的に実現したいと思います。 環境 Raspbian GNU/Linux 9.4 Python 3.5.3 GNU Make 4.1
leetcode時代の外資コーディング面接対策 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? GAFAMとかFAANGとかいわれるような企業群、あるいはそれに近い傾向(東京であればおそらくIndeedとかPFNとか)のソフトウェアエンジニア面接対策についてメモを残す。 コーディング面接とleetcode 外資IT企業ではソフトウェアエンジニアを雇う際にコーディング面接を非常に重視する。 業務上のコーディングよりは簡単めのプログラミングコンテスト問題に近く、アメリカの学生やエンジニアがIT企業を受ける際には事前対策を数ヶ月するのが常識になっているようだ。 一般的な面接プロセスについては世界で闘うプログラミング力を鍛える本という本に
DeepLearningの歴史、学習方法について (E資格対策) - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 順伝播型ネットワークの項目と学習について書きます。 目次 DeepLearningの歴史 分析の流れ 学習方法 DeepLearningの歴史 まずディープラーニングがどのように発展していったのかお話しします。 第一次ニューラルネットワークブーム ある時、脳の神経細胞を仕組みを再現した人工ニューロンを作ります。 人工ニューロンとは上図のようなものを指します。 この複数の信号から1つの信号を出力するアルゴリズムをパーセプトロンと呼びます。 この人工ニューロンを2つ重ねるとが学習できるらしくブームが起こります。下図。 ですが世の中の多くを占
LIS でも大活躍！ DP の配列使いまわしテクニックを特集 - Qiita
0. はじめに 動的計画法の解法に対しては、「一次元 DP」や「二次元 DP」といった呼称でよびたくなりがちです。たとえば ${\rm dp}[i] := i$ 番目の地点まで到達するまでの最小コスト というような DP テーブルを用いるような DP1 は一次元 DP であり、 ${\rm dp}[i][w] := N$ 個の品物のうち最初の $i$ 個の品物の中から、重さが $w$ を超えない範囲でいくつか選んだときの、選んだ品物の価値の総和の最大値 というような DP テーブルを用いるような DP2 は二次元 DP である、といった具合です。後者はいわゆるナップサック問題に対する DP として有名ですね！ 二次元 DP の配列を再利用して一次元へ しかし今回は、DP を一次元や二次元とよぶことにあまり意味がないかもしれない...という話をします。たとえばナップサック DP は、なんと実
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RayによるPython分散並列処理入門 - Qiita
JavaScriptで重複排除を自分で実装してはいけない（Setを使う） - Qiita
おじいさん、今日のご飯はCatamorphismですよ - Qiita