はてなブックマーク

はじめに 皆さん、SQLチューニングしてますか？（唐突） 私は仕事柄RDBMSのSQLチューニングをすることが多いのですが、たまにチューニングの一環で SQL文の書き換え をすることがあります。 その際に問題になるのが、書き換えたSQL文が等価であるかどうかの確認が大変なことです。 SQL文を書き換えた場合には、想定通りの結果を取得できるか確認するために、テストをやり直す必要があります。 これが開発早期のフェーズならまだましなのですが、結合テスト以降だと手戻りも多くかなりコストがかかりますし、既に本番運用が始まったシステムともなると、テスト自体が困難なこともあります。 また、複雑なSQL文だと網羅的なテストケースを作成すること自体が困難であるため、完全に正しいと確信することはできません。 なので、SQL文の書き換えの正しさを証明する良い手段はないかと考えていました。 SQLチューニングとは

はじめに 昨今、AIの利用が様々な場面で進んでおり、企業の実業務での利用も珍しくありません。 しかし、AIを作るためには様々な知識が必要になるため、作れる人はまだまだ限られています。 理論を学んで、TensorflowやPytorch等のFWの使い方を覚えて、コードを書いて、試行錯誤して・・・とても大変ですね。 創作のように言葉で問題を与えたら解いてくれるAIが実現できたら、誰もが気軽にAIを作成・利用できるようになるでしょう。 そうすれば、人々は解くべき問題を考えることにより集中できるようになるのではないでしょうか。 そんな未来を予感させるAIモデルがすでに2020年に登場しています。 そう、GPT-3です。 GPT-3って？ GPT-3は、OpenAIが開発した超大規模言語モデルです。 詳細はググってもらった方が早いので説明は省略しますが、雑にいうと超大規模なコーパスを材料に物理（計算

はじめに 昨今、自然言語処理技術の発展はめざましく、様々な分野で応用が進められています。 そんな私も自然言語処理技術やAIを活用した業務をこなすことが多いのですが、その中でとりわけめんどくさい（しかし重要な）作業は、様々な前処理に関するものです。 大抵のタスクで実施することになる主な前処理としては、以下のようなものがあります。 クリーニング HTMLタグや記号等、テキスト中のノイズを除去 正規化(normalization) 全角・半角や大文字・小文字等の統一 文区切り(sentence segmentation) 文と文の区切りを検出し分割 単語分割(tokenization) 文を単語の列に分割 ストップワードの除去 解きたいタスクに不要な単語を除去 私は主にPythonを利用しているのですが、これらの中で日本語の文区切りについては適当なライブラリが無く、毎回似たようなコードを書く羽目