InnoDB の全文検索機能におけるキャッシュ利用について | スマートスタイル TECH BLOG
MySQL 5.7 において InnoDB の全文検索機能が日本語に対応するようになって約 3 年が経ちました。今では InnoDB で日本語の全文検索ができることは広く知られるようになってきたのではないでしょうか。そんな中、今回は MySQL 8.0 においてもまだ修正されていない、全文検索の制限について確認していきたいと思います。 MySQL 5.7 の日本語全文検索とは まず、MySQL 5.7 において何が変わったのかについて簡単におさらいしたいと思います。 MySQL 5.6 まではデフォルトで FULLTEXT パーサーが使用されていたため、日本語のように単語の初めと終わりが明確でない言語で FULLTEXT インデックスを使用しようとした場合、単語を区切ったり N-gram で分割した状態で DB に格納するなど、使用するためには DB のデータを変形して格納する必要がありま
PostgreSQL - Wikipedia
PostgreSQL（ポストグレス キューエル[※ 1]）は、拡張性とSQL準拠を強調するフリーでオープンソースの関係データベース管理システム（RDBMS）である。Postgresとしても知られている。もともとは、カリフォルニア大学バークレー校で開発されたIngresデータベースの後継としてその起源を根拠としたPOSTGRESという名前であった。1996年に、プロジェクトはSQLのサポートを反映してPostgreSQLに改名された。2007年の検討の結果、開発チームはPostgreSQLという名前とPostgresという別名を維持することを決定した。 PostgreSQLは、原子性、整合性、独立性、耐久性 (ACID)プロパティを持つトランザクション、自動更新可能なビュー、マテリアライズドビュー、トリガ、外部キー、ストアドプロシージャを特徴としている。単一マシンからデータウェアハウスや多数
第19回 SELECT文のLIMITとOFFSET｜オススメ！OSS-DB情報｜OSS-DB道場｜受験対策｜DBスペシャリストを認定する資格 OSS-DB技術者認定試験
SELECT ... FROM ... WHERE ... というSELECT文を普通に実行すると、WHERE句の条件に合致したすべての行が返されます。しかし、アプリケーションによっては、すべての行ではなく、一部の行だけを返して欲しい、ということもあります。そんなときに使えるのがLIMIT句です。 LIMITの後の数値で、SELECTから返される行数を指定します。 例えば、 SELECT * FROM tablename LIMIT 5; とすると、tablenameというテーブルから5行だけ表示します。 どの行でも良いから、多数のデータからとにかく5行だけ表示したい、という場合は、単に LIMIT 5 と指定すれば良いですが、例えば、金額の多い順に並べた時の上位5件を表示したい、などといったケースがほとんどでしょうから、LIMITはORDER BYと組み合わせて使われるのが通常です。OR
SQLの観点から「Oracle Database」「PostgreSQL」「MySQL」の特徴を整理しよう！ | アシスト
SQLの観点から「Oracle Database」「PostgreSQL」「MySQL」の特徴を整理しよう！ 企業の情報システムで利用されているRDBMSでは、近年は商用データベースだけでなくオープンソース・データベースを併用するケースも増えており、選択肢は多様化しています。ご存じの通り、SQLはRDBMS共通の言語ですが、実際は細かな記述の違いやRDBMS独自の機能が多数存在します。そのため、例えば商用データベースからオープンソース・データベースに移行したり併用したりすると、アプリケーションの改修コストや、意図した通りに動作しないといった問題が発生する場合があります。本記事では、SQLの視点からRDBMSの主な差異を紹介し、異なるRDBMSに移行する際の注意点やRDBMS選定のポイントに迫ります。
Oracle DatabaseとMySQLの機能の違いを比較表で理解する
Oracle DatabaseとMySQLの機能の違いを比較表で理解する：実践 OSSデータベース移行プロジェクト（終）（1/2 ページ） 本連載では、商用DBMSからOSSデータベースへの移行を検討する企業に向け、「MySQL」への移行プロジェクトで必要となる具体的なノウハウをお届けします。今回は、移行設計を実施するに当たり把握しておきたい、Oracle DatabaseとMySQLの機能の違いについて説明します。 商用DBMSからOSSデータベースへの移行を検討する企業に向け、「MySQL」への移行プロジェクトで必要となる具体的なノウハウをお届けする本連載「実践 OSSデータベース移行プロジェクト」。前回までは、株式会社豊洲部品（仮名）社内システムの移行事例を用いてさまざまな観点より移行コストの評価を実施しました。 本稿では、個々の移行事例から離れて、移行設計を実施するに当たり把握して
NoSQLデータベースCassandraの紹介 〜 ヤフーのデータ基盤を支える技術
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは！ 山下郁矢です。2018年新卒で入社し、現在はNoSQLデータベースエンジニアとして働いています。 サービスを作るにあたってデータベースは必要不可欠ですよね。ヤフーでは100を超えるサービスで毎日生み出される膨大なデータを、データベースを用いてリアルタイムで蓄積し、運用管理しています。 今回は、その中でも利用規模の大きい、NoSQLデータベースの1つであるApache Cassandraを皆様に知ってもらうべく、ヤフーでどのようにして利用されているのかをお伝えしたいと思います。 NoSQLの立ち位置 Cassandraについてご紹介する前に、NoSQLについて軽く説明します。 NoSQLデータベースは一般的に非RDBM
Homebrew - PostgreSQL wiki
Homebrew is a package manager for Mac OS X that builds software from its source code. It includes a version of PostgreSQL packaged by what it refers to as a formula. This type of installation might be preferred by people who are comfortable using the command line to install programs, such as software developers. For installing elsewise in OS X see here. Typical installation of server looks like $
postgresql
Also known as: postgres, postgresql@14 Object-relational database system https://www.postgresql.org/ License: PostgreSQL Formula JSON API: /api/formula/postgresql.json Bottle JSON API: /api/bottle/postgresql.json Formula code: postgresql.rb on GitHub Bottle (binary package) installation support provided for: Intel
MySQL InnoDB の全文検索機能をサクッと試してみました
こんにちは、GMOアドマーケティングのK.Mです。 最近は久しぶりにMySQLを使ってます。 そういえばMySQLといえば、バージョン5.7からInnoDBの全文検索機能に日本語パーサーが搭載されとても使いやすくなったと聞いていたので、本日はそれを試してみたいと思います。 以前はサービスで本格的な全文検索をやりたいと思ったら、Elasticsearchなど専用の全文検索エンジンを立てたりとミドルウェア構成が一段リッチになるような印象もありましたが、もう少しお手軽に、既存RDBMSからSELECTしてくるくらいのイメージでスモールスタートしたいようなケースも結構ありそうです。 そういったときに検討できる一つの選択肢になるんじゃないかと思っています。 既存テーブルを検索してみます MySQL5.7から日本語パーサーとしてN-gramとMeCabが使えます。特にN-gramの場合、デフォルトで有
PostgreSQL 12がやってくる！(番外編1) - pg_bigmへの影響 - Qiita
はじめに pg_bigmを用いて、PostgreSQL 12の改善項目を再確認してみた。 pg_bigmとは すごくざっくり言ってしまうと、pg_bigmというのは、PostgreSQLで日本語全文検索を実現する拡張モジュールです。 PostgreSQL自体には、英文に対応した形態素全文検索機能はあります。また、英文に対応したN-Gramの全文検索機能として、pg_trgmというcontrib拡張機能はあります。 が、残念ながら日本語に対応したN-gram方式の全文検索機能はありません。pg_bigmは日本語に対応したN-gram方式の全文検索機能（全文検索インデックス）を提供するものです。 pg_bigmの（個人的に思う）一番の特徴は、これを入れるだけで、LIKE中間一致検索が爆速になる、というものです。このへんは後で実例を見たほうが早いかな。 PostgreSQL 12における改善項目
Amazon RDS for MySQL と全文検索 | DevelopersIO
こんにちは、藤本です。 先日開催された Developers.IO 2017 で「Amazon Elasticsearch Service の使いドコロ」というタイトルで登壇しました。 Developers.IO 2017セッション「Amazon Elasticsearch Service の使いドコロ」で話しました #cmdevio2017 資料を作成する中で MySQL 5.7 から追加された全文検索の日本語対応に関して調べました。せっかくなのでまとめた内容をブログに書き出すとともに、RDS だとどこまでできるのかということを追加調査してみました。 MySQL 5.7 の日本語全文検索に関しては公式ドキュメントや、Oracle の方のスライドに詳しく説明されていますので、詳しく知りたい方は下記をご参照ください。 12.9 Full-Text Search Functions MySQL
全文検索ソフトウェア「Apache Lucene/Solr 8.6」公開 | OSDN Magazine
Apache Luceneプロジェクトは7月15日、Javaベース全文検索ソフトウェアの「Apache Lucene 8.6.0」およびLuceneベースのサーバー「Apache Solr 8.6.0」を公開した。 Apache Luceneプロジェクトは、Javaベースのパワフルなインデックスおよび検索エンジンであるLucene Core、Lucene Coreベースの検索サーバーSolrを持ち、Lucene CoreとSolrの開発とリリースは歩調を合わせた形で行われている。Apache Lucene 8.0およびSolr 8.6は、2019年春に公開されたバージョン8系の最新安定版。 Luceneでは新機能としてIndexWriterにmerge-on-commitを導入した。小規模なセグメントをコミット時に選択的にマージするもので、タイムアウトの設定、検索の性能の改善などの用途で利
[Think IT] 第1回：OSS検索エンジンLuceneとは (1/3)
「JBoss Enterprise Application Platformの全貌」では全4回にわたって、JBoss Enterprise Middleware全般について解説している。 本連載ではJBoss Enterprise Middlewareを使った具体例として「エンタープライズレベルの検索サービス」を提供するWebアプリケーションを取り上げ、試作する。なお、検索エンジンにはオープンソースソフトウェア（以下、OSS）のApache Lucene（以下、Lucene：ルシーン）を使用する。 ここで述べる「エンタープライズレベルの検索（注1）」サービスとは、企業が保有する大量のコンテンツを高速に検索するサービスのこととする。Luceneは小規模（文書数が数万件以下）から大規模（数百万件以上）のコンテンツを高速に検索することを得意としているため、「エンタープライズレベルの検索」に適して
Apache Lucene 使い方メモ - Qiita
1.8.0_20 デモを動かす インストール ここ から zip または tar をダウンロードする。 以後、 F:\tmp\lucene の下に以下のように解凍したと仮定して説明を続ける。 F:\tmp\lucene `-lucene-4.9.0 |-CHANGES.txt |-JRE_VERSION_MIGRATION.txt |-LICENSE.txt |-MIGRATE.txt |-NOTICE.txt |-README.txt |-SYSTEM_REQUIREMENTS.txt |-analysis/ |-benchmark/ |-classification/ |-codecs/ ： （以下略）
Dataproc の Solr オプション コンポーネント | Dataproc Documentation | Google Cloud
フィードバックを送信 Dataproc の Solr オプション コンポーネント コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 Dataproc クラスタを作成する際には、オプション コンポーネント機能を使用して、Solr などの追加コンポーネントをインストールできます。このページでは、Solr コンポーネントについて説明します。 Apache Solr コンポーネントは、オープンソースのエンタープライズ検索プラットフォームです。Solr サーバーとウェブ UI は、クラスタのマスターノードのポート 8983 で使用できます。 Solr ファイルを永続化する: デフォルトでは、Solr は HDFS にあるインデックスとトランザクションのログファイルの書き込みと読み取りを行います。Solr ファイルを永続化するには、コンポーネントをインストールする際に
Dataproc に関するよくある質問 | Dataproc Documentation | Google Cloud
フィードバックを送信 Dataproc に関するよくある質問 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 全般 Dataproc とは何ですか？ Dataproc は、高速で使いやすく低コストのフルマネージド サービスです。Dataproc を使用すると、Google Cloud Platform で Apache Spark と Apache Hadoop エコシステムを実行できるようになります。Dataproc は、大小さまざまなクラスタをすばやくプロビジョニングして、一般的な多くのジョブタイプをサポートし、他の Google Cloud Platform サービス（Cloud Storage や Cloud Logging など）と統合されているため、TCO の削減に役立ちます。 Dataproc は従来の Hadoop クラスタとはどのように違
Dataproc の概要 | Dataproc Documentation | Google Cloud
フィードバックを送信 Dataproc の概要 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 Dataproc は、オープンソースのデータツールを利用してバッチ処理、クエリ実行、ストリーミング、機械学習を行えるマネージド Spark / Hadoop サービスです。Dataproc の自動化機能を利用すると、クラスタを速やかに作成し、簡単に管理し、必要ないときには無効にして費用を節約できます。管理にかかる時間と費用が削減されるので、自分の仕事とデータに集中できます。 Dataproc を使用するメリット: 従来のオンプレミス プロダクトや競合するクラウド サービスと比較すると、Dataproc には 3 ノードから数百ノードを持つクラスタについて、いくつもの固有の利点があります。 低コスト - Dataproc の料金は、他に使用する Cloud Pla
【GCP入門編・第11回】 Google Cloud Dataproc を使ってデータを解析しよう！ | 株式会社トップゲート
削除する Google Service TGカルチャー アプリケーション開発 コンサルティング セミナー テックブログ デザイン デジタルプロダクト開発 開発実績 ニュース 2025年の崖(1) 5G(1) AI(39) AI Hub(1) AI Platform(1) AlloyDB(12) AlloyDB for PostgreSQL(6) AlphaZero(1) Analytics HUB(1) Android(11) Android アプリ(1) Anthos(6) API(12) API エコノミー(1) APP(2) App Engine(2) App Maker(2) AppServer(1) AppSheet(3) arduino(1) Authentication(1) AutoML(4) AWS(12) AWS (Amazon Web Services)(1) AWS
Dataproc | Google Cloud
Dataproc は、Apache Hadoop、Apache Spark、Apache Flink、Presto をはじめ、30 以上のオープンソース ツールやフレームワークを実行するための、フルマネージドでスケーラビリティの高いサービスです。Dataproc を使用すれば、Google Cloud と統合されたスケーラブルな環境でデータレイクのモダナイゼーション、ETL、安全なデータ サイエンスを低コストで実現できます。
超実践 Cloud Spanner 設計講座
1. 超実践 Cloud Spanner 設計講座 知ってることを全て紹介します！ Proprietary Samir Hammoudi aka サミール クラウドカスタマエンジニア JULY 21, 2017 2. Cloud Spanner とは？ Google のマネージド・スケーラブル・リレーショナルデータベース・サービス 完全マネージドのグローバルスケールで DB サービス1 2 3 4 ゾーン間・リージョン間の自動 synchronous レプリケーション スキーマ、ACID トランザクション、SQL Google内部では、既に５年以上の運用経験 (AdWords, Google Play…) 3. 注意事項：Cloud Spanner ≠ MySQL Cloud Spanner は MySQL の単なる置き換えではない ● スキーマは似てるが、分散データベースのため、MySQ
Cloud Spannerの概要と設計上の要点など - Qiita
Advent Calendarへの参加は、というかQiitaへの投稿自体が初めてなので緊張します。 本記事ではCloud Spannerについての概説と設計上の要点などをまとめてみました。技術的な解説というよりは実設計レベルの話を中心にします。 今後ますます注目されるサービスだと思いますが、これから使う人にとって理解の一助になれば幸いです。 ちなみに本記事はスケールアウトするSQLシステム(2017/8/22)での発表をベースにしています。ほとんどはこの時に話した内容そのままです。 このイベントでの発表スライドも参考にしてみてください。 Cloud Spannerとは GCPで提供されているデータベースサービスのひとつで、2012年ごろからGoogle社内では使用されてきた。 2017年2月にGCPサービスとしてβリリース、2017年7月には東京リージョンで正式版が提供されている。 Goo
)
Spanner (データベース) - Wikipedia
GoogleクラウドサミットにおけるCloud Spannerの展示 Spanner（スパナ）は、Googleで開発され、利用されている分散データベースである[1]。2012年に設計が論文として公開された[1]。2017年からはGoogle Cloud Platform上で提供が始まり、一般ユーザでも利用できるようになった[2]。 概要[編集] 関係データベース管理システム（RDBMS）の構造と非関係データベース（NoSQL）のスケーラビリティを兼ね備えるとされる[3]。 Googleは、Spanner以前にもスケーラブルな分散型データベースであるBigTable（NoSQLデータベース）を社内で利用していた。BigTableは多くのプロジェクトで活用されてきた一方で、従来のスキーマ型のRDBMSのようにデータの一貫性が欲しいという不満も受けていた[1]。この問題を解決するために、Span
ビッグデータ処理データベースの全体像と使い分け - 2017年 Version -
ビッグデータ処理基盤の分野では、オンプレ・クラウド問わず様々なプロダクトが続々と登場していますが、それぞれの位置づけを明確にします。また代表的なプロダクトについて紹介し、使い分けを明確にします。具体的には、Amazon Redsfhit Spectrum, Cloud Spanner, Big Query, Oracle Exadata, MapR, cloudera, Hortonworks, EMR, Cloud Dataproc, Azure HDInsight, Amazon Athena, TREASURE DATA、Amazon DynamoDB, Azure Cosmos DB, cassandra, HBase, redis, MongoDB, TERADATA, NETEZZA,等を紹介します。
URF Academy
Welcome to the URF Academy, a free resource for educators who seek to encourage and inspire the next generation of game designers. Our Game Design Curriculum is our way to share our love for and knowledge of games to students everywhere. We designed it with accessibility top of mind—any teacher with access to the internet and a printer should be able to teach students how to design a fun game. In
無料で「ゲームデザイン」を学べるカリキュラムを1億人以上がプレイする大人気ゲームのメーカーが公開
1億人以上のプレイヤーを抱える「League of Legends」を開発したRiot Gamesのゲームデザインカリキュラム「URFアカデミー」は、「次世代のゲームデザイナーを育成し、世界中の学生にゲームの知識を伝える」ために作成されました。URFアカデミーに記載された文章には「インターネットとプリンターがあれば、どんな先生でも生徒に楽しいゲームデザインの方法を教えることができるよう、アクセス性を第一に考えました」と書かれており、教科書はすべて無料で閲覧可能、かつPDF形式でダウンロードできるようになっています。 URF Academy | Riot Games https://www.riotgames.com/en/urf-academy 全6種類の講座では、シンプルなフレームワークを使ったゲームデザインの原則やワークショップなどを通してゲームデザインを学びます。難しいプログラミング
Hadoop利用者ならきっと知ってる、Hive/Prestoクエリ関数の挙動の違い - Qiita
HiveQLではスピードに難を感じていたため、私もPrestoを使い始めました。 MySQLやHiveで使っていたクエリを置き換える時にハマったTipsをまとめていきます。 AWS AthenaでPrestoを使っている方も増えてると思うので、Presto標準関数での記述例も拡充していきます。 Prestoとは Prestoはオンメモリで動く分散SQLエンジンで、その進化は目を見張る物です。 発表された当時は色々な成約があり使うことを躊躇していましたが、2015年頃からはもう使わない理由はなくなりました。 アドホックに使えるとても高速なSQLエンジンですので、バッチ向けのHiveのように実行結果を待つ時間はほとんどありません。 Hiveですと1つ1つの実行に時間が掛かるので、クエリに慣れていない新参者には辛い物がありました。 しかしPrestoではインタラクティブに実行できますので、トライ
HiveでテキストのFuzzy Search
先週はPostgreSQL上でテキストのFuzzy Searchを試した。そのときは fuzzystrmatch や pg_trgm といったモジュールが活躍していた。 では、同じことをHiveで実現するとどうなるだろう。 データ 適当にテーブル sample をつくっておく： hive> CREATE TABLE sample AS > SELECT 1 AS id, 'I live in Tokyo.' AS document > UNION ALL > SELECT 2 AS id, 'Are you happy?' AS document > ; hive> SELECT * FROM sample; OK sample.id sample.document 1 I live in Tokyo. 2 Are you happy? Time taken: 0.066 seconds,
男性更年期障害（LOH症候群）の治療について | 泌尿器科 | 東京国際大堀病院
男性更年期障害（LOH症候群）男性更年期障害とは、加齢に伴う男性ホルモン(テストステロン)の低下によって引き起こされる症状のことでLOH症候群（加齢男性性腺機能低下症候群)と呼ばれています。 男性更年期障害は日本でも最近良くテレビは雑誌で取り上げられるようになり、その認知が広まって行きました。 40代後半のから見られ、患者さんが最も多いのは50～60代です。中には70～80代で症状を訴える方もいます。 一般に、テストステロンの量は10代前半から急激に増え始め、20歳ごろをピークに加齢とともに徐々に減少していきます。 ところが何らかの原因でテストステロンが急激に減少してしまうと、体はバランスを崩し、さまざまな不調を引き起こすのです。テストステロンを減少させる要因はいくつかあり、その代表的なものがストレスといわれています。テストステロンは大脳の視床下部からの指令によって主に精巣でつくられますが
総合1位は「メルペイ」、10～20代は「LINE Pay」 オリコンのスマホ決済満足度調査
oricon ME（オリコン エムイー）は、9月1日に「スマホ決済サービス」の満足度調査について発表した。対象は18～84歳の1カ月に1回以上スマホ決済サービスを利用したユーザーで、サンプル数は4402人。調査企業はスマートフォンを利用したキャッシュレス決済を提供する14社となっている。 総合1位は「メルペイ」で、フリマアプリ「メルカリ」利用者から売上金の管理など利便性の高さを高評価する声が多く集まった。決済種別の「コード決済」での評価項目別では「アプリの使いやすさ」でも1位となり、シンプルな使い方や見やすい画面が高い評価を受けている。 年代別ランキングでは30代と60代以上で「PayPay」が1位となり、加盟店が多くどこでも利用できるという点が評価された。10～20代の1位は「LINE Pay」で、友人同士での割勘や送金などの機能が重視された一方、LINEとの連携やポイントなど機能性を評
Slack の新書式設定とその無効化について【2019 アドカレ】 - Qiita
Slack 愛好家による自己紹介 Slack 愛好家です。日常遣いに加えて、家族とのやり取りも LINE から Slack に移行し、 GitHub、 GitLab の通知もすべて Slack へ送り、 Google calendar とも連携し、個人アプリケーションのエラーログも Slack へ送り、何から何まで Slack に集約したがるマンです。 先日のこの記事にはいたく共感しちゃいます。 Slackはただのコミュニケーションツールじゃない、企業の技術を映す鏡だ これだけ Slack ラブな理由のひとつに、 Markdown ライクなマークアップ記法を採用している点があります。私はマークアップでテキストを装飾するのが大好きです。よくやるのが、別エディタでメッセージを編集してから Slack へコピペするやりかたです。 別エディタで書く SlackBot へコピペ送信してマークアップ記
死者数、予測を６５００人超過か １～５月、厚労省研究班まとめ：東京新聞 TOKYO Web
今年１～５月の国内死者数は、統計学的な予測値を最大約６５００人超過していた可能性があることが３１日、国立感染症研究所などの厚生労働省研究班のまとめで分かった。超過死亡にはさまざまな原因での死者が含まれており、新型コロナ感染症の影響で死亡した人がどれくらい含まれていたか引き続き分析する。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PostgreSQLの全体像をつかみその魅力に迫る
【Mac】Homebrew を使って PostgreSQL を動かす - Qiita
MySQL 5.7 InnoDB 日本語全文検索（その２）
MySQL 5.7 InnoDB 日本語全文検索
Google Cloud Search: Gmail やドライブなどを包括的に検索 | Google Workspace
JDK 16で確定された Records と Instanceof のパターンマッチング
[GKE & Spanner 勉強会] Cloud Spanner の技術概要
SQL素人でも分かるテーブル結合(inner joinとouter join) - Qiita
全文検索 | Firestore | Google Cloud
正規表現パターン - オラクル・Oracleをマスターするための基本と仕組み
REGEXP_LIKE - オラクル・Oracle SQL 関数リファレンス
Elasticsearch Service on Google Cloud – Marketplace – Google Cloud Platform