第15回 計算機クラスタのためのリソース管理基盤 Hadoop YARN | gihyo.jp
はじめに 前回は、MapReduceとその実装であるApache Hadoopの概要について説明しました。今回は、Apache Hadoopにおいて計算機クラスタのリソース管理を行うYARNについて解説します。 多種多様な処理系の登場 Hadoopの登場を1つの契機として、コモディティな計算機を複数台用いた計算機クラスタ上でデータ処理を行うことが広く普及しつつあります。たとえば、Hadoop MapReduceと比べてアプリケーションの記述性が柔軟であり、より高効率な実行が可能であるApache Spark、Apache Tez、Apache Flinkをはじめとし、低い遅延で実行可能なApache Impala、Facebook Presto、Apache Drill、また、大量のストリームデータを低い遅延で処理可能なデータ処理系であるApache Storm、Twitter Heron
第16回 並列データ処理系 Apache Tez | gihyo.jp
はじめに 今回は、Apache Hadoop上で動作する並列データ処理系Apache Tezについて解説します。 MapReduceの制約 本連載第13回で述べたように、Hadoop MapReduceは、MapとReduceからなる単純なインタフェースを有し、多くのデータ処理を記述できる汎用的な並列データ処理系（フレームワーク）である反面、その単純さによりいくつかの性能的な課題が存在すると考えられます。 たとえば、複雑なジョブをMapReduceで実行する場合、MapとReduceからなるMapReduceジョブを複数段連ねて実行する必要があります（図1）。当該ケースにおいては、MapReduceジョブの間において、分散ファイルシステムを介したデータの入出力が行われてしまい、当該入出力は、性能の観点においてはオーバーヘッドであるため、ジョブの実行時間を長くする原因の1つとなりえます。
第1回 なぜ、Hadoopはどのように動くのか、を学ぶのか | gihyo.jp
はじめに ビッグデータ解析のためのシステム基盤として、Hadoopをはじめとするオープンソースのデータ処理ソフトウェア（データ処理系）が広く利用されつつありますが、当該データ処理系をすでに利用している、もしくは利用の検討をしている読者の方々の中には、たとえば以下のような問題を抱えている方が少なからずいらっしゃるのではないでしょうか。 データ処理系の使い方はなんとなくわかるが、その内部をあまり理解できていない。または、内部の動作原理がよくわからないので、本格的に使う気にならない。 同様の目的を達成する複数のデータ処理系において、どれを使って良いかがよくわからない。または、適切に使い分けられていない気がする。たとえば、どのような場合にHadoopを用いて、どのような場合に同類のデータ処理系であるImpalaやSparkを用いれば良いかが“明確に”わからない。 このような問題を解決するには、
第2回 並列データ処理系の歴史と重要性 | gihyo.jp
はじめに 前回は、本連載の目的や、本連載で扱う並列データ処理の定義について説明しました。今回は、並列データ処理系の歴史や重要性について見ていきます。技術を学ぶうえで、その技術の歴史や重要性について理解しておくことはとても良いことですので、かんたんな読み物を読むつもりでお付き合いください。 並列データ処理系の進展 並列データ処理系における基本的なアルゴリズムや処理方式は、並列データベースと称される並列化された[1]データベースシステムにおける技術に基づいています。 並列データベースに関する研究・開発は、1970年代からの並列データベースマシン（Parallel Database Machine）［1、2、3］と称されるデータベース処理専用の並列計算機に遡ることができます。並列データベースマシンは、データ処理用途にカスタマイズされたプロセッサや記憶装置を用いていたため、必ずしも価格に見合った
テキスト検索の方法とインデックス | Let's POSTGRES
板垣 貴裕 テキスト検索にもさまざまな方法があります。大量のテキストを検索するにはインデックスを使って検索したいところですが、どんな検索にも応えられるインデックスというものは、さすがに存在しません。それぞれのアプリケーションの条件に適したテキスト検索方法やインデックスの張り方を選んで行きましょう。 今回説明するテキスト検索の方法の一覧を以下に挙げます。PostgreSQL ユーザが「全文テキスト検索」というと「単語単位の検索」を指すことが多いようです。また、「中間一致検索」が「あいまい検索」と呼ばれることもあるようです。用語が厳密な意味で使われないことも多いようなので、文脈には注意して解釈してください。 「単語単位の検索」と「中間一致検索」では、追加のモジュールを導入することで日本語全文検索が可能なインデックスを作成できます。こちらは説明の後半で紹介します。以下、本記事の内容です。 テキス
データベースシステムの監視 ～監視方法と監視例～｜PostgreSQLインサイド
各コマンドで示すオプションは一例になりますので、監視の方針に沿って他の有用なオプションとの併用も検討してください。コマンドの戻り値は、シェルスクリプトで確認するときに利用してください。 サーバーOSの応答（pingコマンド） サーバーの死活監視は、OSの「ping コマンド」に「-cオプション」を指定して確認します。例のように「1」を指定すると1回試行します。ネットワークの一時的な断線などの影響を受けないようにするため、数回リトライするようにしてください。サーバーが動作している場合は、「1 packets transmitted, 1 received」と表示され、応答があったことがわかります。pingコマンドの戻り値は、0：応答を受信した、0以外：応答を受信できない、または、エラーです。 pingコマンドは、管理サーバーなどの別サーバーから実行してください。 PostgreSQLプロセス
PostgreSQL Conference Japan 2018【T4】今、改めて学ぶVACUUM — 佐藤 友章 | Let's POSTGRES
2018年11月22日に開催された「PostgreSQL Conference Japan 2018」より、SRA OSS, Inc. 日本支社 佐藤友章さんによる「【T3】SQL チューニングの基礎」の模様をお届けいたします。 VACUUMは更新で生じた不要領域を回収する処理で、PostgreSQL の性能維持には欠かせないものです。 自動VACUUMが登場して久しく、バージョンごとの改善もあって、今では意識する機会は減りました。それでも、パラメータの調整が必要だったり、いつまで経っても終わらないなどのトラブルもあります。 本講演では、VACUUMの処理内容や実行方法、最近の改善点、パラメータの調整方法、実行状況の確認方法について紹介します。 https://www.postgresql.jp/jpug-pgcon2018#T4
PostgreSQLとOracle Databaseそれぞれの特徴
PostgreSQLとOracle Databaseのアーキテクチャ構造 本シリーズの最終回は、PostgreSQLと、商用RDBMSとして普及しているOracle Databaseとの違いについて簡単にご紹介していきます。 「第1回：PostgreSQLの概要とアーキテクチャ」で、PostgreSQLアーキテクチャの概要図を説明しましたが、PostgreSQLとOracle Databaseは同じような役割を担ったプロセスやファイルで構成されていることがわかります（表1および表2参照）。 また、図1にあるプロセスとデータベース構成ファイルを解説すると、以下のようになります。 クライアントから接続要求を受けてデータベースと通信するためのプロセスを起動する。 クライアントからのSQL要求を処理するプロセスが、ディスク上にあるデータをメモリ上に保持する。 メモリ上の変更内容は専用のプロセスによ
第1回 ［9月版］PostgreSQLの今を知る | gihyo.jp
記念すべき第1回は、PostgreSQLの今を知るために、改めて PostgreSQL について見つめなおします。 PostgreSQLとは PostgreSQLは、オープンソースのリレーショナルデータベースです。最近では、さまざまなところで利用されるようになっていますので、ご存知の方も多いことと思います。商用データベースに匹敵する本格的な機能とオープンソースならではの利用の柔軟度が魅力のデータベースソフトウェアです。 PostgreSQLの開発 PostgreSQLは、PostgreSQL Global Development Groupというオープンソースコミュニティによって開発されています。商用のソフトウェアや一部のオープンソースのソフトウェアではベンダ主導の開発が行われていますが、様々な国の様々な背景を持った開発者が議論を公開しながら開発することで透明性の高い開発が行われています。
PostgreSQLの機能と他のRDBMSの比較 | Let's POSTGRES
全ての機能を網羅した表ではありませんが、PostgreSQLが Oracle Database と同様の機能があることがお分かりいただけるでしょう。レプリケーションやクラスタリングなどは、PostgreSQL本体とは別にリリースされるサードパーティーでの提供となりますが、pgpool-II, Slony-I をはじめとした実績も豊富なソフトウェアが提供されています。 PostgreSQLが特に強みを発揮する分野として、最後の行に記載したGIS (地理情報システム) があります。GISは位置に関する情報を持ったデータ (空間データ) を管理し、主に地図と組み合わせて位置を表示、検索、分析するシステムです。PostgreSQLでは、PostGIS というサードパーティーソフトウェアで、GISオブジェクトをデータベースに格納し空間データに適した検索を行うインデックスと、GISオブジェクトを解析す
8.3. 文字型
表 8.4はPostgreSQLで使用可能な汎用文字型を示したものです。 SQLは2つの主要な文字データ型を定義しています。 character varying(n)とcharacter(n)です。 ここでnは正の整数です。 これらのデータ型は2つともn文字長（バイト数ではなく）までの文字列を保存できます。 上限を越えた文字列をこれらの型の列に保存しようとするとエラーになります。 ただし、上限を超えた部分にある文字がすべて空白の場合はエラーにはならず、文字列の最大長にまで切り詰められます。 （この一風変わった例外は標準SQLで要求されています。） もし宣言された上限よりも文字列が短い時はcharacterの値は空白で埋められ、character varyingの値は単にその短い文字列で保存されます。 明示的に値をcharacter varying(n)またはcharacter(n)にキャス
付録D SQLへの準拠
本節では、PostgreSQLがどの程度現在の標準SQLに準拠しているかについて、概要を説明します。 以下の情報は互換性についての完全な説明ではありません。 しかし、ユーザにとって十分適切かつ有用な詳細を主な話題としてここで示しています。 標準SQLの公式な名称は、ISO/IEC 9075 「Database Language SQL」です。 この標準SQLの改訂バージョンは不定期にリリースされています。 最も最近の改訂は2016年に行われました。 この2016年版はISO/IEC 9075:2016、もしくは単にSQL:2016と呼ばれています。 この前のバージョンはSQL:2011、SQL:2008、SQL:2006、SQL:2003、SQL:1999とSQL-92です。 それぞれ前のバージョンを置き換えたバージョンですので、より昔のバージョンへの適合性についての主張には公的な利点があ
PostgreSQL日本語ドキュメント
PostgreSQL日本語ドキュメント 最新版の付属ドキュメント 翻訳作業中の最新バージョン/PostgreSQL 16.x 日本語マニュアル バージョン16 PostgreSQL16最新版 日本語マニュアル PostgreSQL16.0 日本語マニュアル バージョン15 PostgreSQL15最新版 日本語マニュアル PostgreSQL15.4 日本語マニュアル PostgreSQL15.3 日本語マニュアル PostgreSQL15.0 日本語マニュアル バージョン14 PostgreSQL14最新版 日本語マニュアル PostgreSQL14.5 日本語マニュアル PostgreSQL14.0 日本語マニュアル バージョン13 PostgreSQL13最新版 日本語マニュアル PostgreSQL13.1 日本語マニュアル バージョン12 PostgreSQL12最新版 日本語マ
PostgreSQL: PostgreSQL 12 Press Kit
Contents Original Press Release About PostgreSQL More About The Features Where to Download Documentation Licence Contacts Images and Logos Corporate Support Original Press Release PostgreSQL 12がリリースされました！ PostgreSQLグローバル開発グループは本日、世界で最も先進的なオープンソースデータベースの最新バージョンであるPostgreSQL 12のリリースを発表しました。 PostgreSQL 12の機能強化には、特に大規模なデータセットでのクエリパフォーマンスと、全体的なスペース使用率の大幅な改善が含まれます。 このリリースは、アプリケーション開発者に、SQL/JSONパス式のサポート、
PostgreSQL 12 – いくつかの新機能のご紹介 | Amazon Web Services
Amazon Web Services ブログ PostgreSQL 12 – いくつかの新機能のご紹介 PostgreSQL コミュニティは毎年、PostgreSQL 12 のメジャーリリースを一貫して続けています。PostgreSQL 12 は、JSON データをクエリする新しい方法、インデックスの拡張、パーティション化されたテーブルでのパフォーマンスの向上などの機能を導入し、すでに堅牢な機能の管理を簡素化しながら、新たに開発する機会を設けています。 この記事では、PostgreSQL 12 の素晴らしい新機能のいくつかを詳しく見ていきます。それらを既存の開発および運用プラクティスに組み込む方法を探っていきます。これらの機能の一部は透過的で、PostgreSQL 12 にアップグレードするだけでご利用いただけます。他の部分については、ご利用いただくには既存のアプリケーションまたはプ
車内で姉妹死亡 前日夜から2人を放置か…26歳の母親を逮捕 香川県警（KSB瀬戸内海放送） - Yahoo!ニュース
3日午後、高松市の路上に止めた車の後部座席で6歳と3歳の姉妹が熱中症の疑いで死亡しました。 警察は、26歳の母親が2人を前日の夜から車内に放置して死なせたとして、保護責任者遺棄致死の疑いで4日午前、逮捕しました。母親は黙秘しています。 逮捕されたのは、高松市川島東町の無職、竹内麻理亜容疑者（26）です。 警察によりますと、竹内容疑者は2日午後9時ごろから3日午後0時40分ごろの少なくとも数時間、高松市の駐車場に止めた車の後部座席に長女の真友理ちゃん（6）と次女の友理恵ちゃん（3）を置き去りにし、熱中症の疑いで死なせた疑いです。 竹内容疑者は「車内で2人がぐったりしている」と3日午後0時40分ごろ、119番通報しました。警察の調べに対し、黙秘しているということです。 警察は、防犯カメラの映像や聞き込みなどから竹内容疑者が2日夜から3日未明にかけて、市内の飲食店数軒にいたことを特定し、4日午前
２女児放置死で母親を逮捕…車内に置いたまま、繁華街の飲食店数軒はしごか : 社会 : ニュース : 読売新聞オンライン
高松市内で女児２人を車に放置し、熱中症とみられる症状で死亡させたとして、香川県警は４日、母親（２６）（高松市川島東町）を保護責任者遺棄致死容疑で逮捕した。母親は娘２人を車内に残し、前日夜から複数の店で飲食していたとみられ、県警は死亡した経緯を詳しく調べる。 発表によると、母親は２日午後９時頃～３日午後０時４０分頃の間の少なくとも数時間、高松市内の駐車場に駐車した乗用車に、長女（６）と次女（３）を放置し、死亡させた疑い。調べに対し、黙秘しているという。 防犯カメラの映像や目撃情報などによると、母親は２人を車内に置いたまま、繁華街の飲食店数軒をはしごしていたという。車に戻って別の場所に移動させた後、３日昼に１１９番し、「車から少し離れて戻ってきたら２人がぐったりしていた」などと説明していた。 県警は熱中症で２人が死亡した可能性があるとみており、４日に遺体を解剖して死因などを調べる。高松市では３
６歳と３歳の姉妹死亡、車内に残され熱中症か…女性「戻ったらエンジン切れてた」（読売新聞オンライン） - Yahoo!ニュース
３日午後０時４０分頃、高松市常磐町で女性から「車内で子どもがぐったりしている」と１１９番があった。消防と警察が駆けつけたところ、女性の車の後部座席で、６歳の長女と３歳の次女が意識不明で倒れていた。２人は病院に搬送されたが、約２時間後に死亡が確認された。香川県警高松北署は、熱中症の疑いもあるとみて経緯などを調べている。 高松北署の発表によると、女性は通報時、「車から少し離れて、戻ってきた」と説明したという。 現場近くの住民によると、女性は取り乱した様子で、「エンジンをかけたまま車を離れたつもりだったが、戻ったらエンジンが切れていた」と話していたという。 現場は高松琴平電鉄・瓦町駅の南約２００メートルで、飲食店などが立ち並ぶ繁華街の一角。 気象庁によると高松市では３日午後２時３７分に３７・６度を記録。同市で９月の観測史上最高となる暑さだった。
男性の被害者「100人以上」か…元中学校教師の男ら、睡眠薬飲ませ「準強制わいせつ」疑いで逮捕（関西テレビ） - Yahoo!ニュース
元中学校教師の男らが男性に睡眠薬を飲ませ性的暴行を加えた疑いなどで逮捕されました。 被害者は100人以上に上るとみられます。 準強制性交の疑いなどで逮捕されたのは元大阪市立中学校教師の北條隆弘容疑者（42）ら２人です。 警察によると北條容疑者らは３年前から去年３月まで自宅などで男性９人に睡眠薬を飲ませ、抵抗できない状態にした上で性的暴行を加えた疑いなどがもたれています。 警察は２人の認否を明らかにしていません。 警察によると北條容疑者はＳＮＳに「学校の教材に使いたいのでスーツの似合う男性の方お願いします」などと書き込んで男性モデルを募集していて被害者は100人以上に上ると見られます。 なぜ、ここまで被害が発覚しなかったのでしょうか。 専門家は、男性の場合、被害をより訴えにくい環境にあると指摘します。 【カウンセリングオフィスＰｏｍｕ 心理カウンセラー 山口修喜さん】 「男性なのに被害にあう
mysql 起動時のThe server quit without updating PID file エラーの回避法 - Qiita
$ mysql.server start Starting MySQL .. ERROR! The server quit without updating PID file (/usr/local/var/mysql/****.pid). 調べてみるとこの事象の解決法に関しては色々なパターンがあるが、 総じて以下の2つっぽい。 そもそもpidファイルが存在していない。 pidファイルに適切な権限が設定されていない 私は上記2つの合わせ技だった。 (おそらく1.に当てはまる場合は自動的に2.にも引っかかる) 発生環境＆解決策を以下記載。 事象の発生環境 $ sw_vers ProductName: Mac OS X ProductVersion: 10.13.4 $ mysql --version mysql Ver 14.14 Distrib 5.7.21, for osx10.13 (
Zoomの背景にパワーポイント＆Keynoteのスライドを表示する | TechWave（テックウェーブ）
1990年代初頭から記者としてまた起業家としてITスタートアップ業界のハードウェアからソフトウェアの事業創出に関わる。シリコンバレーやEU等でのスタートアップを経験。日本ではネットエイジ等に所属、大手企業の新規事業創出に協力。ブログやSNS、LINEなどの誕生から普及成長までを最前線で見てきた生き字引として注目される。通信キャリアのニュースポータルの創業デスクとして数億PV事業に。世界最大IT系メディア（スペイン）の元日本編集長、World Innovation Lab(WiL)などを経て、現在、スタートアップ支援側の取り組みに注力中。 新型コロナウイルス禍の中で急速に社会に浸透しつつあるビデオ会議サービス「Zoom」。様々な機能が逐次追加されているが、最新バージョンではマイクロソフトの「パワーポイント」やアップルの「Keynote」で作成したプレゼンテーションのスライドをバーチャル背景に
全文検索のためにAlgoliaを採用すべきかコスト面から検討する - Qiita
やばさを感じていただけただろうか？ STARTERを検討していたが、5万レコード以上は超過料金が発生する。 10万レコードにしようとしたらトータルで50ドル確定。 そもそも10万レコード自体、1ユーザーにつき100レコード消費すると仮定すると、1000ユーザーしか収容できない。 現実的にはけた違いの数が必要になる。 この時点で、ユーザーがコンテンツを保存するような製品に採用するのは、相応のコストを支払う必要があることがわかる。 レコードだけで危機感を覚えていただけただろうが、まだオペレーションの話が残っている。 途中退出は早すぎるよ？ オペレーションの具体的説明は、価格ページの下部の質問事項に載っている。 What is an operation? How do you count operations? For operations, we count both indexing ope
イケてる全文検索サービス「Algolia」を触ってみよう - Qiita
はじめに この記事は、株式会社メディアドゥのアドベントカレンダー19日目の記事です。 みなさん、「Algolia」って知っていますか？ Algoliaなんて知らないよー、聞いたこともないよー、というそこのあなた。 そんなあなたのためにこの記事を書いたといっても過言ではありません。 拙い記事ではありますが、ぜひ読んでみてください。 Algoliaとは？ 以下のような特徴をもつ検索APIサービスです。 https://www.algolia.com/ 全文検索サービスをSaaSとして提供 GUIから検索ロジックを柔軟に設定可能 レコード数/APIアクセス数による従量課金 世界各地にデータセンターがあり、どのロケーションでも高速な検索が可能 様々なプログラミング言語向けにAPIを提供 様々なフロントエンドフレームワーク向けに便利なライブラリを提供 本記事で書くこと すでに知ってる・使ったことがあ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.postgresql.jp/sites/default/files/2020-05/postgresql_update_20200530.pdf
PostgreSQL最新情報 - セミナープログラム - オープンソースカンファレンス2020 Online/Nagoya
SELECT
CREATE TABLE
CREATE DATABASE
SQLコマンド
5.1. テーブルの基本
8.5. 日付/時刻データ型
8.1. 数値データ型
第8章 データ型
PostgreSQL 12は ここがスゴイ！ ～性能改善やpluggable storage engineなどの新機能を徹底解説～ （NTTデータ テクノロジーカンファレンス 2019講演資料）
三浦春馬さん「自死」と事務所発表 担当マネが自宅で発見「すでに意識のない状態でした」（デイリースポーツ） - Yahoo!ニュース
「毎月、同じ雑誌が盗まれる…」団体職員を現行犯逮捕 警官がはりこみ【愛媛】（テレビ愛媛） - Yahoo!ニュース
俳優の田中圭さん、泥酔し警察保護 タクシー料金払えず（朝日新聞デジタル） - Yahoo!ニュース
MySQL Bugs: #90553: group replication installation docs lead to errors in the logs
MySQL 8.0.18でパスワードリセットしてもrootユーザにログインできなくなった時の解決方法 - Qiita
GitHub - Evernote/evernote-sdk-python3: Testing the Evernote Cloud API for Python 3
gitをpushする際にエラー発生(error: src refspec ブランチ名 does not match any) - Qiita
予定をこなせば結果が残る
