HiveでLOAD粒度を自由に変更可能にするパーティション構成 - たごもりすメモ
ひとことで言うと「通常必要なパーティション階層の更に下にもうひとつパーティションを掘っておけ」だけ。 普通のパーティション設計 仮にWebサーバのアクセスログを投入するためのテーブル accesslog があるとする。このテーブルを、まずサービス名 service カラムでパーティショニングし、さらに日毎にパーティショニングするとしよう。データは外部でタブ区切りにparseしておき、それを毎日LOADする。 このようなテーブルになる。 CREATE TABLE accesslog ( rhost STRING, time STRING, method STRING, path STRING, status SMALLINT, bytes BIGINT, referer STRING, useragent STRING ) PARTITIONED BY (service STRING, yy
Apache Hive の Partition 機能を使ってみる - CUBE SUGAR CONTAINER
今回は Apache Hive の Partition 機能を使ってみる。 Partition 機能を用いない場合、クエリを発行するとテーブルを構成するファイル群にフルスキャンがかかる。 それに対し、Partition 機能を用いるとクエリによってはスキャンするファイルの範囲を制限できる。 結果としてパフォーマンスの向上が見込める場合がある。 使った環境は次の通り。 Apache Hive や Hadoop のインストール部分については省略する。 $ cat /etc/redhat-release CentOS Linux release 7.4.1708 (Core) $ uname -r 3.10.0-693.5.2.el7.x86_64 $ hadoop version Hadoop 2.8.3 Subversion https://git-wip-us.apache.org/rep
LanguageManual DDL - Apache Hive - Apache Software Foundation
OverviewHiveQL DDL statements are documented here, including: CREATE DATABASE/SCHEMA, TABLE, VIEW, FUNCTION, INDEXDROP DATABASE/SCHEMA, TABLE, VIEW, INDEXTRUNCATE TABLEALTER DATABASE/SCHEMA, TABLE, VIEWMSCK REPAIR TABLE (or ALTER TABLE RECOVER PARTITIONS)SHOW DATABASES/SCHEMAS, TABLES, TBLPROPERTIES, VIEWS, PARTITIONS, FUNCTIONS, INDEX[ES], COLUMNS, CREATE TABLEDESCRIBE DATABASE/SCHEMA, table_name
SQLライクにHadoop Hiveを使い倒す!
パーティションを利用する 今回は少し凝ったテーブルを定義をしてみましょう。 郵便番号データは毎月更新されるので、テーブル指定時にバージョンも指定できるようにします。このような場合、Hiveではパーティションを使います。 以下に郵便番号を保存するテーブル「zip」を定義しますが、日付型DATEのパーティションverを設定するようにします。 hive> CREATE TABLE zip (zip STRING, pref INT, city STRING, town STRING) > PARTITIONED BY (ver DATE) > ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' > LINES TERMINATED BY '\n'; OK Time taken: 0.128 seconds
名古屋市:【一部中止】名古屋駅前モニュメント「飛翔」さよならイベント（暮らしの情報）
概要 『モニュメント「飛翔」が映っている写真』や『「飛翔」を連想させる「ぐるぐる」なものの写真』を撮影し、「#名駅のぐるぐる」をつけて、SNS（Twitter、Instagram）に投稿いただき、投稿された写真を使用して、モザイクアートを作成します。また、応募写真の中から抽選で当選者を決定し、賞品を贈ります。 モザイクアートのベース画像については、名古屋駅地区街づくり協議会の提供により、メイエキイルミ2019において「メイエキ賞」に輝いた写真を使用します。 募集期間 令和3年5月1日（土曜日）～5月31日（月曜日）当選賞品 図書カードNEXT ネットギフト 1,000円分当選者数 20名当選者発表 当選者には、6月中旬にTwitterダイレクトメッセージ、またはInstagramダイレクトメッセージでご連絡します。当選の発表は賞品の提供をもってかえさせていただきます。 応募規約 ※「#名駅
どうして Julia を作ったか
プログラミング言語「Julia」開発者さんの文章がとても好きなので、雰囲気重視で訳しました。結構意訳です。原典：https://julialang.org/blog/2012/02/why-we-created-julia/ =================================================「どうして Julia を作ったか」 それは、僕らが欲張りだからだ。 Matlab はめっちゃ使う。僕らの中にはLispの天才もいるし、PythonやRuby のすげー奴、Perl を巧みに使いこなす奴もいる。毛も生えない子供の頃からMathematica で遊んだ奴もいる。いまだにツルツルな奴だって仲間だ。Rではアホみたいにたくさんグラフを書いた。C言語からは、いつだって冒険の匂いがする。 ぜんぶ、大好きだ。面白いし、いろいろなことができる。何かをしたいと思った時--科
ガントチャート | Atlassian
要約：ガント・チャートは、ある期間にわたって完了した作業と、その作業に予定された時間との関係を図で示すプロジェクト管理ツールです。ガント・チャートには、タスクの開始日と終了日、マイルストーン、タスク間の依存関係、担当者などを含められます。 20 世紀初頭、Henry Gantt が、作業者のタスクに対する進捗を記録するチャートを作成しました。これにより、監督者は、生産スケジュールが遅れているか、先行しているか、または予定通りに進んでいるかをすばやく確認できました。ガント・チャートはプロジェクト管理に革命をもたらし、フーバー・ダムや州間高速道路ネットワークなどの大規模な建設プロジェクトの管理に役立ちました。当初、ガント・チャートは紙に書かれていましたが、1980 年代のコンピューターの台頭に伴い、ガント・チャートはますます複雑で精巧なものになりました。現在でも、ガント・チャートは依然として、
ｅＭＡＸＩＳ Ｓｌｉｍ 米国株式（Ｓ＆Ｐ５００） | ｅＭＡＸＩＳ
ファンドトピックス 2022年12月20日【投信オンエア】11月末基準の月次リポート動画を配信しました2022年11月01日eMAXIS Slimを保有している三菱UFJ国際投信社員のホンネトーク！2022年08月09日ノーロード・インデックスファンド『ｅＭＡＸＩＳ Ｓｌｉｍ（イーマクシス スリム）』シリーズ合計純資産総額3兆円を突破[305KB]2022年02月14日【ファンド紹介】eMAXIS Slim 米国株式（S&P500）の魅力とは！？2022年02月10日『ｅＭＡＸＩＳ Ｓｌｉｍ 米国株式（Ｓ＆Ｐ５００）』インデックスファンドとして初の純資産総額１兆円を突破[295KB]2022年01月26日【投信オンエア】「投信ブロガーが選ぶ！Fund of the Year 2021」受賞記念！ eMAXIS Slim 全世界株式（オール・カントリー）・eMAXIS Slim 米国株式（S
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hiveハンズオン
ファンド情報 | ｅＭＡＸＩＳ