ETLとは - IT用語辞典
概要 ETL（Extract/Transform/Load）とは、データベースなどに蓄積されたデータから必要なものを抽出（Extract）し、目的に応じて変換（Transform）し、データを必要とするシステムに格納（Load）すること。また、ソフトウェアの持つそのような機能。 一般的にはデータウェアハウスを構築する際に外部のデータベースや何らかの情報源からデータを取り出して必要な形式に整えて保存することを指す。このような処理を行う専門のソフトウェアや拡張機能をETLツールという。 抽出元となるのは業務システムに日々蓄積されていく様々な種類や内容、形式のデータで、ETLツールは様々なシステムに対応できるよう、リレーショナルデータベース（RDB）やCSVファイル、表計算ソフトのデータファイル、XMLファイル、ログファイル、テキストファイルなど多様なデータ形式を読み込めるようになっている。 変
オンラインで入手できる数理論理学・数学基礎論のテキスト
オンラインで入手できる数理論理学・数学基礎論のテキスト 数理論理学、数学基礎論の教科書的に使えるテキスト（講義ノート、サーヴェイ、モノグラフ等）のうち、オンラインで入手できるものを集めました。 入門的概説 論理一般 高階論理と型理論 直観主義論理 コンビネータとラムダ計算 時相論理および時制論理 様相論理 適切さの論理 自然言語の論理 空間論理 モデル理論 安定性理論 無限論理 計算可能性理論および再帰理論 集合論 pcf理論 記述集合論 実数の集合論 選択公理 強制法と内部モデル 連続体仮説 NF 証明論と構成的数学 順序数解析 算術の体系と不完全性 証明可能性論理 線形論理 構成的数学 代数的論理と圏論 ブール代数 普遍代数 量子論理 圏論 歴史 入門的概説 [▲] 加茂静夫，「数理論理学（命題論理と述語論理）」．[PDF] 嘉田勝，「数理論理学 講義ノート（2013年度版）」． St
「柴田尚樹氏と人類の全科学知識を整理する技術について語る」開催レポート - JTPA
みなさん、こんにちは。 先日の柴田尚樹さんのサロンのレポートをお送りします。 レポーターは山本顕範さんです。 人類の全科学知識を整理する技術「知の構造化」 柴田 尚樹さん (Naoki Shibata, Ph.D) 東京大学 助教, スタンフォード大学 客員研究員, （楽天株式会社 執行役員） 知の構造化とは 東大の前学長の小宮山先生による話で「科学が進化すればするほど、最先端の学術研究は細分化し、論文の量は膨大になる。したがって専門家であってもある学術分野の全体像が分からなくなってしまう状況は深刻な問題を引き起こす。その結果政府も企業も間違った投資が行われてしまったり、研究がニーズに対応した方向に進まないだけでなく、学問間の融合が起こりにくくなる。ついてはある学術領域の全体像を見えるようにする方法論を作りたい。」という話が発端との事。 これを「知の構造化(Structuring
Yōkai - Wikipedia
Yōkai (妖怪, "strange apparition") are a class of supernatural entities and spirits in Japanese folklore. The kanji representation of the word yōkai comprises two characters that both mean "suspicious, doubtful",[1] and while the Japanese name is simply the Japanese transliteration or pronunciation of the Chinese term yaoguai (which designates similarly strange creatures), some Japanese commentators
Scala - Wikipedia
Scala（スカラ、SKAH-lah[3]）はオブジェクト指向言語と関数型言語の特徴を統合したマルチパラダイムのプログラミング言語である。名前の「Scala」は英語の「scalable language」に由来するものである。 主にJavaプラットフォーム（Java仮想マシン）上で動作し、既存のJavaのプログラムと容易に連携させることができる。 対応プラットフォーム Scala - Javaプラットフォーム Scala.js[4] - Scala から JavaScript へとトランスパイルする。 Scala Native[5] - LLVM を使用し、マシンネイティブの実行ファイルを出力 また、過去には下記のプラットフォームもサポートしていたが、現在は開発が中断している。 .NET Framework[6] Java Platform, Micro Edition CLDC Scal
型推論 - Wikipedia
型推論（かたすいろん、英: type inference）とはプログラミング言語の機能の1つで、静的な型付けを持つ言語において、変数や関数シグネチャの型を明示的に宣言しなくても、変数宣言における初期化のための初期値や、関数呼び出しにおける実引数などといった、周辺情報および文脈などから自動的に（暗黙的に）各々の型を決定する機構のこと。言語によってはtype deductionと呼ばれることもある。 推論に失敗するとその時点でエラーを報告できるため、少なくとも誤った型を用いることによるバグは回避できる。また、アルゴリズムの記述に集中できるのでプログラムの抽象度が上がるというメリットもある。型名が長大な場合に、型推論による省略によってコード全体の見通しをよくすることにもつながるが、一方で統合開発環境による支援（コードエディター上のツールチップなど）が得られない環境では、一見して型が分からないこと
新入生9割が中国人、超異色の日本経済大学 「全入」時代にあえて東京進出を果たした理由とは | JBpress (ジェイビープレス)
◆特別公開中◆ （＊）本記事は、期間限定で特別公開しています。（この機会に、すべての記事をお読みいただける「JBpressプレミアム会員」のご登録をぜひお願いいたします。） 東京・日比谷公会堂。2010年4月7日、日本経済大学渋谷キャンパスの初めての入学式が行われた。 開式の言葉、総長から入学許可宣言と粛々と式が進む間、今時の若者としては珍しいほどに入学生はおとなしく、背筋を伸ばして席に座り、ほとんど私語が聞こえてくることもなかった。 ところが、日本でも活躍する京胡奏者の呉汝俊（ウー・ルーチン）さんが来賓挨拶で登壇すると、会場の空気がかすかに緩んだ。そして、呉さんが中国語交じりの日本語で「私も20年前に中国から日本にやって来ました。日本人の温かさ、日本のきれいさに感激する一方で、中国の文化の素晴らしさも改めて感じました。新入生の皆さんも、もっともっと日・中の懸け橋、世界との懸け橋になって下
「Wikipedia」、初のUIデザイン大幅刷新を実施へ
ユーザー生成型の百科事典「Wikipedia」を運営している非営利団体Wikimedia Foundationは、近くWikipediaのルックアンドフィールを大幅に変更すると発表した。同財団が率先してそうした取り組みを実施するのは今回が初めてだ。 Wikimedia Foundationは米国時間3月25日夜、公式ブログ「Wikimedia Blog」への投稿で次のように述べた。「われわれはデフォルトのデザインを『Vector』というテーマに変更して、主要機能を見つけやすくする。（中略）すべてのユーザーは、サイトのレイアウトが大きく変わったことに気づくだろう。われわれはユーザーの期待に応えるために、サイトのナビゲーションを簡略化し検索ボックスの位置を変更するとともに、他のウェブ標準に準拠するため、表示の乱れを減らし、多様な解像度やブラウザ形式、ウィンドウサイズでも新機能が確実に機能するよ
implicit conversion の練習 - Faith and Brave - C++で遊ぼう
その名の通り「暗黙の型変換」 型変換のメソッドだけ用意しておけば、変換元の型にないメソッドが呼ばれた時に 変換メソッドが暗黙に呼ばれ、変換先の型のメソッドを呼び出すことができる これを使えば、特定の型にメソッドを追加する、ということもできる(Extension Method) object Main { // Int から String に変換するメソッドを用意(※用意だけ) implicit def intToString(i: Int) = i.toString def main(args : Array[String]): Unit = { var i = 12345 // Int を String として使う println(i.substring(0, 3)) // 123 } } Eclipse のプラグインでは、インテリセンスで変換先の型のメソッドが出てきてくれます # そん
Cassandra修行 — sklave
日曜大工はPython3kにしようか > Python3kはMySQLドライバ無いのか > じゃあCassandra使ってみるか > thriftもPython3k無いじゃん > じゃあ2.6でCassandraか、という経路によりCassandraにトライしてみることにしました。 修行中の身である故、情報の正確性は無担保。 ためしたCassandraは0.5.1 Cassandraとは Cassandraとは、もともとFacebookが開発して、現在はApacheでホスティングされている分散データベース。最近、TwitterがMySQLから移行したことで話題になった。 いわゆるNoSQL(この呼び方は好きじゃないけど)のジャンルに属するデータベースで、データモデルの表現力的には DataStore(GAE) > Cassandra > Key-Value Storeぐらいのものなんじゃな
Amazonクラウド、5月に入って3回もトラブル発生。UPSの故障、分電盤のショート、ネットワーク接続エラー
Amazonクラウド、5月に入って3回もトラブル発生。UPSの故障、分電盤のショート、ネットワーク接続エラー Amazonクラウドの北アメリカサイトでトラブルが続いています。今月に入って3回もトラブルが発生しているのです。 今月最初のトラブルは5月4日午前2時（現地時間）。データセンターの電源関係の作業中にトラブルが発生。切り替わるはずのUPS電源がうまく働かず、データセンター内アベイラビリティゾーンの一部のラックに対して電源供給が停止しました。その後、技術者がUPSを迂回して直接電源を供給することで復旧が始まり、午前3時40分から6時35分のあいだに復旧しています。 2度目のトラブルは5月8日午前0時20分。ふたたびアベイラビリティゾーンの一部のラックに対して電源トラブルが発生。トラブルは長時間に及び、午前7時20分頃に復旧開始。原因は主分電盤の漏電とショートで、復旧前に分電盤の修理とテ
ヒマをみつけてWeb開発 | - 列指向データベース、CassandraとHBaseを比較
Cassandraが気になっていたんですが、同じ列指向データベースのHBaseはどうなんだろうと思って、簡単に比較してみました。 データの一貫性 NoSQL系は、そもそもRDBMSに比べて一貫性がゆるめに設計されている感じがあります。実際、Cassandraは、行ロックがなくトランザクションが使えません。複数のクライアントからの更新が被った場合は、タイムスタンプを見て最新のものを現在の値に設定するようになっています。結果整合性っていうみたいですね（￣∇ ￣ ） ただ、まったく一貫性に関するオプションがないわけではなく、クエリ発行時にConsistencyLevelを指定することで、全てのレプリケーションノードに書込まれたことを保証したりは出来るみたいです。一方、HBaseの方は行ロック可能で、トランザクションを使うことができます。ただ制約も多いみたいで、いわゆる複数テーブルにまたがったよ
CassandraのMemtableについて – Rest Term
引き続きCassandraについて調査中で、今回はCassandraの内部構造のひとつ、Memtableについて。 Cassandraでの書き込み操作はまずディスク上のCommitLog(書き込み操作のログ)に対して行われ、それからメモリ上のMemtableと呼ばれる構造体に対して書き込まれます。Memtableの構造は以下のようになっていて、ColumnFamily毎に保持されています。Key の列の Token は書き込み要求時にデータを保持するノードを決める際に計算されるものです。 Memtable関連の設定について conf/storage-conf.xml にMemtable関連の設定項目があります。これらはMemtableがディスクにフラッシュされる(ディスク上のSSTableに非同期で書き込まれる)までの種々のしきい値を設定しています。 ・ MemtableThroughpu
第2回 Cassandraのインストールから起動まで | gihyo.jp
前回はCassandraとは何かを簡単に説明しました。第2回では、Cassandraを実際にインストールして開発環境で動かしてみましょう。 Cassandraをインストールしよう 環境を確認する まずは環境の確認をしましょう。筆者の環境は以下のようになっています。 Windows 7 Professional Sun JDK 1.6.0_18 64bit Eclipse 3.5.1 この連載ではおもにWindowsでの環境を想定しています。ただ、CassandraはJavaベースなので、MacやLinuxなど別OSでも同様に動くはずです。 Cassandraをダウンロードする 本連載では現時点での最新版Cassandraha 0.6.1を使います。以下のサイトからダウンロードできます。 The Apache Cassandra Project URL：http://cassandra.ap
Cassandraのデータモデリング。或いはKeyspaceの設定方法 - プログラマでありたい
ドキュメントにはサラッとしか書かれていないので、ちょっと解りにくいCassandraのデータ構造及び設定方法です。 公式ドキュメントの致命的な欠点で、データモデルのイメージ図がないので作ってみました。 （Cassandraのデータモデル - DenkiYagiさんの素晴らしいモデル図を写させて貰いました。） KeySpace まずCassandraのデータ構造で一番大きな括りに、keyspaceがあります。RDBに例えると（怒られそうですが）、スキーマやデータベースにあたります。 ColumnFamily ColumnFamilyは、テーブルに当たるものです。重要な点ですが、keypaceとColumnFamilyは、conf/storage-conf.xmlに定義されています。また現時点では、confの内容をシステムに反映させるにはシステムのリスタートが必要になります。 Key & Ro
FrontPage_JP - Cassandra Wiki
Cassandra Wiki Cassandraは、非常に高いスケーラビリティーを持ち、イベンチュアルコンシステントな分散システム構造のKVS(Key Value Store)です。 Cassandraは、主にBerkeley DBとMySQLから構成されるAmazon Dynamo (PDF)の分散ハッシュテーブル（DHT）と、Google BigTable (PDF)のデータモデルという分散システムのテクノロジーを併せ持っています。 Amazon Dynamoのように、Cassandraはイベンチュアルコンシステントであり、Google BigTableのようにCassandraは典型的なKVS(Key Value Store)より豊かなカラムファミリーベースのデータモデルを提供します。 Cassandraは、2008年7月にFacebookによってオープンソースとして公開されました。
Animals in the news
With the disastrous oil spill in the Gulf of Mexico still unfolding, concerns over threats to wildlife have brought animals into the news quite a bit lately. From the oil spill, to preservation efforts, to zoo developments, pampered pets, harsh environments, invasive fish, a surfing alpaca and more, collected here are a handful of recent photographs of animals and our interactions with them, as co
Mozc(Google日本語入力)のコードを読んだメモ - 射撃しつつ前転 改
Google日本語入力がOSS化されたということで、気になっていたところをいくつか確認してみた。 変換アルゴリズムはどんな感じか？ twitterの工藤さんの発言にも「わりと古典的な最小コスト法」とあるけれど、まさにそんな感じ。人名の処理とかでちょっと特別なコードが入ったりもしているが、ほぼ基本的な統計的かな漢字変換のモデル。係り受けの情報とかは使っていない。Viterbiでベストパスを求めて、品詞ベースで文節にまとめあげている。コストモデルは接続コストが品詞対品詞で、単語コストの方は単語毎に設定されているっぽい。 src/converter/immutable_converter.ccのImmutableConverterImpl::ViterbiがViterbiアルゴリズムの部分で、その後にMakeSegmentsで文節にまとめている。読むならImmutableConverterImp
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Why not Scala? | David R. MacIver
Why Scala?
http://agilecatcloud.com/2010/02/10/
Google Groups
Google Groups
Cassandraメモ(Hishidama's Apache Cassandra Memo)
http://assets.en.oreilly.com/1/event/27/Cassandra_%20Open%20Source%20Bigtable%20+%20Dynamo%20Presentation.pdf