構造化テキストデータを操作するためのコマンドラインツールリスト | POSTD
テキストベースのファイル形式と、それぞれを（主にLinux上で）操作するためのコマンドラインツールのリストを掲載しています。 目次 DSV XML,HTML JSON YAML,TOML INI 設定ファイル おまけ：単一ファイルデータベース用コマンドラインインタフェース（CLI） ライセンス 情報開示 DSV CSV や TSV などを含む DSV（Delimiter-separated values、区切り文字で区切られた値） です。 Awk AwkはPOSIXで標準化されているコマンドラインツールで、DSVデータ処理用プログラミング言語です。Awkに関するリンクは以下のとおりです。 Awk.info — Awkに関する情報が豊富です。 AWK Vs NAWK Vs GAWK —プラットフォーム別実装の比較です。 すでにプログラミング言語を使用してプログラミングをしている場合は、naw
ServerspecでXMLファイルの中身をテストするために少しテストをイジってみた - とんちゃんといっしょ
最近はChefとかAnsibleで構築を自動化する際に Serverspec で試験することも多くなってきたけれど、ServerspecだとXMLのテストがしにくい。 リソースタイプに'file'があるが、 containでは評価が正規表現なので通常のファイルの中身を見る文には便利。 describe file('/etc/httpd/conf/httpd.conf') do its(:content){ should match /ServerName www.example.jp/ } end しかしXML形式だとタグの中の複数の値（nameとvalueとか）を見なければいけないとなると、スペースとかが入ってきてやたら長大な正規表現を書くことになりそうで、いまひとつしっくりこない。 <property> <name>dfs.block.access.token.enable</name
Rでコマンド：「XML」パッケージでxlsxファイルを読み込むコマンド例
docxファイルやxlsxファイルはxlmファイル群をzipで圧縮した構造です。解凍してしまえばXMLパッケージで読み込むことができます。そこで、XMLパッケージの利用例としてxlsxファイルを読み込むコマンド例を作成しました。 XMLパッケージの利用例を目的に作成したので処理速度が遅いですが、10,000程度のデータであれば約1分以内に処理できるので、我慢できる範囲かと思います。 なお、sapplyとxpathSApplyでデータを取得している箇所を工夫すると読み込み速度が快適になると思います。ぜひ、挑戦してみてください。 パッケージを利用して快適にxlsxファイルを読み込みたい方は下記記事をどうぞ。 ・openxlsxパッケージの紹介 https://www.karada-good.net/analyticsr/r-338/ ・XLConnectパッケージの紹介 https://w
Wikipediaデータをxml2sqlを利用しMySQLにぶっこむ - Miningoo
2014-10-30 Wikipediaデータをxml2sqlを利用しMySQLにぶっこむ Wikipedia NLP Wikipediaコーパスってどう入手するの？ Wikipediaのコンテンツデータは、 http://dumps.wikimedia.org/にて公開されています。 （詳しくは、Wikipedia:データベースダウンロード - Wikipediaを参照してください）上記サイトは、英語版のWikipediaデータで、日本語版はhttp://dumps.wikimedia.org/jawiki/においてあります。Wikipediaではクローラを禁止している代わりに、全データがXML形式で公開されています。Wikipediaサイトで入手できるデータはXML形式なため、扱いしやすくするためMySQLに突っ込もうとしたのですが、つまづいたためそのときの備忘録です。 Wikip
Javaを使ってBOM付きUTF-8でハマる - Gobble up pudding
Javaのサーバアプリにクライアント側からPOSTで文字列でXMLを送りつけたらXMLの解析時にパースエラーになって1時間ほどハマった時の話。 結論を先に言いますと、BOM付きのまま文字列としてサーバに送信してしまったのでJAXBでコケた。ということです。対策としてはファイルをBOMなしにしました。 当初Python内で文字列を書いてそれをJavaのサーバアプリ側にPOSTしていたときは問題が起こらなかったが、XMLファイルをあらかじめつくっておいてそれをPythonで読み込んでPOSTしたときにエラーになってしまった。 XMLのパースにつかっていたライブラリはJAXBというもの。 // クライアントからPOSTで受け取ったXML文字列をパース JAXBContext jaxbContext = JAXBContext.newInstance(Foo.class); Foo foo = (
Java 入門 | XSLT - XSL Transformation
revised: Nov./16th/2003 XSLTの概要 XSLT (XSL Transformations)は、XML文書の木構造を別の構造へ変換するための仕様です。XSLT自身が、XMLベースのマークアップ言語であり、入力XML文書をソース・ツリー(source tree)と呼び、結果のXML文書を結果ツリー(result tree)と呼びます。 XSLTは、そもそもXML文書のスタイルを記述するための仕様であるXSL (Extensible Stylesheet Languag)の一部として策定されていましたが、勧告まで纏め上げるのに手間取ったため、1999年11月にXSLTのみ先行して勧告されました。XSLも2001年10月に勧告にいたっています。 XSLは、XSLT部分とXSL-FO (Formatting Object)という部分の二つの部分を含んでいます。XSL-FOは
「Java SE 6完全攻略」第73回 JAXB その1
今月から再びJava SE 6完全攻略に戻りましょう。 4月にはJava SE 6におけるXMLに関する新機能ということで，StAXを紹介しました。今月もXMLに関する新機能であるJava Architecture for XML Binding，通称JAXBを紹介します。 JAXBはJava SE 6より一足早く，Java EE 5で採用されていたので，ご存じの方も多いはずです。 JAXBを説明する前に，XMLを用いてデータ交換を行なう場合について考えてみましょう。 通常，JavaのアプリケーションでXMLドキュメントを扱う場合，XMLドキュメントをパースし，パースした内容をアプリケーションで扱いやすいオブジェクトに変換します。 たとえば，次のような名前を表すXMLがあったとします。
＠IT：連載 役に立つXMLツール集（2） JAXBでデータバインディングに挑戦しよう
XMLプログラミングでは、DOMやSAXといったAPIを使用すると単調なコードを繰り返し書くことになり生産性が上がらないものだ。本連載では開発者が“楽をする”ために役立つXML関連ツールを紹介していく。（編集局） 前回「XMLをJavaにマップするデータバインディング」では、データバインディングがどのようなものかといった概要を説明しました。今回からは実際にデータバインディングツールを使い、どのようにしてXMLモデルからオブジェクトモデルへのマッピングを行うのかを見ていきましょう。 最初に取り上げるのはJAXB（The Java Architecture for XML Binding）です。JAXBはJavaの世界でいわゆる“標準”となるべく開発されているデータバインディングで、JavaのさまざまなAPI同様、仕様がJCP（Java Community Process）で決められ、参照実装
XML文書内の位置を正確に指し示すXPath
XMLデータはその構造をツリー形式で表すことができる。XPathは、その性質を利用して、XMLデータのどの部分であっても位置を指し示すことができる記述言語だ。XMLを活用するには、XPathの知識は欠かせない。今回はそのXPathを解説していく。 特定のノードに至る経路を記述する XSLTはXMLデータ（注）をツリーとしてモデル化したソースツリーのノード（node：節点）ごとに、変換ルールを用意することによって、構造変換を記述する。そのためにはまず、構造変換の対象にするソースツリー内のノードを正確に特定する技術が不可欠だ。W3Cが、XMLツリー上の位置を特定するために制定した記述言語がXPath（XML Path Language）だ。 （注） W3CによるXMLの仕様書では、XMLで記述された情報を「XML文書（XML Document）」と呼んでいる。しかしXMLは、電子書籍などの文書
第6回 XMLの扱い方
今回は，商品一覧を表示する簡単なツールの作成を通じて，データ表現形式の主流になりつつあるXMLファイルをJavaでどう扱うかを見ていくことにします。多くの場面で使われるXMLファイルの扱い方を覚えれば，仕事の幅も広がること間違いなしです。 皆さんこんにちは，kikainekoです。この連載では，日々の定型的な業務をJavaで自動化してラクする方法を紹介しています。前回は，Wordファイルの扱い方を説明してきました。Javaによるファイル操作には，ずいぶん慣れてきたのではないでしょうか。 今回は，データ表現形式の主流と言っても過言ではないXMLファイルを取り上げます。XMLで記述されたファイルを，Javaからどのように操作するかを一緒に学びましょう！ XMLファイルを操作するといっても，特に身構える必要はありません。実は，皆さんの周りにはすでにXMLで記述された文書が数多く存在しています。例
変化に強いXMLデータベース設計とチューニング（2/5） － ＠IT
XMLデータベース開発方法論（6） Page 2/5 変化に強いXMLデータベース設計とチューニング 川俣 晶 株式会社ピーデー 2005/11/19 ■変化に追従する柔軟なデータ構造 システムは変化し、それに応じてデータベースにも変化が要求される。この変化は大ざっぱに分類するなら、2種類に分けることができる。 開発中の設計変更 継承すべき実運用データはまだ存在しないので、比較的楽にデータベースの構造を変更することができる 運用中の設計変更 すでに実運用データがデータベース内に蓄積されているため、プログラムの修正だけでなく、データベースの変換という手順が発生する この分類は実はあまり適切ではない。というのは、開発中にもテストデータを入れたデータベースはあるだろうし、それをわずかな設計変更ごとにいちいち変換するのもバカにならない手間になるからである。例えば、テスト用に用意した大容量のデータを
＠IT：Webサービス・セキュリティ構築の実践（前編）
海外ではWebサービスを取り入れた実用システムが次々と立ち上がっている。これを可能にしているのはWebサービス・セキュリティ技術の成熟だ。本稿は前後2回にわたって、実用Webサービス・システムに必要となるセキュリティ構築の実践的な内容を解説する。（編集局） 本格的なWebサービス実用化の時代を迎え、今日のWebシステム構築の現場ではXML、Webサービスのさまざまな適用事例が続々と生まれています。Eコマースにおいても、独自ソフトウェアによるシステムから、標準化されたWebサービス・ベースに移行しようとしています。これにより、ビジネスの継続性やビジネス環境の変化に迅速に対応する柔軟性を獲得した、次世代のインターネット・コマースをいち早く実現できるようになります。 しかし実際にビジネスにおいてWebサービス技術を使うには、開発スキル・信頼性・セキュリティ・処理性能など懸念される課題も多くありま
XML-RPC,SOAP,RESTに関する調査 - hikm's blog
以前ブログにも書きましたが、XML-RPC,SOAP,RESTの区別が全然出来ていないという困った状況だったので、ちょっと気合を入れて調べてみました。 以下、それぞれの特徴を簡単にまとめたメモ。 XML-RPC(XML Remote Procedure Call) 1998年に策定された、比較的シンプルな仕様。 XMLを利用してネットワーク越しにサーバー側のなんらかの処理を呼び出し、結果をXMLで受け取る。 クライアントからサーバーへのアクセスには、HTTPのPOSTを用いる。 リクエストはHeaderと、Bodyで構成される。Body部分はXMLで表現する。 Header部分の、「User-Agent」、「Host」、「Content-Type」、「Content-Length」は必須。 戻り値は複数の値をとれないが、戻り値を配列にすることで複数の値を返せる。 SOAP(Simple O
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Java 暗号化拡張機能 JDK5.0
http://msugai.fc2web.com/java/XML/SAX.html
http://msugai.fc2web.com/java/XML/Xalan.html
http://msugai.fc2web.com/java/XML/index.html
http://msugai.fc2web.com/java/XML/DOM.html
やまろうのJavaなわけ/Vol.52 XML←→Object変換はjava.beans.XMLEncoder & XMLDecoderで簡単
IBM Developer
