サーバ上でPDFやオフィス文書からテキストを抜き出す方法あれこれ - 2010-08-02 - ククログ
groongaなどを使って全文検索システムを作るときは、PDFやオフィス文書などからテキスト情報を抜きだして検索用インデックスを作る必要があります。Windowsでテキストを抽出するソフトウェアとしてはxdoc2txtなどがありますが、ここでは、Linuxサーバ上でテキストを抽出する方法を紹介します。 PDF Linux上でPDFを閲覧する場合は、昔はXpdfでしたが、最近はEvinceやOkularの方がよく使われているようです。どちらもPDFの処理にはXpdfからforkしたPopplerというライブラリを使っています。 popplerにはPDFからテキストを抽出するpdftotextというコマンドが付属しているため、それを利用してPDFからテキストを抽出できます。 % pdftotext hello.pdf hello.txt これでhello.pdfのテキスト情報がhello.tx
Cronの自動処理を多重起動させないための方法を調べたら...。 - KITA Eng.
photo by mag3737 Cronで定期的に実行さている処理が、システム負荷だったり処理する量の変化によって、実行間隔よりも長くかかってしまうと、多重起動するという小事件が発生するのです。 多重起動しても大して影響のないようなものならいいんですけ、多重起動によって余計にシステム負荷が増大したり、多重で実行されることでうまく動かないなんてこともあったりするわけで...。 必要に迫られたので、その解決方法をいろいろと探ってみました。 ひとまずGoogle先生に問い合わせると... 多重起動を防ぐシェルスクリプト - zenpouの日記 今更ながらcronの多重起動の防止を調べてみた - ぽんぽんぽぽぽん メモOFF: cronから起動されたスクリプトの多重起動チェック setlockを使って簡単に多重起動防止機能を実装する - Qiita 上のようなところが現れました。 大雑把にまとめ
supervisorctlについて調べてみた - Masteries
Supervisorの操作は, supervisordコマンドではなくsupervisorctlコマンドで行います(supervisordは, 単にSupervisorそのものを立ち上げるコマンドになっています). supervisorctlを使ってコマンドを叩くことで, Supervisorそのものや, それが立ち上げている各種プロセスを操作することができます. この辺り, 割とゆるふわに使っていた部分があったのですが, そりゃイカンよなというわけで, 多少本気を出して調べてみることにしました. なお, 調査時に利用したSupervisorのバージョンは3.1.3です(記事投稿時の最新版). supervisorctlのコマンド一覧 supervisorctlから使うことが出来るコマンドは, supervisorctl helpでその一覧を確認することができます. # superviso
Linuxサーバにログインしたらいつもやっているオペレーション - ゆううきブログ
主にアプリケーション開発者向けに、Linuxサーバ上の問題を調査するために、ウェブオペレーションエンジニアとして日常的にやっていることを紹介します。 とりあえず調べたことを羅列しているのではなく、本当に自分が現場で使っているものだけに情報を絞っています。 普段使っているけれども、アプリケーション開発者向きではないものはあえて省いています。 MySQLやNginxなど、個別のミドルウェアに限定したノウハウについては書いていません。 ログインしたらまず確認すること 他にログインしている人がいるか確認（w） サーバの稼働時間の確認 (uptime) プロセスツリーをみる (ps) NICやIPアドレスの確認 (ip) ファイルシステムの確認（df） 負荷状況確認 top iostat netstat / ss ログ調査 /var/log/messages or /var/log/syslog /
Linuxに関わる人が一度は読むべきStackOverflowまとめ - Qiita
なぜStackOverflowか Upvote/Downvoteの仕組みにより、自然とベストプラクティスが蓄積されている 世界中のプログラマの目に晒されているため質が高い 答えが幾つか出されているため視野が広がる・一つの手法に固執することがない 英語の勉強にもなる StackOverflowのおすすめの見方 質問はまずしっかり理解する それに対する答えを比較してみて、なぜそう動くのかを考える コメント欄はFont Size的には小さいが、かなり濃いコメントが書かれていることが多いので暇なら目を通す 10. Looping through the content of a file in Bash? ファイルの内容をループで取得するためのベストプラクティス。 （2015/10/23 : 本節修正しました。@heliac2000 さん、@kawazさん、ありがとうございました。詳しくは本記事コ
Linux上でネットワーク回線速度を計測する手段について整理してみた | DevelopersIO
ちょっとした小ネタです。 ネットワーク環境調査に於いてネットワークの『回線速度を調べたい』という局面があるかと思いますが、Windows環境ではブラウザ経由で簡単に結果が得られる一方、Linux環境では『あれ、そもそも何が出来る／どうやれば出来るんだろう？』と少々思案してしまいました。情報を幾つか漁ってみたところ、Linux環境でも回線速度状況を把握する術が幾つかある事が分かりましたので備忘録的に整理しておこうと思います。 目次 環境準備 Speedtest-cli iperf dstat ping まとめ 環境準備 当エントリではAmazon Linux AMIを使った環境で回線速度を調べる環境が必要になった場合、という状況を想定してみたいと思います。直近最新のAmazon Linux AMIで環境を構築し、yumコマンドでパッケージ各種を最新の状態に整えておきます。 $ sudo yu
エンジニアなら知っておきたい lessコマンドtips 11選 - Qiita
タイトルはかなり挑戦的(?)ですがあまり気にしないでください。 ※注意 このエントリで紹介しているオプション、コマンドはCentOSでしか動作確認をしていません。 その他ディストリビューションや、インストール方法によっては挙動が異なる場合があります。 「less」 使ってますか? エンジニアなら普段Linuxに触る機会が多々あるかと思います。 エンジニアのみならずMacだったりUbuntuだったりで私用PCでもターミナルが使えるようになっている方は多いかもしれません。 私は普段の仕事ではサーバの運用管理をしています。 仕事柄触る頻度が高いのはLinuxサーバです。 そして、使うのは大体CLIです。 そもそもLinuxでGUIを触る機会がなかなかありません。 大体リモートからターミナルで接続してCLIでちょいちょいっと処理をする感じですね。 GUIである場合でもLinuxを使っていればターミ
TCP localhostとUnix Domain Socketはどちらが速いのか？ - Qiita
きっかけ 双方向のプロセス間通信をする必要が出てきたのですが、TCPのlocalhost接続とUNIX Domain Socketと、どっちの方がパフォーマンスがいいのか、実測してみました 検証内容 接続するとランダムな文字列を返すだけのサーバを作成 以下の接続方法について、10,000リクエストを同時接続 1/5/10 と条件を変えて計測 TCP localhost Unix Domain Socket / Filesystem Namespace Unix Domain Socket / Abstract Namespace 結論 UNIX Domain Socketの方が速い 当環境においては19倍の違いが計測された また、UNIX Domain Socketの名前空間の比較においては、極めて若干だがAbstract名前空間の方が速い プロセス間通信においては、サーバプロセス終了時の
連番ファイルをコマンド一発で生成する - Qiita
test_1.txt, test_2.txt...test_30.txtのような連番のファイルを作りたくなる時があります。 そんな時、1つ1つcpコマンドでコピーとかしてるようでは超絶だるいですよね。 そんな悩みをコマンド一発で解決する方法を紹介します。 実践 [riki@hoge]$ touch test_{1..30}.txt [riki@hoge]$ ls test_1.txt test_11.txt test_13.txt test_15.txt test_17.txt test_19.txt test_20.txt test_22.txt test_24.txt test_26.txt test_28.txt test_3.txt test_4.txt test_6.txt test_8.txt test_10.txt test_12.txt test_14.txt test_1
「SELinuxのせいで動かない」撲滅ガイド - Qiita
はじめに 注意事項 この記事は何らかの理由でSELinuxを利用しなければならない時に発生する、意図せずプログラムが動かなくなる問題を解決するための手段を書いたものである。 作業対象のOSは作業中いつでも停止可能であるものとする。SELinuxの設定作業中に停止不可能とか無茶なので。 また、すべての操作はrootユーザで行っている。SELinuxは「管理者による強制的なアクセス制御」なのでrootユーザが操作しなければならない。 内容は主にCentOS 7で確認し、CentOS 6やFedora 22も一部確認に使用している。 SELinuxの管理で使用する各種のコマンドは初期からインストールされているものは少なく、またコマンド名がそれを含むrpmパッケージ名と一致しないものが多い。 このような場合はyum install *bin/<コマンド名>でインストールすることができる。Fedor
Linuxへのsshログインをslackへ通知する - Qiita
管理者が本番サーバと他のサーバを間違えて、ミドルウエアをアンインストールするという不幸な出来事が起こりました。ネコに鈴をつけるため、sshでサーバにログインしたらslackに通知することに…。 先人の知恵 polidogさんの記事がそのものずばりでした。非常に参考にさせていただきました。 sshでLinuxマシンにログインしたらSlackで通知する しかし、記事にあった"node-slackr"と"node-slacker"のどちらが正しいのか。また、そもそもサーバにnode.jsがインストールされていないため、その他の方法で実現しました。 ~/.ssh/rc を使用する。 sshなので~/.ssh/rcを使用して、そこにシェルを書きました。 #!/bin/sh IP=`who am i | cut -d '(' -f 2 | sed -e 's/)//g'` curl -X POST -
mvにサヨナラ！renameコマンドのイケメンぶりが半端ない
なんですかこのイケメンコマンドは ファイル名の変更、ファイルの移動と言えば mvコマンドだ。初歩の初歩だ。 複雑なリネームはパイプやシェルスクリプトで実現するものだという思い込みから、 renameというイケメンコマンドを知らずにいた！なんてもったいない！ とても簡単、そしてステキすぎる実行結果 $ ls file01.txt file02.txt file03.txt file04.txt file05.txt $ rename 's/.txt/.csv/' *.txt $ ls file01.csv file02.csv file03.csv file04.csv file05.csv これだけで、すべての .txtファイルの拡張子変更ができてしまった！ 見ての通りrenameコマンドは、複数ファイルを一括でリネーム、移動するときに力を発揮する。 コマンドの記法は、以下の通り。 ren
Linuxで脆弱性が見つかった場合の対応方法 まとめ | DevelopersIO
はじめに 先日、Amazon Linuxで脆弱性が見つかった際に弊社のAWSチームのメンバーが以下の記事を公開していました。私は最近までクライアントサイドの開発案件を主に担当していたので自分の業務にはあまり関わりはないのですが、どのような手順でLinuxの脆弱性に対応しているのか興味があったので社内の人に聞いたり調べてみたことをまとめます。 [AmazonLinux] OpenSSLの脆弱性(CVE-2015-1793)について 1.脆弱性の情報を得る まずは脆弱性が見つかった情報はどこから得るのでしょうか？脆弱性に関する情報は以前から以下のサイトのRSSなどから情報を得ることができますが最近はTwitter見てたら知った、なんてこともあるそうです。 Japan Vulnerability Notes JPCERT コーディネーションセンター 以下はTwitterのアカウントです。 JVN
サーバで作業時にログを残す - Qiita
あらまし サーバ上でなにかしら作業する時にhistoryコマンドで見直してもいいけどだるいよね。 -> コマンドと実行結果をログに吐かせておこう。 環境 CentOS 6.6 察しの言い方は既に何やろうとしてるか気づいてると思います。 Scriptコマンド $ man script - 早い話がこれで解決する。 使い方 ### script <保存ファイル名(パスで指定してもいい)> $ script log スクリプトを開始しました、ファイルは log です #ここから $ touch hogehoge $ exit exit スクリプトを終了しました、ファイルは log です #ここまでが記録される $ ls hogehoge log $ cat log スクリプトは 2015年07月09日 06時17分01秒 に開始しました$ touch hogehoge $ exit exit ス
新米エンジニア(アプリ・インフラエンジニア問わず)に知っておいてほしいトラブルシューティング入門 実践編 - Qiita
※前回記事にてトラブルシューティング実施にあたって準備しておきたいこと(作業ログの取得方法など)を記載しておりますので、本記事では割愛します。 はじめに 前回の記事の続きとなります。 新米エンジニア(アプリ・インフラエンジニア問わず)に知っておいてほしいトラブルシューティング入門 はじめの一歩編 前回に記事を書いたあと、現場でも意外と基礎を押さえた切り分けができない人が多いのではと思い、よりいろんな方に読んでいただきたくタイトルをかえてみました。 前回の記事では、トラブルシューティングの前に実施しておきたい事や心構えについて記載しました。 今回はそれを受けて実際にトラブルが起きた際の簡易的な切り分け方法についてまとめてみます。 本記事の対象と扱う範囲 前回記事と同様に、初めてエンジニアとして働くことになった方々向けです。 本記事のゴールが「○○できないですのですが、、」といった事象に対して
CentOS6とCentOS7の比較表 - Qiita
①anacondaの画面フロー変更。 ②GUIでのパッケージ選択を廃止 ③6.5➡7へのupgradeをサポート CentOS6.5➡7にupdateするには下記 CentOS6.5 ➡ Centos7にアップグレード eth0などはそのまま引き継がれる。 サービスは停止するもの（例えばntpなど）があったり、 6.5で動いてたものが正常に動作しなくなる可能性があるので、upgradeは推奨はしません。
「tail -f」を使うのは情弱、情強は「less +F」を使う | ソフトアンテナ
ログファイルの監視に「tail -f」コマンドを使っている方は多いかもしれません。ファイルの末尾を表示する「tail」コマンドに、ファイル末尾に追加されたデータを追跡表示する「-f」オプションを指定することで、手軽にログの監視ができる便利なコマンドです。 しかし最近、「tail -f」より便利なコマンドとして「less +F」の使用を推奨するブログ記事「Stop using tail -f (mostly)」が公開され話題となりました。 「less」はテキストファイルの内容を表示する、ページャーと呼ばれるソフトウェアですが、これに「+F」オプションを指定することで、「tail -f」より便利なファイル監視コマンドとして使えるらしいのです。具体的に「less +F」が「tail -f」より便利な点として以下の2点が挙げられています。 監視モードと通常モードをlessを起動したまま行き来できる
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[logrotate] error: roundcubemail:3 unknown option ‘su’ — ignoring lineは無視してOKの巻![[logrotate] error: roundcubemail:3 unknown option ‘su’ — ignoring lineは無視してOKの巻](https://cdn-ak-scissors.b.st-hatena.com/image/square/c19928d7db68687d324671f4799bcb46b2d246d8/height=288;version=1;width=512/https%3A%2F%2Fblog.trippyboy.com%2Fwp-content%2Fuploads%2F2021%2F03%2Fhero-img.png)
Mac/Linuxでsay(喋らせる)系コマンド
よく使う 9 つの便利なシェル芸 - Qiita
