はてなブックマーク

エンジニアの小張です。多くのデータを扱うアプリケーションにとって、ユーザーが求めるデータを返すまでの速さは生命線とも言えます。 試行錯誤を重ねデータの蓄積量が増えれば増えるほど、アプリケーションが使いづらくなってしまったら、悲しいですよね。。。 今回はそんなレスポンス速度向上に必須の知識であるインデックスについて、構造からおさらいしていきたいと思います。 インデックスとは、 データベース上でのSELECT、WHEREなどの操作による データの集計・検索の高速化に貢献する技術の1つです。 ここでは、MySQLで使用されるInnoDBのインデックスについて説明します。 B+木(B+Tree)について MySQLのInnoDBエンジンで使われるインデックスは、B+木というデータ構造で実装されています。 InnoDBのインデックスは、以下の種類があります。 クラスタインデックス セカンダリインデッ

はじめに こんにちは！学生アルバイトのkaburagiです。 今回は、m1 macにmysql2 gemをインストールする際に生じたエラーとその対処について書きます。Rubyを使った開発では、gemに公開されている外部パッケージをインストールして使うことは避けて通れないため、大変お世話になるのですが、今回mysql2がインストールできずに困ったのでまとめていきます。 初めに結論 長くなりそうなので初めに結論をまとめておきます。mysql2 gemのインストールで ld: warning: directory not found for option '-L/usr/local/opt/openssl/lib' ld: library not found for -lzstd のエラーが生じた場合、各ライブラリを指定するパスが誤っている可能性が高いです。したがって、 # homebrew経由

はじめに こんにちは，学生アルバイトのYamamotoです． 今回は，Google Apps ScriptのdoPost関数を用いて，Google Spread Sheetにデータを書き込む方法をご紹介いたします．Google Apps Scriptとは，Googleが提供しているアプリケーション開発プラットフォームで，これを用いることでGoogle Workspaceのサービス（スプレッドシート, Gmail, ドライブなど）と統合したアプリケーションを作成することができます． 今回ご紹介する手法を用いる利点は，環境構築が不要であること，これに尽きます．インストールするものや，認証が必要なものがないため，どなたでもお手軽に使用することができます． 環境構築なしでGoogle Spread Sheetの内容を操作するために，Google Apps Scriptを使いましょう！というのが今回

pythonでlineへ通知してみよう！ こんにちは、学生バイトの福島です。情報理工学科に在学している性分からか、日頃から自動化するプログラムを頻繁に書くのですが、その都度プログラムの動作状況が気になって仕方がありません。 どうにかならないかと少しだけ悩んだ結果、lineに通知するという結論に至りました。slackでもいいのですが、非エンジニアと共有したい場合にはlineの方が都合が良さそうなのでlineにしました。 ということで、今回はpythonを使ってlineへメッセージを送る方法とちょっとした実用例を共有したいと思います。 Line Notifyのご紹介 pythonスクリプトからlineへ通知を送るのにLine Notifyというapiを使います。Line Notifyとは、メッセージや画像を任意のトークルームに送信できるlineの公式apiで、一時間に最大1000件まで送信する

UTF-8からSJISに変換する時にはShift-JIS系エンコードの種類だけじゃなくてUNICODE正規化も気にしないとダメという話 利用シーン UTF-8で記述されたテキストをShift-JISエンコードに変換する機会はあります。 UNICODEで表現できる文字の種類の方がShift-JISに比べて圧倒的に広いのですべての文字が変換できるわけではありませんが、「これは変換できてよかろう」というものまでこぼれ落ちるケースは多数あります。 以下こぼれ落ちる例とその対応を示します。 サンプルコード まずはサンプルコード。 rubyで記述していますが、原理はどの言語でも同じです。 str = "あ～あ①髙島屋パバぱ" sjis = str.encode(Encoding::Shift_JIS, :invalid => :replace, :undef => :replace) File.

こんにちは、アルバイトの上野です。今回はOCRを使って画像中のテキストを文字として取り出すtesseractというオープンソースについて紹介します。 インストール まずはbrewでインストールします $ brew install tesseract 次のコマンドで対応している言語を確認できます $ tesseract --list-langs List of available languages (3): eng osd snum 日本語が入ってないので日本語の学習済みモデルを入れる必要があります。 公式ドキュメントによるとGithub https://github.com/tesseract-ocr/tessdata_best から jpn.traineddataとjpn_vert.traineddataをダウンロードする必要があるそうです。 ただし、実はこの学習済みモデルよりUbun

CSVファイルにはRFC4180という標準仕様があるのですが、やや広い定義となっています。 「RFC4180にしたがったCSVでやりましょう」だけではフォーマットが決まらないので、決めるポイントとおすすめ設定を紹介します。 SJIS？UTF8？（おすすめはUTF8) RFC4180では、「基本はASCII！エンコード変えたかったらレスポンスヘッダで言って！」と言っていますので、ファイル単体でのやり取りに関しては「エンコードは決まってない」です。 おすすめエンコードはUTF8です。機械がテキスト処理をするのはUTF8エンコードが大半です。ただし人間がCSVを読む時にはエクセルを使うことが多く、UTF8をエクセルで読むにはひと手間必要です。そのひと手間が次に紹介するBOMありにするという手法です。 BOMあり？なし？（初取引の人へはBOMありがおすすめ） UTF8で作られたCSVもBOMをつけ

Let’s EncryptのCertbot向けACMEv2対応手順（Update your client software to continue using Let's Encrypt） お久しぶりです、Sakaeです。前回記事から少し間があいてしまいました。 「Update your client software to continue using Let's Encrypt」という件名のメールがやってきた 今年に入ってから、Let's Encriptより「Update your client software to continue using Let's Encrypt」というメールが来るようになったかたがいると思います。僕も私用のメールボックスにこのようなメールが何通も入るようになりました。 内容を要約すると、証明書自動発行のためのプロトコル（ACME：Automated Ce

はじめに あけましておめでとうございます!学生アルバイトのkoyamaです。 今回ご紹介するのはFirebaseで関数をCronのように定期実行させるための方法です。 定期実行関数の設定自体はGoogle Cloud PlatformからPub/Subを設定することで可能ではあるものの、設定が複雑なためあまり使い勝手の良いものではありませんでした。 しかし、今回ご紹介する方法は関数をデプロイするだけでPub/Subでの定期実行を自動で設定してもらえるので楽々です！ 本編 今回使用するのはscheduledFuncionという関数を設定して定期実行を行うという方法です。 scehduledFunctionとしてデプロイされた関数は定期実行関数としてFirebase Functionsに登録されます。また、デプロイ時には同時にPub/Subを自動で設定してくれます。 これを設定するために、まず

こんにちは。 エンジニアのohkabeです。 ブログの記事をフィードしたいと思ったことはありませんか 今回はMovable Typeの記事をjson形式で出力する方法を紹介します。 今回扱うテンプレート機能を使った方法では 記事が追加されるたびにjsonも更新されるので業務自動化に貢献する カテゴリの選別や特定文字列の置換など自由度高くデータ整形ができる 以上の点が強みです。 テンプレート作成方法 まずは簡単にテンプレートの作り方から テンプレートから インデックステンプレートの作成 編集画面で以下のようなテンプレートを作成します

こんにちは、ルーターのSakaeです。 IT業界ではその時代時代に流行する単語というものがあり、新たな言葉が日々生まれては、そのうちいくつかが大流行し、そしてまた新しい言葉の登場により、古い言葉が忘れさられていきます。 そんな言葉の中でも「クラウド」という言葉はもはや当たり前の言葉になりました。以前はSaaS、IaaS、PaaSなど細かくカテゴライズした言葉でクラウドを定義していましたが、最近では「〜aaS」と言う言葉を使う人が以前よりは減って来ているかなと感じます。（個人の感想です汗） そのクラウド関連ワードの中でも、ここ数年で台頭してきた新たな言葉として「サーバーレス」というものがあります。PasS(Platform as a Service)に近いものと考えますが、サーバーレスはFaaS(Function as a Service)と呼ばれることもあるそうで、極端に言ってしまえば、「

Webサービスをリバースエンジニアリングして、HTTP通信とJavaScriptの処理の流れを読み解いてみる アルバイトのMoriです。 世の中にはたくさんのWebサービスがありますが、そのサービスを利用するだけではなく、サービスでどのような通信が流れ、JavaScriptが実行され、最終的にコンテンツが出来上がっているかを逆算で読み解いているエンジニアさんたちもいます。完成品から内部構造を逆算的に読み解くことは、俗にリバースエンジニアリングと呼ばれます。 今回は、こちら「Reverse-engineering YouTube | Alexey Golub」のサイトを補足・解説する形で、題材として「Youtubeのチャンネルに投稿されている動画のdescription(概要欄)を取得する」というテーマでリバースエンジニアリングを解説してみたいと思います。 投稿動画のvideoIdを取得 動

こんにちは。学生エンジニアのhashimotoです。もう平成最後の年末ですね。 今回は、「selenium（セレニウム）を使ってSNSサイトにログインし、タイムラインをスクロールして自動取得する」という流れをご紹介します。マストドンというSNSのQiitadonというインスタンスを例としてプログラムしていきます。 seleniumを使ってログイン 今回はqiitaでマストドンにログイン、qiitaにtwitterでログインという流れでログインしていきます。 まずはgemのrequireやseleniumの設定です。このあたりは過去記事にseleniumの環境構築の記事がありますのでそちらを参照してください。 require 'selenium-webdriver' require 'nokogiri' Selenium::WebDriver::Chrome.driver_path = "/

システム運用をしているとs3にデータベースのバックアップを定期にアップロードをするケースがあります。 ただ、データベースのサイズがある程度大規模になってくると、もし一旦ローカルにファイルを保存してバックアップを行う場合、そもそもサーバーにバックアップファイルを置く容量がない事態が発生してしまいがちです。 そこで、今回はローカルにファイルを作成せず直接s3にアップロードすることで、サーバーの容量を圧迫せずにバックアップ&リストアを行う方法をご紹介します。 mysqldumpをローカルにファイルを保存せずs3に保存する方法 以下コマンドで、データベースとテーブルを指定してs3の特定の場所にバックアップをアップロードできます。 本サンプルはDBの入っているサーバーローカル上での実行例です。 (圧縮方法はbzip2) mysqldump -u root db_name table_name | b

Google Homeにプッシュ発話をさせる、Raspberry Pi 3へのgoogle-home-notifierの最新導入手順 こんにちはSakaeです。 弊社はデータクローリング専業という珍しい業態の会社ではありますが、事業の一角にヴォイスインターネット事業を抱えており、Amazon Alexa / Google Assistant向けのスキル開発も手がけています。今回はヴォイスインターネット関連のテーマで一記事書かせていただきました。 ルーターのクローリング事業とスマートスピーカースキルの相性 一見、クローラーとスマートスピーカーは縁のない組み合わせのように感じますが、ルーターはスマートスピーカーこそ、クローリング専業の弊社にふさわしい「新時代のUI」だと考えています。 というのも、スマートスピーカーの裏側を支えているのは、データとインターネットの世界だからです。例えば、 スマー

お久しぶりです、スクレイピングエンジニアのSakaeです。 弊社の自慢であるクローリングを簡単に説明すると、Web上の公開データをスクレイピングで集めてくることと言えます。が、このクローリング技術を応用することで、普段人間がポチポチWebページのボタンを押して行うような単純作業を、クローラーに代わりにポチポチさせて自動化することが可能になります。そして、このホワイトカラー業務の自動化は、巷ではRPA（Robotic Process Automation / ロボティック・プロセス・オートメーション）と呼ばれています。 弊社でRPAをご提供する場合、クライアント様のシステムと弊社のRPA(クローラー)を連携させるインターフェースとして、Web APIを利用することが多いです。クライアント様のシステムからWeb APIへのリクエストという形で、RPAクローラーへの指示出し(ジョブのキック)を行

今回はchrome ヘッドレスの環境構築(Mac編)で説明できなかったUbuntuでchrome ヘッドレスを動かす方法について説明したいと思います。 用意するもの Ubuntu [オプション]Ruby(2.3.4) chrome ヘッドレスの起動設定(Ubuntu) 必要なライブラリをインストール $ sudo apt-get update $ sudo apt-get install -y libappindicator1 fonts-liberation chromeのインストール $ curl -O https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb $ sudo dpkg -i google-chrome-stable_current_amd64.deb ※curlコマンドが使えない場

はじめまして、学生エンジニアのKawaguchiです。 今回は、 Chrome拡張について Chrome拡張の作り方 サンプルアプリを用いた解説 自作Chrome拡張のインストール方法 について解説していきます。 Chrome拡張機能とは？ Googleが提供しているブラウザ「Google Chrome」に追加できる拡張機能のことで、 簡単に言うとChromeを便利にするアプリのようなものです。 Chrome拡張は、「Chrome Webストア」で入手できます。 このように公開されているものもありますが、この拡張機能は、個人でも開発できます。 必要なものは、HTML, CSS, JavaScriptだけでなので、簡単に作ることが可能です。 Chrome拡張の作り方 Chrome拡張を作るのに必要なのは、 manifest.json (設定ファイル) 実行したいJavaScriptを記述した

学生エンジニアのMoriです。 今回はWebクローリングでも多用する Nokogiri を使ったスクレイピングについて書きたいと思います。 目次 Nokogiriとは Nokogiriを使う準備 基本的な使い方 HTMLをDOMに変換する 要素ノードを取得する テキストノードを取得する 要素ノードの属性の値を取得する 要素ノードの配列を扱う 親子関係を利用して要素ノードを取得する 知ってると得する機能 DOMをHTMLに戻す 要素ノード内のHTMLを取得する 1. Nokogiriとは DOM操作するためのRubyのGemです。 Rubyでスクレイピングをする際には欠かせないGemの一つと言っても過言ではないでしょう。 これを用いてHTMLから任意の箇所の文字列を抜き出したり、動的にHTMLを作成することができます。 2. Nokogiriを使う準備 Rubyスクリプトの場合はコマンドライ

ここでは、chrome ヘッドレスの環境構築(Mac編)で説明しなかったCentOSでchrome ヘッドレスを動かす方法について説明したいと思います。 用意するもの CentOS [オプション]Ruby(2.3.4) chrome ヘッドレスの起動設定(CentOS) 必要なライブラリをインストール $ sudo yum install -y libX11 GConf2 fontconfig 設定ファイルの記述 /etc/yum.repos.dディレクトリに「google-chrome.repo」というファイルを作成し、以下の内容を記述する [google-chrome] name=google-chrome baseurl=http://dl.google.com/linux/chrome/rpm/stable/x86_64 enabled=1 gpgcheck=1 gpgkey=ht

Puppeteer？ こんちには、エンジニアのyoshinoです。 Rubyでクローリングをする時はSeleniumが有名ですが、今回は、2018年春にようやくバージョンも１.0になり、安定稼働をし始めたPuppeteer(パペティア)を紹介します。 PuppeteerはChrome DevTools のチームが開発を行っているNodeライブラリで、ChroniumやHeadless Chromeを動かすことができます。 Seleniumにできることは大抵、Puppeteerで行うことができます。 Webスクレイピング ページのスクリーンショットやPDFの取得 キーボードからの入力などの自動化（RPA） 最新のJavascriptに対応 クローリングにはRubyとSeleniumだけで充分？ いえいいえ、 Puppeteerにしかできないこともあるんです。 ※Seleniumでは使えるPh

初めまして、気づいたらバイトの中で一番古株になっていたイタヤです。 今回はchrome ヘッドレスを用いたスクレイピング手法について説明したいと思います。 chrome ヘッドレスとは 普段みなさんはどのようなブラウザを使っているでしょうか？ 「Google Chrome」「Firefox」「Internet Explorer」など様々だと思います。 chrome ヘッドレスとは、その中の「Google Chrome」を画面表示せず実行するものです。 ※今回は、このchrome ヘッドレスをスクレイピングに用いますが、その用途以外にもブラウザテスト・業務の自動化（RPA）などにも用いられています。 そもそも何故chrome ヘッドレスクローム？ Webページの中には、JavaScriptを用いて動的にHTMLを生成している場合があります。ご存知の方も多いと思いますが、JavaScriptは

データの海をわたろう！ われわれは増え続けるデータと深く社会に浸透していくインターネットにおいてデータを整理し、 データを活用したあらゆる人的活動の自動化を実現します。