Kuromojiで日本語全文検索 – AWSで始めるElasticSearch(1) | DevelopersIO
はじめに 初めまして、ブロガーとして出張してきました@smokeymonkeyです。 今回、AWS上にElasticSearchを導入し、試行錯誤した結果をまとめてみました。シリーズものとして何度か続けていきたいと思いますので、どうぞ宜しくお願い致します。 ElasticSearchとは Apache v2ライセンスで公開されているオープンソースソフトウェアであり、全文検索エンジンであるLuceneを使用した、全文検索システムです。特徴として RESTfulなAPIが使える InputもOutputもJSON スキーマフリーなので面倒な定義無しにデータを登録可能 等があります。 Kuromojiとは Kuromojiはatilika社製のJavaで書かれた日本語形態素解析ソフトウェアで、Apache v2ライセンスで公開されているオープンソースソフトウェアです。形態素解析としてはChaSe
EC2にJenkinsによるCI環境を作成する | DevelopersIO
渡辺です。AWSチームにジョインしてから1ヶ月ほどになりますが、あまりAWSを活用していません。 これではイカンということで、JenkinsによるCI環境をEC2上に構築してみました。 構築の流れ こんな流れで構築します。 EC2インスタンスを作成し、ElasticIPを割り当てる 最新のJDKをインストールする Jenkinsを起動する Jenkinsのセキュリティを設定する EC2インスタンスを作成し、ElasticIPを割り当てる AWSを使い慣れている人にとっては簡単な作業ですが、使い慣れていないと戸惑う所も多いところです。折角なので丁寧に解説します。 予めAWSのアカウントは各自で作成しておき、AWSの管理コンソールにログインしてください。 EC2インスタンスの作成 はじめにEC2(Amazon Elastic Compute Cloud)のインスタンスを作成します。 EC2はA
この順番で読めばOK！JavaScriptを理解するための14冊 | DECONCEPTER
JavaScriptの書籍はjQueryやサンプル中心のチップス本などを含めると、多数出ており、これから勉強したい人にとってはどれから読めばいいか迷うところだと思います。 今日はここ数年で出た書籍の中で初級者から脱中級者になるまでに読みたい書籍を、この順番で読めばステップアップできるという内容で紹介したいと思います。 STEP1. 初心者へのおすすめはダントツでこれ一択。 初心者向けの内容としてはこれがダントツでおすすめです。内容が易しく丁寧な上にサポートサイトで書籍の内容を動画で説明してくれています。 Amazon.co.jp： よくわかるJavaScriptの教科書: たにぐち まこと: 本 サポートサイトはこちら STEP2. 全体を把握するには十分なボリューム。脱初級者向けにはこの2冊。 2冊とも初級者にとっては少し厳しい内容になっていますが、この2冊が理解できれば後は作りまくる
Amazon EMR 2.x and 3.x AMI versions - Amazon EMR
AWS is updating the TLS configuration for all AWS API endpoints to a minimum version of TLS 1.2. Amazon EMR releases 3.10 and lower only support TLS 1.0/1.1 connections. After December 4, 2023, you won't be able to create clusters with Amazon EMR 3.10 and lower. If you use Amazon EMR 3.10 or lower, we recommend that you immediately test and migrate your workloads to the latest Amazon EMR release.
EC2インスタンスをS3にバックアップ＆AMIを作成 | 俺のメモ
順調に動いてる俺々LAMP環境のAMIを作成したい時の方法です。 EC2にS3にバックアップ用のコマンドが用意されてるのでそれを使います。 イメージを作成→S３に保存→AMIを登録といった流れになります。 まずは、AWSの管理画面で発行されたPrivate Key File(pk-*******************.pem)とX.509 certificate file(cert-*******************.pem)をローカルから俺々LAMP環境に送る。 scp -i oreore.pem *.pem root@ec2-**-**-**-**.compute-1.amazonaws.com:/mnt ローカルでの作業はこれだけで、以下、EC2の俺々LAMP環境の/mntでの作業。 ec2-bundle-vol -d /mnt --privatekey pk-********
[Amazon EC2] AMI をゼロから作る CentOS 6.2 / S3-Backed 版
まえがき もりやまです。 今回は、一昨年の 7 月に弊社サイトをリニューアルして、サイトのアクセス数が大分増えるよりも前に書いた EC2 の AMI を作る記事を、CentOS 6.2 ベースでやってみようと思います。 少し長いですが、お付き合いください。 はじめに 公式の手順は「From a Loopback – Amazon Elastic Compute Cloud」にあります。 基本はこの通りなのですが、如何せん Fedora Core 4 を使った例なので、最新の OS で作るにはそのままでは使えませんのでご注意ください。 CentOS 6.2 のベースである RHEL6 は、rpm パッケージのペイロードが xz 形式で圧縮されるようになったため、RHEL5 以前の rpm では展開することができません。 そのため AMI のビルド環境は、xz 形式のペイロードを展開できるバー
![[Amazon EC2] AMI をゼロから作る CentOS 6.2 / S3-Backed 版](https://cdn-ak-scissors.b.st-hatena.com/image/square/e421505ce6d072d19eebf4047670deefa0b6cdea/height=288;version=1;width=512/https%3A%2F%2Fkray.jp%2Fwp%2Fwp-content%2Fuploads%2F2021%2F05%2Fogp.jpg)
パブリッククラウドのHadoop対応状況を比較する──Amazon、Google、Herokuの場合
2012年はクラウドの「ビッグデータ」元年といわれており、米Amazon.com、米Google、米Heroku（米Salesforce.com）、米IBM、米Microsoftなどの大手PaaS（Platform as a Service）プレーヤーに注目が集まっている。では、パブリッククラウドでApache Hadoopのインプリメンテーションを最も包括的な形で提供しているのはどのベンダーだろうか。 Apache HadoopはHDFS、MapReduce、Hive、Pigなどのサブコンポーネントとともにビッグデータ分析の主流技術になりつつある。その背景には、エンタープライズデータウェアハウジングにPaaS型クラウドモデルを採用する企業が増えていることがある。Apache Software Foundationは、Hadoopが成熟し、業務用分析クラウド環境として活用できるようになった
MyBatis – JDBC – Amazon RDS (MySQL)で日付を扱う場合の注意点 « ロジカルにアナログで。
今まではPostgreSQL派だったのですが、Amazon RDSがMySQLだと言う事もあり、最近はバックエンドのRDBMSとしてMySQLを使う機会が多くなってきました。 この間、何気なくDATETIME型のカラムを作って、Java側で new Date()して MyBatisでさくさくと INSERTしてみたのですが、なんかタイムゾーンがずれて格納されているような、、、という問題に遭遇しました。 以下、その際の格闘メモです。 まず、Amazon RDS (MySQL) は UTCで動いています。以下のSQLで確認しました。 mysql> SELECT @@global.time_zone, @@session.time_zone; +--------------------+---------------------+ | @@global.time_zone | @@session
Amazon EC2でプロセス監視ツールを導入する – monit – | DevelopersIO
プロセス監視について 出社してサーバーを見たらプロセスが落ちてた！？こんな経験ありませんでしょうか。24時間365日の安定運用が当たり前に求められる現在、サーバー担当者が張り付きで監視をするにはコスト的にもリソース的にも限界があります。そこで、ある程度作業を自動化しようというのが今回の試みです。 monitとは monitは、プロセス/プログラム/ファイル/ディレクトリ/ファイルシステムを管理/監視するためのユーティリティです。monitは、エラーの状況に合わせて自動メンテナンスや修復を行い、意味あるアクションを実行することができます。例えば、実行されない場合、多くのリソースを使用している場合、プロセスが応答せずに停止しない場合等に、プロセスを再起動/開始することができます。他にも、ディレクトリ/ファイル/ファイルシステムにおける、タイムスタンプの変更、チェックサムの変更、サイズ変更等を監
AmazonS3 - HADOOP2 - Apache Software Foundation
S3 Support in Apache Hadoop Apache Hadoop ships with a connector to S3 called "S3A", with the url prefix "s3a:"; its previous connectors "s3", and "s3n" are deprecated and/or deleted from recent Hadoop versions. Consult the Latest Hadoop documentation for the specifics on using any the S3A connector. For Hadoop 2.x releases, the latest troubleshooting documentation. For Hadoop 3.x releases, the la
30分で実行するAmazon Elastic MapReduce（Amazon EMR）
今年のテーマの一つはビッグデータということで、そろそろ本格的にMapReduceに手を出そうと思います。 手軽にMapReduceを試してみるのであれば、やはりAWSでしょう。今回はAmazon Elastic MapReduce（Amazon EMR）を動かす方法を簡単にまとめておきます。 実行する処理の例としては、Hadoopのチュートリアルにある処理をそのまま使わせてもらいましょう。与えられたテキスト（英文）に出現する単語を数えるというものです。 実行する処理 与えられたテキストに出現する単語を数える 実行の手順 Amazon EMRにはApache Hadoopが使われています。本来Hadoopを使うためには、Hadoopの環境そのものをセットアップする必要があるのですが、そこをAWSが既にやってくれているわけです。 そのため、手順としては Hadoopのジョブとなるjarファイル
「クラウドデザインパターン」をAmazonが公開。システム冗長化、突発的トラフィック対応、動的コンテンツ処理など45種類
Amazonクラウドを使ったシステム設計の際に直面する典型的な問題に対して、解決策を分かりやすく分類、解説した「AWSクラウドデザインパターン」（略称CDP）が公開されました。Facebookページも開設されています。 作成したのはAmazonのスタッフやサードパーティのエンジニアら。 CDPのWebサイトはWikiで作られているため、誰でも新たなデザインパターンなどを追加可能。現在45種類のパターンが登録されており「あと3つ加えると“CDP48”と言えるようになるので、ぜひ追加してください」（玉川氏。JAWS Summit 2012でCDPの公開について説明した際に）と、呼びかけています。 45種類のパターンが9のカテゴリに分類 それぞれのパターンには、名前、解決したい課題、クラウドでの解決方法、実装方法、解説図、メリットと注意点、関連パターン情報などが含まれています。 例えば、サーバの
Elastic Load Balancerをつかってwebsocketを処理する方法
AWSにはElastice Load Balancerというロードバランサがあります。これはとても安いこともあって多くのお客様のwebサービスで使っていただいています。 最近はwebsocketを使いたい!という声もありますが、いくつかの制限により、 ELBは最初のネゴシエーションにだけ使って、ネゴシエーション後のwebsocketにかかわらない方法がおすすめです。 そもそも問題は、 ELBの場合、HTTPモードだとそもそも同じポートのままではwebsocketに遷移できない。 ELBでTCPモードにした場合でも60秒でタイムアウトする。 の2点が原因です。そのため、2つの方法があります。 解1: ELBは最初のネゴシエーションにだけ使って、ネゴシエーション後のwebsocketにかかわらない方法 C ---------> ELB(HTTPモード) --> S ふつうにHTTPでアクセス。
AWSアップデート 2月14日JAWS札幌
8. Amazon S3の保存オブジェクト数 ピークリクエスト: 7620億 50万/秒以上 2620億 1020億 400億 2.90億 140億 Q4 2006 Q4 2007 Q4 2008 Q4 2009 Q4 2010 Q4 2011 Amazon S3 に保存されているオブジェクトの総数 10. AWSの新サービス＆アップデートの発表数 82 61 Including: Elastic Beanstalk (Beta) Including: Amazon SES (Beta) Amazon SNS AWS CloudFormation Amazon CloudFront Amazon RDS for Oracle 48 Amazon Route 53 S3 Bucket Policies AWS Direct Connect AWS GovCloud (US) Includin
強いリーダーを求めるよりもチームビルディングを志向する先に成功がある - FutureInsight.info
この前、NHKスペシャルの「リーダー論」という番組を見ていたら強いリーダーが必要という論調の意見が特に50代の管理職に多く見られた。ただ、最近いろいろと本を読みながら、この強いリーダーという概念にすごく違和感を覚えるようになった。というのも、最近たまたまなのだが、チームビルディングについての本をいろいろ読む機会があったが、なんとなく強いリーダーを求める先に日本での成功はないのではないかと思うからだ。 世界最高のイノベーションファームIDEOのチームビルディング方法 まずは以下はIDEOでチームを結成するときに人材をどのように分類し配置するかについてのノウハウが記載された本。イノベーションの達人!―発想する会社をつくる10の人材 トム ケリー ジョナサン リットマン Tom Kelley 早川書房 2006-06 売り上げランキング : 109660 Amazonで詳しく見る by G-To
AWS News Blog
Amazon Q Business, now generally available, helps boost workforce productivity with generative AI At AWS re:Invent 2023, we previewed Amazon Q Business, a generative artificial intelligence (generative AI)–powered assistant that can answer questions, provide summaries, generate content, and securely complete tasks based on data and information in your enterprise systems. With Amazon Q Business, yo
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - flydata/fluent-plugin-redshift: Amazon Redshift output plugin for Fluentd
MongoDB on AWSクラウドという選択
Amazon CloudFront（グローバルなコンテンツ配信ネットワーク）| AWS
https://docs.aws.amazon.com/s3/