#cmdevio2016 (レポート/ C-2) 「Elasticsearch で、自由自在に検索・分析できるようになるためのヒント」発表しました | DevelopersIO
こんにちは、木戸です。 2016年2月20日(土) に開催されました Developers.IO 2016 で「Elasticsearch で、自由自在に検索・分析できるようになるためのヒント」と題しまして登壇させていただきました。 入社２０日目だったというのにこのような機会をいただけて感謝です！また悪天候の中イベントへお越しいただいたみなさま大変ありがとございました！ Elastic{ON}16 で発表された Elastic Stack の最新情報が気になりつつも、地味に Analyzer など、言語処理について少し詳しく話してきましたので、そのレポートまとめです。 発表資料 発表した資料はこちら↓ 概要 Elasticsearch はスキーマレスでドキュメントをインデックスすればすぐに検索できるその導入の敷居の低さも、このプロダクトの魅力の一つですが、いざ検索や分析の制度を向上させよう
Kaizenが電通やCAら19社と提携ーーグロースハック技術を見える化し、業界のエコシステムを構築へ - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報
グロースハックアワードの受賞者。発表は同イベントの会場で行われた。 ウェブサイトのUI改善を実現するプラットフォーム「kaizen Platform」を提供するKaizen Platform, Inc.（以下、Kaizen）は2月23日、外部企業とのパートナーシップ制度「グロースハックパートナープログラム」の提供を発表した。開始当初に提携するのは電通、パソナテック、サイバーエージェントら19社（下記図参照）。 プログラムではこれまで自社で展開してきたグロースハックのノウハウや実績をプラットフォームを通じてオープン化して共有。クライアント全体でさらなるウェブ改善による売上向上を狙い、パートナーシップ全体での売上規模を100億円超に持っていきたいとしている。 Kaizenが800万ドルの資金調達を公表した際、同社CEOの須藤憲司氏が語っていた「経営のオープン化」を具体化した動きが早速発表された
よくわかる認証と認可 | DevelopersIO
よく訓練されたアップル信者、都元です。「認証 認可」でググると保育園の話が山程出て来ます。が、今日は保育園の話ではありません。そちらを期待した方はごめんなさい。こちらからお帰りください。 さて、先日のDevelopers.IO 2016において、マイクロWebアプリケーションというテーマでお話させて頂きました。一言で言うと OAuth 2.0 と OpenID Connect 1.0 のお話だったのですが、これらを理解するにあたっては「認証」と「認可」をはっきりと別のものとしてクッキリと認識する必要があります。 まず、ざっくりとした理解 認証と認可は密接に絡み合っている一方で全く別の概念です。正直、理解は簡単ではないと思います。 まず「認証」は英語では Authentication と言います。長いので略して AuthN と書いたりすることもあります。意味としては 通信の相手が誰（何）であ
5分で終わらせるCentOS7のfirewalld設定
# status systemctl status firewalld # start systemctl start firewalld # stop systemctl stop firewalld # 有効な設定を確認 >>> firewall-cmd --list-services --zone=public --permanent dhcpv6-client # 設定追加(sshとmysqlを追加) firewall-cmd --add-service=ssh --zone=public --permanent firewall-cmd --add-service=mysql --zone=public --permanent # 設定削除(sshを削除) firewall-cmd --remove-service=ssh --zone=public --permanent #
Rails初心者から卒業すべく意識し出したことをまとめてみた - Qiita
7つのアクションは並列にあるというより、CRUDのいずれかに属していると考える。これを踏まえて、ルーティングのresourcesにonlyやexpectオプションを付けることで、どのリソースを使っているかを可視化する癖ができました。 クラスを継承してsuperメソッドを使う deviseを使うと、ユーザーが必要事項を入力をしたら会員登録するというロジックがすでにDevise::RegistrationsControllerにありますね。これを一部のユーザーが会員登録した場合は、登録せずにthankyouページにリダイレクトしたい場合にどうするか。 Devise::RegistrationsControllerに分岐のロジックを書くのではなく、RegistrationsController < Devise::RegistrationsControllerとクラスを継承させて、一部のユーザー
マネージドサービスについて
マネージドサービスについて AWSなどが提供するマネージドサービスを使うかどうかは利用者側の状況にひとえに依存すると思う。 まず気にするべきポイントは、マネージドサービスを使うことで得られるメリットを明確にすることだ。一般に、マネージドサービスはインフラストラクチャからよりアプリケーションに近いレイヤ、多くの場合特定のミドルウェアまで、を抱合して提供してくれるため、運用面での負担が減る。できるだけ利用する方がよいと思う。一方で、運用のやり方やスタイルは提供者側の目線にあわせないといけない。ここにギャップが生まれやすい。理由としては、提供者側の気にする点が全体最適化のうえでベストエフォートで提供できるラインはどこか・そのうえで提示できるSLAがどこにあるか、なのに対して、利用者側の気にする点はミクロな視点で特定リソースが安全に継続可能性が十分にある状態で妥当なコストで利用できるか、の違いがあ
goでスクレイピングするのにgoquery + bluemonday が最強な件 - Qiita
package main import ( "github.com/PuerkitoBio/goquery" "fmt" ) func main() { doc, err := goquery.NewDocument("https://github.com/PuerkitoBio/goquery") if err != nil { fmt.Print("url scarapping failed") } doc.Find("a").Each(func(_ int, s *goquery.Selection) { url, _ := s.Attr("href") fmt.Println(url) }) }
Android案件を見積もる場合に考えておくことリスト - Qiita
アプリ自体のコーディング見積もりのみに注力してしまうと忘れがちで、たまにつらい目に遭うので、必要に応じて追加していく予定。 アプリ仕様 仕様はそもそも決まっているか 「仕様は決まっている。動かない」「移植なのでこれ以上はありません」と言ったな。 それは嘘だ。 既に仕様がガッチリ確定していることはありえない。要求仕様（必要機能リスト）がある程度固まっているならばまだ良い方で、「今から仕様を一緒に考えていきましょう」「アイディアレベルです」まで様々。 その他にも、GCM/FCM等のアプリ外サービスと連携する場合、遅延コスト等どの程度許容できるかも事前に確定させる。特にプッシュ系サービスでは、ありえないレベル（全端末遅延1秒以内必須、とか）を既定路線に含めないように留意する。 改修か、新規開発か これは見積もりの前提として大きな影響力をもつ。 テクノロジーや設計の自由度・柔軟性をある程度コントロ
分散プログラミングモデルおよびデザインパターンの考察 その3 - Software Transactional Memo
昨日に引き続いて分散システムのデザインパターンについて書いていきたい。 だがそれ以前に故障モデルに関する前提を忘れてはならない。人によって様々な方針があるが、個人的には分散システムの世界において意識しなくてはならない故障モデルは4つだと考えている。僕は前回のブログに書いた Replication の本をベースに書いており、少し言葉遣いや定義が他とやや違う点は許して欲しい。また、通信の脱落・遅延とはレイヤーが異なる議論である。 故障モデルの分類 故障が起きないモデル これは故障が起きない世界を仮定するモデルである。これ自体はプロダクションにそのまま投入できるものではない。だがこの故障モデルを想定しても解けない問題は故障が発生する状況では絶対解けない事が断言できたり、合意プロトコルが正しいかを議論する土台となったり、様々な実用的なアルゴリズムや分散システムの土台となるアルゴリズムが生まれる土壌
実際のAWS構成をインポートして3D構成図が描けるCloudcraft Liveがスゴい | DevelopersIO
ども、大瀧です。 以前森永がご紹介した、AWSのかっこいい構成図が簡単に描けるCloudcraftに実際のAWS構成をインポートする「Cloudcraft Live」が追加されました！ Cloudcraft Liveとは Cloudcraftは、以下のようなAWSの3D構成図を気軽にモデリングできる素敵Webアプリです。 十分楽しめるツールなのですが、既存のAWS環境に合わせて一つずつ設定していくのは規模が大きくなってくると辛いものがありました。公開され、現在ベータリリースとなっている今回のCloudcraft Liveは、AWSアカウントのReadOnlyロールをCloudcraftに渡すことで、実際のAWS環境の構成をインポートし自動でコンポーネントの登録やそれらの情報を表示する機能を持ちます。例えば､以下のEC2のように。 お遊び感覚だったこれまでのCloudcraftから、一気に実
Apache Kafka
First let's review some basic messaging terminology: Kafka maintains feeds of messages in categories called topics. We'll call processes that publish messages to a Kafka topic producers. We'll call processes that subscribe to topics and process the feed of published messages consumers.. Kafka is run as a cluster comprised of one or more servers each of which is called a broker. So, at a high level
Introducing the Kafka Consumer: Getting Started with the New Apache Kafka 0.9 Consumer Client | Confluent
When Apache Kafka® was originally created, it shipped with a Scala producer and consumer client. Over time we came to realize many of the limitations of these APIs. For example, we had a “high-level” consumer API which supported consumer groups and handled failover, but didn’t support many of the more complex usage scenarios. We also had a “simple” consumer client which provided full control, but
Dockerを使いこなすには。Dockerはこの先どこへ向かうのか？ Docker座談会（後編）
DockerについてはThinkITでもこれまで何度か解説してきた。今回はDockerを仕事で扱っている方々に、Dockerをどう使っているか、どう使うのがよいかについて、座談会形式で話していただいた。（※この座談会は2015年に実施されたものです） 後編である今回は、ある程度の規模で実運用に使うときの課題や、利用する側の企業の課題、Dockerの上のソフトウェアの動向、Docker社の動向、といったテーマでお送りする。前編はこちら。 複数のコンテナーでシステムを組むのはまだ大変 松井：Dockerも、1つのコンテナーならいいのですが、複数のコンテナーでシステムを組むときには、いろいろ考えることが出てきますよね。ネットワーキングやストレージ、スケジューリング、バランシングなど。 そうすると結局PaaSのようになってきて、OpenShift 3やFlynnのようなシステムになる。でもロックイ
BigQuery 上のテーブルを検索するときに頭の片隅に置いておきたい、課金絡みのこと - えいのうにっき
ぼくが所属している会社のプロダクトチームでは、毎週ふりかえり（KPT）を実施しているのだけど、そのときに「BigQuery に Rails のログを送り始めて、ログの検索をしやすくなって嬉しいは嬉しいのだけど、検索をかけるたびに課金されている実感があって、ヒヤヒヤしている」と、同僚から不安の声があがった。 まぁたしかに、このはなし↓も、まだ記憶に新しい。ｗ qiita.com その不安を払拭（というか、正しく怖がりたいな、というきもち）すべく、BigQuery の query pricing を見返してたら、以前確認したときには見覚えのない記述があったりしたので、改めて一記事としてまとめてみる試み。 ここに書いていることは、2016-02-22 時点での内容です。あしからず。 BigQuery 上のテーブルを検索するときに頭の片隅に置いておきたい、課金絡みのこと $5 / TB ごどるぱー
Vim-Galore : Vimについて知っておくべき全てのこと(1/5) | プログラミング | POSTD
(編注：2020/08/18、いただいたフィードバックをもとに記事を修正いたしました。) (訳注: 2016/2/26、記事タイトルを変更いたしました。) 特定のトピックについての記述をご希望ですか？ Issue を立てるか、 Twitter で私までお知らせください！ありがとう！ はじめに Vimとは何か？ Vimの基本原則 最初の一歩 ミニマルなvimrc 自分の実行しているVimの種類を知る チートシート 基礎 バッファ／ウインドウ／タブ アクティブ／読み込み済み／一覧表示／名前付きバッファ 引数リスト マッピング マップリーダー レジスタ 範囲 マーク機能 補完 モーション／オペレータ／テキストオブジェクト autocmd 変更履歴リスト／ジャンプリスト アンドゥツリー クイックフィックスと位置リスト マクロ カラースキーム 折り畳み機能 セッション ローカリティ 使用方法 オフラ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ヤフー社内でやってるMySQLチューニングセミナー大公開