Google Cloud Platformをフル活用してNo-Opsでビッグデータ処理基盤を構築した - オールアバウトTech Blog
オールアバウトシステム部技術基盤Gの@takkyです。 オールアバウトの技術基盤Gではコンテナを利用した開発の推進やクラウドを活用した開発のサポート、DevOpsの推進をしています。 詳しくはこちら： 今回はそのなかでもGoogle Cloud Platform(GCP)のサービスをフル活用してほぼNo-Opsでビッグデータ処理基盤の構築を行ったのでそのアーキテクチャについて説明します。 ビッグデータ処理基盤構築のきっかけ 案件の詳細に関しての記載はここでは伏せますが、フロント側でビッグデータを処理した結果を使用したいという要望が上がってきました。もちろんフロントで使用するため高速化・スケール化できることは最低条件となります。 GCEなどでオートスケールする手も考えたのですが障害時にOpsチーム(インフラチーム)に任せっきりになってしまい運用工数が増えてしまいます。また、開発者はインフラ側
サイトやアプリの画面遷移を分かりやすく見せる、ユーザーフローを作成する要素が揃ったプラグイン -UserFlows
Webサイトやスマホアプリの画面遷移を伝えるフローチャートやユーザーフローを3つのショートカットで作成できるSketchのプラグインを紹介します。 ラインやアロー、条件付きロジック、フローダイアグラムなどが簡単に作成できます。
Browser test code for JSers
Browsers are sophisticated software with all kinds of technology stacks packed into a single, giant application. Browsers not only provide graphical user interface for static documents, but also function as dynamic web applications users can interact with. However, they can sometimes have suspicious behaviors for web developers like me. HTML standards are designed and developed by mainly two organ
Packer で IDCFクラウドに仮想マシンテンプレートを作成する - Qiita
概要 いつの間にか cloudstack builder が support されていたので IDCFクラウドに仮想マシンテンプレートを作成。 環境 Packer v1.0.0 IDCFクラウド側の事前準備 エンドポイント URL, API_KEY, SECRET_KEY 取得 ソースのパブリック IP アドレス ID を取得※ Keypair 登録 ※packer にて temporary で public IP address を取得可能ですが、IDCFクラウドにおいては以下のエラーが出るため、デフォルトでついてくるソース IP アドレスを利用 ==> cloudstack: Failed to associate public IP address: CloudStack API error 431 (CSExceptionErrorCode: 4350): Unable to fi
エンジニアとしての機械学習との付き合いかた - yubessy.hatenablog.com
社内のLT大会にて表記のタイトルで発表しました。 資料は以下に公開しています。 speakerdeck.com 最近仕事ではもっぱら機械学習システムの開発を行っていますが、モデルは作れても継続的な運用や実環境での安定稼働にはまだまだ苦労することが多く、いろいろと模索しているところです。 そんな中で今なんとなく考えていることをまとめてみた、という程度の内容ですので、わかったように書きつつわかっていないこともあります（ご容赦ください）。 スライドでも紹介している以下の２つの資料は、運用まで面倒をみる機械学習エンジニアとして非常に参考になる内容で、おすすめです。 Machine Learning: The High Interest Credit Card of Technical Debt Rules of Machine Learning: Best Practices for ML Eng
A-FrameとReact.jsでWebサイトのVR化を試みた話 | CyberAgent Developers Blog
こんにちは。サイバーエージェントのAmeba Ownd(アメーバ・オウンド)というサービスでエンジニアをしている@fushikkyです。 最近までフロントエンドの開発を担当していましたが、現在はサーバーサイドを担当しています。ですが今回はVRの話をします。 今流行りのVRをAmeba Owndで作られたWebサイトに適用して、「WebサイトのVR化」をエイプリルフールの施策として試みた事についてまとめます。施策の売りとしては、「自分の作ったWebサイトが自動でVR化される」というところですね。 Ameba Owndは、無料でオシャレなホームページやブログが開設できるホームページビルダーです。ポートフォリオやネットショップ作成など用途は幅広いので、興味のある方はよかったら使ってみてください。 https://www.amebaownd.com/ さて、Ameba Owndでは例年エイプリルフ
Build 2017 Demo | Visual Studio Code Blog
Version 1.84 is now available! Read about the new features and fixes from October. May 10, 2017 Chris Dias, @chrisdias Below are links to the samples, tools, and extensions demonstrated in the Build 2017 VS Code talk. Samples StickerApp is a full featured version of the app used in the demo. Tools NPM (Node Package Manager) Support provides support for running npm install and npm uninstall command
Speee Cafe Meetup #07 に参加した - r7kamura - Medium
TypeScript, Flow最近会社で開発している Web アプリケーションに TypeScript を導入したという話を聞いたので、その辺に居た人を交えて、Flow と TypeScript を比較するとどういう感想ですか、という会話をした。あまり詳しくないという人向けに説明しておくと、どちらのプロジェクトも、JavaScript の文法に手を加えて静的な型検査を行えるようにしようというものである。
P言語の素晴らしさについて - kuenishi's blog
先週Microsoft社がP言語に関するブログ記事を公開し一部界隈で話題となった。 P言語くん pic.twitter.com/uULzxIO4ct— Kuntaro Ishiyama (@_iamkuntao) 2017年3月26日 「いまさら一文字言語かよ…」「何個目だ？」といった批判的諦念的なものから、「RustとGoとErlangの間の子みたいなのだなあ」「なんか読みにくい」といった反応が多くこの言語の重要性やインパクトに対して正しく理解しているものがあまりなかった。尊敬しているTD勢ですらあまり重要性が伝わってないようだ 1 2 。上記のブログ記事を読んだり、マニュアルを読んだらすぐ分かるようなことではあるが、日本語で解説しておこうと思う。なおいわゆる言語入門とかそういった類のものではないことをご理解いただきたい。 TL;DR 並行処理や分散システムの形式証明や形式検証はそれ自体
確率的データ構造の比較：カッコウフィルタ対ブルームフィルタ | POSTD
確率的データ構造は少ないメモリでデータをコンパクトに保存し、保存されたデータに関するクエリに対し、おおよその答えを提供してくれます。クエリに対し空間効率の良い方法で答えるように設計されており、それはつまり、正確さを犠牲にするということにもなります。しかし、これらは一般的に、問われているデータ構造の仕様にもよりますが、誤差率の保証と境界を提供してくれます。メモリ使用量が少ないため、確率的データ構造はストリーミングや低出力の設定に特に有用なのです。ですから、動画の視聴回数を数えたり、過去に投稿された一意となるツイートのリストを維持したりするなど、ビッグデータの環境下では非常に有用です。例えば、 HyperLogLog++ 構造 は、2.56KBのメモリで最大790億の一意のアイテムを数えることができるのですが、誤差率はわずか1.65パーセントです。 Fast Forward Labsのチームは
モックアップ “ドリル” ？ 1日でモックアップを作りきる、755チーム独自の若手育成プログラム | CyberAgent Developers Blog
様々なメディアサービスを提供しているサイバーエージェントでは、サービスの特長に合わせて現場の技術者が使用する技術を選定しています。 新卒エンジニアは約２ヶ月に及ぶ全体研修を終えた後、各プロジェクトに配属されますが、現場での育成プログラムもさまざま。今回は新感覚SNS「755」チーム独自の若手育成プログラム「モックアップドリル」をご紹介します。 「モックアップドリル」に取り組んだ2016年新卒入社の林と、プロダクトオーナー佐々木、クリエイティブディレクター山幡に話を聞きました。 林 眞司 「755」 iOSエンジニア。2016年サイバーエージェント新卒入社。 内定者時代にはライブ配信サービスの立ち上げに携わる。入社後、新卒研修を終えて2016年6月より株式会社7gogoに出向し、現職。 佐々木 興平 「755」 プロダクトオーナー 兼 ディレクター 兼 株式会社7gogo 取締役。金融系情報
RailsでOpenStreetMapを扱う - Qiita
概要 Railsで地点を登録する時、緯度経度を入力させるのはUX的にもどうかと思う。 そこで、マップから地点を登録することができればイイ感じになりそう。 今回はOpenStreetMapを使って実装してみる。 実装 今回は登録画面で地図を表示し、クリックした地点にマーカーを立てて、緯度経度を取得する。 事前準備 scaffoldで簡単に登録画面等を準備する。モデル生成時に緯度経度を忘れないようにする。 rails sでサーバーが起動できていることを確認する。 leaflet - Downloadから安定版をダウンロードする。 本編 上記のサイトからダウンロードしたものを下記のディレクトリに移動する。 leaflet.js => /vendor/assets/javascripts leaflet.css => /vendor/assets/stylesheets Imageについては/ve
時系列データベースに関する基礎知識と時系列データの符号化方式について - クックパッド開発者ブログ
こんにちは。インフラストラクチャー部 SRE グループの吉川 ( @rrreeeyyy ) です。今期オススメのアニメはツインエンジェル BREAK です。 普段の業務並びに趣味の一環として、サーバのモニタリング環境の調査や改善に取り組んでいます。 そこで本稿では、モニタリングのコンポーネントの一つとして外すことが出来ない、時系列データベースの基礎知識に関して紹介します。 そもそも時系列データ・時系列データベースとは？ 時系列データというのは、特定の時間ごとに何らかの値を取得した際の、取得した一連の値を指します。 例えば、以下のようなフォーマットをしたデータなどは時系列データにあたるでしょう。 timestamp1,key,value1 timestamp2,key,value2 timestamp3,key,value3 : 時系列データベースとは、上記のような時系列データの保存・処理に
MySQLのデータをJupyter Notebook上でグラフにする - oinume journal
最近少しずつJupyter Notebookやpandas, matplotlibに慣れてきて、PythonによるData Scienceが面白くなってきたと感じてます。今日はMySQLのデータをSQLで持ってきて、Jupyter Notebook上でグラフにしてみる話。 セットアップ Python3はインストールされていることを前提。jupyterなどの必要なソフトウェアを入れる環境を作って、pip でインストールする。 python3 -m venv jupyter source jupyter/bin/activate pip install jupyter pandas matplotlib pymysql インストールが成功したら、こんな感じでJupyter Notebookを立ち上げる。 ./jupyter/bin/jupyter notebook 立ち上がったらブラウザから適
Draft on Google Container Engine
At CoreOS Fest 2017, Microsoft Azure team announced Draft, a tool that streamlines application development and deployment into k8s cluster. It’s really cool to me. So I tried to install it on my test GKE cluster. Installation of Draft is quite easy (see documentation) and it’s done less than 10 min. But there are some missing parts for doing it on Google Container Engine (GKE) with Google Containe
Big Sky :: ログイン認証をマイクロサービス化する「loginsrv」
認証を持たないウェブアプリケーションをいざ認証に対応させようと思うと案外面倒でモチベーションを無くしてしまうなんて事もよく起きうる話です。特に社内向けのアプリケーションを作っていたら本番で使う事になってしまって、なんて話は良くある話です。開発で本番 DB を見るのはちょっと...。でも既存のコードをゴリゴリと触りたくない。そんな場合にログイン認証部分だけマイクロサービス化できると気持ちも幾分和らぎます。今日はそんなちょっと便利なサーバ「loginsrv」を紹介したいと思います。 GitHub - tarent/loginsrv: JWT login microservice with plugable backends such as OAuth2, Github, htpasswd, osiam loginsrv is a standalone minimalistic login se
作文技術の本のリスト - 未来のいつか/hyoshiokの日記
理科系の作文技術(中公新書)という1981年に発行された名著がある。 先日、その本についてお話しする機会があったのだが、それを話すにあたって、作文技術の本をあれやこれや手に取ってみた。本屋で適当に見つけたものやら図書館で手に取ったものなど、備忘録としてリストしておく。必ずしも読了、精読したわけではない。（順不同） それぞれについて、理科系の作文技術との比較などをしてこの日記をアップデートしたい。（2017年6月1日時点で整理中です） 理科系の作文技術（リフロー版） (中公新書) 【新版】日本語の作文技術 (朝日文庫) 論文の書き方 (岩波新書) 論理が伝わる 世界標準の「書く技術」 (ブルーバックス) レポートの組み立て方 (ちくま学芸文庫) 仕事文の書き方 (岩波新書) 理系のための 論理が伝わる文章術 実例で学ぶ読解・作成の手順 (ブルーバックス) The Elements of St
Best Practices for Creating Galaxy Tools — Galaxy IUC Standards and Best Practices 0.1 documentation
2週間半のReact Nativeアプリ開発を振り返る - c-bata web
React Native+Expoではじめるスマホアプリ開発 ~JavaScriptによるアプリ構築の実際~ 作者: 松澤太郎出版社/メーカー: マイナビ出版発売日: 2018/08/29メディア: 単行本（ソフトカバー）この商品を含むブログを見る ここ2週間ちょっとReact NativeでiOSアプリ書いてました。 サーバサイドをメインでやってきた自分にとって面白い技術で、今後も趣味で使ってみたいなと思えているのでTipsや所感を残しておきます。 目次 選定理由 Tips エラーハンドリング・状態管理 入力欄をキーボードの出現に合わせて動かすアニメーション 今回使ったライブラリ react-native-focus-scroll react-navigation react-native-vector-icons react-native-camera react-native-vid
Proxy環境でdockerを外に繋ぐ方法 - Qiita
はじめに docker-swarmとか全く知らないdocker素人です。 Proxy環境でdockerの仮想環境を作ったらapt-getが通らなくて無事死亡したので調べてみました。 あ、一つ言っておきますが、ネットワークの知識はほぼありません。 ProxyとDNSがどういう機能・役割であるかはわかりますが、どのように連携してシステムになってるのかすら知りません。 前編（？）：Dockerで開発環境を仮想化する Docker DaemonにProxy設定を教える dockerコマンドを実行するときは外部のネットワークに接続する必要があるならDocker Daemon自体にプロキシ設定が必要です。 たとえば、Docker DaemonがProxy設定を知らないと、FROMコマンドでイメージをDLしてくることができないと思います。 Proxy設定には以下の５種類ぐらいがあると思いますが、必要なの
Jenkins Pipeline メモ - Qiita
def allocateNode（） { node { echo env.WORKSPACE } } parallel a: { allocateNode() }, b: { allocateNode() } [Pipeline] parallel [Pipeline] [a] { (Branch: a) [Pipeline] [b] { (Branch: b) [Pipeline] [a] node [Pipeline] [b] node [a] Running on master in /var/lib/jenkins/jobs/pipeline-test/workspace [Pipeline] [a] { [b] Running on master in /var/lib/jenkins/jobs/pipeline-test/workspace@2 [Pipeline] [a] e
iPad Pro+純正キーボードについての盲点について….｜talblo タルブロ 良いもの+ひとりごと
今日はすごくニッチな話で申し訳ないです。 前半はiPad Pro関連の話です。 ただ後半はお役に立てるかも…. iPad Pro製品自体は素晴らしすぎて、これを使い出すともう元のiPadサイズに戻れなくなります。 大きすぎと思われがちですが、 12.9インチというサイズは善です。 重さだけ軽くなれば画面はまだ大きくなってもいい気がします。 リアルA4がそのまま表示されるぐらいだと使いやすい。 そんなiPad Pro 12.9インチなんですが、これを使ってると思うこと… 「純正キーボードがあればもっと使いやすいんじゃないの？」 CMでもガンガン宣伝していました。パソコンが必要ないと… その辺について購入を検討されてる方もいるかと思うので、 参考になればと思います。 こちら純正キーボード このようにマグネットで簡単に取り付けられます。 bluetooth接続ではないのでくっつければすぐキーボー
USB接続キーボード配列変換アダプターを製品化したい！iOS・親指シフトにも対応(By 中島 崇) - Kibidango【きびだんご】クラウドファンディングとECで事業者をサポート
いつでも自分の好きなキーボード配列が使いたい！ 「かえうち」は、USBキーボードに接続してキー配列を変換するアダプターです。好きなデバイス＋好きなキーボードで自分好みのキー操作が使えます。 CapsLockとCtrlの入れ替えから、ショートカットキー、コマンド入力、DvorakやColemakなどキー並べ替え、親指シフトや月配列などの各種日本語配列に対応し、ユーザー自身でのカスタマイズが可能です。 製品化のためには、販売数30個を確保する必要があります。ご支援よろしくお願いいたします。 皆さんはキーボード入力に満足していますか？ このキーが遠いなぁとか、いつものコマンドを一発で打ちたいなぁとか、そういった不満はありませんか？ でも世のキーボードは並びが決まっています。「A」を押したら「A」か「あ」が出るだけ。カスタマイズの余地なんてありません。 こだわる人ならすでにCapsLockをCt
Prometheus: Monitoring at ABYSS
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog 2017年6月5日にYahoo! JAPANのオフィスでLucene/Solr勉強会が開催されます。（パチパチ) 「記念に何か書こう、とにかく書こう、なんかこう面白いやつ、いいから書こうぜ。俺たちよ。」という上司の笑顔に勇気をもらって書きます。(๑•̀д•́๑) 要約 Solr CloudにPrometheusを導入してシステム指標を収集した事例の紹介 背景 Yahoo! JAPANでは、Solr Cloudを利用した検索の共通基盤のABYSS2（第2世代）を社内に提供しています。2017年5月時点で、100以上のサービスに利用され、サーバー数は3000近くで、仮想サーバーや、必要に応じてベアメタルサーバーを利用して運用しています
Microsoft TeamsへZabbixのアラートを飛ばす - Qiita
Teamsのチャネルへはメールでポストできますが、Zabbixからダイレクトにポストできた方がカッコイイよね。 かなり手抜きな作りなのはご容赦を。 環境 Ubuntu 12.04 Zabbix 2.2 TeamsのチャネルにIncoming Webhookコネクタを作ってURLを取得する スクリプトを /usr/lib/zabbix/alertscripts へ作る #!/bin/bash status="$1" message="$2\r \n$3" payload="{\"text\":\"${message}\"}" curl -m 5 --data "${payload}" https://outlook.office.com/webhook/... 6行目のURLにはWebhookのURLを指定します。 Webhookへメッセージを投げる際に改行を入れたいときは\r\nでは改行さ
Clangでファジング (-fsanitize=fuzzer) - Qiita
Clang開発版にlibFuzzerが新しいサニタイザとして取り込まれた。clang -fsanitize=fuzzerで使える。 ファジングとは ファジング (fuzzing) はテスト手法のひとつ。おかしなデータを自動的に大量生成してプログラムへ入力し、クラッシュを誘発することでバグをあぶりだす。 libFuzzerはファジングをおこなうためのライブラリ。 trunk版のclangをインストール Clangのtrunk版をインストール: svn co http://llvm.org/svn/llvm-project/llvm/trunk llvm svn co http://llvm.org/svn/llvm-project/cfe/trunk llvm/tools/clang svn co http://llvm.org/svn/llvm-project/compiler-rt/tr
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
VMで開発中にchromeがJSの更新を反映してくれない時 - Qiita
https://qiita.com/rai_suta/items/fa6b1a0230e516362c8d
https://qiita.com/mintomo1281m/items/ea74565b210fe5b3762c