GitLabの実践的な運用 #gitlabjp - Qiita
（当日はesaのプレゼンテーションモードで発表しました） （文字起こししてもらえました ちゃんと復旧できる、GitLabのバックアップ運用方法 – GitLab meetup #01レポート - pixiv inside） 自己紹介 各種SNSをcatatsuyでやっている かたついと呼ばれることが多い 会社のアドベントカレンダーで GitLabの運用方法をドーンと公開！！ - pixiv inside http://inside.pixiv.net/entry/2016/12/17/100000 を書きました ピクシブ株式会社で開発基盤チームと広告チームの兼任 pixivの改善が主な業務 単著『pixivエンジニアが教えるプログラミング入門（星海社新書） ピクシブ社内の非エンジニア向けのプログラミング研修の書籍化 pixiv社内ISUCONやISUCON6本選の問題作成 GitLabとは
学年ビリのアホが1年半でTOEICスコアを300点から840点に上げた英語勉強法の話 - Qiita
序盤から中盤にかけての中心は音読、英作文、文法であった。 特に英作文と文法は非常に重視しており、一番時間をかけた。 中盤から終盤にかけては精読、多読、ボキャビルを行った。 文法を叩き込んだ後に精読と多読を行ったのは誤読せずに済んだので良かったと思う。 学習時間の内訳をグラフで示すと以下のようになります。 英作文と文法で約60%を占めています。英文法を徹底的に体に叩き込みました。 逆に精読、多読、発音が占める割合は低くなっています。特に発音が少ないのは後で後悔することになります。 学習の詳細 ここでは各トレーニングに使った教材について簡単なコメントとともに書いておきます。 音読 音読の一冊目はコレをやりました。英語上達完全マップの作者が書いた本なので、音読のトレーニングがしやすいように構成されています。そのため、様々な人が書いていますが音読の一冊目にはこれをやっておけば間違いはないと思います
AWSバッドノウハウ集 2017/02 - Qiita
おことわり 主観であり何らかのデータにもとづいてはいない この記事に書いてあることは信じずに自分で試そう EC2 t2 ファミリーは他ファミリーと比べて不安定 どのインスタンスもいつかは死ぬという点では共通なのですがそのなかでもt2は故障したり不具合が発生したりする確率が非常に高い気がする なので死んだり、死にかけ状態で動き続けたりしてほしくないインスタンスはあんまりリソースを使わなくても t2.micro とかじゃなくて m3.medium にしとくとすこし可用性があがる 追記: CPUクレジット理解していないだけではとか書かれていたんですがその辺は確認している。 t2の可用性が問題になったケースいくつかあるんだけど、自分の場合はネットワークがたまに断する問題が多くて、分散DBクラスタの死活監視で1secごとにpingするだけでCPUは常に1%以下みたいなものとかに使うとカジュアルに10
Redash APIで動的クエリ発行するモジュール - Qiita
Redashで動的にパラメータ指定してクエリ発行したかったんですが、なんとAPI一発では出来ないということが発覚… issue には上がっているのでそろそろ実装されそうですが、今すぐ欲しかったのでモジュール書いてみました。 https://github.com/toritori0318/redash-dynamic-query 使い方 SYNOPSYSそのままです。 from redash_dynamic_query import RedashDynamicQuery redash = RedashDynamicQuery( endpoint='http://myredash-host', apikey='secret_apikey', data_source_id=2 ) query_id = 111 bind = { "start_date": '2017-01-01T00:00:00
fluentdでout_fileしたテキストファイルから再度fluentdに送り直す - Qiita
とあるfluent pluginのバグを踏んでしまって、フローの途中で処理されずにエラーになってしまっていた事象がありました。 しかし幸いにもout_fileでテキストファイルに退避していたためこれを再処理できるかなー？と思い以下のような書き捨てスクリプトを書いてみました。 # -*- coding: utf-8 -*- import sys import json import pdb from fluent import sender from datetime import datetime # vars send_tag = 'okuritai.tagdesu' label = '' extz = '+00:00' # logger init logger = sender.FluentSender(send_tag, host='localhost', port=24224) #
Spanner - Qiita
これまで多くのトランザクションの要素技術を説明してきた。 Googleの公開している論文Spanner: Google's Globally-Distributed Database は公開当初、要求される専門技術の多さからよくわからないと言っている人が多かったが、これまでに説明した要素技術をベースにすると理解しやすい。 Spannerとは 複数のデータセンターに跨ってデータベースの内容を複製し続ける事で高い可用性を実現するという構想は数多くあった。 しかしそれらの分散データベースは実用的な速度を実現しようとすると、データモデルがただのRDBより単純化して使いにくかったりトランザクションをサポートしなかったりと、アプリケーションの一貫性を実現するのが難しい。 現にGoogleの社内でもBigtableなどを用いたアプリケーションは複数あるものの、それぞれでそのデータモデルの上で無理やりトラ
Dockerで作る最強のWeb開発環境2017 - Qiita
概要 Web アプリケーションを開発しているときに、開発環境に MySQL や Redis を用意しバージョンを揃え、いや Redis はキャッシュにしか使ってないし必須じゃないから開発環境に無い場合のコードも書いて…… というようなことを2017年にもなってやりたくないので、Docker を使って良い感じにやっていきます。 Docker や Docker Compose に関する基本的な説明は割愛するので、公式ドキュメントをあたってください。 目標 コマンド一発で必要なサービス群が全て立ち上がるようにする Docker Compose を使い、1サービスごとに1コンテナを立ち上げる vendor や node_modules は、ホスト側のものと完全に分離する。OS が違う場合、Native extension があると問題の原因になるので避けたい。 ホスト側ではエディタと git さえ
辛くない、英語で会話できるようになるまでのお金のかからない楽しい英語勉強法、エンジニアこそ英語 - Qiita
大学生の時にノリで書いたこの記事が意外にもかなりいいねされて、でも見返してみると結構さらっと書いてあるのでちょっと追記しました。追加したところはNewといれておきました。挫折しないで楽しく効率的に英語の勉強を続けていくというのがテーマです。 英語勉強は辛くない！楽しいから続けられる 英会話教室など一切通わず、完全に独学でTOEIC対策ほぼ皆無でTOEIC915点、海外経験なしですが日本語の話せない外国人と二人で遊んだり普通に会話できる程度の英語力”は”あります。実際まだまだですが。 ということで英語に関しては少しは語ってもいいかなと思ったのと、一般的なTOEICを意識した英語勉強法では会話力は身につかないばかりか辛さが身に堪えると思うので、自分なりに考えた役に立つ英語を楽しく学ぶ方法を記事にしたいと思います。 やってはいけないというか、やらない方がいいと思う勉強法 TOEIC X００点取得
コマンドラインツールのショートオプションをどの用途で使うべきか - Qiita
はじめに コマンドラインツールが多数作られるプロジェクトがあるとします。 複数人で開発していると、オプションの意味付けが人によってばらばらになってしまう――そんな事象は、おそらくよくあることだと思います。 ので、そのような環境では、なんらか規約を設けるのがよさそうです。 本記事では、その規約の作成、またはオプションの意味付けにおいて、参考となるであろう情報を提示します。 特に、ショートオプション（英字1字のみのオプション）にフォーカスします。 ロングオプション（英字複数字から成るオプション）については、意味は自明になることが多いでしょう。 ただし、「ショートオプションをどのロングオプションに対応付けるべきか」という問題は、本稿でも扱います。 また、コマンド文法やオプションのフォーマットはOSやプログラムによって異なりますが、ここでは以下を前提とします： ショートオプション ... -a,
Slackのスレッド機能について雑なまとめ - Qiita
スレッド利用できるようになっていたので気になる点について雑にまとめてみた。 スレッド開始について 特定のReplyに対して Start a thread をクリックするとスレッド開始 スレッド参加のトリガー 以下のようなイベントで参加になるようす スレッドを開始する スレッドをフォローする スレッドに対して自分から投稿する スレッド内の誰かからメンションをもらう 他人を参加させるにはこの方法しかなさそう(/invite のようなコマンドも無い) @channel が効かないようなので、強制的にチャンネルメンバー全員参加させるのは無理？（一人ひとり追加すれば良いけど…） スレッドに参加すると起こること All Threadsにスレッドが表示され、通知が確認できる スレタイっぽいことしたい それ自体の機能は無さそうだけど、開始したReplyが常に上に表示されるので、開始するReplyをスレタイ
SlackからGitLabのChatopsを行う - Qiita
GitLab8.15 から、SlackからGitLabのChatops連携出来るようになったようです。 どんなものか試してみたかったので設定メモを残しておきます。1 Slack側の設定 ここ を開いて、自分のSlackチームに新規スラッシュコマンドを作ります。 コマンド名はお好きなものをどうぞ。プロジェクトごとに作るなら /<project_name>などとしておけばよいでしょう。 このページに Token 欄があるので、それをメモしておきます。 また、後ほどGitLabの設定を貼り付けるのでページは開いたままにしておきます。 GitLab側の設定 プロジェクト選択 > 設定 > Services > Slack Command を開きます。 そしてこのページの URL 欄をコピーし、Slack側設定の URL にコピペします↓ 次に、先ほどメモしておいたSlackの Token を 今度
いまさら聞けないLinuxとメモリの基礎＆vmstatの詳しい使い方 - Qiita
さくらインターネット Advent Calendar最終日は、硬派にLinuxのメモリに関する基礎知識についてみてみたいと思います。 最近はサーバーを意識せずプログラミングできるようになり、メモリの空き容量について意識することも少なくなりましたが、いざ低レイヤーに触れなければいけないシチュエーションになった際に、OSを目の前に呆然とする人が多いようです。 基本的にLinux のパフォーマンスについて、メモリをたくさんつめばいいとか、スワップさせないほうが良い とか、このあたりは良く知られたことだと思います。 ただ、なんとなく ps コマンドや free コマンド などの結果を見るだけでなく、もう少しメモリのことについて掘り下げてみてみたいと思います。 メモリとキャッシュ Linux におけるメモリの状態を大きく分けると「使用中のメモリ」「キャッシュ」「空きメモリ」「スワップ」の 4 つに分
LinuxのI/OやCPUの負荷とロードアベレージの関係を詳しく見てみる - Qiita
大人気TBSドラマ、「逃げるは恥だが役に立つ」でも話題になったインフラエンジニアという言葉ですが、今ではインターネットインフラを知らないまま開発をするのも難しい状況になっています。クラウドが一般化されたからといって単にリソースの調達が簡単になっただけで、つまりハードウェアの知識が無くても何とかやっていけるようになっただけであり、インフラの知識が要らなくなったなどということは全くなく、むしろdevopsの掛け声とともに、ソフトウェア開発者にインフラを見なければならない新たな責務が課せられたという、なかなか痺れる状況なのだろうと思います。 そういった中で、先日のさくらインターネットのAdvent Calendar最終日に「いまさら聞けないLinuxとメモリの基礎＆vmstatの詳しい使い方」という記事を書かせて頂きましたが、今回はLinuxサーバの「負荷」と、ロードアベレージに関して、掘り下げ
Retty流『2200万ユーザを支える機械学習基盤』の作り方 - Qiita
みなさん、こんにちは。Retty CTO の樽石です。 この記事は Retty Advent Calendar 25日目です。メリークリスマス。 昨日は @ttakeoka の『MFIにむけてRettyの取り組み』でした。 今年も残りわずかになりました。いかがお過ごしですか？ Retty はこの １ 年でエンジニアがほぼ倍増しました。それによって、情報発信者が増え、Advent Calendar に参加出来るようになりました。みんな楽しそうにしていて、うれしいです。 Retty Inc. Advent Calendar 2016 - Qiita さて、今年最後の Retty Advent Calendar 記事を書くということで、はじめは １年のまとめ的内容にしようかと思いましたが、それでは平凡で面白くありません。そこで、ネタになりそうなマニアックな技術的記事で締めくくりたいと思います。
原理原則で理解するDocker - Qiita
はじめに この記事は、オールアバウト Advent Calendar 2016の23日目のエントリーです。 私、@tajima_tasoからは【原理原則で理解するDocker】と題して書かせて頂きます。 Dockerってそもそも何？ってところから、内部実装部分についても触れています。 Dockerとは何か? まず、Dockerとは何なのか？について軽くおさらいしましょう。 今更聞けないという方も、なんとなくイメージが掴めたら嬉しいです。 何故、今Dockerなのか? Docker ソフトウェア開発を行う環境にいる方々の中で、この言葉を耳にする機会が増えてきているのではないでしょうか？ 実際の業務において導入まではしていないとしても、何となく盛り上がっている技術用語であることは肌感覚としてあると思います。 実は、Docker実現のベースとなっているLinuxコンテナという技術自体はずっと前か
CSRFトークン インタビューズ - Qiita
VAddyとCSRFトークン VAddyは脆弱性診断を実行する際に、CSRFトークンを最新のものに更新しながら動作します。そのため「どのパラメータがCSRFトークンか？」を判断するロジックが存在しています。最近あるフレームワーク（後述）について「CSRFトークンを正しく認識できない」というバグを修正したのですが、良い機会なのでメジャーなフレームワークやCMSを中心にCSRFトークンの実装をざっと追ってみました。一覧にしても面白くないので、仮想インタビュー形式にまとめてあります。GitHub上で軽く追ったものが多いので、最新のバージョンでなかったり、解釈が間違っている箇所があるかもしれません。 それでは、どうぞ。 Ruby on Rails 金床(以下、金)「こんにちは。ようこそ。」 RoR「こんにちは」 金「相変わらずシェア高いようですね。」 RoR「はい、おかげさまで。この間はルマン24
はてなのカレンダー | Advent Calendar 2016 - Qiita
URLYou can post either your article on Qiita or your blog post. About reserved postingIf you register a secret article by the day before the same day, it will be automatically published around 7:00 on the same day. About posting periodOnly articles submitted after November 1 of the year can be registered. (Secret articles can be registered anytime articles are posted.)
プロダクションで2年間Redis Clusterを運用してみて - Qiita
TL;DR Redis Clusterで運用は本当に楽になった でも、Redis 4.0は不安 Redis Clusterで一番怖いのはDisk IO 特にフェイルオーバーなどのFull Resync時 Redisとは？ 高速なインメモリ型のKVS シングルスレッド 豊富なデータ構造(次ページにて詳細) 豊富な操作(次々ページにて詳細） 豊富なデータ構造 key-value型 hash型(key-field-value) set型(集合演算ができる) sorted set型(スコア付きset) 任意の型(redis modules機能) 豊富な操作 インクリメントや和集合などなど lua scriptも実行できちゃう シングルスレッドだからatomicな処理になる Redisの問題点 writeがスケールしない 気軽に停止できない サーバー再起動やバージョンアップなど Redis Clus
Redis Cluster入門 - Qiita
概要 RedisClusterのチュートリアルを読みつつ疑問を解消していく。 Redis自体がシンプルな仕組みなこともあり、ドキュメントを読むだけでおよそ理解できるものと思われるので、下手な追加説明はあまりしていません。 以下、引用の箇所は筆者が和訳したもの、それ以外が筆者のコメントになります。 Redis cluster tutorial このドキュメントはRedisClusterについて書かれています。 distributed systemのコンセプトを簡単にまとめたものになります。 どうやってクラスタを構成し、テストし、運用するかを要点を絞ってまとめたものです。詳細はspecの方をご確認ください。 しかし、可用性と一貫性についての説明も試みています。 プロダクションで使うにはspecificationも読むことをおすすめしますが、とりあえず試したい方はこちらをお読み下さい。 Redi
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ファイルから非ASCII文字列を駆逐するワンライナー - Qiita
