17. 型変換 -- テーブルの構造 `hoge` CREATE TABLE IF NOT EXISTS `hoge` ( `id` int(11) NOT NULL, `val` varchar(255) NOT NULL ); mysql> SELECT * FROM hoge; +----+--------+ | id | val | +----+--------+ | 1 | ONE | | 2 | 2 | | 3 | Three3 | | 4 | 4Four | +----+--------+ 4 rows in set (0,00 sec) 18. 型変換 mysql> SELECT * FROM hoge WHERE val = "0"; Empty set (0,00 sec) mysql> SELECT * FROM hoge WHERE val = 2; +----+-

Lobiチームの長田です。 今回は現在運用中のLobiというサービスのデプロイについて紹介します。 Lobi Chat & Game Community Lobiについての紹介は以前のエントリを参照ください。 サーバーサイドエンジニア視点でLobiというサービスを紹介します | tech.kayac.com - KAYAC engineers' blog TL;DR デプロイ=各種ファイル更新とサービスへの反映、chefの実行 毎日十数回のデプロイを行っている デプロイ対象は数十台単位 十余名のサーバーサイドエンジニア全員にデプロイ権限がある Auto Scalingを考慮したデプロイ手段を採用している ファイル更新もchef実行もstretcherでOK まだまだ改善の余地あり おおまかな手順 本番環境にデプロイするぞ！という段になると、こんな操作が行われます。 GitHub上でコードレ

メモリ不足やCPU使用率の上昇など、サーバのリソース不足が発生した時に、dstatで原因プロセスを確認できることがあります。 今回は、小ネタですが、メモリやCPU、ディスクI/Oなどの確認方法をメモとして記録しておきます。 メモリの使用状況を確認する ページングやSWAP、仮想メモリなど、一番メモリを使っているプロセスを確認します。 下記の例では、php-fpmがメモリを一番消費していました。 $ dstat -t -gs --mem --vm --ipc --top-mem ----system---- ---paging-- ----swap--- ------memory-usage----- -----virtual-memory---- --sysv-ipc- --most-expensive- date/time | in out | used free| used buff

某abbix等だとログ本文を一覧で表示できたりしますが、 Datadogでは解析した物を使用する前提のようで、 本文を送る機能は用意されていません。 Datadog Docs - Datadog Agent によるログの解析方法 syslog(/var/log/messages)を対象に、 Datadogで任意の文字列に合致したログ本文を通知する設定を行いました。 事前準備 環境 CentOS 6.7 DatadogAgent インストール Datadogのメニューから辿ると、各OS(distribution)用のインストールコマンドが用意されていますので、そちらに沿って対象サーバにインストールします。 [Integrations] -> [Agent] -> [CentOS/RedHat] pyparsing インストール ログをパースするのに必要になるのでpipでインストールします。

デザイナーが作ったデザインをエンジニアがコードに落としこむ工程，コミュニケーションコストも大きくなかなか大変ですよね．そんな課題を解決してくれる，ビジュアル仕様書共有ツール Zeplin を使ってみたところ非常に好感触で，アプリ開発がかなり効率化されたように思うので，普及もかねてまとめてみようと想います． Zeplin は何を解決してくれるのか これまでアプリ開発の際，デザイナーさんに以下の様なビジュアル仕様書を Google Drive で共有してもらっていました． 自分はデザイナーさんみたいに 1px の細かい差異など分からなかったりするので，このようなビジュアル仕様書を作成してもらえると，正しく実装することができ非常に助かります．しかし，これには例えば以下のような課題がありました． (1) デザイナーさんのコストが大きい．上図の例はアプリの 1 画面に過ぎませんが，これが 10 枚，

本稿は Test Kitchen: Your Development Feedback Factory (2015/09/10) の和訳です。 Test Kitchen はさまざまなプラットフォーム上で Cookbook のテストを簡単に行えるようにします。Test Kitchen を使うと、テスト用 Node を素早く作成し、収束し、さまざまな状態を検証するテストを実行することができます。 この webcast の録画では、Chef 社のエンジニア Fletcher Nichol が自信を持って Chef Cookbook を書いてメンテナンスするためにどのように Test Kitchen を使うかの説明をしています。Fletcher は次のことを共有しました: どのように Workstation を設定するか どのように対象のプラットフォームで動作する新しい Cookbook を作成す

先の記事にて解説したとおり、信頼できる通信路 との組み合わせにおいては、TCP のみで攻撃することは困難であるため、UDP におけるヒープ確保の阻止が焦点となります。つまり、A/AAAA の1セットの UDP レスポンスにおいて、それぞれが1024バイト、合計値が2048バイトを超過しない事が条件です。EDNS0 無効時においては、1レスポンスあたり512バイトであるため、仕様に沿っていればこれを超過しません。 多くの DNS キャッシュのソフトウェアにおいては、DNS クエリ/レスポンスのチェックや再構築をしているため、異常な構造を持つデータはフィルタされる場合が殆どです。EDNS0 無効時に512バイトを越えるデータを送りつけるような違反も同様です。 しかし、DNS の転送のみを行う DNS フォワーダにおいてはチェックが甘いため、今回の脆弱性に対する防御にはなり得ない場合もあります。

さて、この時の BLKSIZE はどれくらいの大きさが適切でしょうか？ とりあえず思いつくのは4KB (x86 のデフォルトのページサイズ) ですが、ネットワークやディスクが十分に高速な場合、ちょっとシステムコールが多すぎになる気がします。 Python みたいな遅いプログラミング言語を使ってる場合はループに含まれるメソッド呼び出しのオーバーヘッドなんかも無視できないので、もうちょっと大きくしたい気がします。 富豪的に、一気に1MBとかにしてみたい気もしますが、ちょっと待ってください。このプログラムはシーケンシャルに見えますが、ブロックサイズが小さい間はディスクアクセスとネットワークアクセスが並行して動いています。 まず、ファイルからの読み込みは readahead という仕組みで、最大128KBくらいまでは先読みが効きます。 ネットワーク側がボトルネックになった場合、ブロックサイズを12

AWS のクロスアカウントアクセスを利用すると、 IAM ユーザを AWS アカウントごとに作成しなくても良くなり管理が容易になるのですが、 Switch Role する アカウントが多いと、履歴が 5 件しかないのでアカウントとロールを再入力しなくてはならないことが増えてきます。 ロールを切り替えるユーザーアクセス権限の付与 を見ると、 https://signin.aws.amazon.com/switchrole?account=YourAccountIDorAliasHere&roleName=pathIfAny/YourRoleNameHere とあります。 Alias は以下を例にすると Your_AWS_Account_ID です(参考: AWS アカウント ID とその別名)。 https://Your_AWS_Account_ID.signin.aws.amazon.co

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

「次に何が起こるか？」を予測するための、スケールアウトアーキテクチャによるデータ分析システムとは［PR］ ビジネスにおけるデータ分析の活用は、データを分析して過去に何が起きたのかを把握する「Analytics 1.0」に始まり、次に起こりそうなことを予測する「Analytics 2.0」の時代を経て、現在は分析結果を製品やサービスの改善や開発に活用することが業務プロセスに組み込まれた「Analytics 3.0」の時代にある（Thomas H. Davenport『Analytics 3.0』（Harvard Business Review, Dec. 2013）を参考）。こう指摘するのは、SAS Institute Japanの小林泉氏です。 「機械学習や自動化、ストリーミングデータやIoTといったキーワードで語られるように、データ資産の活用が実ビジネスに直結するようになってきている」（

チームのコミュニケーションについて～強いチームを作るには（後編）。Developers Summit 2016 業務で行われるソフトウェア開発プロジェクトのほとんどすべては、何らかのチームによって行われています。そしてそのプロジェクトが成功するか失敗するかを左右する大きな要因が、技術力よりも人間系にあることはよく指摘されることです。 では、その人間系に注目して強いチームを作るにはどうすればよいのか、そのヒントを多数紹介したセッション「強いチームのつくり方」が、2月19日に行われたイベントDeveloper Summit 2016（通称デブサミ）で行われました。この記事では、そのセッションの内容を前編、中編、後編の3本の記事で紹介します。 いまお読みの記事は後編です。 メンバーの採用 メンバーを採用するときには、一緒に働くことになる人が採用の判断をするほうがいいです。ただ、本質的にはたった数

リーダーシップと権限委譲の仕方～強いチームのつくり方（中編）。Developers Summit 2016 業務で行われるソフトウェア開発プロジェクトのほとんどすべては、何らかのチームによって行われています。そしてそのプロジェクトが成功するか失敗するかを左右する大きな要因が、技術力よりも人間系にあることはよく指摘されることです。 では、その人間系に注目して強いチームを作るにはどうすればよいのか、そのヒントを多数紹介したセッション「強いチームのつくり方」が、2月19日に行われたイベントDeveloper Summit 2016（通称デブサミ）で行われました。この記事では、そのセッションの内容を前編、中編、後編の3本の記事で紹介します。 いまお読みの記事は中編です。 まずは「ゴール」、最終的に何を実現するかをみんなで合意しようと。 次は「目標」ですね。短期的にはどこに到達したいか。それから「価

筆者は2014年のWEB+DB PRESSでの特集「エンジニアの学び方」で、学びのプロセスは「知識収集」「⁠抽象化」「⁠応用」の3つのフェーズを繰り返すサイクルだ、と解説しました[1]⁠。しかし、サイクルには始まりも終わりもなく、「⁠最初の一歩は何か？」という質問には答えていません。今回は、サイクルを始めるための最初の一歩について、いろいろなサイクルを例に考えます。 いろいろなサイクル サイクル型のモデルの中で一番有名なのはPDCAサイクルでしょう。これは「計画」（⁠Plan）を「実行」（⁠Do）し、その結果を「チェック」（⁠Check）して結果を「修正」（⁠Adjust）する、というモデルです[2]⁠。これの元ネタは、科学における仮説検証のサイクルです。仮説を立て、実験を行い、その実験結果を見て仮説を修正する、というサイクルです。 最近有名になったのは2011年に提唱されたリーンスタート

grep -o オプションを知ったかぶりしてみた。 grep で後方参照的なことをやろうと思うと、 -o オプションを使うと便利。 GREPコマンドは、マッチ行を取り出すので、MATCH部分を取り出すのはちょっと手間。 grep -o "<div id=“content”>.*"でマッチした箇所だけを取り出す。 これでちょっとした解析がとても楽になります。 マッチ部を取り出す。 つまりあるキーワードを含む「行」ではなく「マッチ部分」を取り出す grep -o で該当部分を取り出す takuya@air:~$ curl mixi.jp | grep -o "<script[^>]*>[^<]*</script>" % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent L

前回の記事では 分散システムのデザインパターンと銘打っておきながら並列・並行システムの分野の話からクラウド環境へとこじつける事を「分散システム」と呼んだ事。 システム全体を決定づけるわけでもない通信パターン上の選択肢の一部を切り出してシステムの本質のように呼んだ事。 プログラミングモデルと言いながらプログラミングモデルの話が一切出なかった事。 のうち一番上についてしか書かなかったので次に真ん中の項目についての話をする。物事を分類する際の一般論としては MECE であることが好まれるがYahoo!の記事はレイヤーも目的も様々な物を一緒くたに語っており、取り繕おうにも議論の空間があやふやなので何に対して網羅的なのかも議論ができない。「マスターやワーカーというのは役割の議論であり通信パターンの議論ではない」「Producer-Consumerはデータフローの一種と呼べないのか？」「データフローは

追記(2017/05/2) redux-sagaでの非同期バージョンの紹介とリンクを追記。 追記(2017/2/23修正) 元記事の追記3にて言及を頂いたように、以下の「見易い版」コードは元コードが実現していた機能が抜けおちているという誤りがあります。遅くなりましたが、お詫びの上修正させていただきます。 修正内容は以下の「refreshボタン押下ですべての候補を消去」の項目に追記しました。 上記追記の趣旨として、リアクティブプログラミングはそれほど判り難いのだ、というご指摘になっていますが、返す言葉もございません。 はじめに 先日「リアクティブプログラミングとは何だったか」という記事を目にしまして、内容はたいへん興味深かったのですが、以下の記述がありました。 『宣言的』といえそうなのはわかりますし、パラダイムとして従来のコードとは一線を画すものであることは確かですが、どう贔屓目にみてもひた

最近よく考えることに、人間を強制的に幸福にするユーザーインターフェースは作れないか、という着想がある。100万ユーザー級のアプリのUI改善に何本か関わった結論として、単に使いやすいインターフェースや、KPIアゲアゲの設計とかに飽きた。 むしろ統計、認知心理学、脳科学、行動経済学などをフル活用して、デザインで強制的に幸せを生産できないだろうかと考える。 幸せは生産できるか？ アメリカの哲学者、ウィリアム・ジェームズの言葉に、「私達は幸せだから笑うのではない。笑うから幸せなのだ」というものがある。日本にも類似の表現として、「笑う門には福来る」という諺がある。 両者で注目したいのは、因果関係の方向だ。どちらも方向として、「笑う」→「幸福」という因果関係を説いている。「幸福」→「笑う」ではない。 実は最近の脳の研究によると、とりあえず口角を持ち上げれば、人間の脳はドーパミンを生産するのだという。脳

強いチームを作るには時間がかかる～強いチームのつくり方（前編）。Developers Summit 2016 業務で行われるソフトウェア開発プロジェクトのほとんどすべては、何らかのチームによって行われています。そしてそのプロジェクトが成功するか失敗するかを左右する大きな要因が、技術力よりも人間系にあることはよく指摘されることです。 では、その人間系に注目して強いチームを作るにはどうすればよいのか、そのヒントを多数紹介したセッション「強いチームのつくり方」が、2月19日に行われたイベントDeveloper Summit 2016（通称デブサミ）で行われました。この記事では、そのセッションの内容を前編、中編、後編の3本の記事で紹介します。 いまお読みの記事は前編です。 プロジェクトの多くは技術ではなく人間系で失敗している 吉羽 龍太郎氏（Ryuzee.com）。 吉羽と申します。いままで野村総

では本題に入ります。まず、Dockerは何がいいのか、あるいはどういうことには向かないか。実際に仕事で関わっている立場から語ってください。 松井：SIerをやっていて、最近はお客様からDockerという言葉が出てくるようになりました。とあるお客様からは、Solarisコンテナーで動いているシステムが古いので乗り換えたい、そのためにDockerはどうかと具体的な話を聞かれました。一方、「Dockerってどう？」と漠然とした話をいただいて、お客様の環境でしたらこう使えます、という話をすることもあります。 実案件まではまだありません。アプリケーションが対応していないと使えない、という話になることが多い。Dockerでは、いままでのアプリをそのまま使おうとすると、失敗すると思います。 前佛：無理をしてDockerを入れるのは違うと思いますね。Docker社が、仮想化を置きかえるというような見せ方を

今回も長め。 メモツールの移行を思い立ったので、今までのデータを移すべくテキトーなツールをつくって見ました。 移行ツールと言いながらまだ 単一のMarkdownとBoostnote の相互変換くらいにしか対応していませんが、、、 github.com 前回のネタに続いてせっかくなのでGolangでなく、mruby-cli で作ってみました。 今回はその過程でやったことや作ってみて思ったこととかをつれつれなるままに書いてみようと思います。 dojineko.hateblo.jp やったこと mruby-cliでひな型を作る ガシガシ実装する 開発環境向けにコンパイルして、トライ＆エラー 目的の機能が完成するまで 2 と 3 を繰り返す 出来上がったら docker でクロスコンパイル Githubにreleaseを登録しておしまい TDDとかなにそれ美味しいのみたいな感じですが、まぁそれは置

tl;dr 手作業で構築した AWS リソースの管理には以前から気になっていた awspec が良いと思ったのでメモ。 二台、三台のインスタンスなら...とうっかりと手作業で構築したインスタンスや、どんな設定で作ったか判らないけど、なんとなく利用されている S3 Bucket の管理をどうしようかなと思っていたら awspec の generate コマンドがリソース情報を生成してくれるので試してみた。 参考 github.com qiita.com memo インストール $ cat Gemfile source "https://rubygems.org" gem 'awspec' gem 'rake' $ bundle 初期化 $ bundle exec awspec init + spec/ + spec/spec_helper.rb + Rakefile + spec/.giti

結論的にはマニュアル以上の情報はないです。個人的メモに近い感じ。 この辺は気軽にテスト/確認しづらいレイヤだと思ってるので、具体的な実装を知らないと怖かったので調べてみました。 背景 fluentdからelasticsearchクラスタにログを投入したい サービスから参照されるのでクラスタの一部が死んでもサービスに影響がないようにしたい 世にある記事だと、elasticsearchサーバのローカルにfluentd receiverを置いて、そこからesに投入する形式が多く見られた。 が、それだとreceiverが生きててesプロセスだけが死んだ場合にデータの投入が部分的に止まるよねってことで、送信元のfluentdからesに直接接続して投入することにした。 その場合fluent-plugin-elasticsearchが分散処理を行うので、その部分のfailure/retryの扱いやパラメ

人間生きていると高確率で連打機能を提供するシステムを構築する必要が出てくることがあります． 例えばあるコンテンツについてボタンを連打することで「良いね」を表明するようなシステムです． 連打は楽しい！！　しかし実装する方としては純粋に楽しんでばかりはいられません． こうしたシステムは素朴に実装したとしてもある程度のトラフィックまでは耐えられるかもしれませんが，ある規模を超えると安定して機能提供する事は難しくなってくるかもしれません． ここでは，サーバサイドの話題を中心として，快適な連打機能を提供するシステムをどうすれば提供できるかを考えていきます (あくまで一例です)． 想定としては， あるコンテンツについてボタンが付いていて，そのボタンは連打が出来る あるコンテンツについてボタンが何回押されたかを取得できる というシステムを仮定します． なんとなく結論が分かる雑な図 本題 サーバを分離する

Help us understand the problem. What is going on with this article?

【Fukuoka ComCamp2016 powered by MVPs】 2016年2月20日に開催された「ComCamp2016 powered by MVPs」の福岡会場で登壇した際のスライドです。（一部修正あり）Read less

Yahoo、Google検索なんてもう古い!?イマドキ若者はTwitter・Instagramで検索！ネットでは「らぶりつ」「ジードラ」「エゴサ」が流行！若者生態バラエティ 「みんなのクラウド教室」2月9日（火）より3限目「イケメン編」スタート！番組配信に合わせて若者100人にアンケート！ LIDDELL株式会社(本社：東京都港区、代表取締役：福田晃一、以下リデル)が運営する、空いた時間にSNSを有効活用したいという個人と、SNSを使ってPRしたい企業をつなぐサービス「SPIRIT」は、cloudpack（運営：アイレット株式会社、本社：東京都港区、代表取締役社長 齋藤将平）とコラボレーションし、様々なジャンルの若者のネットリテラシーにフィーチャーする、若者生態バラエティ番組「みんなのクラウド教室 イケメン編」の配信を2月9日(火)より毎週火曜日、計4回にわたり配信致します。 番組のコーナ

図1　フラッシュメモリーの構造　ほとんどの単一トランジスタのフラッシュメモリーセルは、（a）のような構造を成している。相互接続構造には、NOR型（b）とNAND型（c）がある。論理レベルの0にプログラミングするには、フローティングゲートに電荷を注入する（d）。データの消去（論理レベルの1にする）は、（e）のようにして、電荷を除去することで行う（提供：Wikipediaファウンデーション）。 今日のフラッシュメモリーの多くは、フローティングゲートを利用したセル構造を持つ（図1（a））。またフラッシュメモリーには、高速なランダム読み出しアクセスが可能なNOR型（図1（b））と、低速だがビット当たりの単価が安いNAND型（図1（c））がある。両者の主な相違点は、セル間を相互接続する構造にある。 フラッシュメモリーに保存された値を変更する方法は次のようになる。まず0にプログラミングするには、通常よ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? お仕事の private リポジトリについて、オトナの事情でワールドワイドウェブな GitHub.com からイントラネット内の GitHub Enterprise (以下 GH:E) に移行する必要があった際に読んだ文献、踏んだ地雷について記しておきます。 「分散 SCM の Git なんだから、upstream を変更して push すれば終わりでしょ？」という疑問に対しては、Pull Request や ISSUE もろもろを移行対象に含めているのがこの記事で取り扱う移行作業のポイントです。とりわけ息の長いプロジェクトでは大切な資

DateTime.now + 1.hour と DateTime.now +1.hour は異なる値を返します。 何を言ってるのかわからねーと思うがこの実行結果を見てくれ。こいつをどう思う？ [10] pry(main)> DateTime.now + 1.hour Fri, 29 Jan 2016 11:38:52 +0900 # こっちだと 11:38 [11] pry(main)> DateTime.now +1.hour Fri, 29 Jan 2016 10:38:52 +0900 # こうすると 10:38。あれれ？ すごく・・・バグりそうです・・・/// なんでか DateTime.now + 1.hour が DateTime.now() + 1.hour と解釈されるのに対し、 DateTime.now +1.hour は DateTime.now(+1.hour) と解

先日のデブサミ2016でピクシブの川田さんによるモデレートでGolang（メルカリのbokkoさん） × node.js（古川会長） × Scala（わたくし）という謎の組み合わせでパネルディスカッションをさせていただきました。 event.shoeisha.jp ユーザ層や適用領域が異なる言語ということもあり、噛み合うのか若干不安があったのですが、いい感じにまとまったのではないかと思いますw パネルディスカッションのまとめ 総論としては ハードウェアのリソースを使い切るために並行処理がますます重要になっていく ただし、アプリケーションのレイヤではなるべくそれを意識させないことが重要 という当たり前といえば当たり前の話だったのではないかと思います。ECMAScript7のAsync/Awaitは記述は同期的だけどブロックはしないという意味で理想に近いかもしれません。 普通にWebアプリを書

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

こんにちは。iOSエンジニアの庄司です。 普段のアプリ開発において、バックエンドチームから「○○のページで△△のデータ取得するためにリクエストしているURLってどんなの？」と聞かれることがよくあります。 その都度、APIリクエストとリクエスト結果をprintで表示するフラグをONにしてアプリをビルドするということをしていたため、かなり手間がかかっていました。 こういった作業を楽にするためにネットワークデバッグライブラリをいくつか比較してみました。 ライブラリ ResponseDetective https://github.com/netguru/ResponseDetective NSURLSessionのリクエストやレスポンスをデバッガのログに流してくれるライブラリです。 特徴・利点 フルSwiftで書かれており、NSURLProtocolのメソッドに割り込んでログを落とす事ができます

日本最大のProduct Manager Community blog.kentarok.org こんなコミュニティがあったんですね。ビズリーチPM id:tannomizuki さんのブログを通じて知りました（id:antipop さん、改めて設立ありがとうございますm( )m）。 早速参加して過去ログをすべて読み漁りました。現時点で300名超が参加しており、対話や議論が生まれるコミュニティとしてはおそらく日本最大規模といって良いんじゃないでしょうか。 このコミュニティの議論の流れをサマると以下の様な感じ。 日本において製品開発におけるプロダクトマネージャーは主に自動車産業でその役割を発展してきた経緯がある が、知見が閉じておりなかなか他の産業まで浸透していなかった。 日本のIT産業の拡大と、OSS的な指向からその開発手法が会社に閉じることなく広がり始めてきた。 その中でここ数年、急激に

MySQL5.7でできたgenerated columnってどんなのかな〜って調べていると、参照時に所定の計算結果を反映してから取得する仮想カラムVIRTUALと、更新時に所定の計算結果後の値を格納してくれるSTORED(Mariaの場合PERSISTENT)があることがわかりました。 MySQLでカラムごとに圧縮する方法 - CreateField Blog こちらの記事ではCOMPRESS関数とUNCOMPRESS関数を使ってMySQLでカラム単位でデータを圧縮する方法を書きました。 これのCOMPRESSとUNCOMPRESSを自動的にやってくれる仮想カラムつくれるんじゃないのと思って試してみました。 MariaDB [comp]> CREATE TABLE comp ( -> compressed_body longblob NOT NULL, -> body LONGTEXT G