ステージング化 本番のVMについてはここでAMIを取って完了としましたが、ステージングは設定を変更しなければなりませんでした。本番へのアクセスが起こらないよう設定の洗い出しを行い、地道に一つ一つ変更していき、ステージングとして動作するように調整を行いました。地味な作業でしたが、システム間のつながりを把握するという点でとても効率的だったので思ったほど無意味な作業ではありませんでした。 データ移行（BLOB to S3) データ移行はリプレイスプロジェクトでも難易度が高い部分でした。 ニコニ立体は3Dモデルホスティングサービスですが、この3Dモデルのファイル容量が大きく、移行に非常に時間がかかりました。試算では移行に２４時間かかると出たため、日々増えるデータをどのようにスムーズに移行するかについて悩みました。 立体の負債解消を手伝ってくれていたまさらっき氏が偶然ALBのRuby on Lamb

概要 Docker Documentation にある、Best practices for writing Dockerfiles の参考日本語訳です。ドキュメントは、2019年5月31日現在のカレントである Docker v18.09 (current) です。 背景 ―― 以前の翻訳から時間が経過し、全体的に手直ししたいものの、差分が大きすぎる状況です。そのため、リファレンスや重要性の高いものから優先的に着手することにしました。 スライド資料 背景やヒント、図解などを追加した補足用スライドを作成しました Dockerfile を書くためのベストプラクティス解説編 BuildKitなどの最新機能や Dockerfile の記述例については、こちらのスライドをご覧ください。 Dockerfileを改善するためのBest Practice 2019年版 Dockerfile を書くためのベ

Help us understand the problem. What is going on with this article? 概要 2020年向け 開発者向けブラウザ拡張機能９選 の初っ端で紹介されているRefined GitHubを見て、即導入したら圧倒的なGithub体験を得られたのでそれを紹介します。 使いながら気づいたことを主に書いてるので、定期的に追加するかもしれません。 本記事はRefined GitHubのChrome版(v19.10.13)で動作を確認していますが、基本的にはFirefox版でも問題ないと思います。 リアクションにユーザアイコンを追加 Adds reaction avatars showing who reacted to a comment コメントに対するリアクションがある場合、誰が押したのかをオンマウスすることなくユーザアイコンで確認すること

逆に、RFC 6749 以外で定義されている認可フローをサポートする場合、新たに別のエンドポイントの実装が必要になることがあります。例えば CIBA（Client Initiated Backchannel Authentication）ではバックチャネル認証エンドポイント（backchannel authentication endpoint）、デバイスフロー（RFC 8628）ではデバイス認可エンドポイント（device authorization endpoint）の実装が求められます。 この記事では、認可エンドポイントとトークンエンドポイントを実装します。サポートする認可フローは認可コードフローのみ、サポートするクライアント・タイプはパブリックのみとします。 2. 注意点 下記の理由、および書かれていないその他の理由により、本実装は商用利用には適していません。 セキュリティー上必須

先日8/16にGitバージョン2.23.0がリリースされました。 今回の目玉機能と言えば、新しいコマンド git switch と git restore ですね！ 本稿ではこちらの2つに絞ってどういう役割・位置づけの機能なのか英語ソースの引用も含めてご説明します。 TL;DR ブランチの変更は git switch ファイルの変更は git restore 今まで通り git checkout は使える 新機能は「実験的機能」なので今後変更の可能性あり 新機能が追加された背景 Highlights from Git 2.23によると、 git checkout に出来ることがあまりに多いため（ブランチ操作のほか、indexされたファイルの復旧、履歴上のファイルの取得など）、役割を明確に分けるためのコマンドが追加されたとのことです。 It turns out git checkout ca

21世紀でもっともセクシーと言われるデータサイエンスは、18世紀を彷彿とさせる奴隷的な作業によって支えられています(要出典)。その作業とは、データを作る作業(=アノテーション)です。多くの場合、アノテーションは孤独な単調作業の繰り返しです。延々と続けていると、全ての単語にunkとつけるようになる事例も報告されています。つまりつらい！のです。 本記事では、「孤独で辛い」アノテーションを「みんなで楽しく」行える環境を作る方法を紹介します。そのポイントは以下3点です。 Easy: アノテーションを楽に Feedback: アノテーションした結果がすぐにわかるように Gamification: アノテーション結果をみんなで競い合う Overview アノテーションを行う流れは以下のようになります。 Annotation Tool for Easy: アノテーションを楽にするためのツールを用意 In

概要 Qiitaのフィードのコメント数ごとに背景色を追加するユーザースクリプト - Qiitaを改変して、記事リンクのURLでユーザーを特定し非表示にするスクリプトです。 動作検証環境 Cyberfox 49 greasemonkey コード GistスクリプトリンクQiita_user_filter_for_feed.user.js // ==UserScript== // @name Qiita user filter for feed // @namespace khsk // @description フィードから特定ユーザーの投稿を非表示にする // @include http://qiita.com/ // @include https://qiita.com/ // @include http://qiita.com/items // @include https://qii

はじめに 最近、Webサービスを公開しました。 -> Pixelate Image せっかくなので、このサービスを公開するまでの過程を記事として残しました。 本記事では使用した技術と流れだけに触れ、 各所で行った詳細な作業内容は今後、順次記事にしていこうと思います。 ( ※ 2020年02月 追記) 同じスキルセットでもう一つ Webサービス を公開しました。 -> シルトレンド サイト内容 作ったのは画像をアップロードするとモザイク処理を行えるサービスです。 画像全体モザイクと顔のみにモザイクが出来るようにしました。 アップロードした画像はユーザーごとに管理出来ます。 使った技術 とりあえずは開発/運用コストを抑えたかったので、基本的に無料で使えるものを選びました。 トータルコストは数十円程度でした。とりあえず無料プランで作って、規模が大きくなってから有料プランに切り替えれば良いと思いま

はじめに 先日、夫婦のタスク共有アプリ「Be a Buddy」をリリースしました。 育児、家事、本業の常駐エンジニアのすきま時間で約2年の開発期間をかけた私のエンジニア人生の集大成と言えるアプリになりました。 そこでこの記事では開発期間と今までのキャリアの振り返りをしたいと思います。 このアプリを開発しようと思ったきっかけ 娘が生まれて半年くらい経ったころから妻との間で家事の連携が取れなくなってきました。具体的にはこのような感じです。 食材の買い物の内容がかぶる 洗濯機回したけど、ふたりとも干さなかった 赤ちゃんのお世話で中途半端になってしまう家事が多発 必要なことを話し合う時間が取れない こういった問題を解決するために、やりかけの家事を共有できたり、パートナーに家事を頼めたり、何かトピック毎に話し合えたりするアプリが欲しくなり開発することにしました。 開発に着手する前に 開発するにあたっ

前提知識 Blockchain、Ethereum、Smart Contract 等の概念的理解（参考図書） 基本的なプログラミングスキル プライベートチェーンの立ち上げ 今回は、geth を使ってローカルマシン上に Ethereum のプライベートチェーン（自分だけがアクセス可能なブロックチェーン）を立ち上げます。 geth は Go言語で実装された Ethereumクライアントです。アカウントの作成からマイニングまで、Ethereum に関わる多くの機能を担います。

DockerでbuildしたイメージはロケールがPOSIXになっている。これに起因して、文字コード変換まわりの不具合が発生したりする。 % locale LANG= LANGUAGE= LC_CTYPE="POSIX" LC_NUMERIC="POSIX" LC_TIME="POSIX" LC_COLLATE="POSIX" LC_MONETARY="POSIX" LC_MESSAGES="POSIX" LC_PAPER="POSIX" LC_NAME="POSIX" LC_ADDRESS="POSIX" LC_TELEPHONE="POSIX" LC_MEASUREMENT="POSIX" LC_IDENTIFICATION="POSIX" LC_ALL= よくあるLinuxのTipsとして /etc/default/locale をセットすればデフォルトのロケールを変更できるが、doc

ざっくりいうと awsのDeep Archiveを見つけて「もうＨＤＤなんて卒業だ！」と大量に大きいファイルのアップロードを仕掛けたら謎の料金請求が止まらず焦って調べたら、マルチパートアップロードが途中で止まった場合、アップロード途中のデータ分がS3料金で請求されるとわかった話。 対策もあるので、以下をご覧ください。 ことのはじめ 2019年のGWは10連休でした。 普通の連休ではできないようなことができましたね！ 私は…バックアップ体制の見直しをしました。 …って個人のファイルなんですけど。でも重要でしょ？ これまでは500GBの外付けハードディスクに保存してました。 でも…もう7年以上（！）使ってましたし、なんともセキュリティ確保のために毎度暗号化するのも面倒だなぁと思ってました。 もう少しGlacierの料金が下がらないかなぁ…と思っていたら！！ これいいじゃない！ $0.00099

本記事について 本記事は2019/5/24に開催した「経験ゼロから始めるAI開発/イラスト評価AIの仕組み解説セミナー」の内容についてまとめたものです。 記事概要 本記事はAI・機械学習について素人の状態から、業務で使用するAIシステムを開発するまでのプロセスや勉強方法について解説します。また、実際に開発したイラスト評価AIの仕組みについても概要を説明します。 これからAI技術を使ったプロジェクトを始める方、AI・機械学習の勉強を始める方を対象とした記事になります。 何を作ったのか 制作されたキャラクターイラスト画像に使われている塗り方の割合判定や、背景画像の有無、描き込み量、制作難易度を解析し、それを元に想定制作価格の算出や制作可能なイラストレーターのレコメンドを行うアプリを作りました。 本アプリを2019年4月のAI・人工知能EXPOに出展したところ、ITメディア様に取り上げていただい

0. はじめに --- グラフ探索の動機 現代ではコンピュータはとても身近なものになりました。コンピュータの用途としては シミュレーションなどの大規模計算を行う 人工知能をつくる アプリを開発する などなど多様なものが考えられますが、「探索」もまた、コンピュータを用いるモチベーションとして、最も基本的かつ重要なものの一つだと思います。探索とは、与えられた対象の中から、目的に合うものを見つけ出したり、最良のものを見つけ出したり、条件を満たすものを列挙したりする営みです。 世の中における様々な問題は、探索によって、考えられる場合を調べ尽くすことによって原理的には解決できるものが多いです。例えば、現在地から目的地まで最速でたどり着く方法を求める問題は、原理的には、現在地から目的地へ到達する経路をすべて列挙することで解決できます1。将棋やオセロの必勝法を求める問題は、原理的には、考えられる局面と

はじめに Docker Hubに公開されているイメージはどの程度安全なのか、 Dockle と Trivy を利用して検証しました。 検証結果は、 https://containers.goodwith.tech/ に公開しています。 結論 基本的にどのコンテナにも脆弱性はある！ 人気が高いコンテナ/最近ビルドされているコンテナでも関係ない！ ただ、Docker公式が用意しているコンテナは今のところ大丈夫。 より詳しいことを知りたい人は 操作方法 を見て、 https://containers.goodwith.tech/ を操作してみてください。 操作方法 ① ソートやフィルタが簡単にできます ※ Scoreは脆弱性のCVSSスコアなどを元にした参考値です。指標を一つに統一したかったので作りました。 ガチ勢の方々、怒らないでください & よりよい指標をつくるためのアドバイスをください。

Hello World, Bolt! ⚡️ Bolt フレームワークを使って Slack Bot を作ろう Published: 2019-08-09 Updated: 2020-02-11 OAuth 権限設定についての変更がありましたので、チュートリアルのその設定部分を追加しました。 ごく単純な Slack アプリを作るのはそれほど複雑であるはずはないのに、いざ作るとなると API ドキュメンテーションの中に埋もれてしまってどこから手をつけたらいいのかわからなかったり、パラメータの名前がちょっとだけ間違えてしまって思ったように動かなかったり。 でもそれを自分のせいにしないでください🙅。Slack のアプリ作成の手順は慣れていないとちょっとクセモノだったりするのです🤷。でもそれを少しでも軽減するためにもっと直感的に使えるフレームワーク Bolt をリリース、そして日本語ドキュメントも

トロピカル半環と呼ばれる代数構造上のトロピカル行列を利用すると動的計画法を使ってグラフの最短経路の距離を計算するという問題が単純な行列積で解けてしまうらしい。そんな噂12を聞きつけて我々はその謎を解き明かすべく南国（トロピカル）の奥地へと向かった。 トロピカルな世界に行くためにはまずは代数を知る必要がある。要するに群・環・体の話だ。しかしこの記事の目的は代数学入門ではないので詳しい話は他の記事3に譲るとし、さっそく半環という概念を導入する。それは 半環は以下の性質を満たす二つの二項演算、即ち加法（和）"$+$" と乗法（積）"$\cdot$" とを備えた集合$R$を言う $(R, +)$ は単位元 $0$ を持つ可換モノイドを成す: $(a + b) + c = a + (b + c)$ $0 + a = a + 0 = a$ $a + b = b + a$ $(R, \cdot)$ は単

要約 あ…ありのまま 今 思った事を話すぜ！ 「文字が文字で作れたら面白いよね？」 何を言っているのか わからねーと思うが、 おれも 何を言っているのか分からない。 兎に角、下記の作例集を見れば何がしたいのかが分かる。まずは見てね Colaboratoryで、前提一切不要＆ブラウザだけですぐ動かせるよ おれは　奴の前で文字を書いていたと思ったら いつのまにか絵を書いていた。と思ったらやっぱり文字を書いていた。 頭がどうにかなりそうだった 作例集① 殺伐としたウニ これがホントの「エビカニ、クス(笑)」 殺伐としたスレに鳥取県が！！ 島根県　（ ※「矛盾塊」と呼ばれているらしい） 瀧「リューク、目の取引だ」 アイドルの方の三葉が死ぬっ！ EVA こんなとき、どんな顔をしたらいいかわからないの ごめんなさい。作例集を見ても 「何がしたいのか」は分からなかったかもしれない。 「何が出来るようにな

はじめに 最近、AWSのシステム構成図を見ることが多くなり、AWS上で動いているシステムのシステム構成図を理解できるようになるために個人的に知っておきたいと思ったAWSの用語・サービスをまとめてみました。 私自身も勉強がてら作成したので、わかりづらい部分も多くあると思いますが、AWSのサービス全くわからん→なんとなく雰囲気把握した、となっていただけたらと思います。 2018年10月に新しくなったAWSアーキテクチャアイコンを使用しています。 サーバ・クライアントなどの説明についてはここではしていませんが、以下の記事でとてもわかりやすくまとめてくださっています！ 超絶初心者のためのサーバとクライアントの話 知っておきたい用語 リージョン AWSがサービスを提供している拠点（国と地域） リージョン同士はそれぞれ地理的に離れている（例えば日本とオレゴンとか） 日本はap-northeast-1（

HiveQLではスピードに難を感じていたため、私もPrestoを使い始めました。 MySQLやHiveで使っていたクエリを置き換える時にハマったTipsをまとめていきます。 AWS AthenaでPrestoを使っている方も増えてると思うので、Presto標準関数での記述例も拡充していきます。 Prestoとは Prestoはオンメモリで動く分散SQLエンジンで、その進化は目を見張る物です。 発表された当時は色々な成約があり使うことを躊躇していましたが、2015年頃からはもう使わない理由はなくなりました。 アドホックに使えるとても高速なSQLエンジンですので、バッチ向けのHiveのように実行結果を待つ時間はほとんどありません。 Hiveですと1つ1つの実行に時間が掛かるので、クエリに慣れていない新参者には辛い物がありました。 しかしPrestoではインタラクティブに実行できますので、トライ