はじめに 最近Kubernetesを習得するにあたり、クラウドネイティブ自体の理解度が不足していると感じたため体系的に学習しました。 今回学んだこと忘れず実務で必要になった時に参照できるよう、記事にまとめました。 クラウドネイティブとは 単にAWS等のクラウドサービスを利用すること = クラウドネイティブと認識していたが、少し違っていた。 正しくは、クラウドサービスの利点を徹底的に活用することで、アプリ開発とリリースを迅速・柔軟に行うことを意味している。クラウド利用は手段であり、昨今ニーズの高まってきた高速開発が目的にあるといえる。 つまり、単にクラウドサービスツールを使うだけではなく、組織文化や開発プロセスも含めて迅速・柔軟性を持たせることでクラウドネイティブが実現できる。 CNCFではクラウドネイティブ技術の代表例として以下を挙げている。 コンテナ マイクロサービス サービスメッシュ

【Core Web Vitals】Webパフォーマンスを改善するなら、まずは重要な指標について理解しようフロントエンドパフォーマンスCoreWebVitals パフォーマンス改善について連載します！ QiitaにてWebパフォーマンスの改善に取り組み始めました！ そこで、パフォーマンス改善をするためにどんな観点で分析をして、どのように改善をしようとしているかを記事にまとめてみようと思います。 ただ、パフォーマンス改善と言っても、関連する領域が広く、とても1記事にまとめられないので、複数記事に分けて連載していくことにしました。 今想定しているのは以下ですが、分量によっては記事がさらに分割されてしまうかもしれません。 シリーズ内容 (予定) Core Web Vitals/指標について 【←これ】 Lighthouse CI + Datadogを使ってパフォーマンスを継続的に計測する - Qi

はじめに 主に、機械学習をやろうと思い、google colab からまずは始めてみよう、と思った人向けに、ちょっとした tips や例題を紹介しておきたい。著者は宇宙天文分野なので、少し宇宙寄りな tips も書き留めておきます。 宇宙天文学に限らないと思いますが、特に最近は機械学習を捉えるときに、deep な neural net だけ知っていれば良い場合はほとんどなく、古典的なデータ解析や基礎的な手法から現状の機械学習の限界まで幅広く見渡せる視野の広さが大切になってきてる気がします。 その意味で、基礎技術(この記事はtensorflowの基礎に終始しますが基礎も大切という意味)の習得も大事にしつつ、高い視点、遠い未来を想像できる力もつけておくとよいはずです。 参考資料とか 特筆して紹介するまでもないとは思いますが、 物理と機械学習の関係については、「ディープラーニングと物理学　オンラ

この記事は「本番環境でやらかしちゃった人 Advent Calendar 2019」の1日目です。 https://qiita.com/advent-calendar/2019/yarakashi-production なかなか濃いラインナップが期待されますが、まずはさらっといきたいと思います。 具体性が乏しい部分もあると思いますが、そこはお察しください。。。 やらかし 背景（前提条件） いっていに昔の話です ETL（データ加工）サーバ 数十を超えるシステムからデータを集める BIツールなどで活用できるように各種加工処理を行い、DBなどにロードする 繁忙の違いはあれど、24/365で常時一定量の処理は稼働している 複数のチームが共存しているサーバ アプリ面では比較的疎 ETL処理のリリース前に本番サーバ上で試験をする取り決めになっていた 性能や本番相当データのテストが安全に行えるような環境

概要 cotoha apiには固有表現抽出APIがあり、いつどこでみたいな情報が取れるらしい。 今回はTwitterのニュースから、いつ、誰がみたいな情報を抽出した。 抽出例 こんな感じの情報がとれました。 アメリカの俳優のキャメロン・ボイスさんが20歳で亡くなりました。 APIの詳細 固有表現抽出APIは、入力として日本語で記述された文を受け取り、人名や地名、日付表現(時間、日付)、組織名、量的表現(金額、割合)、人工物の8種類の固有表現と、200種類以上のクラス数を持つ拡張固有表現を出力します。 (https://api.ce-cotoha.com/contents/reference.html#api-Ne から引用) 入力文に対し、固有表現クラスがつけられ、存在すればより詳細な拡張固有表現クラスが付与される。 例えば、「俳優」に対しては固有表現でART、拡張固有表現でPositio

2019/5/26 はてブで話題になっていたので慌ててアップデート、Docker実践ガイド 第2版が発売されていたので追記&修正しました。 はじめに 本投稿はRecruit Engineers その2 Advent Calendar 2018の5日目の投稿です。 そもそものきっかけ Rancher もくもく勉強＆相談会 #02にて、現代的なインフラエンジニアとして どのようなことを勉強したらよいかという相談を受けたので、書籍ベースで改めて考えてみました。 ”どんな本でしたか”くらいしかまとめてないです。そのまとめも私の完全な主観である点はご注意ください。 筆者は何者？ Web系の会社でインフラエンジニアをやっています。 パブリッククラウドやコンテナ系の技術をベースに先進アーキテクチャの装着みたいな役割で 新規サービスを中心にインフラアーキテクトみたいなお仕事をやっています。 具体的には、ア

営業一課で使っている PHPアプリを保守してくれないかな？ ○○さんが１人で作ってメンテしてたやつなんだけど 皆さんは上司からこんな仕事を振られたことはないでしょうか？私は過去に何度か経験した1のですが、こういった仕事はなぜか： 正確な仕様を知っている人はいない（知ってた人は辞めた） テスト計画書・デプロイ手順書・仕様書といったドキュメントは無い ソースコードはもちろんスパゲッティ でも、業務ではガッツリ使われているので廃止できない というレガシープロジェクトばかりでした。この記事では、レガシープロジェクトを引き継いでしまった時に、最初に何をするべきか書いていきたいと思います。 なお、ここで最悪なのは「とりあえず、緊急の不具合から直してしまおう」と、いきなりコードの修正にかかることです。 ※おことわり： この記事では「遵法的な職場の」「PHPやRailsで書かれた」「社員25人が使う」「業

はじめに 少し前(2019年4月頃)に、「AI人材」という言葉がニュースを賑わせていました。「現在流行っているディープラーニングその他を使いこなせる人材」くらいの意味だと思いますが、こういうバズワードの例の漏れず、人によって意味が異なるようです。併せて「AI人材のために線形代数の教育をどうするか」ということも話題になっています。 線形代数という学問は、本来は極めて広く、かつ強力な分野ですが、とりあえずは「行列とベクトルの性質を調べる学問」と思っておけば良いです。理工系の大学生は、まず基礎解析とともに線形代数を学ぶと思います。そして、何に使うのかわからないまま「固有値」や「行列式」などの概念が出てきて、例えば試験で3行3列の行列の固有値、固有ベクトルを求め、4行4列の行列の行列式を求めたりしてイヤになって、そのまま身につかずに卒業してしまい、後で必要になって後悔する人が出てきたりします(例え

はじめに 『レンダリングの仕組みなんて知らなくても、ブラウザが勝手にやってくれるじゃん！』 当時駆け出しのエンジニアだった私はそう思っていました。 実際、当時の私はレンダリングの『レ』の字も知りませんでしたが、特に業務上で問題はありませんでした。 しかし、その時は突然訪れました。 クライアントの要望でアニメーションを多彩に取り入れた案件を実装した際に、テスト段階で一部ブラウザ（S○f○ri、E○ge）でアニメーションがひどい状況になっていることが発覚しました。 (開発中はChromeで確認を行っており、Chromeでは特に問題はなかったので発覚が遅れました。) それからは、狂ったようにパフォーマンスの改善方法をググり、修正する日々が続きました。（最終的には、なんとかマルチブラウザでの動作も担保し、納品まで完了しました。） その案件が落ち着いた後、改めて自分の調べたことを振り返ると、局所的な

『Treasure Data でアクセスログ分析の限界に挑む』その③ 〜アクセスに基づいたユーザーセグメントの作成 月次編（平日/土日）〜SQLTreasureDataデータ分析Prestoアクセス解析 はじめに 本シリーズは，Treasure Data，つまり基本SQLで実現可能な様々なアクセスログ分析事例を具体的なクエリと可視化を交えて紹介していくブログです。多くは当たり前のものですが，時には実に良く捻られたものと思って頂けるよう，私が知りうる限りの全ての事例を提供していく予定です。 今回の内容を理解するに当たって，参考になる記事を挙げておきます。 『優しく学ぶ Treasure Data』その① 〜日付関数（DATE UDF）を理解しよう〜 『Treasure Data でアクセスログ分析の限界に挑む』その① 〜「日次」「週次」「月次」の集計を正しく理解する〜 『Treasure D

ってやってしまった。 ぎゃぁぁあああああああーーーーーーーー！！！！！！！！ と叫んでも遅し、、、処理が走ってしまい止められなくなってしまいました。 処理の途中に 「公開鍵を上書きするかどうか？」とか出てきて、 n として回避した後、今は無くなっているレポジトリから git clone しようとしたところで、アカウント確認のために処理が止まり、そこで、 Ctrl + c で強制終了できました。 解説 source コマンドは、ファイルに書かれたコマンドを現在のシェルで実行するコマンドです よって、私がミスして実行してしまった処理の内容は、 .zsh_history にファイルに書かれたコマンドが1行ずつ実行する。という内容になります。 .zsh_history には私が過去に打ったコマンドがすべて記録されているため、つまり、それらのコマンドが順に実行されていくということになってしまいます。

背景 シェルスクリプトを書くことが結構あるのでその備忘録代わりに記事を書いてみました。 特殊変数とは 特殊変数とは シェルによって自動的に値が設定される特殊な変数がいくつかあり、それら特殊な変数を参照することにより、様々な情報を取得することができる。 変数名 説明

SSHとは SSHとは、セキュアな通信を行うためのプロトコルです。 たとえば、HTTP。HTTPを通してブラウザからWebサイトにアクセスし、 コンテンツを閲覧したりWebアプリを利用したりします。 この「HTTP」というのもプロトコルの一種です。 HTTPもSSHもOSI参照モデルと呼ばれる層の最上位、アプリケーションレイヤーに位置しています。 なお、よく聞く「OpenSSH」とは、このSSHのプロトコルを実現するための 有名なソフトウェア（プログラム）のひとつです。 FTPのプロトコルで言うFileZillaとか、そういったイメージです。 このSSHを使うと、リモートサーバに安全にログインできたり、 ファイルをセキュアに送受信することができたりします。 SSHは「Secure Shell」の訳で、リモートシェルに特化しています。 公開鍵認証という仕組みを用いて、セキュアな通信を実現して

コメント欄にも他の方のおすすめAPIを書いてくれているので是非見てください！ Google Sheets API 公式：https://developers.google.com/sheets/api/reference/rest/ 数万行のGoogleスプレッドシートの読み取り・書き込み処理などができます 読み取りだけであればAPIkeyの発行だけでできますが、書き込みにはOAuth認証が必要です 参考：PythonとSheets API v4でGoogleスプレッドシートを読み書きする Google YouTube Data API 公式：https://developers.google.com/youtube/v3/docs/ YouTubeを検索して動画・再生リスト・チャンネルなどの一覧などを取得したり、更新したりすることができます 検索条件で地域(regionCode: JP)

最近、私的にDockerで遊んでいるのですが、Dockerを使っていると様々なライセンスを有したオープンソースソフトウェア（OSS）と遭遇します。自分が知らない間に著作権に抵触してしまうことが怖かったので、OSSのライセンスについて以下の流れでまとめてみました。 「ライセンス関連用語」を理解する 「オープンソースの定義」を理解する 「コピーレフト」を理解する 「主要ライセンス」を理解する 1.「ライセンス関連用語」を理解する OSSを理解するにあたって、まずは主要なライセンス関連用語の定義を理解することが重要です。私の場合は、「使用」と「利用」の違いや「オープンソースソフトウェア」と「フリーウェア」の違いについて、恥ずかしながら明確に理解できていませんでした。。。 【オープンソース・ソフトウェア（Open Source Software, OSS）】 ソースコードが無償で公開されており、誰

「機械学習が出来るようになりたい」そう思いつつも、中々身についた感じがしない。 そんな方々に向けて、Kaggleで公開されているデータ分析の手順を追いかけながら、そこで必要とされている知識を解説したいと思います。全体像を把握することで、より理解が進むはずです。 1. データを分析するために必要な統計的知識 機械学習の目的は未知の事柄を推定することです。そのために既にあるデータから何らかの法則性を見つけ出す為に様々な手法が考えられてきました。 統計学はご存知でしょうか？　機械学習はデータを扱うという点で統計学と深い関係があります。平均値や標準偏差などは聞いたことがあると思います。統計学はそれらの情報をこねくり回すことによって、限られたデータから本当の全体像を推定します。例えば、選挙の結果を開示前に知りたいときに、投票者全員に聞ければ良いですが、そうもいきません。そこで、統計学は様々な方法を使

やりたいこと LINEbotに自分の部屋の気温を聞いたら返ってくるようにしたい！IoTやりたい！！！ 必要なもの ・Raspberry Pi 3 modelB ・DHT22（温度センサ） ・ブレットボード ・ジャンパー線 ・LINEアカウント ※センサ類は秋月などでの購入をお勧めします。 参考サイト ※参考サイト見れば全部できちゃう。 ①LINE Messaging APIをngrok経由でRaspberry Pi 3で使ってみる（サンプルbot編） ②温度/湿度センサーDHT22をRaspberry Piで使用する方法 LINEbot作成 まず、LINEbotを作成するためにLINE Developerにログインをします。 メールアドレスとパスワードはLINEで設定したものになります。 ①左にある新規プロバイダーをクリックしましょう。 ②プロバイダー名を決めて確認ボタンを押します。 ③M

とりあえずyum installでパッケージをインストールできるんでしょぐらいな認識で使ってたのですが、 教えてもらう機会があったので、追加で調べたりもしてまとめました。 yumとは Yellowdog Updater Modifiedの略で、RedHat系ディストリビューション（CentOSやFedoraなど）で利用されるパッケージ管理ツールのことです。 apt-getとかaptはDebian系ディストリビューション（Ubuntuなど）で利用されています。 パッケージ/リポジトリとは yum / rpm / パッケージ / リポジトリ とは Linux/Unix における パッケージ とは、ある機能を持ったプログラムの集合です。 レポジトリ とは、パッケージが保存されている場所です。 サーバシステムにおけるレポジトリとは、公開されているネットワーク上のどこかにおかれていることを指す場合が

はじめに 本稿は、拙書のエンジニアリング組織論への招待～不確実性に向き合う思考と組織のリファクタリングに関する参考となる書籍を企画意図とともにあげていく試みです。できる限り、専門書ではなく平易な文体の書籍を参考としてあげていきますので、このあたりを深掘りしたいなと思ったら、その箇所のみの参考書籍を併読していただけるとより理解が深まると思います。 Chapter 1　思考のリファクタリング 第１章は、「仕事」と「学力テスト」という２つの違いを論じながら、１６世紀から２０世紀初頭にいたるまでの科学哲学の歴史を辿っていくというのが「裏テーマ」となっています。そこから、「知識を得る」とは何かということを浮き彫りにし、それこそが<エンジニアリング>であると論じるということが本書を通じた論理展開の骨子です。 そのため、直接の参照ではありませんが、科学という概念が西洋社会でどのように生まれてきたのかとい

最近バーチャルユーチュ－バーが人気ですよね。自分もこの流れに乗って何か作りたいと思い、開発をしました。 モーションキャプチャー等を使って見た目を変えるのは かなり普及しているっぽいので、自分は声を変えられるようにしようと開発しました。 やったこと キズナアイさんとねこますさんの、それぞれの声を入れ替えられるようにしました。これによって、ねこますさんのしゃべった内容を、キズナアイさんの声でしゃべらせることができます。(逆も) 機械学習手法の一つであるCycleGANを用いて、変換するためのネットワークを学習しました。 パラレルデータ(話者Aと話者Bが、同時に同じ内容を話した音声)が必要ありません 。YouTubeから拾った音声でも変換ができます。 当然ですが、一度学習すれば、利用時には何度でも繰り返し利用できます。 期待できる効果 見た目だけでなく、声まで美少女になれます。やったね。 他にも