Airflowに関する個人的FAQ | DevelopersIO
Airflowを触っていて個人的にハマったことなどをFAQ形式でまとめてみました。全然Frequentlyじゃない気がするのはきっと気のせいです。 Airflowを触っていて個人的にハマったことなどをFAQ形式でまとめてみました。全然Frequentlyじゃない気がするのはきっと気のせいです。 以下、バージョンは本記事公開時の最新 1.10.2 です。 インストール インストールが失敗するのですが？ 普通に pip install apache-airflow とすると以下のエラーで失敗します。 RuntimeError: By default one of Airflow's dependencies installs a GPL dependency (unidecode). To avoid this dependency set SLUGIFY_USES_TEXT_UNIDECOD
M5Stack −LCDとWi-Fi付きの小型マイコン− と開発環境M5Cloudをためしてみる #m5stack | DevelopersIO
はじめに M5Stackを買ってみました。M5Stackとは、液晶ディスプレイとWi-Fi+Bluetoothを搭載したマイコンモジュールです。5.5cmの正方形の小さな筐体に、MCU, 液晶、Wi-Fi、加速度センサ、スピーカ、バッテリが搭載されています。さらに別売りのGPSやLORA, 各種センサやキーボードなどを積み重ねる(=stack)ように接続して拡張が可能という、楽しそうなキットです。 以下公式サイトです。 http://www.m5stack.com/ Webを見ると、いろいろなモジュールが提供されていて、いろいろと想像が膨らみます。ブレッドボードと接続するためのケーブルや、ユニバーサル基板のプロトタイピングボードも提供されているので、電子工作にも活用できます。 ゲーム機や携帯電話のようなケースも提供されています。(ゲームに関しては、いろいろと面白いことができるようです。お好
Serverless FrameworkでGolangのLambda関数を作成してみる | DevelopersIO
はじめに 先日、AWS LambdaでGolangがサポートされました。それに伴い、Serverless FrameworkでもGolangが使えるようにようなので(※)、試してみました。 ※ 厳密には以前から追加モジュールなどを使えばできましたが・・・ 手順 以下の手順でできました。今回作るプロジェクト名は「goserverless」とします。 1. Serverless Frameworkをインストール Serverless Frameworkをインストールします。今回は作業フォルダ内のローカルにインストールしました。グローバル領域にインストールする場合は、以降の「serverless」コマンドを「./node_modules/.bin/serverless」などではなく「serverless」としてください。 $ npm install serverless 2. プロジェクト作成
[速報] Lambda開発向けのVS Code拡張機能が公式提供されました! #reinvent | DevelopersIO
おつかれさまです。サーバーレス開発部の新井です。 AWS re:Invent2018のKeynote２日目に AWS Toolkits for PyCharm, IntelliJ (Preview), and Visual Studio Code (Preview) が発表されました！ https://aws.amazon.com/jp/blogs/aws/new-aws-toolkits-for-pycharm-intellij-preview-and-visual-studio-code-preview/ ここで、 AWS Toolkit for popular IDEs をアナウンスします！主要な統合開発環境に、AWSの機能を容易に活用できるようにするものです。 #reInvent pic.twitter.com/INyfRFQoga — AWS / アマゾンウェブサービス (@aw
![[速報] Lambda開発向けのVS Code拡張機能が公式提供されました! #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/4f50b21cd2f858d704a6c7a1be569ea914890329/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2018%2F11%2Faws-toolkits_for_polular_ids_1200x630.jpg)
[Lambda] VPC Lambdaの起動タイムラグを測定してみた | DevelopersIO
はじめに 2016年2月にVPC内で利用可能となり、RDS、ElastiCache などにプライベートIP接続が可能となった AWS Lambdaですが、 VPC アクセスに用いられるENI(Elastic Network Interface)の作成、アタッチが発生するため、初回実行時に一定の遅延が生じる事が知られています。 この遅延、LambdaのCloudwatchメトリック 所要時間 (Duration)としては計上される事はない為、 イベントをトリガとして起動するLambdaでは、確認する事が困難でした。 今回、簡易な検証ですが、KinesisとLambdaを用いて、VPC Lambdaで生じるタイムラグを確認する機会がありましたので、紹介させて頂きます。 参考リンク AWS LambdaのVPCアクセスに関して少しだけ解説 検証方法 概要図 現在時刻(ミリ秒)を取得し、Kines
![[Lambda] VPC Lambdaの起動タイムラグを測定してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/a7161d2e1b565ee8dfc12e465ff4e95910761254/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F11%2FAmazonLambda.png)
Amazon CloudWatch Logs Insightsでログの高速な分析が可能になりました #reinvent | DevelopersIO
大栗です。 現在re:Inventに来ています。新サービスラッシュに大忙しなのですがCloudWatch Logsの分析機能が登場したのでレポートします。 Amazon CloudWatch Logs Insights Amazon CloudWatch LogsにはAWSのサービスのログが大量に出力できます。VPC Flow Logs、Route 53 log、CloudTrail、ECSログなど様々なログがあります。これらのログを分析するためにはデータをエクスポートして分析を行う必要がありました。今回のアップデートによりログの分析をCloudWatch Logs上で行えるようになりました。 CloudWatch Logs Insightsでは数秒で大量のログデータを読み込み、クエリを発行でき可視化も行えます。CloudWatch Dashboardにクエリを追加することも可能です。 ク
AWS SDK for Go で Amazon S3 Select を試してみた | DevelopersIO
Amazon S3 Select （以降S3 Select）はAmazon S3に保存したオブジェクト（CSVまたはJSONファイル）からSQLでデータを抽出できるサービスです。 サービスのリリース当時はS3 Selectに対応したAWS SDKはJavaとPythonのみでしたが、ここ数ヶ月間でその他SDKでの対応がアナウンスされています。 Introducing support for Amazon S3 Select in the AWS SDK for Ruby | AWS Developer Blog Introducing support for Amazon S3 Select in the AWS SDK for Go | AWS Developer Blog Introducing support for Amazon S3 Select in the AWS SDK f
ブラウザでKubernetes！Kubernetesプレイグラウンドでクラスタを構築してみた | DevelopersIO
こんにちは。城岸です。 最近社内ではKubernetesもくもく会が開催されており、Kubernetesチョットデキルおじさん(言葉の通り)が日に日に増えています。 本日はそんなもくもく会の中で出会ったKubernetesプレイグラウンドについて紹介したいと思います。 Kubernetesプレイグラウンドとは Docker,Inc.が提供するKubernetesを手軽に試すことのできるサイトです。 表示された手順を実行することでKubernetesクラスタを簡単に構築することができ、また、クラスタ上で任意のコンテナを起動させることができます。 ただし、以下の制限事項もあります。 インスタンスは5つまで 制限時間は4時間 機能制限あり このような制限事項はありますが、研修やハンズオンなどでは十分利用できるのではないかと思います！ ということで早速試してみました。 やってみた Kubernet
[日本語Alexa] 社員証をかざして出退勤を記録するスキルを作ってみた | DevelopersIO
1 はじめに 今回は、カードリーダーとAlexaの連携サンプルとして、出退勤を記録するスキルを作ってみました。 社員証を使用することで、誰がAlexaに話しかけたのかを判別しています。 最初に、動作している様子をご覧ください。 社員証をかざすと出退勤が記録できます。社員証をかざさなかったり、社員証以外のカード（Felica）を提示すると怒られます。 2 構成 構成は、図のとおりです。 カードリーダーに社員証をかざすと、IDを読み取ってMQTTでパブリッシュします。AWS IoT Coreでは、ルールに基づいてその内容をDynamoDB(カード情報保存DB)に書き込みます。 Echoから呼び出されたスキルは、最初にカード情報保存DBを確認し、10秒以内に更新された情報を対象に、カードのIDが有効なものかを確認してから動作を初めます。 スキルは、社員証が有効な場合のみ、勤怠記録DBに出勤若しく
![[日本語Alexa] 社員証をかざして出退勤を記録するスキルを作ってみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/75df47637fb71b53004a1b41531855e07faeff1d/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2017%2F07%2Falexa-eyecatch.png)
Chrome拡張”GitHub Selfies”でGitHub上のコミュニケーションを最高にエモくする | DevelopersIO
GitHub Selfiesは、GitHubにあなたの顔写真を素早くアップロードできるChrome拡張です。 最高であることを伝える時に、「最高」というテキストだけではなく「最高だと感じていそうな顔」を添付することで、さらに強く感情を伝えることができます。 コミュニケーションの温度感をどうすべきか悩んでいたことがありました。今の所、良いことは感情的に、悪いことは淡々とコミュニケーションするのが良いのかな、というところに落ち着いています。 GitHub上でのコミュニケーションにおける感情の表現方法として、例えばLGTM画像であったり、エモティコンであったり、単純に言い回しを工夫するなどの手段があります。 しかし、今回ご紹介するGitHub Selfiesを見つけた時、この方法がもっともエモーショナルなコミュニケーション方法なのではないかと感じました。 GitHub Selfiesとは 以下の
第８回 Elasticsearch 入門 API の使い方をハンズオンで理解する 〜後編〜 | DevelopersIO
前回に引き続き、今回もハンズオンです。後編では、仮想 Classmethod 社の社員情報をサンプルデータとして用意しました（※ もちろんデータは本物ではありませんのでご安心ください。）。 このサンプルデータを使用して、検索や分析方法を API を使って説明します。 環境のセットアップがお済みでない方は、前回の「第７回 Elasticsearch 入門 API の使い方をハンズオンで理解する 〜前編〜」の「事前準備」の章を参考にセットアップしてください。 サンプルデータのインデックス ハンズオンを始める前に、以下の手順でサンプルデータをダウンロードしてインデックスしてください。 employees.jsonl を含むサンプルデータは こちら からダウンロードできます。 cd employees # 1. add index template. curl -XPUT 'localhost:9
Zsh + Prezto で快適コマンド環境を構築する | DevelopersIO
Prezto 今回はコマンドライン環境の話です。私は以前より oh-my-zsh を利用していましたが、テーマの調子が悪かったので Prezto に乗り換えてみました。結構快適だったので、いまは Prezto を使っています。 本稿では Zsh + Prezto で快適なコマンドライン環境を構築する方法について簡単ですがご紹介します。 Zsh + Prezto 環境を構築する 環境構築の手順については README に書いてありますので、手順通り進めれば問題なく環境づくりができると思います。なお、コマンド実行すると .zlogin .zlogout .zprofile .zshenv .zshrc のシンボリックリンクを貼るので、oh-my-zsh から乗り換える場合など、既存の Zsh 環境を引き継ぎたい場合は各設定ファイルを退避させておきましょう。 // Zsh起動 $ zsh //
[Ruby on Rails]sorceryによる認証 – (4)パスワードリセット | DevelopersIO
はじめに 前回に引き続きsorceryによる認証についてです。今回はパスワードリセットを実装してみました。 今回もsorceryで認証ができるアプリに機能を追加する形で実装していきます。またパスワードリセット時にメールを送信するため、ActionMailerの設定も必要です。予め以下の記事を参考にemail・passwordでアカウントを登録し、ActionMailerでメールを送信できるアプリを作成しておいてください。 公式チュートリアル(Simple-Password-Authentication) 公式チュートリアル(User-Activation) 以前の記事 パスワードリセットの画面フロー 今回作成する機能のイメージを掴みやすくするため、画面のスクリーンショットを遷移順に貼っておきます。 1.ログイン画面 ログイン画面の下部にパスワードを忘れた場合にメールアドレスを入力する欄があ
![[Ruby on Rails]sorceryによる認証 – (4)パスワードリセット | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/c4ba9673af464883e264d1d320af2d2947fae03d/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2013%2F11%2Frails.jpg)
Google Chrome Extensionを作ってみた-その4- | DevelopersIO
はじめに 今回はオプションページについてです。 オプションページは必須ではないのですが、それなりに大きなエクステンションを作ろうと思うと、設定保存は必要になると思うので紹介します。 作るもの オプションページで、文字列を一つ設定して記憶できる様にする ツールバーボタンを押下してポップアップ画面でその文字列を表示する という簡単なエクステンションを作ります。 作ってみる まず、オプションページをエクステンションの画面に出すには、manifest.jsonに"options_page"という項目と定義します。今回はオプションのページとして表示するhtmlをoptions.htmlとし、次の様に設定しました。 { "name": "OptionSample", "version": "1.0", "permissions": [ ], "browser_action": { "default_i
rbenv を利用した Ruby 環境の構築 | DevelopersIO
こんにちは、クラスメソッドの稲毛です。 複数バージョンの Ruby を切り替えるだけでなく、ローカルディレクトリ毎に Ruby のバージョンを指定できる「 rbenv 」がとても便利だったので、インストール方法などを記しておきます。 ビルド環境の構築 Ruby をビルドする環境が構築されていない場合は、下記 ruby-build の Wiki を参考にビルド環境を構築する。 Suggested build environment rbenv + ruby-build のインストール rbenv で Ruby のインストールを行うので rbenv のプラグイン「 ruby-build 」を併せてインストールする。 Linux の場合 ここでは既に Git がインストールされているものとします。 $ git clone https://github.com/sstephenson/rbenv.
Karma(元Testacular)を使って簡単にテストを実行しよう | DevelopersIO
Karmaとは 昨年、Googleがnode.jsベースのJavaScriptテストランナー、「Testacular」をオープンソース化しました。 このツールは元々AngularJSのためのテストフレームワークとして作られたそうで、 クライアントサイドのJavascriptコードのテストを簡単に実行することができます。 このツール自体はテストランナーで、JasmineやMochaなどのテストフレームワークを使用してテストを行います。 先日このプロジェクトの名前が変更され、「Karma」という名前になりました。 今回はKarmaのインストールからテスト実行(+ Gruntでの実行)までをおこなってみます。 環境構築方法 今回使用した動作環境は以下のとおりです。 OS : MacOS X 10.7.4 Node.js : v0.10.0 npm : 1.2.14 Grunt : 0.4 npm
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
