XRミーティング 2022/04/20【AR/CR/MR/SR/VR】(https://osaka-driven-dev.connpass.com/event/244101/)登壇資料。 XRコンテンツ開発を容易にするための標準規格について調べてみた話。OpenVRを使いたいときにそれ自体のSDKがあるのかわからなくて基本的なことを調査した。
![Spring 5に備えるリアクティブプログラミング入門](https://cdn-ak-scissors.b.st-hatena.com/image/square/4daf05899c4bad318bf608d2b4423faa52c11e31/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fspringdayreactive-161118064400-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
概要 メモリリークやデッドロックなどの問題を解析する方法はインターネットにたくさん公開されています。しかし、解析の対象となる問題自体は、いつ、どのようなものが目の前に現れるか分からないので、実際に問題に直面するまでに、体系的に解析の方法を習得し、実践しておくのはなかなか難しいことではないかと思います。 そこで、実践形式で学習ができるように、問題を意図的に再現可能なバグだらけのWebアプリケーションを開発し、Qiitaにもそれに関する情報を公開してみました。このWebアプリケーションは、コマンド1つでビルドや起動ができるとても手軽なものなので、実験や教育の目的でも活用できると思います。 このWebアプリケーションを使って、これからいろいろな問題(バグ)とそれを解析する方法を少しずつ紹介していきたいと思います。 ということで、第1回目に紹介するバグは、Javaのスレッドのデッドロックです。 デ
参考URL Kibanaの運用で注意すること - Carpe Diem fluentd -> Elasticsearch 大量データ転送でトラブル | diaspora Configuration ElasticSearchのfield data cacheについて - サナギわさわさ.json Field data Restarting a 2-node elasticsearch cluster with zero downtime - Stack Overflow Elasticsearchのマスタノードがダウンするとクラスタ全体がダウンする - Qiita elasticsearchの起動時にUnknownHostExceptionが発生した場合の対処方法 - Qiita ElasticSearchの運用とか (2) - なんかかきたい Elasticsearch導入前に気を付けて
ログ可視化ツールの 3 点セット、Fluentd + Elasticsearch5 + Kibana5 を試すメモ 5 回目。前回は Elasticsearch に登録されてから一定期間を過ぎたログを自動的に削除するところをやりました。 これまでの状態で Elasticsearch をしばらく動作させていると、Kibana が応答しなくなる現象が発生しました。調べてみると Kibana ではなく Elasticsearch がメモリ不足で落ちている様子。Elasticsearch を動作させているマシンのメモリは 2GB。 低スペックのサーバでも動作させられるように Elasticsearch のメモリ使用量を減らす方法を調べました。 目次 Elasticsearch のデフォルトのメモリ使用量は 2GB くらい Java VM のヒープサイズを調整する インデックスのキャッシュ量を調整す
概要 以前Prefix Query の注意 - Carpe Diemで述べたように、PrefixQueryはsearch queryがnot_analyzedになるので意図しない結果になることがあります。 一方で前方一致は検索の利便性を向上させる上でメリットが大きいので、入れておきたい要素でもあります。 今回は前方一致を考える上で何が良いかを調べてみました。 環境 Elasticsearch 5.2.1 Prefix Query メリット 文字通り前方一致のクエリであることが分かる デメリット search analyzerは指定できないので、index時にnormalizeで小文字などにしてしまうと、大文字による検索でヒットしない 内部的にはregexpによる一致なので短いと重い 特に後者は短い文字でも表示する場合だと非常に無駄が多く、 ref:Elasticsearch Queries
先日自分が所属しているサンノゼのスタートアップでバックエンドにServerless Framework(AWS上でNode.js)を使ったサービスをリリースしたので、ハマりポイントをまとめておこうと思います。 AWSのサービス自体のハマりポイントだったりしますが気にせず行きます。 コールドスタートが遅い この辺にある通りですが、LambdaFunctionは初回呼び出し時やしばらく呼ばれなかった後に呼ばれたときはresponse timeが数秒になったりします。さらにVPC内で動かす場合は10秒以上になることもあります。なので、(ユーザ数いっぱいのアプリで常にアクセスある場合等を除いて)keepalive的なスクリプトが必要になります。間隔は不明ですが、今の所5分起きくらいに呼んでて特に問題になったことはないです。 ちなみに遅い理由はLambdaFunctionはコンテナ上で動くのでコール
タグ 保湿DNS子供ブラックサンタIDCFクラウドMastodonClamAVりべるら仕事猫インストールExcel大分研修クリスマスMuninGeoIPCentOS7熊本KubernetesSWX2300Laravel求人躾アンチウィルスGitAnsibleConoHa VlanWindows ServerEC-CUBERTX1200海外貧困教育バグトラッキングDrupalLarabelgoofysthinkpad x240 修理現場猫ジェネリック家具、DFVロードバランサイエモンSIMフリーSESVPNAWS CLIRTX1100DoSひったくり開発THE YELLOW MONKEY機種変更ACMYAMAHA RTXFuelPHPMySQLPercona XtraBackup放火ELB小技ALB地震セミナー日本工学院OpenCVApacheRTX1210XAMPPゆるいハッキングセミナー
2017/02/16 Developers Summit 2017
前回説明したLINE BOT(画像スタンプBOT)ですが、画像表示のためのアーキテクチャはいろいろ応用が効く部分なので、今回はもう少し詳しくご紹介します。 matsukaz.hatenablog.com 実現したいこと 画像スタンプBOTの場合、LINEのトーク上に画像を表示するためには HTTPS JPEG 縦横最大1024px 最大1MB という要件を満たす必要がありました。 インターネット上の画像はHTTPであったり画像サイズや容量が大きかったりと、必ずしも上記の要件を満たしているとは限らないです。 そこでAWS Lambda + API Gateway + CloudFrontを組み合わせることで、これらの要件を満たした画像配信を実現しました。 前回の図で言うと、右下の CloudFront → API Gateway → AWS Lambdaの流れです。 アーキテクチャ構築手順
Lobiチームの吉村(moulin)です。 今回は、Lobiのチャットの投稿画像やユーザアイコンなどの画像ファイルをwebp形式で配信して通信量を削減した話について紹介します。 TL;DR 画像配信について 画像変換サーバのwebp変換対応 AWS Athenaを使ったCloudFrontのログの集計 画像配信について Lobiの画像配信ではAWS CloudFrontを利用しています。ユーザーから画像のリクエストがあった場合、CloudFrontにキャッシュが存在すればキャッシュを返します。無い場合は画像変換サーバにリクエストを渡して、画像を生成してもらいます。画像変換サーバが生成した画像をCloudFrontが受け取り、画像をユーザに配信します。一度ユーザに配信がされるとCloudFrontはその画像をキャシュするため、次からは同じ画像のリクエストが来た場合は画像変換サーバーにリクエス
ワークフローサービスとして発表されたStep Functions。 他のワークフローサービスにSimple Workflow(SWF)もありますが、新規アプリケーションの場合はStep Functionsの方を検討することが推奨されています。ニーズを満たさない場合はSWFを使用してみてよいそうです。 Step functionsには現在6種類のblueprintがサンプルとして用意されています。 こちらのコードを眺めるだけでも仕様が最低限必要なことが把握できるように思われます。 最初に用意されたBlueprintを眺めて、最後に定義された全種類のStateを用いてステートマシンを作成します。 Blueprint Hello World { "Comment": "A Hello World example of the Amazon States Language using a Pass
ポイントは、インプット(文字起こししたいメディア)とアウトプット(文字起こしテキスト)が異なる AWS アカウントの S3 バケットに保存される点です。 ユーザーの管理する S3 バケットに文字起こししたいメディアをアップロードし、このメディアを Amazon Transcribe が読み取れるように、バケットポリシーを変更します。 文字起こし後の … 続きを読む → さらに表示: aws lambda python, looking f, aws emr hadoop hamburg freelancer, aws emr oozie, python html include html, aws emr, aws ses python, aws boto python code, looking emr, python aws s3, aws python jobs, looking p
_____ _ ____ __ __ _____ | || | / || |__| |/ ___/ | __|| | | o || | | ( \_ | |_ | |___ | || | | |\__ | | _] | || _ || ` ' |/ \ | | | | || | | \ / \ | |__| |_____||__|__| \_/\_/ \___| Welcome to the flAWS challenge! Brought to you by Scott Piper Through a series of levels you'll learn about common mistakes and gotchas when using Amazon Web Services (AWS). There are no SQL injection, XSS, buffer ove
こんにちは、カスタマーサポート課 マツシタです。 昨年のre:Inventで発表されたOrganizationsがついにGAとなりましたね! このサービスを待ちに待っていたのは私だけじゃないはずです。 Now Generally Available – AWS Organizations: Policy-Based Management for Multiple AWS Accounts はじめに まず、このOrganizationsは請求アカウントでしか利用できません。なので、残念ながら、pieCeをご利用のお客様にすぐ体感いただくことはできません。サービス仕様がはっきりしてきましたら、pieCeのお客様にもサービスを使っていただけるように方法を模索いたしますので、しばらくのご辛抱をお願いいたします。 何回かに分けて、その機能を紹介させてもらいたいと思っています。今回はすでに請求アカウン
ども、大瀧です。 AWS Elastic BeanstalkのDocker対応、Amazon ECSの正式リリースからちょっと経ちますが、皆さん使っていますか?業務用途だとDockerイメージを共有するためのプライベートなDockerリポジトリが欲しくなるところですが、マネージドなDockerリポジトリサービスは現在AWSでは提供されていないため、自前で用意することもあると思います。今回は、自前でDockerリポジトリを構築するときのTipsをご紹介します。 Docker Registryを使う Dockerリポジトリは、Docker RegistryというDocker公式のリポジトリ実装が公開されているため、特別な事情が無ければこちらを利用するのが良いでしょう。大規模なケースであれば、まだリリース前ですがDocker Hub Enterpriseという選択肢も頭の片隅に置いておいて良いか
2017 - 02 - 28 いまさら docker-compose エンジニアリング Tweet ここ数日、Railsアプリの開発環境をDockerに移行できないかなと思って触っていた。Dockerについては昔から横目でウォッチしていたものの、実際にRailsアプリの開発環境をDockerコンテナ上で作る機会がなかったので、いまさら試した。 触ろうと思って調べると、意外と日本語記事が古かったり、不満が多かったので、ここでは軽くTipsなんかをメモしておきたいと思う。 前提の環境としては 既存Railsアプリの開発環境をDockerで作りたい puma, webpack, postgres, redis (ActiveJob) のプロセスを起動する docker -v : Docker version 1.13.1, build 092cba3 Docker for Mac 使ってる 今回
概要 Docker 1.8.2でPostgreSQLが稼働する環境を構築します。 Dockerfileを作成し、CentOSの公式DockerイメージをベースにPostgreSQLをインストールしたDockerイメージを生成する手順を記述します。 生成したDockerイメージからDockerコンテナを起動し、ホストOSからpsqlで接続してSQLの実行を確認します。 構成 想定環境 DockerfileからDockerイメージを生成し、Dockerコンテナを起動するまでの流れは以下の通りです。 起動したDockerコンテナ内のPostgreSQLへpsqlで接続するで接続する際の流れは以下の通りとなります。 Dockerコンテナ起動後に実際にこの流れで接続確認を行います。 サーバ構成 OSバージョン ■ホストOS Red Hat Enterprise Linux 7.1 x86_64 ■コ
チュートリアルを終わらせたところで放置していたDocker。もっとしっかりやらないとなーと思っていたので、久々に触ってみることにした。しかし、バージョンも随分上がっていて、色々変わっていたので、初めから勉強し直すことにした。 とりあえず、Macだけで考えることにするが、インストール以外は対して変わらないと思うので適宜置き換えてほしい。 Dockerをインストールする。 まずは、公式サイトを確認する。すべての基本。検索エンジンから飛んだ場合に古いドキュメントなどに行くことがあるので、トップページから辿ったほうがいい。 アプリケーションのインストールには、Docker for Macというパッケージを使うのが薦められているようだ。OSがYosemiteより古ければ別のを使えと書いてあるが、問題ないようなのでDocker for Macを使うことにする。Docker Toolboxとかがあったよ
背景 使うもの Prometheus cAdvisor Grafana 環境 設定 Prometheusの設定 node-exporterの設定 cAdvisorの設定 Grafanaの設定 起動 まとめ 背景 コンテナ数も増え,それに依存したサービスも増える中,サーバのapt upgrade後にPT3が行方不明になってこのすばの録画が死んだこともあり,いずれこれは把握できる範囲を超えるなと思ったため,監視ツールを何か導入する必要があると考えました. いくつか候補は挙がったのですが,最終的にZabbixを選ぶか,Prometheusを選ぶかで悩んでGrafanaが最初からサポートしているという理由でPrometheusを選択しました. 今回はPrometheusでcAdvisorから情報を取得,Grafanaで可視化するまでを行います.Alertmanagerなどの導入はちゃんとできたらま
TypeScriptのビルドからテスト・カバレッジレポート, そしてgulpでconnect+watchJavaScriptTypeScriptフロントエンド 概要 はじめに jQueryを使ってセコセコとクライアントサイドのJavaScriptを書いていた時代からすごい変化しています。浦島太郎状態から脱却するために、最近の動向に沿った開発ができるように環境構築してみました。 TypeScriptでコードを書いてユニットテスト・カバレッジレポート作成を行いつつ開発を進められるようにします。 まずは、各ステップの操作を手動で確認したあと、gulpで自動的に行えるようにします。 目標 コード本体はTypeScriptで書く,ユニットテストも書く TypeScriptをECMAScript5のCommonJSにコンパイル 生成されたJavaScriptをユニットテストする、カバレッジも出す。 w
はじめに Vue2が良さそうなので、実装しながらディレクトリ構成について考えてみたいと思います。 Vuexも使います。 環境構築 Vue.jsではvue-cliが用意されており、最初の開発環境が簡単に作れます。 手っ取り早く動く環境を作りたいときなど試してみると良いです。 npm install -g vue-cli vue init webpack my-project cd my-project npm install npm run dev またvue-cliは[ Webpack / Browserify ]の両方に対応されており、以下の4つのテンプレートが用意されています。 browserify browserify-simple webpack webpack-simple vue-cliはWebpackの2系に移行済みです! ├── assets ├── dist ├── gu
TypeScript + webpack + Karma + Mocha + Power Assertでテストを行う際の諸々の設定ファイルJavaScriptTypeScriptmochakarmawebpack TypeScript + webpack + Karma + Mocha + Power Assertでテストを行う時の諸々の設定ファイル 最近、TypeScriptでコードを書いて、モジュールバンドラにwebpack、テストランナーにkarma、テスティングフレームワークにmocha、アサーションライブラリにPower Assertを使用したユニットテストを書いた その際に、諸々のツールが複雑で、設定ファイルの記述も大変だったので、ここで設定ファイルについてのメモを残しておこうと思う ※現段階では、設定ファイル自体にメモを書いただけです、後で個々の説明を書くかもしれません pa
プログラマとして身に着けるべきスキルはたくさんありますが、中には、ソフトウェアエンジニアリングの標準カリキュラムに組み込まれていないものもあります。そうしたスキルは少しずつ自然に、あるいは経験豊富な人と一緒に仕事をする中で学ぶ必要があります。1つDavid MacIverが取り上げているのは、 値の型を追跡するスキル です。 他には、コード中のオブジェクト所有権を理解するスキルも必要です。つまり、コードのどの部分がメモリ内の特定オブジェクトを所有し、それがどんなアクセスを予期しているかを知るということです。 その理解なしにコードを書くと、プログラムがクラッシュしたり厄介なバグに悩まされたりすることになるかもしれません。さらに悪いことに、プログラミング言語の中には、この問題に役立つ手段さえ提供してくれないものもあるでしょう。 自然に身に付ける これは、私がこのスキルを学んだ方法です。私は大学
第90回 Start Python Clubでの発表資料 「Python機械学習プログラミング」と振り返る機械学習の動向と展望 1. The document discusses various social media and video sharing platforms and tools for integrating them, including YouTube, Twitter, Flickr, iTunes, and Facebook. 2. It mentions several services that allow embedding or sharing content between platforms, such as CDTube for YouTube, ZonTube for Amazon, and amz.ly for shortening Amazon
Python Books By way of a brief introduction, Python is a high-level, general-purpose, structured, powerful, open source programming language that is used for a wide variety of programming tasks. It features a fully dynamic type system and automatic memory management, similar to that of Scheme, Ruby, Perl, and Tcl, avoiding many of the complexities and overheads of compiled languages. The language
最近久しぶりにアルゴリズムイントロダクションを読んでいるのですが、ふと「Python(CPython)のデータ構造に関する各操作の計算量ってどれくらいなのかな?」と気になったので調べてみました。以下のページを参考にしています: Python Time Complexity 以下では $n$ や $k$ といった記号を使います。ここで $n$ はコンテナ内の要素数、$k$ はパラメータ内の要素数かパラメータの値とします。では見ていきましょう。 2021/05/02 コメントでのご指摘を記事に反映しました。ありがとうございます。 リスト まずはリストです。Pythonではリストは内部的にはC言語の配列として表しているようです。そのため、先頭要素の追加や削除を行うとそれ以降の要素をすべて移動する必要があるため大きなコストがかかります。なので先頭に要素を追加したり削除する必要がある場合は、代わりに
こんにちは。freee 共同創業者 CTO の横路です。 freeeは現在、「スモールビジネスに携わるすべての人が創造的な活動にフォーカスできるよう」というミッションのもと、テクノロジーによる中小ビジネスのバックオフィス効率化とデータドリブンな経営意思決定支援を実現すべく、スモールビジネスAIラボチームを立ち上げて活動しています。 その中で、サービス・プロダクトづくりをリードし顧客に価値を届けてきたソフトウェアエンジニアこそ機械学習を学び、顧客の課題解決のいちオプションとして身につけはじめるべきだという実感を得たので、エンジニアリング対象としての機械学習について紹介します。 サービスをつくるエンジニアが機械学習を学ぶべき3つの理由 サービス開発で顧客に価値を届けるソフトウェアエンジニアこそが機械学習を学ぶべきだと思う理由は、以下の3つです。 サービスが対象としているトピックについて 深いド
アメリカ人です。 Hello 👋 この記事の目的 多くの日本人は自分の英語力には自信がないではないでしょうか。残念ながら「英語がわからん」、「英語が全然できない」という声をしょっちゅう聞いています。でも、今まで英語ができて意味がちゃんと伝わる何人かの日本人に会ったがあります。完璧な英語ではないけど(外国人も英語でミスる時もある...)、がんばって話そうとするので充分仕事ができる人たち。そういうがんばる姿勢はオープンソースのプログラムや英語圏のプログラムに手を出すためには一番大事なことだと思います(外国人側もすごく助かります)。日本の文化では「私はできる!」と自慢することは少ない中、この記事を通して、流暢に話せなくても自分のプログラミングの命名の仕方にはちょっとだけでも自信を持たせたいなと思います。完璧じゃなくていいです。Let's go! 合わせて読んでいただきたい 【日本人エンジニア必
渡辺です。 2015年11月にRole を使ったAnsibleのチュートリアル書きました。 それから1年以上経ち、ノウハウも溜まってきたので、新しく書き直してみます。 セットアップ Ansibleのインストールと、EC2インスタンスを2台起動しておきます。 ssh_configの作成 はじめにホスト情報をssh_configに定義します。 ansible.cnfでssh_configを設定するでも書いたようにSSHで接続する時のユーザ名や秘密鍵の場所はssh_configを作成してまとめておくと便利です。 プロジェクトディレクトリにssh_configを作成しましょう。 Host * StrictHostKeyChecking no UserKnownHostsFile /dev/null Host test1a HostName xx.xxx.xx.xxx User ec2-user I
おことわり 主観であり何らかのデータにもとづいてはいない この記事に書いてあることは信じずに自分で試そう EC2 t2 ファミリーは他ファミリーと比べて不安定 どのインスタンスもいつかは死ぬという点では共通なのですがそのなかでもt2は故障したり不具合が発生したりする確率が非常に高い気がする なので死んだり、死にかけ状態で動き続けたりしてほしくないインスタンスはあんまりリソースを使わなくても t2.micro とかじゃなくて m3.medium にしとくとすこし可用性があがる 追記: CPUクレジット理解していないだけではとか書かれていたんですがその辺は確認している。 t2の可用性が問題になったケースいくつかあるんだけど、自分の場合はネットワークがたまに断する問題が多くて、分散DBクラスタの死活監視で1secごとにpingするだけでCPUは常に1%以下みたいなものとかに使うとカジュアルに10
AWS re:Invent 2016 で発表された AWS Batch。 語感から、誤解されるサービス No.1 な気がします。 定時バッチなどとは何がどう違うのかをメモ。 機能概要 以下公式資料とドキュメント、実際さわってみた所感を合わせて。 AWS Batch – 簡単に使えて効率的なバッチコンピューティング機能 – AWS AWS Black Belt Online Seminar「AWS Batch」の資料およびQA公開 結局何なのか 科学技術計算・ハイパフォーマンスコンピューティング用途で真価を発揮する、 大規模なスケール、ジョブの依存定義 が可能なマネージド 並列分散 処理基盤。 主な機能、ポイント クラスタ管理、ジョブキュー、ジョブスケジューラを AWS にお任せできる 処理すべきジョブの数に応じ、適切に 自動伸縮1 するクラスタ ジョブに 依存関係 が定義できる(B は A
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く