分散ファイルシステムはブロックチェーンの夢を見るか | メルカリエンジニアリング
今年からメルカリでもMercari Advent Calendar 2017と称してAdvent Calendarを始めることとなりました。 初日は id:stanaka / @stanaka がロンドンよりお届けします。 分散ファイルシステムという言葉を聞くと、トラウマを刺激され、うっと頭を抱える人も多いかと思います。私もその一人で、以前にPBクラスまではいかずとも数TBのHDDを数百台並べたシステムのお守りをしたことがあり、日々壊れ続けるHDDに負荷に悲鳴を上げるメタデータDBなどネタには困らない状況でした。そういう時にAWS S3を触ると、「ああ、これは天国だ..」ともはや過去には戻れない思いをしたものです。 最近では分散ファイルシステムを運用しているところもめっきり減っていて*1もう過去の分野かな、と思っていたのですが、ここ数年で「ブロックチェーン x 分散ファイルシステム」という
Amazon Comprehend – 継続的に学習される自然言語処理 | Amazon Web Services
Amazon Web Services ブログ Amazon Comprehend – 継続的に学習される自然言語処理 数年前、私はメリーランド大学の図書館 をさまよい、What Computers Can’t Do というタイトルのホコリをかぶった古い本と、その続編 What Computers Still Can’t Do を見つけました。2冊めの本はより分厚く、コンピューター・サイエンスが学ぶべき価値ある領域であることを認識させる内容でした。このブログを書く準備をしている間に、私は最初の1冊の保存されたコピーを見つけ、面白い考えを見つけました。 人間は自然言語で記述された文脈依存する暗黙的な知識を必要とする文章を使い、理解しているので、同じように自然言語を理解し、翻訳できるコンピューターを作る唯一の方法は、チューリングが嫌疑していたように、多分コンピューターが世界について学ぶようにプ
（開発中）AWS IoT Device Defender: IoTデバイス群を安全に | Amazon Web Services
Amazon Web Services ブログ （開発中）AWS IoT Device Defender: IoTデバイス群を安全に IoT においてスケールは新しい意味を持ちます。昨年、私は幸運にも平均1平方メートルごとに環境センサーがある巨大な工場を見学しました。そのセンサーは温度、湿度、空気純度を毎秒数回計測し、汚染物質に対する早期警戒を提供します。お客様からは何百万台、何千万台のコンシューマ向けIoTデバイスの展開に関心を持たれていると聞きました。 地理的に分散して展開されている強力で長寿命なデバイスのセキュリティ課題は重要です。しかし、限定的なCPUパワーやメモリしか無く、暗号化やその他のデータ保護手段の実施が制限される事があります。 このセキュリティ課題に対処し、自信を持って大規模にIoTデバイスを展開できるように、IoT Device Defender を開発中です。詳細はリ
Amazon Kinesis Video Streams – コンピュータビジョン・アプリケーションのためのサーバーレスな動画データの収集と保存 | Amazon Web Services
Amazon Web Services ブログ Amazon Kinesis Video Streams – コンピュータビジョン・アプリケーションのためのサーバーレスな動画データの収集と保存 携帯電話、防犯カメラ、ベビーモニター、ドローン、WEBカメラ、車載カメラ、さらには人工衛星まで、これらすべては高輝度で高品質の動画ストリームを生成できます。 住宅、オフィス、工場、都市、街路、高速道路は現在、膨大な数のカメラを備えています。これらのカメラは、洪水などの自然災害時に被害状況の調査を可能にし、公共の安全性を高め、子供が安全かつ健康であることを知らせ、無限に繰り返す「失敗」動画のための一瞬を補足し（個人的な趣味の話です）、身元の判定に役立つデータを集め、交通の問題を解決するなど、様々な場面で活用されます。 この動画データの洪水を扱うことは、言い表せないほど難しいことです。 入力ストリームに
勤続10年になるCTOが異動のついでにMacをやめてArchLinuxにした話
こんにちは。CTOの馬場です。 わたしがハートビーツに入社したのが2008年1月なので、年明けで勤続10年になります。 もともと社員の定着ができていなかったものの(わたしより在席が長いのは創業メンバーの役員だけ)、 わたしが入社以降は多少改善できていて、 わたしと同年入社が全4名います。ありがたいことです。 この10年で会社の規模がおおきく変わりました。 社員数人、アルバイト入れて20人にも満たない組織だったところが、今や70人です。 組織が大きくなり、必要な役割が変わりました。 昔はとにかくプレーヤー、せいぜいディレクターという感じでしたが、 いまはマネージャーが必要なフェーズになりました。 (プロジェクトマネージャーではなくて、組織におけるマネージャー) これまでは事業拡大の流れでわたしがチームを持ち部門のマネージャーとして動いていましたが、 正直なところ組織におけるマネージャーはわた
［速報］「Amazon Transcribe」発表、音声認識でテキスト変換、複数話者も予定。翻訳機能「Amazon Translate」も発表。AWS re:Invent 2017
Amazon Web Services（AWS）は、米ラスベガスで開催中の年次イベント「AWS re:Invent 2017」で、音声認識サービス「Amazon Transcribe」を発表しました。 Amazon Transcribeは、MP3の音声ファイルを読み込んで音声認識を行い、その内容をテキストに変換するというもの。 電話の音声のような品質のよくない音声にも対応。今後、複数の話者にも対応し、専門用語などを追加するカスタムボキャブラリにも対応していくとのこと。 電話の通話記録や映画の字幕作成など、さまざまな用途に使えるとしています。 Amazon Transcribeは、当初は英語とスペイン語に対応。その後、数週間から数か月でほかの言語にも対応予定。
Mozilla、オープンソースの音声認識モデルと音声データセットを公開 | OSDN Magazine
Mozillaは11月29日、オープンソースの音声認識モデル「Deep Speech」を公開した。また、2万人近くが参加したという音声データセット「Project Common Voice」もリリースした。 MozillaのDeep Speechは、中国BaiduのDeepSpeech論文をベースにGoogleのTensorFlowを用いて実装された再帰型ニューラルネットワーク（RNN）。音声認識サービスはごく少数の大企業が独占していることを受けてスタートした。Mozilla ResearchのMachine Learningチームが「Project Deep Speech」として進めている。 早期リリースとして、PythonおよびNode.js向けのパッケージ、コマンドラインのバイナリを公開した。Creative Commonsライセンスで公開されている音声認識データセット「LibriS
JNIでCからJavaのライブラリを呼び出す - Qiita
TechTalk(社内勉強会)で話したUsing Go to call Java librariesに関連して、JNIを使ってCからJavaを呼び出す方法を解説します。 Java Native Interface(JNI) JNIはCからJavaのライブラリを使ったり、その逆のことができる仕組みです。公式ドキュメントはJava Native Interface仕様の目次からたどれます。 この記事ではCからJavaを使う方向で、メソッドを呼び出すことにポイントを絞ってまとめています。 JVMのロードとアタッチ JNIでは、JVMをネイティブアプリ上でロードして、Javaのコードをその上で動作させます。 JNI_CreateJavaVM()でJVMが生成できます。 #include <jni.h> JNIEnv *env; JavaVM *jvm; // JVMの起動オプションなど JavaV
S3 Select と Glacier Select – オブジェクトのサブセットを取得 | Amazon Web Services
Amazon Web Services ブログ S3 Select と Glacier Select – オブジェクトのサブセットを取得 Amazon Simple Storage Service (S3) は、各業界のマーケットリーダーが使用する数百万のアプリケーションのデータを保存しています。セキュアで耐久性のある非常に低コストのアーカイブストレージとして、これらの多くのお客様は Amazon Glacier も使用しています。S3 では、望むだけの数のオブジェクトを格納することができますし、個々のオブジェクトは最大5テラバイトとすることができます。オブジェクトストレージのデータは、通常１エンティティ全体としてアクセスされます。そのことは、例えば 5GB のオブジェクトに対してなんらかの要求をすれば、5GB 全てのデータ取得を行うことを意味します。これはオブジェクトストレージとしては自
新機能- Amazon DynamoDBにGlobal TablesとOn-Demand Backupが追加されました | Amazon Web Services
Amazon Web Services ブログ 新機能- Amazon DynamoDBにGlobal TablesとOn-Demand Backupが追加されました AWSの多くのお客様にDynamoDBは広く、ミッションクリティカルな用途に使われています。金融、E-コマース、広告、IoT、そしてゲームなど様々な用途で使われており、数百万リクエスト/秒のスループットとテラバイトのデータと数兆のアイテムを格納しています。 本日、我々は２つの強力な新機能を皆様に紹介出来る事に喜びを感じています。 Global Tables – 今から新しくテーブルを作る時に全自動で２つのリージョン間、若しくはそれ以上のリージョン間で同期されるマルチマスタのテーブルを数回のクリックで簡単に作成する事が出来ます。簡単かつ素早く構築が出来る事と、大規模なスケールをアプリケーションに提供出来るためグローバルスケール
AWS Serverless Application Repository が登場します | Amazon Web Services
Amazon Web Services ブログ AWS Serverless Application Repository が登場します 私が想像していた以上に早くサーバレスアプリケーションはメインストリームになりました。毎日毎秒、数え切れないほどの AWS Lambda ファンクションが起動され、ビジネスクリティカルな処理を実行しています。ユーザの皆さんは その柔軟性、安定性、コスト効率の良さを好きだと言ってくれます。 私たちはすべてのAWSのお客様がサーバレスな未来へ向かえるようにしたいと考えています。AWS Lambdaのサービス提供開始後、サーバレスアプリケーションのデプロイおよび管理プロセスを簡素化するため Serverless Application Model (SAM) を提供しました。さらにサーバレスのリファレンスアーキテクチャを公開しました。現在、Web アプリケーショ
AWSの新サービス群に対する一行所感 - プログラマでありたい
今年もラスベガスで、AWSの最大のイベントre:Invent開催中です。初回のキーノートが終わった所ですが、怒涛のサービス発表で頭が混乱中です。整理のために、サービスに対する感想をつけてみます。間違っているかもしれないので、悪しからず。 AWS AppSync モバイル等での複数端末のデータ同期を見据えたソリューション。必要性はすごく解るが、それってCognito Syncでやりたかったことじゃないのかな？認証認可のサービスにデータ同期を加えた筋の悪さを解消に来たのか？ 2017/12/3 追記 中の人曰く、次のような役割分担とのこと AWSの新サービス群に対する一行所感 - プログラマでありたい ありがたし / Cognito Syncは「一つのIdentityに（≒一人の人間）が持つ」複数端末間での設定値等の同期のためのものだったので、前提と志向が違うのです > AppSync “それ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
［速報］AWS Cloud9登場。クラウドネイティブな統合開発環境、ペアプロ機能も。AWS re:Invent 2017