Googleが大量の機械学習用データベースを無料公開してた - Qiita
個人用メモです。 機械学習は素材集めがとても大変です。 でもこの素材集め、実は無理してやらなくても、元から良質な無料データベースがあったようなのです。 URLはこちら YouTube8-M https://research.google.com/youtube8m/explore.html 提供されているサービスは以下の通り 800万個の動画 19億個のフレーム 4800個の分類 使い方はExploreから画像セットを探し、ダウンロードするだけ。 他の方法も見つけた open images dataset 「すごい神だな」と思ったのは これもう完成されてますよね もちろんこの認識前の画像もセットでダウンロードできます。 Youtube-８Mとは、画像数を取るか、精度で取るか、という違いでしょうか。 他にも良い素材集を教えていただきました （はてなブックマーク情報 @sek_165 さん ）
パラメータラベルを活用した環境をまたいだパラメータ更新 | Amazon Web Services
Amazon Web Services ブログ パラメータラベルを活用した環境をまたいだパラメータ更新 AWS Systems Manager の機能の１つであるパラメータストアはテキストデータ (例えば URL) や機密データ (例えばパスワードや API キー) などの設定データの暗号化、保存、一元管理を提供します。 パラメータストアへは AWS CLI、API、SDK でアクセスできます。これにより AWS Lambda や Amazon Elastic Container Service(ECS) のような AWS サービスからパラメータを簡単に参照することができます。設定パラメータのセットに名前をつけることで複数のパラメータバージョンを管理するためにパラメータストアラベルを利用することができます。ラベルはパラメータの値を更新するときに意図していない上書きを防ぐことに役立ちます。設
インフラエンジニアとは - 業務内容や人材市場価値まで詳細解説 | マイナビクリエイター
IT業界に関わる方なら、一度はインフラエンジニアという名前を聞いたことがある方もいらっしゃるのではないでしょうか。エンジニアという名前のつく職種はさまざまな種類が存在していますが、現在においてもインフラエンジニアは重要な役割を担うポジションとして存在しています。 今までインフラエンジニアは、IT業界での業務がメインであり、ゲーム業界（特にネットワークを介さないコンシューマゲームや、PCゲーム等）の場合、そこまで必要とされるポジションではありませんでしたが、昨今ではネットワーク通信を前提としたMMORPG、ネット対戦・共闘、ネットでのランキング、フレンド機能等々、ソーシャルゲームはもちろん、コンシューマゲームにおいてもネットワーク環境が必須となってきており、ゲーム業界でもインフラエンジニアの需要は確実に増大しています。 今回、インフラエンジニアのという職種をより詳しくご理解いただくために、イ
システムで「性別」の情報を扱う前に知っておくべきこと - Qiita
0は性別に関する情報が得られない場合に使います。性別に関する情報はあるのだけど1とも2とも言えない場合は9を使います。要は「0でもなくて1でも2でもなければ9」です。 これを知っていればMだとかFだとかを議論をせずに済みますね。 国際規格に従うべき理由 国際規格に従うことは色々と利点があります。まず、どうしてそういうコード体系にしたのかを説明しやすいです。また多言語対応する際も規格通りに書けば伝わるはずなので迷わずに済みます。別システムへのデータの移行や、異なるシステム間でのデータの統合もコード体系が同じならラクラクです。もしかしたら別のプロジェクトで書いたコードをそのまま使いまわせるかもしれません。技術者に対するトレーニングも不要です。 対して、わざわざ国際規格に反する実装をする場合は上記のメリットがそのままひっくり返ってデメリットになりはしますが、もちろん、それなりの理由があれば規格と
データベース運用改善のヒント！コア開発者直伝のPostgreSQL 10の7つの新機能 - エンジニアHub｜若手Webエンジニアのキャリアを考える！
データベース運用改善のヒント！コア開発者直伝のPostgreSQL 10の7つの新機能 全国のPostgreSQL使いエンジニアが待ちに待った、バージョン10。新機能の中から、特に“運用”に役立つ7の新機能を、PostgreSQLの専門家、そして開発者である澤田雅彦さんにピックアップして解説してもらいました。 2017年10月5日、全国のPostgreSQL使いエンジニアが待ちに待った、バージョン10（安定版）がリリースされました。「今後、自分の開発業務に導入していきたい」と考えている方も多いでしょう。 今回は、PostgreSQLの専門家、そして開発者である澤田雅彦さんに、新機能の中でも特に“運用”に役立つ7の新機能をピックアップして解説してもらいました。これを読めば、現場ですぐに役立つPostgreSQL 10（以下、バージョン10）の知識が身につきます！ < PostgreSQL:
サーバレスアーキテクチャによる時系列データベースの構築と監視 / Serverlessconf Tokyo 2017
サーバレスアーキテクチャによる時系列データベースの構築と監視
日本ティーマックスソフト、カゴヤ・ジャパンとの協業で、 Oracle DBと高い互換性を持つRDBMS Tiberoのクラウドサービス提供開始！
日本ティーマックスソフト、カゴヤ・ジャパンとの協業で、 Oracle DBと高い互換性を持つRDBMS Tiberoのクラウドサービス提供開始！ コンピュータ・通信機器 リホスト・ソリューション、各種ミドルウェア等のプロバイダである日本ティ―マックスソフト株式会社（本社：東京都港区、代表取締役社長：浅井 ケント、以下 TmaxSoft）は、クラウドサービス事業、レンタルサーバー事業を行っているカゴヤ・ジャパン株式会社（本社：京都府京都市中京区、代表取締役社長COO：岡村 武、以下カゴヤ・ジャパン）と提携し、TmaxSoftのリレーショナル・データベース管理システム（RDBMS）「Tibero（ティベロ）RDBMS」(以下、Tibero)を、カゴヤ・ジャパンのクラウドサービス『Tiberoプラン』として10月31日より提供開始することを発表いたします。 ～利用しやすい月額料金制で高性能RDB
SQLトランザクション分離 実践ガイド | POSTD
(注：2017/10/16、いただいたフィードバックを元に翻訳を修正いたしました。) (注：2017/10/11、いただいたフィードバックを元に翻訳を修正いたしました。) データベースのドキュメントで分離レベルを目にして、軽く不安を感じつつ、あまり考えないようにしたことはないでしょうか。トランザクションの日常の使用例できちんと分離について言及しているものはほとんどありません。多くはデータベースの初期設定の分離レベルを利用しており、後は運頼みです。しかし、本来、理解しておくべき基本的なトピックであり、いくらか時間を投入してこのガイドの内容を学習すれば、もっと快適に作業できるようになるでしょう。 私はこの記事の情報を学術論文、PostgreSQLドキュメンテーションから集めました。分離レベルの 何たる かだけでなく、適用の正確さを保持しつつ最大速度で使うにはいつ使うべきか、という疑問に答えるべ
PostgreSQLとMySQL、使うならどっち？ データベース専門家が8つの視点で徹底比較！｜ハイクラス転職・求人情報サイト AMBI（アンビ）
PostgreSQLとMySQL、使うならどっち？ データベース専門家が8つの視点で徹底比較！ オープンソースのデータベースとしてよく比較されるPostgreSQLとMySQL。どんな長所・短所があるのでしょう？ それぞれの専門家による対談で明らかにします。 エンジニアとして働いていると必ず直面する悩み。それは、「どのリレーショナル・データベース（以下、RDB）を選ぶのが最善なのか？」です。 RDBごとに長所と短所は異なっています。そのため自社サービスにマッチしないRDBを選んでしまうと、それがボトルネックとなり開発・運用にトラブルが生じるケースは少なくありません。 なかでもよく比較検討されるのが、PostgreSQLとMySQL。ともにオープンソースRDBのデファクトスタンダードであり、高い性能と数多くの機能を持っています。 では、両者は具体的にどのような長所・短所があるのでしょうか。そ
データベース暗号化が必要な「理由」と「3大方式」を理解する
データベース暗号化が必要な「理由」と「3大方式」を理解する：今さら？ 今こそ！ データベースセキュリティ（5）（1/2 ページ） 本連載では、データベースセキュリティの「考え方」と「必要な対策」をおさらいし、Oracle Databaseを軸にした「具体的な実装方法」や「Tips」を紹介していきます。今回は、「なぜ、データベースを暗号化しなければならないのか」について解説します。 連載バックナンバー 暗号化は万能ではない セキュリティ対策といえば「暗号化」を思い浮かべる人は多いでしょう。しかし、「セキュリティ対策＝（イコール）暗号化」ではありません。 個人情報保護委員会によるセキュリティ対策ガイドライン「個人情報保護法ガイドライン（通則編）」には、「持ち運ぶ個人データの暗号化」「個人データを含む通信の経路又は内容を暗号化」というように、移動中のデータの情報漏えいを防ぐための手法の例として暗
自然言語からSQLクエリを機械学習で生成、業務データベースが言葉で検索できるように。セールスフォース・ドットコムがAIの研究成果を公開
自然言語からSQLクエリを機械学習で生成、業務データベースが言葉で検索できるように。セールスフォース・ドットコムがAIの研究成果を公開 セールスフォース・ドットコムの人工知能研究部門であるSalesforce Researchは、自然言語による質問とデータベーススキーマの情報を基に、質問に対応するSQLクエリを機械学習で生成する研究成果を公開しました。 これによってビジネスパーソンがSQL言語を学ぶことなく、業務データベースから必要な情報を自然言語で検索できることが期待できます。 自然言語を解析してSQLクエリを生成 下記の図は、公開された研究成果の概要を示したものです。 図の左上「How many engine types did Val Musetti use？」が自然言語の問いとなり、「Entrant / Constructor / Chassis / Engine / No / D
若手プログラマー必読！５分で理解できるER図の書き方５ステップ
データベース設計の基本中の基本であるER図。ER図を書きたいけど、「記法が分からない」「どういうステップで書けば良いか分からない」という若手エンジニアも多いのではないでしょうか。 ER図は１０種類近くあり、種類によって記法が異なります。このことが難しいイメージを与えていますが、実はそれほど難しいものではありません。覚えれば良いER図は２種類だけです。 しかも、この記事で解説している基礎知識を押えれば、たった５つのステップで作成することができます。 この記事では、ER図の基礎知識からER図の書き方まで、エンジニアが抑えておくべきER図の全知識をどこよりも分かりやすく解説します。 この記事を読み終えたとき、若手エンジニアもER図を書けるようになっているでしょう。 この記事を参考に最適なデータベース設計を進めて下さい。 １．ER図とは ER図とは、「データベース設計（データモデリング）で使う設計
『夢のデータベース？「Cloud Spanner」の実力は？』について - Software Transactional Memo
こんな記事が目に入った。 www.itmedia.co.jp 大雑把に完全に間違ったことを言っているわけでもないが、読んでいくといろいろ鼻につくところがあり、どのあたりから間違っているのかと自分に問いただすのは現時点での自分の知識を棚卸しするためにも有用かも知れないと思ったので一言一句漏らさず思うところを書いていこうと思う。 中には枝葉末節な難癖もあるので全部を真に受けない感じで読んで欲しい。 Cloud Spannerの特徴は、これまでリレーショナルデータベースで不可能とされていた「トランザクション処理の大規模分散処理」を実現したところにあります。 単一のトランザクション処理を分散して実行しているかというと、Spannerはトランザクションごとに担当のトランザクションマネージャがそのトランザクション処理全体を取り仕切って行う仕組みになっている。なので「トランザクション処理の大規模分散処理
[新機能]Amazon Auroraで高速にクローンを作成できます | DevelopersIO
大栗です。 Amazon Auroraでデータベースのクローンを作成できる機能がリリースされました! Amazon Aurora Introduces Database Cloning Capabilities Release: Amazon RDS on 2017-06-12 データベース・クローン データベースのクローンはre:Invent 2016でアナウンスされていたのですが、既存のAuroraクラスタを素早くコスト効率よく複製する機能です。データベースのクローンではCopy-on-Writeプロトコルを使用しており、ソースデータベースかクローンデータベースで書き換えが発生した時にデータがコピーされます。 Copy-on-Writeプロトコル Copy-on-WriteはOSのメモリ管理などでよく使用されますが、データの複製を行う時に実際にはコピーせずに同じデータを共有して複製時か
![[新機能]Amazon Auroraで高速にクローンを作成できます | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/8c3ba401311c59d61029fd394159ea54ce784937/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FAmazon_RDS.png)
SQLPlugin - iOSアプリのSQLiteにアクセス
iOSアプリの中ではSQLiteによってデータを管理しているものが多数あります。キャッシュなどでも使われていますので、開発時にはその中身を見ると様々な情報が分かるでしょう。 そこで使ってみたいのがSQLPluginです。Xcode上から手軽にシミュレータ上のSQLiteにアクセスできます。 SQLPluginの使い方 インストールした後です。メニューにSQLが追加されています。 開いたところです。存在するデータベースが一覧されています。 開くとテーブルが一覧化されます。 データのメンテナンスが可能です。 任意のSQLを実行できます。結果をエクスポートも可能です。 SQLPluginを使えば開発時に利用しているデータベースの情報がすぐに分かるようになります。きちんとキャッシュされているのか、データ保存されているのが分かれば開発やデバッグ作業が改善されるでしょう。 SQLPluginはXcod
時系列データベースという概念をクラウドの技で再構築する - ゆううきブログ
サーバ監視サービスMackerelにおいて開発中の、高解像度・長期間のサーバメトリック収集を実現するための新しい時系列データベースDiamondを紹介します。具体的には、Amazon ElastiCache、Amazon DynamoDB、Amazon S3を組み合わせ、Amazon Kinesis StreamsとAWS Lambdaによりコンポーネント間を接続した、階層構造のデータストアアーキテクチャの設計と実装を解説します。 2018/06/05 追記: この記事の内容をWSA研#2でより一般的なアーキテクチャレベルでの貢献として書き直しました。 サーバレス時代におけるヘテロジニアス時系列データベースアーキテクチャ - ゆううきブログ はじめに 先日開催されたAWS Summit Tokyo 2017にて、「時系列データベースという概念をクラウドの技で再構築する」というタイトルで登壇
時系列データベースに関する基礎知識と時系列データの符号化方式について - クックパッド開発者ブログ
こんにちは。インフラストラクチャー部 SRE グループの吉川 ( @rrreeeyyy ) です。今期オススメのアニメはツインエンジェル BREAK です。 普段の業務並びに趣味の一環として、サーバのモニタリング環境の調査や改善に取り組んでいます。 そこで本稿では、モニタリングのコンポーネントの一つとして外すことが出来ない、時系列データベースの基礎知識に関して紹介します。 そもそも時系列データ・時系列データベースとは？ 時系列データというのは、特定の時間ごとに何らかの値を取得した際の、取得した一連の値を指します。 例えば、以下のようなフォーマットをしたデータなどは時系列データにあたるでしょう。 timestamp1,key,value1 timestamp2,key,value2 timestamp3,key,value3 : 時系列データベースとは、上記のような時系列データの保存・処理に
今こそ知りたい、2大OSSデータベースのMySQLとPostgreSQLの違いについて話をしてきた - そーだいなるらくがき帳
去年書いたSoftwareDesignを題材にお話してください！って言われたので話してきました。 下の特集記事は１年経った今も現役で読める内容なので興味がある人はぜひ読んでみてください。 またRDBアンチパターンという連載をしていますのでこちらもあわせてご確認くださいっ！ gihyo.jp そして当日の資料はこちらです。 SoftwareDesignにしっかりとMySQLとPostgreSQLの違いについては触れているのでそこでは触れていない、ハマりどころや初めて両方のDBを知ったと言う人向けのカジュアルは部分を攻めました。 またDBだけの勉強会ですので普段説明するようなところは省略し、できるだけ経験談やコアの話に注力したつもりです。 このへんは資料に含まれて居ないので当日居た人たちだけの特典ですね！！ ということで実は今月は登壇3週連続だったのですが一段落しました。 来週はAWS Sum
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News
データベース基礎-神田IT School - JAVA、LINUX、PHPのプログラマー・ＳＥ育成のIT教育専門修教機関