1 「AWSではじめるデータレイク」出版記念 データレイクはじめの一歩 2020年5月28日 アマゾン ウェブ サービス ジャパン 株式会社 シニアソリューションアーキテクト 下佐粉 昭（しもさこ あきら） @simosako 2020年6月発売予定！ 2 AWSオンラインセミナーへようこそ ご質問を受け付けております！ • 書き込んだ質問は主催者にしか見えません • 最後のQ&A時間で、いただいたご質問から ピックアップしてご回答をさせていただき ます ① 吹き出しをクリック ② 質問を入力 ③ Sendをクリック 終了後にアンケートの記入をお願いいたします https://bit.ly/2TFPbps アンケートにお答えいただいた方には本日の資料を後日ご提供させていただきます。 3 自己紹介 下佐粉 昭（しもさこ あきら） 所属： アマゾン ウェブ サービス ジャパン シニアソリューシ
PyCon JPとは PyCon JPは、日本国内外のPythonユーザーが一堂に会し、互いに交流を深め、知識を分け合い、新たな可能性を見つけられる場所として毎年開催される国際カンファレンスです。「PyCon JP 2021」は2021年10月15日〜16日と2日間のカンファレンスとして開催されました。 昨年の「PyCon JP 2020」は新型コロナウイルス感染症（COVID-19）の影響でオンライン開催のみでしたが、「PyCon JP 2021」では感染状況を考慮して、初日（10月15日）はオンサイト会場（ベルサール神田）とオンラインのハイブリッド、2日目（10月16日）はオンラインのみでの開催となりました。 初日のハイブリッド開催は初の試みでしたが、オンサイト会場には30名近くの参加者が来場し久しぶりにリアルカンファレンスならではの熱気を感じていただきました。また、両日ともにオンラ
しくじり先生のように学ぶ「NFS+sqliteで苦労した話から学ぶ、問題解決の考え方」という勉強会をやってみました | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]
株式会社ラクーンホールディングスのエンジニア/デザイナーから技術情報をはじめ、世の中のためになることや社内のことなどを発信してます。 インフラLinux勉強会SQLiteNFS こんにちは、羽山です。 今回は社内で実施した勉強会をほぼそのままブログ記事にしています。 ITエンジニアたるものドキュメントを残したり勉強会を実施したり分かりやすい設計にリファクタリングしたりなど、日々 知見の伝達 を意識していると思います。主要な知見はたいていそれらの方法で満たせるのですが、しかし残念ながら中には画一的な方法では伝えにくいものもあったりします。 ところで伝統芸能や工芸の世界では技術の継承において 背中を見て学ぶ という方法が用いられることがあるようです。 これと似た手法はITエンジニアの世界にもあって、先輩エンジニアとペアプログラミングをすることで文書では伝わりにくい技術や考え方・テクニックを学ぶ
![しくじり先生のように学ぶ「NFS+sqliteで苦労した話から学ぶ、問題解決の考え方」という勉強会をやってみました | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/9477296f61e752f8b6816cb517cdb9166a028f2c/height=288;version=1;width=512/https%3A%2F%2Ftechblog.raccoon.ne.jp%2Fwp-content%2Fuploads%2F2021%2F10%2Fscience_hakase_shippai_s.png)
バウンスマネジメント用のメールアドレス帳をAWS移行しました - LIVESENSE ENGINEER BLOG
概要 背景 移行 移行前の構成 (MySQL, PHPバッチ) 移行後の構成 (DynamoDB, Kinesis) 移行の段取り 詳細 ストリーミング処理 APIサーバー APIクライアント 移行を終えて 最後に 概要 技術部インフラグループの春日です。 2024年上期現在、弊社ではオンプレデータセンターで稼動しているサーバーのクラウド移行を進めており、 2024年1Qの時点で大半はAWSへの移行が完了しています。 本記事では社内で古くから運用し続けているメール配信サーバーのバウンスマネジメントに使用するアドレス帳データをクラウド移行した件について振り返ります。 メール配信サーバー自体のクラウド移行に関しては本記事では触れません。 以降の章ではメール配信サーバーを自前で運用している背景やクラウド移行前後での構成比較、および移行後のシステム詳細について触れていきます。 なお記事内ではEメー
Single-table vs. multi-table design in Amazon DynamoDB | Amazon Web Services
AWS Database Blog Single-table vs. multi-table design in Amazon DynamoDB This is a guest post by Alex DeBrie, an AWS Hero. For people learning about Amazon DynamoDB, the idea of single-table design is one of the most mind-bending concepts out there. Rather than the relational notion of having a table per entity, DynamoDB tables often include multiple different entities in a single table. You can r
Herokuの新しい有料プランのまとめと、無料プラン終了後の個人的な移行方針について - give IT a try
はじめに 2022年8月25日に、Herokuが無料プランを終了することを発表しました。 blog.heroku.com また、9月26日には前回のアナウンス時にはなかった、低コストプランが発表されました。 blog.heroku.com いずれの内容も英語なので、日本語で要点をまとめてみます。 また、エントリの後半では無料プラン終了後の個人的な移行方針についても書いてみます。 おことわり このページの情報は2022年10月4日時点の情報です。時間が経つと情報が古くなっている可能性があります。 また、内容の正確性は保証しないので、正確な情報を知りたい場合は上記ページを参照してください。 8月25日に発表された無料プラン終了のまとめ 2022/10/26から1年以上活動のないアカウントとそのストレージを削除する 2022/11/28から無料プランの提供を停止し、無料Dynoと無料DBの稼働を
Clickhouse as an alternative to ElasticSearch and MySQL, for log storage and analysis, in 2021
In 2018, I've written an article about Clickhouse, this piece of content is still pretty popular across the internet, and even was translated a few times. More than two years have passed since, and the pace of Clickhouse development is not slowing down: 800 merged PRs just during last month! This didn't blow your mind? Check out the full changelog, for example for 2020: https://clickhouse.tech/doc
ロールプレイとデモ動画でサーバーレス開発の基礎を一挙習得「レガシーシステムにサーバーレスを利用して素早くサービスを追加するには」 #AWSSummit | DevelopersIO
「な、なんかロールプレイが始まった。からのプロトタイプ開発デモか！こりゃたまげた」 当初想定していた斜め上をいく展開でした。 顧客とソリューションアーキテクトが次期システム開発の仕様を試行錯誤していく流れから、実際のプロトタイプ開発の様子をデモを交えて余すことなく解説してくれるセッション。 サーバーレスにするには、全部作り直しだと思いこんでいる とりあえずAWSに既存システムもってきたが、AWSを活かせているきがしない 実際にサーバーレス技術を使って開発していくイメージがついていない そんな組織にばっちりハマります。 サーバーレスと銘打ってますが、実はLambdaだけではなく、Secrets ManagerやRDS ProxyやStep FunctionsやFargateや、それらを開発するためのSAMやSAM CLIやLocalStackまで幅広く網羅されているので、お得感満載ですよ。
ロギング設計大全 - kawasima
#WIP アプリケーション設計者視点で、どうログ設計するか? についてまとめます。 使途別 異なる用途で使われるので、それ毎にファイルやトップカテゴリで分類する。 トレーシング 世の中のロギングライブラリの主な想定用途はこれである。必要な箇所やレベルに応じて出力制御をするために、ログカテゴリやログレベルが存在する。 目的 アプリケーションの性能をモニタリングする トラブル時に何のメソッドが呼ばれたかを追跡する 必要項目 タイムスタンプ リクエストID Microservicesのようにインスタンスをまたいでトレーシングしたい場合は、上流で発行されたリクエストIDを引き渡して、それをログに出力する。 メソッド名 手段 AOPでメソッドのEnter/Exitで自動的にロギングされるように設定する。 モニタリング メトリクスAPIやヘルスチェック用のエンドポイントを用意するのが当たり前になった現
AlloyDB for PostgreSQL を発表：高額なレガシー データベースからの解放 | Google Cloud 公式ブログ
※この投稿は米国時間 2022 年 5 月 12 日に、Google Cloud blog に投稿されたものの抄訳です。 企業は、レガシー データベース システムから解放されたいと悩んでおり、アプリケーションをモダナイズするための代替手段を求めています。本日、Google I/O において、AlloyDB for PostgreSQL のプレビュー版を発表しました。AlloyDB for PostgreSQLは、PostgreSQL と互換性を持つフルマネージド型のデータベースサービスで、極めて要求が厳しいエンタープライズのデータベース ワークロードをモダナイズするための強力な選択肢を提供します。 標準的な PostgreSQL との性能比較テストでは、トランザクション処理で 4 倍以上、分析クエリで最大 100 倍の高速化を実現できていることを確認しています。また、AlloyDB はAm
Software development topics I've changed my mind on after 6 years in the industry - Blogomatano
Software development topics I've changed my mind on after 6 years in the industry Published: 2021-01-23 Things I've changed my mind on:Things I now believe, which past me would've squabbled with: Typed languages are better when you're working on a team of people with various experience levelsStandups are actually useful for keeping an eye on the newbies.Sprint retrospectives have their place so lo
楽天モバイルが認めた、新基準のオープン・ソース分散SQLデータベース「YugabyteDB」〜高可用性、パフォーマンス等、妥協なきプラットフォームの実現
楽天モバイルが認めた、新基準のオープン・ソース分散SQLデータベース「YugabyteDB」〜高可用性、パフォーマンス等、妥協なきプラットフォームの実現 2021年11月17〜19日にオンラインで開催された「DB TECH SHOWCASE」にて、分散データベース「YugabyteDB」が紹されていたので、レポートしたいと思います。 YugabyteDBは、Google Spannerに着想を得て開発されたトランザクションやクラウドネイティブアプリケーションのための分散SQLデータベースです。インタフェースはPostgreSQL及びCasaandra互換で、分散ということで水平方向へのスケーリングが得意なだけではなく、トランザクションも担保できるようになっています。また、ノード数が増えても高可用性を維持し、問題発生時の回復力も充実しています。グローバルでも採用事例が増えてきているそうです。
About Blog Article 駆け出しエンジニアの皆様へ はじめに 概要 本記事では、駆け出しエンジニアの皆様に向けて、エンジニアという職種についての説明、初めて収入を得るまでの道筋の提案、エンジニアとしての価値の高め方、独学で技術力を向上するためのロードマップ案等について記述する。 定義 本記事における「エンジニア」というワードは「ソフトウェア開発を業務とする者」という意味で扱う。ソフトウェアエンジニア以外のエンジニアもあるだとか、IEAの認定が必要だとか、そういうことは一旦忘れて読み進めてほしい。多少 web の分野に偏った記事になるが、そこは文脈で判断してほしい。 前記事 1年ほど前に本ブログで web系エンジニアのキャリアチェンジについて という記事を書いた。この記事は、私のキャリアパスの紹介と、web系エンジニアを目指す方への道筋の提案を行ったもので、今も多くの駆け出しエ
本連載は、Google Cloudのアプリ開発とDBプロダクトにおけるスペシャリスト達が、Google Cloudプロダクトを利用した、クラウドネイティブな開発を実践する方法を解説しています。 第5回の今回は、Google Cloudのサーバーレス製品を活用したアーキテクチャに焦点を当て、アプリケーション開発における実装パターンを実践的ないくつかのユースケースにあわせて紹介をします。また、サービスの選定にまよったときの判断のポイントも紹介します。 基本のアーキテクチャパターン まず最初に、クラウドアーキテクチャセンターを紹介します。Google Cloudでワークロードをビルドまたは移行するためのリファレンスアーキテクチャ、ガイダンス、ベストプラクティスがまとまっているページです。クラウドのアーキテクチャを検討する際に、こまったらここを参考にするとヒントが詰まっています。 Webアプリケー
2022/02/21 郵便番号逆引き検索APIを正式リリースいたしました！ ケンオールに、住所から郵便番号を検索できる、郵便番号逆引き検索機能が追加されました。 (このデモはこちらでお試しいただけます。) 例えば、京都市上長者町通堀川東入一町目という住所を検索してみます。この住所クエリは、上京区という文字が抜けている、不完全な住所になっています。 http://api-beta.kenall.jp/v1/postalcode/?q=city:京都市+AND+kyoto_street:上長者町通堀川東入+AND+town:一町目 上記のような部分検索であっても正しい郵便番号を検索できます。 { ... "postal_code": "6028064", ... "prefecture": "京都府", "city": "京都市上京区", "town": "一町目", "koaza": "",
今回はTiDB（PingCAP） 久しぶりに論文紹介シリーズの第2弾である。 今回は分散DBのど真ん中、PingCAPが開発しているTiDBについての論文「TiDB:a Raft-based HTAP database」(VLDB2020)を紹介する。 この論文に関しては、PingCAP社が自身のブログでも解説している。 TiDBとは 念のため、TiDBとは何なのかを触れておこう。 一言でいうと、「MySQL互換のNewSQL（＝分散SQLデータベース）」である。 NewSQLとは何かについての説明は今回記事では省略するが、過去に書いたこちらの入門編やこちらの詳解編に解説をしている。 TiDBはMySQLと互換性を持つだけでなく、、今回の論文に示されているように、OLAP用途の機能強化を行っており、これもまたMySQLの弱点を補強する良い方向性と言える。この辺りのNewSQLの機能強化につ
![[論文紹介] TiDB:a Raft-based HTAP database](https://cdn-ak-scissors.b.st-hatena.com/image/square/ad5d7368b8594081fe926e56f2548a5f3b50af26/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--LwEg5Sy_--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255B%2525E8%2525AB%252596%2525E6%252596%252587%2525E7%2525B4%2525B9%2525E4%2525BB%25258B%25255D%252520TiDB%25253Aa%252520Raft-based%252520HTAP%252520database%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3A%2525E3%252581%252593%2525E3%252581%2525B0%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzVmM2YwZjM3ZjguanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
この記事では、Webシステムがどのように発展してきたのか、最新のキーワードはどこに位置付けられるのか、いろいろ調べて、ざっくりと整理してみました。 シリーズ ざっくり、オープンソースビジネスの最新事例2021 ざっくり、フロントエンド開発のためのバックエンドサービスを整理する なにを説明するのか Webシステムの進化のスピードは速く、その開発・運用に関わっていると、次々に登場する新しい技術に目が回りそうです。 個々のキーワードを聞いたことがあっても、つながりとして理解していない人も、意外と多いようです。そうすると、技術がどのように発展してきて、どのような課題を解決してきたのか、ある程度把握していないため、新しい技術やキーワードが出てきたときに、その位置付けや効果がピンとこなかったり、枯れた技術に頼りすぎて、新しい解決策のポテンシャルを引き出せないなんてこともあるでしょう。 私はエンジニアと
3大クラウドAWS、Azure、GCPの機能を比較したら見えてきたサービスごとの違いと特徴とは？ | 株式会社G-gen（旧 株式会社トップゲート）
削除する Google Service TGカルチャー アプリケーション開発 コンサルティング セミナー テックブログ デザイン デジタルプロダクト開発 開発実績 ニュース 2025年の崖(1) 5G(1) AI(39) AI Hub(1) AI Platform(1) AlloyDB(12) AlloyDB for PostgreSQL(6) AlphaZero(1) Analytics HUB(1) Android(11) Android アプリ(1) Anthos(6) API(12) API エコノミー(1) APP(2) App Engine(2) App Maker(2) AppServer(1) AppSheet(3) arduino(1) Authentication(1) AutoML(4) AWS(12) AWS (Amazon Web Services)(1) AWS
Airflow のアーキテクチャをざっくり理解して、どうやって使うのか学んでみた | DevelopersIO
こんにちは、みかみです。 Python で実装されている Job 管理ツール Apache Airflow。 WebUI のJob 管理画面で直感的に分かりやすい操作が可能で、エラー発生時などの通知機能もあり、スケールアウトにも対応していて複数サーバで分散実行もできます。 Python でバッチ Job 開発経験のある方には多分おなじみの Airflow、私も存在は知っていましたが、実際使ったことはありませんでした。 やりたいこと Airflow の構成（アーキテクチャ）を知りたい Airflow の使い方（Job 作成＆実行方法）を知りたい Airflow のアーキテクチャ Airflowは、 管理画面表示部の Webserver と、Job実行のスケジュール管理部の Scheduler 、Job実行部の Worker(Executer) から成り立っているようです。 各モジュールは管理
AWS-41：コンテナを有効活用したいあなたへ AWS コンテナサービス入門 2020 コンテナアプリの80％はAWSで実行されているーーゼロから学べるAWSのコンテナサービス入門 2020年9月8日から23日間にわたりオンライン上で開催された「AWS Summit Online」。アマゾンウェブサービス（AWS）の最新情報からテクニカル向けの特別講演、ユーザーの事例紹介など、150を超えるセッションが実施されました。本記事では、オーケストレーション・イメージレジストリ・ホスティングの3つのカテゴリーからAWSのコンテナサービスについて紹介するセッション「コンテナを有効活用したいあなたへ AWS コンテナサービス入門 2020」の模様をお送りします。 コンテナを有効活用する方法、教えます 濱真一氏：お時間になりましたので、始めていきます。「コンテナを有効活用したいあなたへ AWS コンテナ
CTOが聞く Vol.3 Lighthouse Studio 海老原「事業環境とエンジニア組織の変化、そして新たな挑戦」 - CARTA TECH BLOG
CARTA HOLDINGSで働くエンジニアたちにCTOが「最近何やってるの？」をざっくばらんに聞いていくシリーズです。今回はCARTA HOLDINGS CTOのすずけんが、事業子会社のひとつであり「神ゲー攻略」などのメディアを運営するLighthouse StudioでCTOを務める海老原さんに話を聞きました。 インタビュアー：鈴木健太 Twitter ID @suzu_v（写真右） 株式会社CARTA HOLDINGS 執行役員CTO / 株式会社fluct取締役CTO。社内では「すずけん」と呼ばれる。「みんなのGo言語」「データ分析基盤入門」共著者。ウェブ技術全般に明るい。ポッドキャスト「ajitofm」をやっています。 インタビュイー：海老原昂輔 Twitter ID @co3k（写真左） 株式会社CARTA HOLDINGS / 株式会社Lighthouse Studio取締役
この記事は「連載：技術基盤強化プロジェクト「RFS」の現在と未来」として書かれたものです。 こんにちは、メルカリの Transaction チームでバックエンドエンジニアをしている @oklahomer です。今回は、各種クライアントサイドとサーバサイドで実装している支払額計算のロジックを、新たなマイクロサービス実装へ移行する取り組みについて紹介します。 この連載では、既に Transaction チームから以下の 2 つの記事が公開されています。この記事の前提を把握いただくためにも、ぜひご一読ください。 関連記事：Understanding and Moderninzing a Legacy Codebase 関連記事：メルカリの取引ドメインにおけるモジュラーモノリス化の取り組み これらの記事の中では、創業当時から運用されているモノリシックな PHP アプリケーションに取引ドメインのロジ
入社して4カ月目でAWS 認定ソリューションアーキテクト アソシエイトに合格できた話 | DevelopersIO
水上といいます。 名古屋がもうまるまる一年前と気づいて人生の短さに戦慄してます。 2019年11月30日にAWS 認定ソリューションアーキテクト アソシエイトに合格したのでレポートを書きます。インターネットには様々な合格記があり、私も受験前に大変参考にさせていただきました。このレポートもこれから受ける方の参考に少しでもなれば幸いです。 内容としては ・本試験の難易度の所感 ・テスト当日、テストセンターの様子 ・どこを要点に勉強すべきと思ったか を書いていこうと思います。 合格時のスコア 最初に合格時の点数と直前の公式模擬試験のスコアを記載します。 模擬試験 総合スコア: 80% トピックレベルスコア: 1.0 Design Resilient Architectures: 88% 2.0 Define Performant Architectures: 57% 3.0 Specify
こんにちは。CTOの大里です。 2019年9月開催したハウテレビジョンのサマーインターンについて振り返りたいと思います。 Goを使ったWebAPI実装についての講義 概要 今回のインターンは9月2日（月）〜17日（火）までの期間で開催。営業日換算で11日間のインターンに、総勢14名の学生が参加しました。 最初の3日間は個人課題パート、残りの8日間がチーム開発パートです。 個人課題パート 参加した学生のレベルはまちまちで、プログラミング初学者でWebアプリケーションの開発経験があまり無い人もいれば、Web系ベンチャーでインターン経験がありバリバリコードを書いてきた人もいました。 最低限の知識レベルを揃えるべく、参加者にはインターン参加前の約3週間を使い、HTML,CSS,Linux Command,Git,SQL,Go,JavaScript,React,PHPについて、基礎的な部分のみ学習し
こんにちは、GMOアドマーケティングのK.Mです。 最近は久しぶりにMySQLを使ってます。 そういえばMySQLといえば、バージョン5.7からInnoDBの全文検索機能に日本語パーサーが搭載されとても使いやすくなったと聞いていたので、本日はそれを試してみたいと思います。 以前はサービスで本格的な全文検索をやりたいと思ったら、Elasticsearchなど専用の全文検索エンジンを立てたりとミドルウェア構成が一段リッチになるような印象もありましたが、もう少しお手軽に、既存RDBMSからSELECTしてくるくらいのイメージでスモールスタートしたいようなケースも結構ありそうです。 そういったときに検討できる一つの選択肢になるんじゃないかと思っています。 既存テーブルを検索してみます MySQL5.7から日本語パーサーとしてN-gramとMeCabが使えます。特にN-gramの場合、デフォルトで有
実際にエンジニア転職の際された質問を解説も込みでまとめてみました。 皆さんのお役に立てれば幸いです。 ① ActiveRecord ② オブジェクト指向プログラミング言語 ③ Webアプリケーションフレームワーク ④ WebサーバーとWebクライアント ⑤ 仮想化 ⑥ 最適なクラス設計 ① ActiveRecord Active Recordとは、MVCで言うところのM、つまりモデルに相当するものであり、ビジネスデータとビジネスロジックを表すシステムの階層です。Active Recordは、データベースに恒久的に保存される必要のあるビジネスオブジェクトの作成と利用を円滑に行なえるようにします。Active Recordは、ORM (オブジェクト/リレーショナルマッピング) システムに記述されている「Active Recordパターン」を実装したものであり、このパターンと同じ名前が付けられて
削除する Google Service TGカルチャー アプリケーション開発 コンサルティング セミナー テックブログ デザイン デジタルプロダクト開発 開発実績 ニュース 2025年の崖(1) 5G(1) AI(39) AI Hub(1) AI Platform(1) AlloyDB(12) AlloyDB for PostgreSQL(6) AlphaZero(1) Analytics HUB(1) Android(11) Android アプリ(1) Anthos(6) API(12) API エコノミー(1) APP(2) App Engine(2) App Maker(2) AppServer(1) AppSheet(3) arduino(1) Authentication(1) AutoML(4) AWS(12) AWS (Amazon Web Services)(1) AWS
しばたです。 先日EBS(プロビジョンドIOPS io1ボリューム)の複数インスタンスによるアタッチ(Multi-Attach)がサポートされましたが、本記事ではその使いどころについて考えてみました。 [アップデート]Amazon EBSの複数インスタンスへのアタッチが可能になりました！(プロビジョンドIOPS io1ボリュームに限る) AWS公式の案内はこちら。 はじめに はじめに言い訳で申し訳ないのですが、この記事では明確な答えを出せていません。 EBS Multi-Attachの使いどころについては現在進行形で悩み続けています。 本記事の内容に関してコメントなどでフィードバックを頂けると非常に嬉しいです。 EBS Multi-Attachの制限事項 使いどころについて触れるまえに、まずは現在のEBS Multi-Attachの制限事項から「何に使えないのか」を考えることにします。 先
世界3大クラウドが進化を続けている。米Amazon Web Services（アマゾン・ウェブ・サービス）の「AWS（Amazon Web Services）」、米Microsoft （マイクロソフト）の「Microsoft Azure」、米Google（グーグル）の「Google Cloud」である。最近ではDX（デジタル変革）推進のニーズを受けて、アジャイル開発や高度なデータ分析に必要な機能に注目が集まる。今どのクラウド、どのサービスが秀でているのか。3大クラウドのサービス内容、機能、サポートなどについて39項目で徹底比較する。 今回は、3大クラウドが提供するデータベースサービスを比較する。リレーショナルデータベース（RDBMS）、NoSQLデータベース、データウエアハウス（DWH）の順で、2018年からの5年の進化を見ていこう。 まずはRDBMSである。最近のユーザーの利用動向を見る
2021年度IPA未踏IT人材発掘・育成事業公募概要の竹迫PMメッセージの中で略歴として記載のある通り、2020年6月より株式会社Scalarの技術顧問に就任しました。 株式会社Scalarの技術顧問として、セキュリティ技術やエンジニア組織に関する相談や方針・設計に関するレビューを行うパートタイムのアドバイザー契約が中心となりますが、急成長するITベンチャーでよく発生する組織課題の解決や運営の相談にも乗っています。技術発のベンチャー事業が成長するにつれて0→1、1→10、10→100のそれぞれのフェーズにおいて、組織と事業のギャップを乗り越えていく必要がありますが、将来スケールした100のフェーズの景色を明確にビジョンとして持っているScalarの共同創業者CEO深津さん・山田さんのお二方に惹かれ、技術顧問を引き受けることに決めました。 当初お話をいただいた時点ではまだ緊急事態宣言は発令さ
はてなリモートインターンシップ2021のカリキュラムを発表します！ - Hatena Developer Blog
CTO の id:motemen です。先日募集開始した、はてなリモートインターンシップ2021のカリキュラムをお知らせします。 はてなインターンのカリキュラムでは、参加する学生のみなさんに「モダンなウェブアプリケーション開発の学習」と「実際のプロダクト環境におけるサービス開発体験」の2つを持ち帰ってもらえるよう、毎年工夫をこらしています。 講義 全3週間のうち、前半1週間は講義フェーズです。以下のように、豊富かつ濃密な講義を予定しています。 Web API RDBMS フロントエンド コンテナ Kubernetes マイクロサービス インフラストラクチャー Webデザイン サービス企画 これらは選択制ではなく、参加者はすべての講義を受講します。 ウェブ技術の講義だけでなく、デザインや企画といったウェブ開発にまつわる多彩なテーマについて、はてなスタッフが講師を担当し、オリジナルの講義を準備
ゆっくりとだが、ある興味深い変化がデータセンター全体に浸透しつつある。それは、運用の管理にREST（Representational State Transfer）を使うという動きだ。これによりデータセンターアーキテクチャのモデルが使いやすくなり、自動化とオーケストレーションの機会が広がる。RESTは、コンピュータが普遍的なHTTPプロトコルを使って簡単に通信する方法として2000年に初めて導入された。RESTにより、さまざまなシステムを疎結合して情報を交換することが可能になった。 ただし最近、データセンターの軸足はRESTからGraphQLへとややシフトしている。 GraphQLとRESTの違い RESTの中心にあるのは「全てが1つのリソース」という考え方だ。当初は、この考え方が優れたソリューションだった。だが、このアーキテクチャは幾つか大きな問題に直面している。RESTのリソースは1つ
RDB設計者のための DynamoDB の解説！開発経験者が語る DynamoDB 設計入門🤔 | Ragate ブログ
DynamoDBで完全な探索要件の構築を目指さないでください DynamoDBはKVSです。水平軸の検索要件はElasticSearchを使用しましょう。 最も重要なことは、一つのデータベースで全ての機能の実現を目指さないこと アプリケーションの DB 開発において、様々なワークロードに対応したデータベース構築を目指した場合、どうしても DynamoDB だけ、MySQL だけで対応できないことがしばしば有ります。 例えば、オンデマンド動画視聴サービスの視聴ログを Read 集計する要件には縦軸集計に強いグラフ型の RedShift などを採用し、顧客の投稿情報に対する複雑なテキスト検索には ElasticSearch を検討します。 私たちは、多くのアプリケーション開発で DynamoDB を採用してきたメリットを下記のように感じています。 設計次第でスループットを効率的に利用・低レイテ
ゼロからはじめるPython(71) Excelで読めないSQLiteデータをPythonで読んでExcelに差し込みたい
時々、Excelで読み込めない形式のデータや、独自形式のデータをExcelのシートに貼り付けたい場合がある。Pythonの豊富なライブラリを使えば様々なデータ形式を手軽に読み込める。今回は、SQLite形式のデータをPythonで読み込んでExcelに貼り付けてみよう。 SQLiteのデータをPythonで読み込んでExcelに挿入したところ Excelに貼り付けたいけどExcelだけでは読めないデータもある Excelのデータインポート機能は非常に高機能だ。CSV/TSVなど汎用テキストデータだけでなく、Webでよく使われるXMLデータからJSONデータのインポートにまで対応している。 しかし、時々、Excelで読み込めない形式のデータや、独自形式のデータをExcelのシートに貼り付けたい場合がある。Excelで直接読めなくても別のアプリを使ってクリップボード経由でExcelに貼り付ける
こんにちは。ZOZOテクノロジーズの廣瀬です。 弊社ではサービスの一部にSQL Serverを使用しています。先日、「普段は数10ミリ秒で実行完了するクエリが、たまに5秒間実行され続けて最終的にタイムアウトするので調査して欲しい」という依頼を受けました。調査方法を整理して最終的に原因の特定とタイムアウト発生の防止まで実現できたので、一連の流れとハマった点、今回のようなケースでの調査に使える汎用的な調査手法をご紹介したいと思います。 SQL Server以外のRDBMSをお使いの方にも、「SQL Serverではこんな情報がとれるのか。MySQLだったら〇〇でとれる情報だな」というように比較しながら読んでいただけると嬉しいです。 初めに浮かんだ仮説 依頼を受けて最初に思い浮かんだのは、「ブロッキングが起きているのでは」という仮説でした。そこで、拡張イベントを使ってブロッキングを検出できる状態
週刊Railsウォッチ（20191008後編）Ruby 2.7のInteger#[]でバイナリチェック、rubyzip gemは強力、13KBのJavaScriptゲームほか｜TechRacho by BPS株式会社
2019.10.08 週刊Railsウォッチ（20191008後編）Ruby 2.7のInteger#[]でバイナリチェック、rubyzip gemは強力、13KBのJavaScriptゲームほか こんにちは、hachi8833です。今夜のノーベル賞は物理学賞ですね。 各記事冒頭には⚓でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 毎月第一木曜日に「公開つっつき会」を開催しています: お気軽にご応募ください 今回も第15回公開つっつき会を元にお送りします。 ⚓Ruby ⚓Ruby 2.7でInteger#[]にrangeを扱う機能が追加（Ruby Weeklyより） 訂正（2019/10/09）: 見出しに「にrangeを扱う機能」を追加しました
![週刊Railsウォッチ（20191008後編）Ruby 2.7のInteger#[]でバイナリチェック、rubyzip gemは強力、13KBのJavaScriptゲームほか｜TechRacho by BPS株式会社](https://cdn-ak-scissors.b.st-hatena.com/image/square/e261e6d74656a4bb6568a00ee1851e326ee9dc1b/height=288;version=1;width=512/https%3A%2F%2Ftechracho.bpsinc.jp%2Fwp-content%2Fuploads%2F2019%2F10%2Frailswatch_20191008_eyecatch.png)
既存システムをAWS移行後に、新機能を追加するには？ 福井厚氏（以下、福井）：みなさん、こんにちは。AWSの福井です。私はサーバーレススペシャリストとして、ふだんはサーバーレステクノロジーを使ったモダンアプリケーションの開発を支援している、ソリューションアーキテクトです。よろしくお願いいたします。 今村優太氏(以下、今村）：みなさん、こんにちは。AWSの今村と申します。私はふだん、お客様のプロトタイプ開発支援をメインとしているソリューションアーキテクトです。本日はよろしくお願いいたします。 木村友則氏（以下、木村）：みなさん、こんにちは。AWSの木村と申します。私は業種業態を問わず、さまざまなお客様の構成検討の支援をさせていただいている、ソリューションアーキテクトです。 福井：では本セッションについてご紹介したいと思います。本セッションは「既存システムをAWSに移行したあとに新機能を追加す
今すぐ入れる！近くの飲食店を予約できるサービス「Neee」を支える技術 | BLOG - DeNA Engineering
こんにちは。スマートシティ事業本部の大村と、同じくスマートシティ事業本部の野々村です。 本記事では、このたびリリースされた、今すぐ入れる近くの飲食店を予約できるサービス「 Neee 」を支えるバッグエンド技術とフロントエンド技術について、それぞれ大村と野々村から紹介させていただきます。 今すぐ入れる！近くの飲食店を予約できるサービス「Neee」とは 「Neee」は、近くにある今すぐ入れる飲食店を探しているお客様と、当日の空席を埋めたい飲食店をリアルタイムにマッチングするサービスです。外出先での急な飲み会の予定や二次会に行くことが決まった時に、近くにある今すぐ入れる飲食店を探すことは難しく、直接店舗に行くか電話で空席を確認しなければいけないといった課題がありました。 そこで、「Neee」では、来店されるお客様向けに現在予約受付中で近くにある飲食店のみをウェブサイトで紹介し、即座に予約ができる
【Treasure2023】実際に買い出ししてデータモデリング！/ 夏季インターン講義レポート - CARTA TECH BLOG
Treasure データモデリング講義をレポート!! 技術広報のしゅーぞーです。 今日はCARTA HOLDINGS(以下、CARTA)の夏季インターンシップ Treasureのデータモデリング講義をレポートします。 データモデリング講師 @t_wada さん データモデリング講義の講師は @t_wada さん。 データモデリングの基礎を学んだ後、「実際にPOSシステムのモデリングを行う」実習を行います。 なんと最後には、 「実際に買い出し」をして、自分たちのデータモデルが現実問題に耐えうるか検証する ことをやっています...! Treasureの詳細はこちらをご覧ください。 techblog.cartaholdings.co.jp 講義の間には、イベントがもりだくさん 講義の間には、 ランチでお弁当を食べたり お弁当をかけてジャンケン CARTAエンジニアの キャリア を聞いたり 6年目
Recent database technology that should be on your radar (part 1)
Recent database technology that should be on your radar (part 1) Luc Perkins Monday, June 15, 2020 I’m a huge fan of databases, so much so that I’ve written a book on so-called “NoSQL” databases, I spent some of my most fruitful years in tech working on the highly influential distributed database Riak, and I even built a database called Purple last year just for fun. Naturally, I’m always on the l
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「AWSではじめるデータレイク」出版記念 データレイクはじめの一歩.pdf
1日目：「将棋×Python」がもたらしたものとこれから | gihyo.jp
駆け出しエンジニアの皆様へ | Ogihara Ryo
Google Cloudのサーバーレス製品を活用したアーキテクチャ | gihyo.jp
ケンオール郵便番号逆引き検索機能のベータリリース - ケンオールブログ
[論文紹介] TiDB:a Raft-based HTAP database
ざっくり、Webシステムの発展と最新状況 2021 - Qiita
コンテナアプリの80％はAWSで実行されているーーゼロから学べるAWSのコンテナサービス入門
クライアント・サーバサイドに分散する計算ロジックのマイクロサービス化 | メルカリエンジニアリング
ハウテレビジョン サマーインターン2019 - ハウテレビジョンブログ
MySQL InnoDB の全文検索機能をサクッと試してみました
面接でされた技術質問まとめ - Qiita
代表取締役の逝去に関するお知らせ（訃報） | 株式会社G-gen（旧 株式会社トップゲート）
EBS Multi-Attachの使いどころを考えてみた | DevelopersIO
AWS・Azure・Google Cloud、クラウドのデータベースをリードするのはどれか
株式会社Scalarの技術顧問に就任しました - 竹迫の近況報告
RESTはオワコンか、クエリ言語は「GraphQL」の時代へ
SQL Serverで断続的に発生するクエリタイムアウトの原因を調査した話 - ZOZO TECH BLOG
AWSへ移行したレガシーシステムに、新機能はどうやって追加すべきか？ 既存の仕組みとサーバーレスな開発を共存させるアーキテクチャ