Azure Data Lake Store にローカルマシンから Hive クエリーを投げる | DATUM STUDIO株式会社
Azure Data Lake Storeとは Azure Data Lake Store（ADLS） は Azure 上にファイルを蓄積する際に利用できるサービスの 1 つです。 Azure Blob Storage（WASB） の容量 500 テラバイトという上限に対して、 無制限の容量を提供します。 Azure Active Directory の ID でファイルごとの権限設定も可能なので、 マルチユーザーでの利用も安心できます。 ADLS も WASB も HDFS と互換があり、それぞれのサービスに保存されているデータに対して分析処理を行うことができます。データを一元的に蓄積して分析するという流れを考えると、 ADLS は最適なサービスであり、実際にそれをサポートするような Azure のサービスもあります。例えば HDInsight はマネージド Hadoop クラスターであ
AWSから120万円の高額請求が来た話
筆者は2018年の夏にAWSから高額請求を受けました。 とある開発合宿の夜、LaravelでS3に画像をあげ、CroudFront経由で表示させるための実装を行っていた時の出来事です。 AWSのコンソール画面とにらめっこしていた時に、ふと左サイドバーの履歴の項目に、気になる項目が目に付きました。 ん？ 請求？ 普段はこんな項目出て来ないため、気になったのでクリックしてみました。その瞬間、恐ろしい現実を目の当たりにしたのです。 請求を押した時に開かれた画面が、以下の通りでした。 【請求画面の画像】 及び10000$！日本円にして、約124万円の請求が来ていました。 何かの間違えだと思ったが、少し怖くなったのでひとまず、こういった事例がなぜ起こるのか、自分に当てはまる原因がないかを調べるため、「AWS 高額請求」などでググってみました。 すると、いくつか記事が早速上位にヒットしました。 htt
初心者3人でwebサービス(webアプリ)を作ったので、立ち上げからリリースまでを時系列に書いていく - Qiita
8/19(開始から0日目) 議題 : 「何をやるか決める」 時間 : 3時間 初日の会議は何をやるか決めました。作ってみたいもの、やってみたいこと、アイディアをとにかく雑多に書き出していきました。 その時に出たアイディアがこんな感じです(原文ママ) リアルタイムに腹筋バトル ツイッターのその人のイラストだけを収集して表示 飲食店のメニューのweb化 スピード合コン jsのアニメーションをフル活用したブログ 目標達成を対戦化(対人) バーチャルユーチューバーの情報を集める 自分の宣伝してほしいものを提示して、ツイートをしてもらう 同じ料理をどれ程うまく撮れたか投稿し合って投票でランキングするアプリ。 youtubeライブ&チャット + twitter CMの間に溜まったツイートを見るサイト 飯を食べるとカーリングのストーンが投げられる 「自分たちでも作れる」「作ってて楽しいもの」「ユーザ投稿
Python + Selenium で Chrome の自動操作を一通り（ログイン、ダウンロード、他）
はじめに Python + Selenium + Chrome で、要素の取得、クリックなどの UI系の操作、待機、ページ全体のスクリーンショットなど、一通り試してみます。 PhantomJS はもう更新されないということなので、ブラウザは Chrome にします。 この記事には、Selenium の API に関する情報と Chrome に特化した情報がありますが、前者の Selenium の使い方に関する情報は Firefox など別のブラウザでも使えます。 注意事項 ウェブの自動テストやスクレイピングで使われる技術です。特にスクレイピングでは、著作権の問題や、サーバー側の負荷、各種規約（会員としてログインする場合の会員規約等）やマナーなどを考慮する必要があります。 たとえば、Twitter など利用規約で明示的にスクレイピングが禁止されていることや、robot.txt などでクローリ
【保存版】言語別Youtubeおすすめチャンネル
💡新記事の紹介 言語学習から一歩先に進んだ記事書きました →【保存版】個人開発の進め方 -全５ステップ- 良ければ見てみて下さい！ はじめに 0からプログラミングが学べるおすすめのチャンネルまとめてみました。 IDEのショートカットやリファクタリングも学べます。 コメントを頂いたので、記事にしようと思いました。 → 新卒, Webサービスを作ってみた話 ---絶対に手を動かしながら、やってください！--- 動画を進めては止めて進めては止めて、です。 ３倍以上時間はかかりますが、、 ディアルディスプレイ推奨です。 Android Android Instagram Clone App インスタグラム似のアプリを作ります。 １動画は短いのですが、１００本の超超大作です。 中盤くらいから勝手に手が動くようになります。 動画と同じくらいのスピードでコーディングできるようになるので、ある意味すごく
AWS認定9冠制覇したのでオススメの勉強法などをまとめてみる
まず11位の「クラウドプラクティショナー」ですが、2018年に新設されたAWSのエントリーレベルの認定です。AWSの基本的な概念や、AWSのベーシックなサービスの特長、請求・アカウントマネジメント・料金モデルなどに関する理解が問われます。エンジニアだけでなくマネージャーや営業など様々なポジションを対象とした認定であるため、問われる知識の範囲は意外に広いです。ただ、知っていれば解ける問題が多いため、この順位にしています。 10位の「Alexaスキルビルダー - 専門知識」は、文字通りAlexaのスキル開発に関する知識が問われます。専門知識と銘打たれていますが、内容自体はそこまで難しくなく、Alexaスキル開発に関して知っていれば解ける問題が多かった印象です。これまでにAlexaスキルを開発したことがあり、クラウドプラクティショナーレベル以上のAWS知識があれば、問題なく合格できると思います。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
