BigQuery におけるコスト最適化の ベスト プラクティス | Google Cloud 公式ブログ
※この投稿は米国時間 2019 年 9 月 25 日に Cloud Blog に 投稿されたものの抄訳です。 あらゆる業務のデータが各所に分散する今日の状況において、データ ウェアハウスの運営、管理は厄介で手間のかかる作業となりがちです。こうしたデータの急激な増加に対応してシステムをスケーリングし、日々の運用を維持することは、これまでになく大きな課題となっています。課題はそれだけではありません。データ ウェアハウスをアップグレードするときにダウンタイムをできるだけ短くする、ML や AI に向けた取り組みを支えてビジネスニーズに応えるなどの必要にも迫られています。Google Cloud のサーバーレス、エンタープライズ向けデータ ウェアハウスである BigQuery は、インフラ管理に手間を取られず分析作業に集中できるという点が評価され、数々の企業に導入されています。 BigQuery
［Python入門］Beautiful Soup 4によるスクレイピングの基礎
連載目次 前回は、urllib.requestモジュールを利用して、Webからファイルを取得する方法の基本を見た。今回は、このモジュールを使って得たHTMLファイルからBeautiful Soup 4というライブラリを使って必要なデータを抜き出す方法を見てみよう。 スクレイピングとは スクレイピング（scraping）とは、Webサイトに表示されたHTMLページ（あるいはXMLなど、その他のリソース）から自分が必要とする情報を抽出する（抜き出す）ことだ。特に近年では、機械学習などで大量のデータを取得する必要が出てきていて、それを手作業で行うことは現実的ではないことから、プログラムを使ってそれを自動化（半自動化）することが多くなっている。 Pythonにもスクレイピングを行うためのフレームワークやライブラリといったものが幾つもある。今回はそれらの中でBeautiful Soup 4というライ
AWS Dev Day Online Japan (開発エンジニアのためのオンラインカンファレンス) | AWS
AWS Dev Day は AWS がお届けする開発エンジニアのための日本最大級のカンファレンスです。例年は集合形式で開催してきましたが、今年はオンラインイベントとして再構築し、2020 年 10 月 20 日 (火) ～ 22 日 (木) に開催されました。エンジニアの皆様の役に立つコンテンツを満載し、オンラインだからこそできる新たな形を追求しました。エンジニアにとってロールモデルとなるスピーカーがそろったキーノート、ユースケースが多数そろった実践的なコンテンツが集結したブレイクアウトセッション、そしてワークショップ。いずれも見逃せないコンテンツばかりです。 このたび、オンデマンド視聴の許諾のある 59 のコンテンツを一挙公開することとなりました（一部は期間限定公開となります）。ぜひ、今おさえておくべきトピックを網羅し、皆様のスキルアップにお役立てください。 主催：アマゾン ウェブ サー
マイクロソフト、マイクロサービス開発を容易にする「Dapr」をオープンソースで公開。サービス間呼び出し、ステート管理、サービス間メッセージングなど提供
マイクロソフトは、マイクロサービスアプリケーションの開発を容易にするためのフレームワーク「Dapr」をオープンソースとして公開しました。現在アルファ版となっており、多くの開発者の協力を求めています。 マイクロサービスアプリケーションは、「マイクロサービス」あるいは単に「サービス」と呼ばれる、それぞれがアプリケーションを構成するための機能を提供する多数のプログラムが疎結合によって連係することで実現されます。 それぞれのサービスはWebサーバのようにステートレスなものもあれば、データベースサーバのように状態をつねに保持するステートフルなものもあります。 また、それぞれ異なるプログラミング言語で開発されたサービスがお互いを呼び出し、メッセージをやりとりする必要があります。 Daprは、こうしたマイクロサービスアプリケーションの開発を容易にするため、プログラミング言語に依存せず、サービス間の呼び出
複数条件の組み合わせによるテストケース数爆発と戦うPairwise(ペアワイズ)法とそれを支えるツール「PICT」 | DevelopersIO
ペアワイズ法を使うことで、効率的にテストケースを絞り込めることがわかったかと思います。 --- 2019/10/31 追記 --- どうしてテストケースを絞り込んでも大丈夫なのか？という意見がSNSやはてブのコメントで見受けられたので、フォローアップエントリを書きました。こちらも合わせてご覧ください。 ペアワイズ法は本当に有効なのか？組み合わせテスト技法と上手に付き合う方法 ｜ DevelopersIO ペアワイズ法を支えるツール「PICT」 ペアワイズ法が有効なことはわかりましたが、この組み合わせをどうやって作れば良いでしょうか？条件の数が少なければ前述のように手作業でもやれないことはありませんが、現実の問題はもっと複雑ですので、到底無理でしょう。 そこで役に立つのが、ペアワイズ法のテストケースを生成してくれるツール「PICT」です。 microsoft/pict: Pairwise I
いま知っておきたいLinux─WebアプリがOSのプロセスとしてどのように見えるか？ を運用に生かす｜ハイクラス転職・求人情報サイト AMBI（アンビ）
いま知っておきたいLinux─WebアプリがOSのプロセスとしてどのように見えるか？ を運用に生かす Webアプリを動かして負荷をかけると、OSのプロセスという観点ではどのように見えるのでしょう？ それを通して運用やトラブルシューティングではどういったことが分かるのでしょう？ Linuxカーネルの開発者でもある武内覚（sat）さんによる解説です。 こんにちは、sat（@satoru_takeuchi）と申します。 コンピュータが誕生してから現在まで、最終的にエンドユーザが意識するアプリケーション開発はどんどん楽になっています。先人たちのたゆまぬ努力の結果、アプリ開発者はOSや、そのさらに下にあるハードウェアのことをほとんど意識することなく開発ができるようになりました。 しかし、「作ったアプリが、OSレベルでどのように動いているか？」が今一つピンと来なくて、モヤモヤしていないでしょうか。それ
OAuth 2.0 の勉強のために認可サーバーを自作する - Qiita
逆に、RFC 6749 以外で定義されている認可フローをサポートする場合、新たに別のエンドポイントの実装が必要になることがあります。例えば CIBA（Client Initiated Backchannel Authentication）ではバックチャネル認証エンドポイント（backchannel authentication endpoint）、デバイスフロー（RFC 8628）ではデバイス認可エンドポイント（device authorization endpoint）の実装が求められます。 この記事では、認可エンドポイントとトークンエンドポイントを実装します。サポートする認可フローは認可コードフローのみ、サポートするクライアント・タイプはパブリックのみとします。 2. 注意点 下記の理由、および書かれていないその他の理由により、本実装は商用利用には適していません。 セキュリティー上必須
予算委質問、内閣府が「漏えい」＝国民・原口氏が明らかに：時事ドットコム
予算委質問、内閣府が「漏えい」＝国民・原口氏が明らかに 2019年10月17日20時58分 国民民主党の原口一博国対委員長は１７日、同党の森裕子参院議員の参院予算委員会での質問内容が事前に流出した疑いがあることについて、内閣府が質問項目を漏らしていたと記者団に明らかにした。 予算委質問「漏えい」と反発＝調査チーム設置へ－国民民主 立憲民主、国民両党などの合流会派は同日、調査チームの初会合を開き、内閣府から聞き取りを実施。原口氏らによると、内閣府は政府の国家戦略特区ワーキンググループの原英史座長代理にメールで質問内容を送信。原氏はメールと電話で、高橋洋一嘉悦大教授に内容を伝えていたと説明したという。 原口氏は、内閣府が原氏に送ったメールには国家戦略特区とは関係のない質問項目も含まれていたと指摘した上で、「公務員の倫理として非常に不適切だ」と批判した。 森氏は１５日の参院予算委で質問し、原氏の
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
