※ かなり前の記事ですが、未だに引用されるので一応追記しておきます。タイトルと画像がキャッチーなのはちょっと反省していますが、これを見てBigQuery使うのを躊躇している人は多分あまり内容を読んでいないので気にする必要はないです。自分は当時の会社でも今の会社でも個人でも普通にBigQuery使っていて解析用データなどはBigQueryに入れる設計をよくしています。また、アドベントカレンダーだったのでネタっぽく書きましたが事前に想定できる金額です。 ※ 代役：プロ生ちゃん（暮井 慧） 巷のBigQueryの噂と言えば「とにかく安い」「数億行フルスキャンしても早い」などなど。とりわけ料金に関しては保存しておくだけであれば無視できるほど安く、SQLに不慣れなプロデューサーがクエリを実行しても月数ドルで済むなど、賞賛すべき事例は枚挙に暇がありません。 しかし、使い方によってはかなり大きな金額を使

はじめに 大量データをクラウドに格納してデータ分析に利用してみようと思い、 速い・安いと言われるGoogleCloudPlatform(GCP)のBigQueryを触ってみた… かったのですが、以下の記事にもあるように予想外に課金されてしまった事例を小耳に挟んでいたため二の足を踏んでいました。 BigQueryで150万円溶かした人の顔 BigQueryのコストに対する恐怖心を払拭すべく公式ドキュメントを料金面にフォーカスして読み解き、 不用意に大量課金されないよう気をつける点をまとめたのが本記事となります。 今後も改定される可能性もありますので、利用の際にはご自身でも確認していただければと思います。 また、情報が誤っていた場合はご指摘いただければ幸いです。 課金される操作 BigQueryで課金される内容は ・ストレージ代金 ・データ操作代金 です。単純ですね。 ただし、データ操作は回数

筆者は2018年の夏にAWSから高額請求を受けました。 とある開発合宿の夜、LaravelでS3に画像をあげ、CroudFront経由で表示させるための実装を行っていた時の出来事です。 AWSのコンソール画面とにらめっこしていた時に、ふと左サイドバーの履歴の項目に、気になる項目が目に付きました。 ん？ 請求？ 普段はこんな項目出て来ないため、気になったのでクリックしてみました。その瞬間、恐ろしい現実を目の当たりにしたのです。 請求を押した時に開かれた画面が、以下の通りでした。 【請求画面の画像】 及び10000$！日本円にして、約124万円の請求が来ていました。 何かの間違えだと思ったが、少し怖くなったのでひとまず、こういった事例がなぜ起こるのか、自分に当てはまる原因がないかを調べるため、「AWS 高額請求」などでググってみました。 すると、いくつか記事が早速上位にヒットしました。 htt

8/19(開始から0日目) 議題 : 「何をやるか決める」 時間 : 3時間 初日の会議は何をやるか決めました。作ってみたいもの、やってみたいこと、アイディアをとにかく雑多に書き出していきました。 その時に出たアイディアがこんな感じです(原文ママ) リアルタイムに腹筋バトル ツイッターのその人のイラストだけを収集して表示 飲食店のメニューのweb化 スピード合コン jsのアニメーションをフル活用したブログ 目標達成を対戦化(対人) バーチャルユーチューバーの情報を集める 自分の宣伝してほしいものを提示して、ツイートをしてもらう 同じ料理をどれ程うまく撮れたか投稿し合って投票でランキングするアプリ。 youtubeライブ&チャット + twitter CMの間に溜まったツイートを見るサイト 飯を食べるとカーリングのストーンが投げられる 「自分たちでも作れる」「作ってて楽しいもの」「ユーザ投稿

はじめに Python + Selenium + Chrome で、要素の取得、クリックなどの UI系の操作、待機、ページ全体のスクリーンショットなど、一通り試してみます。 PhantomJS はもう更新されないということなので、ブラウザは Chrome にします。 この記事には、Selenium の API に関する情報と Chrome に特化した情報がありますが、前者の Selenium の使い方に関する情報は Firefox など別のブラウザでも使えます。 注意事項 ウェブの自動テストやスクレイピングで使われる技術です。特にスクレイピングでは、著作権の問題や、サーバー側の負荷、各種規約（会員としてログインする場合の会員規約等）やマナーなどを考慮する必要があります。 たとえば、Twitter など利用規約で明示的にスクレイピングが禁止されていることや、robot.txt などでクローリ

💡新記事の紹介 言語学習から一歩先に進んだ記事書きました →【保存版】個人開発の進め方 -全５ステップ- 良ければ見てみて下さい！ はじめに 0からプログラミングが学べるおすすめのチャンネルまとめてみました。 IDEのショートカットやリファクタリングも学べます。 コメントを頂いたので、記事にしようと思いました。 →　新卒, Webサービスを作ってみた話 ---絶対に手を動かしながら、やってください！--- 動画を進めては止めて進めては止めて、です。 ３倍以上時間はかかりますが、、 ディアルディスプレイ推奨です。 Android Android Instagram Clone App インスタグラム似のアプリを作ります。 １動画は短いのですが、１００本の超超大作です。 中盤くらいから勝手に手が動くようになります。 動画と同じくらいのスピードでコーディングできるようになるので、ある意味すごく

まず11位の「クラウドプラクティショナー」ですが、2018年に新設されたAWSのエントリーレベルの認定です。AWSの基本的な概念や、AWSのベーシックなサービスの特長、請求・アカウントマネジメント・料金モデルなどに関する理解が問われます。エンジニアだけでなくマネージャーや営業など様々なポジションを対象とした認定であるため、問われる知識の範囲は意外に広いです。ただ、知っていれば解ける問題が多いため、この順位にしています。 10位の「Alexaスキルビルダー - 専門知識」は、文字通りAlexaのスキル開発に関する知識が問われます。専門知識と銘打たれていますが、内容自体はそこまで難しくなく、Alexaスキル開発に関して知っていれば解ける問題が多かった印象です。これまでにAlexaスキルを開発したことがあり、クラウドプラクティショナーレベル以上のAWS知識があれば、問題なく合格できると思います。

Dockerを利用していていると稀に遭遇する問題を書き起こしてみました。 正直何が原因で何をすれば改善出来るのかはっきりとわかっておりません。 自分の備忘録的な意味合いが強い記事ですがもしかしたら現在進行形で困ってる方のヒントになれば幸いです:) 事象 Dockerコンテナを複数台連続で立ち上げ ホスト機でTOPを確認するとagettyがCPU使用率100%で張り付く top - 14:07:38 up 4 days, 22:31, 1 user, load average: 5.69, 2.38, 2.94 Tasks: 208 total, 4 running, 204 sleeping, 0 stopped, 0 zombie %Cpu(s): 0.0 us, 0.2 sy, 0.0 ni, 0.0 id, 98.9 wa, 0.0 hi, 0.9 si, 0.0 st KiB Me

はじめに CentOS 7で"最小限のインストール"以外を選んだ場合にインストールされるchronyはntpdに代わり標準となったNTPクライアント兼サーバである。 とはいえ、CentOS 7でも相変わらずntpdは使用できるし、ntpdateの代わりではないのでntpdateコマンドを打ちたければntpdateを使用する。 以下、初期稿ではchronyの、ntpdとの違いを中心に記述する。注目点があればそれも書くが、まともに追っていくと深いので、後で気になる点が増えたら追記する形を取る。 あと、この記事でネタにするのはchronyであってcronieではないので悪しからず。 chronyのインストールと起動 CentOS 7ではOSインストール時にインストールされていなければyum install chronyでインストールすることができる（CentOS 6でも6.8からOS標準のリポジ

タッチバーをカスタマイズしようというお話。 こんな感じに出来ます!! 2020/05/09 タッチバーにてマイクのミュートトグルを行うボタンの記事リンクを追加 2020/05/08 だいぶUIが変更されていたので記事を修正しました。 2019/01/24 better touch bar updateに伴いタッチバーボタンのfeedbackや 最下部のリンク集に公式のBTTコミュニティサイトを追記 まえがき これは釣りタイトルみたいなものなんで、すごい人は怒らずブラウザバックしてください。 どうもこんにちは。 アンドロイドを手に入れてから2,3年はホーム画面メチャクチャ凝って作ってたけど, 今は無操作にショートカットが転がっている@2357gi です。 ああいうの、最初は楽しいけどある時急に楽しさよりもカスタマイズする面倒くささが上回りますよね・・・。 話を戻しまして、 私は先日Macbo

ポートフォリオサイト作りました Naoki Kishi's Portfolio Site Topページ Skillページ 今までPythonやCばかり書いていてフロントエンドの技術を学んだことがなかったので、勉強を兼ねてポートフォリオサイトを作成しました。 レスポンシブ対応やSPA対応など初めてのことばかりでしたが、なんとか1週間で完成まで持っていくことができました。 この記事では完成までの道のりを時系列に沿って書いていきたいと思います。 動機 今回ポートフォリオの作ろうと思ったのは、エンジニアとして学生バイトやインターンに行きたいなと思ったからです。 今まで大したことをやってきていない僕にとって、エンジニアとして働きたいなら、何かしらアピールできるものが必要だと思いました。ポートフォリオサイトであれば、新しい知識を学べるのに加えて、自分のアピールにもつながると考えました。 ぜひ京都で学生

このコマンドはコンテナ内のroot権限だけでなく、ホスト側のroot権限も与えてしまうので簡単にバックドアを設置できてしまうのです。(設置するコマンドは調べればすぐに出てきますが流石にコピペできるように書くのはやばいので) また他にもコンテナを--privileged付きで起動しホストの/をマウントしてchrootするというもっと凶悪な手もあります。 元々sudoが使えるのに、何が問題なの? 問題はユーザーが意図的にdockerコマンドを実行した時には発生しません。問題は悪意のあるプログラムがサーバなどに混入した時や、怪しいDockerfileを使用した場合です。 大抵の悪意のあるプログラムは何らかの手段でroot権限を取得しようとしますが、それはゼロデイ脆弱性であったりそもそもの権限のミスであったりしますが、dockerがインストールされている条件下ならばこの方法で権限昇格を狙ってくる場

pythonをサポートしている並列分散ライブラリの１つであるDaskを使ってみたので処理速度の比較などメモ。 この記事はdask 0.16.0 documentationを参考にしています。 実行環境 Python version : 3.6.1 compiler : GCC 4.2.1 Compatible Apple LLVM 6.0 (clang-600.0.57) system : Darwin release : 16.7.0 machine : x86_64 processor : i386 CPU count : 4 interpreter: 64bit そもそもDaskって何ですか ?? Daskは、pythonを用いた分析のための柔軟な並列計算ライブラリです。numpyやpandasのAPIをバックエンドとして利用しており、並列計算/分散処理を行うことが可能です。また、D

Define-by-run である Eager Execution がデフォルトとなり、 API も大きく変わりそうな tensorflow 2.0。 紹介の動画が詳しくそれらを説明してくれているので 英語のリスニング練習のために 大まかな内容を日本語に書き起こしました。 スクリーンショットはすべて上記動画のもので文章は基本的にはそれらの要点を引用し訳したものとなります。 訳は意訳で、細かい部分は書いていません。 動画の意図と異なる部分などありましたらご連絡ください。 最初に （このセクションは動画の翻訳ではありません） この動画では eager execution (eager-mode) の話が沢山出てきます。 eager execution を理解するには Define-and-run と Define-by-run の違いを理解しておく必要があります。 Define-and-run

1. vscode-icons アイコンがついて見やすくなる。 2. GitLens とにかく強い。 「コミット単位でのファイル比較」や「最新のコミット内容とそのコミッター表示」など色々してくれる。 git blameする手間なくなる。 3. Prettier コードのフォーマットは自動でやりましょう！ 複数人のこだわりをうんたらするよりも、Prettierに委ねるのが楽。 関連のTipsはここ 4. Git History Git logが見やすい 5. Bracket Pair Colorizer カッコの対応を色付きで表示してくれる。 ものすごく読みやすくなって最高&最高！！ なおBeta版ですが、後継となるBracket Pair Colorizer 2も出ています。 6. Settings Sync どこでも同じ設定で使いたい人には便利。 ⇧ + ⌥ + U/D で設定をアップロ

出つくしていくるんだろうけど、メモ 環境： ubuntu14ぐらい　postgres9.3 現象：postgresでない自分のUNIXユーザーでログインしたシェルから、psqlを実行する際、postgresql上のユーザーの正しいパスワードを入力してもログインできない こんな感じ hoge@ubuntu:~$ psql -U postgres -h localhost -W Password for user postgres: psql: FATAL: password authentication failed for user "postgres" hogeがUNIXグループpostgresには参加済みでもこうなる。 問題はLinuxの仕組みではなくpostgresの認証の仕組みが関係していた。 postgresユーザー名とパスワードを指定してもローカルからのアクセスはUNIXユーザ

diff -u postgresql.conf.org postgresql.conf --- postgresql.conf.org 2017-01-16 16:57:24.904920137 +0900 +++ postgresql.conf 2017-01-16 17:00:13.670101306 +0900 @@ -575,3 +575,4 @@ #------------------------------------------------------------------------------ # Add settings for extensions here +listen_addresses = '*'

yum -y install ntp vi /etc/ntp.conf 許可する範囲を指定 restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap restrict 192.168.2.0 mask 255.255.255.0 nomodify notrap restrict 192.168.100.0 mask 255.255.255.0 nomodify notrap restrict 192.168.200.0 mask 255.255.255.0 nomodify notrap restrict 172.16.0.0 mask 255.255.240.0 nomodify notrap 同期をとるサーバを指定 server ntp.nict.jp iburst NTPクライアント yum -y install ntp #res

さくらインターネットのアドベントカレンダー9日目として、サーバ屋らしく、運用に関するコマンドの使い方を紹介します。 サーバの負荷が高まってきたときに、vmstatやtopなどのコマンドで調査する事が出来ますが、I/O負荷をwa(iowait)によって判断する人も多いと思います。 ただ、結論から言うと、iowaitは正確にI/Oの負荷を表しているわけではありません。 これらを、実際に演習をしながら見ていきたいと思います。 iowaitとidle iowaitとはあくまでも、CPUが空いているのにI/Oがボトルネックになっているプロセスを示しているだけで、CPUの利用率が高いときにはI/Oがボトルネックになっていてもiowaitが上がりません。 同様に勘違いされがちなのが、id(idle)はCPUの空きを示しているというものですが、idleは必ずしもCPUの空き時間を示しているものではありませ