PythonでスクレイピングとMNISTを使って機械学習を実践する - 継続は力なり
タダです。 あけましておめでとうございます！ 新年一発目のブログを書いて行きます。 実は、id:kakku22さんのブログメンティーに選んでいただきまして、良いプレッシャーをいただきつつブログを書いています。 TL;DR スクレイピングと機械学習 スクレイピングの技術要素 実際にPythonでスクレイピングして機械学習を行う 1. MNISTから学習用データとテスト用データをダウンロードする 2.MNISTの学習用データをCSVに変換する 3.画像データを学習させる まとめ さて、昨年から機械学習に興味が出てきて、その技術について学んでいます。 その中でデータ収集するための手段としてスクレイピング技術を勉強しているので、今回はPythonのスクレイピングをサンプルデータで実際に動かしてみます。 教本としてこちらの本を使わせてもらっています。 www.socym.co.jp TL;DR ソー
AWS CLI のコマンドを自動生成してくれる「AWS CLI Builder」 - 継続は力なり
タダです。 Jeff Barrさんのツイートを見ていたら、「AWS CLI Builder」というサイトが紹介されていました。 Really cool - #AWS CLI Builder - https://t.co/WbagWpfJCx - "Build your own AWS CLI commands..." pic.twitter.com/Kj4NM0x9pd— Jeff Barr ☁️ (@jeffbarr) 2019年1月2日 サイトはこちらです。 AWS CLI Builder By Prasad Domala こちらのサイトでは、AWS サービスごとの AWS CLI コマンド実行支援がされています。 Let me help you BUILD YOUR AWS CLI COMMANDS GET STARTED by choosing a service. AWSマネジメ
本当の問題は量よりも質…IT人材白書「エンジニア不足」の真相 - paiza times
Photo by Tim Regan こんにちは。倉内です。 経済産業省のIT人材の最新動向と将来推計に関する調査によると、2019年をピークに人材供給は減少に転じ、今後ますますIT人材の不足数は拡大していくと言われています。 同調査の概要をまとめた資料では、「IT人材」の不足は（高位シナリオの場合で）2020年に約37万人、2030年には約79万人と予測されていますが、「本当にそんなに不足するのだろうか…？」と疑問に思っている方もいるのではないでしょうか。 そこで今回はデータをひもときながらIT人材不足の本質、特に不足が懸念されている分野、さらにIT人材として今後のキャリアをどのように考えていけばよいのかについて考察していきたいと思います。 「IT人材」の定義 特にIT人材が不足する分野 企業が求めるIT人材の「質」の変化 IT企業自体の変化 IT人材に求められる「質」とは 「IT人材」
ホリエモンの「株で『確実に』大儲けする方法」に本当に驚いた｜ふろむだ@分裂勘違い君劇場
「なあ、堀江がどうやって株で儲けてるか、知ってる？」 Aさんの声が、経営会議室に響いた。 ※Aさんは堀江さんの友人で、いつも「堀江」と呼び捨てにしている。 経営会議が一段落したところで、またAさんの脱線が始まったのだ。 しかし、経営会議メンバーたちは、興味津々でAさんの話に耳を傾けている。 なぜなら、Aさんの「脱線」はいつも、経営会議なんかよりも、はるかに面白いからだ。 Aさんが言う。 「株式を分割すると、分割して増えた分の株が株主のところに来るまで、タイムラグがある。 その間、株主は、その分の株式を売ることができなくなる。 すると、株の買い圧力は同じまま、株の売り圧力が減るので、株価が上昇する」 そう言いながら、Aさんは、こんな図をホワイトボードに描き始めた。 「だから、ライブドアの株が分割されると、株価が上昇するんだ。 そうすると、堀江は、自分の保有しているライブドア株を、高い価格でど
運転免許証の偽造、海外サイト野放し 大きさや形は本物と酷似、悪用の犯罪相次ぐ | 毎日新聞
逮捕、起訴された男がサイトで注文した偽造運転免許証。大きさやデザインは本物と酷似している＝愛知県常滑市の県警中部空港署で2018年12月3日午後4時44分、井口慎太郎撮影 インターネット上で運転免許証の偽造を請け負うサイトが存在し誰でも注文できる状態になっている。愛知県警は実際に注文した男を逮捕したものの、海外にサーバーが置かれていることなどから、運営者は特定できていない。偽造運転免許証を身分証明に悪用した犯罪も相次ぐ一方、こうしたサイトの閲覧防止などの対策は追い付いていない状況だ。【井口慎太郎】 名古屋税関の職員が2018年10月26日、中部空港島にある中部外郵出張所で、中国から国際郵便で送られてきた封書の中に「運転免許証」を見つけた。通報を受け県警が調べると、大きさや形は本物と酷似していたが、「交」の文字の透かし模様がなく、ICチップも埋め込まれていない偽造品と分かった。
個人のひとりSlackを、手帳・日記・情報収集として活用する - このすみノート
年末年始に今年度の手帳を購入したのですが、うまく馴染めなかったのでSlackで手帳や日記をつけてみることにしました。 もともとは、「個人Slackのススメ」を読んだのがきっかけです。 qiita.com 記事を読んだ当時は、個人でひとりSlackを始めることはなかったのですが。 手帳をアナログからデジタルへと移行したいモチベーションで始めてみたところ、あまりに快適すぎるので、今後も病み付きになりそうです。 個人Slackについての感想や、私がどのように使っているかなど共有します。 3行日記としての活用 「#diary」というチャンネルで、3行日記を付けてます。日記は続かないことが多かったのですが、3行であれば就寝前や通勤中でも書けるので、日記を書く習慣ができました。 「3行日記」を書くと、なぜ健康になれるのか? 作者: 小林弘幸出版社/メーカー: アスコム発売日: 2014/05/24メデ
2018 年は Firebase を使ったけど 2019 年は AWS Amplify を使おうと思う / AWS Amplify 2019 #kyotojs
2019/01/12 に #kyotojs で発表したスライドです
製造業における機械学習, OSEK(83) 制御(10) - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 目次 はじめに 背景 ・塗装業界で機械学習 ・量子計算機の新興企業の提携 製造業と機械学習企業の提携 製造業向け機械学習 製造業とIT企業との提携 おわりに ・深層学習読書会 ・・docker で機械学習 ・特許 ・・特許調査と製造業とIT企業の提携に焦点を絞っている理由 ・・特許組織別集計 ・情報収集 ・・WEBから伺える本気度。 ・・Webの確認作業 ・・備忘録 参考文献(reference) ・参考資料 on Qiita (references on Qiita) 文書履歴(document history) はじめに 2017,
ビジネス特集 中国の巨人「滴滴」に潜入した | NHKニュース
たった１秒間に300以上の注文が入る脅威のアプリ。中国の「滴滴（ディーディー）」をご存知だろうか。スマホで車両と乗客を結ぶ配車サービスで、５億人を超える利用者を持つ巨大ユニコーン企業。この分野の先駆者、米「ウーバー」と肩を並べる。去年９月には日本にも上陸。私たちの生活にも無縁とは言えない存在だ。今回、ＮＨＫはこの滴滴の中枢の取材に成功。世界から注目される理由に迫った。（経済部記者 吉武洋輔／政経国際番組部ディレクター 矢島哉子） 吐く息が真っ白になるほどの極寒の北京。繁華街のショッピングモールの前で目にしたのが、ひっきりなしに横付けされる滴滴の車だった。次々に降りてくる人たちの多さに圧倒されるが、その光景は家族や友人に車で送ってもらっているように見える。なぜならほとんどの車両がタクシーではなく、一般の乗用車だったからだ。 この一般のドライバーが自分の車に乗客を乗せるしくみを「ライドシェア」
xrdp を用いて Windows から CentOS にリモート デスクトップ接続する
xrdp は オープンソースで開発されたサーバー ソフトウェアです。 機能的には、Remote Desktop Protocol (RDP) 経由で接続できる Linux ターミナル サーバーとして動作し、rdesktop や freeRDP、Microsoft のターミナル サーバーおよびリモート デスクトップ クライアントから接続、GUI で操作できることを目的としています。 ※ただし、Windows Server のようなリモート デスクトップ の機能を提供しているわけではなく、実際には X window デスクトップを表示させています。 Windows から Linux にリモート GUI 接続する場合、VNC の利用や、 Linux を Hyper-V の仮想マシンとして動作している環境であれば Hyper-V マネージャー スナップインを利用することで可能ですが、Windows
Make: Japan | Raspberry Piを攻撃から守るための手順
2017.09.15 Raspberry Piを攻撃から守るための手順 Text by Justin Klein Keane and Tom Van de Wiele Translated by kanai Raspberry Piは、あらゆるプロジェクトに使える夢のボードだ。安くて、簡単に使えて、さまざまなOSに幅広く対応していて、プログラム可能なGPIOピンやマルチコアのCPUや複数のUSBポートも備えている。 何かを自動化したり情報を集めたりといったプロジェクトに非常に適しているRaspberry Piだが、気をつけていないと、その可愛いボードを使った簡単な趣味のプロジェクトが、ネットワークへの侵入口になるなどのセキュリティホールになってしまう恐れもある。Raspberry Piには、ARM Trustzoneと違ってセキュアブートの機能がない。SDカードやOSは簡単には暗号化できな
やまやのランチは辛子明太子が食べ放題！白米がとめどなく進む満足ランチ - メシコレ（mecicolle）
やまやのランチは辛子明太子が食べ放題！白米がとめどなく進む満足ランチ 最終更新日 ： 2017/09/15 この記事で紹介するのは…東京・秋葉原にあるもつ鍋店『やまや 秋葉原店』（東京都千代田区神田佐久間町1-13chomp chomp AKIHABARA8F）について、神田・秋葉原界隈のグルメに詳しい大帝オレさんが紹介しています。おすすめのメニュー「牛丸腸の鉄板味噌焼き定食」について、詳細にレポートしてくれています。 アキバであの”やまやの辛子明太子”が食べ放題！なランチが楽しめます 博多名物の辛子明太子と聞くと、”やまや”ブランドの名が浮かぶ方も多いかと思います。 先日、ランチタイム（11時から15時まで）限定で、やまやの辛子明太子がたらふく楽しめる、「やまや 秋葉原店」に行ってきました！ なお、やまやの辛子明太子の食べ放題は、やまやのランチメニュー（1000円）を注文した方であれば誰
さくらインターネットがデータセンター間接続で目指したものとは
さくらインターネットは、2010年ごろから「データセンターのプラットフォーム化」を進めてきた。一言でいえば、各顧客が同社の提供するサーバ系サービスを自由に組み合わせ、仮想的に自社のデータセンターを構築できるようにする取り組みだ。 さくらインターネットは、「さくらのレンタルサーバ」「さくらのマネージドサーバ」「さくらのVPS」「さくらのクラウド」「さくらの専用サーバ」、そしてハウジングと、6種のサーバサービスを提供してきた。このうち、顧客にルート権限を提供しないレンタルサーバとマネージドサーバを除き、4種のサービスについては全て、各顧客専用の論理ネットワークセグメントにつなぎ込めるようにした。これを「ハイブリッド接続」と呼んで提供している。 このネットワークセグメントは、他の顧客からは完全に論理的な分離がなされている。従って、各顧客は、さくらの仮想サーバおよび物理サーバのリソースを調達し、こ
データセンタ間ネットワーク接続技術：EVPN-VXLANのActive-Active構成を試しました - FJCT Tech blog
この記事は富士通クラウドテクノロジーズ Advent Calendar 2018 14日目です。 13日目は@blue271828の「Redis Module 事始め」でした。 15日目は@YoshidaYの「gRPCのシナリオテスト用コードを生成するprotocプラグインを作ってみた」です。 はじめに インフラデザイン部で主にネットワークの企画/設計/運用を担当しているid:foobaron です。 今回は、 EVPN-VXLAN All-Active Multihoming による拠点間の接続を試してみました。 ネットワーク機器にはJuniper NetworksのvMX仮想ルータ を利用しました。 想定する読み手 本記事は次の読者を想定しています。 クラウドの閉域網接続に利用される技術を知りたい方 JunosでEVPN-VXLANを動かしてみたい方 はじめに 想定する読み手 EVPN
Deep Learningの学習の様子を可視化する、fastprogressがすごく良さげ - Qiita
from fastprogress import master_bar, progress_bar n_epochs = 20 # エポック数 b_batches = 10 # 1エポックあたりのバッチ数 x_bounds = [0, n_epochs] # 表示させる学習曲線の図のx軸の範囲 y_bounds = [0, 1] # 表示させる学習曲線の図のy軸の範囲 mb = master_bar(range(n_epochs)) for i in mb: # エポックに関するイテレーション for j in progress_bar(range(n_batches), parent=mb): # バッチに関するイテレーション # バッチごとの学習処理を記述 train(x_batch, y_batch) graphs = ... # グラフに関する設定 mb.update_graph(
再考・APT～Mandiantレポートを基に～
世界を駆けめぐった1通のレポート 2013年2月18日、米国のセキュリティ会社Mandiantが「APT1: Exposing One of China's Cyber Espionage Units」というタイトルのレポート（以下「APT1レポート」）を発表しました。 このレポートは、「上海を拠点とする中国人民解放軍所属の部隊が、過去数年間にわたって、主に米国を中心に、世界中の組織に対しサイバースパイ活動を行っていた」ことを指摘するもので、米国内にとどまらず、世界中のメディアなどで取り上げられ、大きな話題となりました。 そこで本記事では、10年以上にわたって繰り広げられてきた米中間のサイバー空間における争いや、APT1レポートによる影響とその意味、今回のレポート公開へとつながる背景などについてまとめてみたいと思います。 「APT1レポート」が示した内容～サイバースパイ活動の実態 APT1
日本政府が警告、サイバー攻撃集団APT10の正体
外務省や内閣サイバーセキュリティセンター（NISC）などの政府機関が、中国が関与するとみられるサイバー攻撃グループ「APT10」について注意を呼びかけている。政府が特定のサイバー攻撃グループについて言及するのは極めて異例だ。APT10とは何者なのか。 APTとは、Advanced Persistent Threatの略。日本語に訳すと、高度で持続的な脅威。国家などの支援を受けて、特定の業界の企業・組織に対し、高度な技術を駆使して継続的に実施されるサイバー攻撃を指す。 2000年以降、多数のAPTが確認されている。マルウエア（ウイルス）などと同様に、セキュリティーベンダーそれぞれが独自のルールで、APTを実施しているサイバー攻撃グループに名前を付けて区別している。 米ファイア・アイ（FireEye）では、サイバー攻撃グループを識別するために「APT（数字）」というグループ名を付与している。A
『生クリームを使うレシピはちゃんと200ml使い切るまで面倒を見てほしい』というツイートに生クリームを使い切る知恵がどんどん集まる
200mlのパックで売られている事が多い“生クリーム”ですが、レシピによっては中途半端な量しか使わないもものあり、消費に頭を抱える人は少なくありません。
日本語学習の初歩に最適 平仮名と数字の形・書き順を学べる「かきかたプリントメーカー」が便利
平仮名・数字の書き方を手軽に学べるWebサービス「かきかたプリントメーカー」（当初の「ひらがなプリントメーカー」から改称）が公開されました。 シンプルなデザインがまた良い（以下、画像はかきかたプリントメーカーより） 好きな平仮名・数字を打ち込むと、その文字の形と書き順が表示される仕組み。PDF形式で出力することもできるので、印刷すれば簡易ながらも書き方を学ぶためのテキストに使用できます。紙の向きや文字の方向、文字の大きさも指定可能。文字の形だけを覚えたい場合には、書き順表示を省略することもできます。 いろいろカスタマイズできる PDF出力するとこんな感じ もともとは制作者である「ごうだまりぽ」（@MaripoGoda）さんが3歳の娘のために開発したもの。ごうださんのブログによると、従来の子ども用ドリルのように簡単な文字からではなく、自分が書けるようになりたいと思った言葉を練習させたいという
低レイヤーを学ぶための技術書をまとめてみる - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 半年前から低レイヤーに関する勉強をしている。 その中で読んだ技術書の感想、そしておすすめの読む順番をここにまとめてみる。 OS 30日でできる! OS自作入門 おすすめ度：80（満点100） 一言：自作OSの初心者向け 自作OSでまず初めに候補に挙がるのがこの本。2006年に出版された本ではあるが、OSの根幹を理解するにはとても良い。最初からアセンブリでメモリ操作をがっつり書くため、アセンブリの経験やレジスタ周りの知識が無いと挫折してしまうかも知れない。そこを乗り越えれば楽しくOSを実装していける。 コンピュータシステムの理論と実装 ―
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
マネーロンダリングに詳しい裏社会出身者に学ぶ、カルロス・ゴーンのマネロンスキーム : 市況かぶ全力２階建
東京大学脳神経外科 頭部3DCGデータベース
公道カート「マリカー」は日本人に嫌われたままでいいの？ 外国人に大人気、インバウンドめぐるギャップ - 弁護士ドットコムニュース
書店に入場料1500円 「体験型」で出版不況に挑む - 日本経済新聞