機械学習を勉強するときはDockerを使うと便利 - あさのひとりごと
いまお仕事の関係で、機械学習の教科書的な書籍を読んだりオンライン講座を受講したりしながらサンプルやチュートリアルを動かして勉強しています。 機械学習を勉強するときは、Pythonの環境を構築し、JupyterNotebookを使って、実際に手と頭を動かしながら行うのが効率的です。が、アルゴリズムの理論そのものの理解がすでにしんどい上、過学習対策のための正則化、汎化性能の評価、クロスバリデーション、不均衡データや少ないデータはどうすればいいか、などなどいちいち難しいことを数多く勉強しなければなりません。 その上、、、、機械学習での学習は、1度やれば終わり！ではなく、パラメータチューニングしたり、データを増やしたり加工したりしながら、繰り返しなんども行う必要があります。一見ビジネス寄り＆アカデミックな雰囲気を醸し出していますが、実際のところは、非常に泥臭い作業のオンパレードです。 が、、、、、
Pythonメモ : あまり知られていない（かもしれない）テクニック集 その1 - もた日記
valueswapping.py : 変数の値を交換 controlwhitespaces.py : 空白の操作 concatenatestrings.py : 長い文字列を複数行に分けて書く forelse.py : forループのelse文 whileelse.py : whileループのelse文 tryelse.py : tryのelse文 boolasint.py : ブール型を数値として扱う rawinputintegers.py : 文字列内の複数の数値を変換 chainedcomparison.py : 比較の連鎖 conditionalassignment.py : 条件による代入 conditionalfunctioncall.py : 条件による関数呼び出し stepslice.py : リストの要素を何個置きに取得 maxsplit.py : splitの分割回数
NetflixやYouTubeに無断で通信帯域を絞るテストをベライゾンが行ったことが発覚し騒ぎに
by Mike Mozart 「通信帯域が絞られる」ということはすなわち通信速度の低下を意味していて、YouTubeやNetflixのような映像配信を行っているサービスにとってはユーザーの快適度が下がるためあまり好ましいものではありません。ところが、アメリカの大手通信キャリアであるベライゾンが実際にYouTubeやNetflixを対象に、黙って通信帯域を絞るテストをしていたことが発覚、騒ぎになっています。 Is Verizon throttling Netflix data now? : verizon https://www.reddit.com/r/verizon/comments/6o9l4x/is_verizon_throttling_netflix_data_now/ Verizon Throttles Netflix Subscribers In 'Test' It Doesn
ESLint導入環境にprettierを追加して運用する - Kenta Katoh's Blog
Kenta Katoh's Blog 駒沢より ESLint導入環境にprettierを追加して運用する July 15, 2017 prettier というコードフォーマッタが最近OSSでよく使われていて、OSSに限らず複数人開発しているプロジェクトなどで非常に有用だと感じたので、導入した。以下はその際の覚え書き・注意点など。 prerrierとは Node.js製のコードフォーマッタ。以下のコードに対応している。 JavaScript, including ES2017 JSX Flow TypeScript CSS, LESS, and SCSS JSON GraphQL ESLintとどう違うのか 似たようなツールでESLintが思い出されると思う。 prettier公式のドキュメントにも言及がある が、ESLintのリンティングには大きく分けて二種類あって、 Formatting
Googleスプレッドシートで作った単語帳から毎日LINEに英単語を送ろう
ここ4回にわたって、LINE Notify APIとGoogle Apps Scriptを組み合わせて使う方法を紹介しています。今回は、Googleスプレッドシートを参照して、毎日、覚えたい英単語をLINEに送るという仕組みを作ってみましょう。 Googleのスプレッドシートはとても便利で、いろいろな表を作って共有している方も多いことでしょう。また、仕事だけでなく、単語帳を作るなど学習に利用している方もいらっしゃると思います。 そこで、今回は、スプレッドシートに書き込んだ英単語を、毎日、LINEに送信するような仕組みを作ってみましょう。毎日コツコツ、6つずつ単語を覚えるなら、一年で2190個もの単語を覚えることができるのです。
Spring-AMQPとRabbitMQことはじめ(随時更新) - Qiita
The following plugins have been enabled: rabbitmq_management rabbitmq_management_agent rabbitmq_web_dispatch 次に管理コンソールを確認します。 ブラウザからhttp://localhost:15672/を開きます。 初期のログインユーザとパスワードはguestです。 次の画面が出ればひとまずインストール完了です。 メッセージサーバーへメッセージを送るクラスを作る SpringでAMQP用のメッセージを作るために必要なライブラリは、mavenないしはgradleを使ってspring-boot-starter-amqpを導入するだけです。本稿記載時(2016/4)のspring-boot-starter-amqpのバージョンは1.3.3です。 メッセージを送信するコードは、Spring
システム開発の仕様書テンプレートや参考サイトのまとめ｜IT情報局
システム開発の際に必要になる要求仕様書や基本設計、詳細設計に使う各種の書類のテンプレートを紹介しているサイトをまとめました。 また、参考になる資料を配布しているサイトや開発関連資料の書き方などの説明をしているサイトもあります。 システムを開発時の書式や方法は各プロジェクトによって使うフォーマットは異なりますが、初めて開発する場合や自社での開発資料を作成する際のテンプレートとして参考にしてください。 2017/2/22 追記 リンク先の資料を配布しているサイトがかなり古くなってしまったのでリンクの見直しと、新たにシステム開発の資料を提供しているサイトを探して追加しました。 仕様書のダウンロードができるサイト Pocket 9 要求仕様書から見積、基本設計、詳細設計、コーディング規約、テスト仕様書、その他スケジュールや議事録まで システム開発に必要な書類のテンプレートがそろっています。 htt
スレッド名にデバッグ情報を埋め込むと激しく捗る件 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、アプリケーション基盤チームの青木(@a_o_k_i_n_g)です。 今回、Java のちょっとしたデバッグテクニックを紹介したいと思います。Java で運用中何かトラブルが発生した場合、スレッドダンプを取得することはしばしばあると思いますが、スレッドダンプだけだとちょっと情報が足りないことがあります。今回はスレッドダンプから得られる情報を増やして、素早く障害対応したりデバッグに役立てる方法を紹介します。 まずはじめに: スレッドダンプの取り方 基本ですが、改めてスレッドダンプの取得の仕方を紹介しておきます。スレッドダンプを取得する対象のプロセス ID を仮に 12345 として、下記のように jstack コマンドを実行すればスレッドダンプが取得できます(※Linux上で操作する想定)。 $ jstack 12345 対象のプロセス ID は ps aux | grep jav
Pandasによる実践データ分析入門 - Gunosyデータ分析ブログ
こんにちは。データ分析部のオギワラです。最近は「NANIMONO (feat.米津玄師)」をよく聞いています。 今回はPythonのデータ分析ライブラリであるPandasについて、実践的なテクニックを「データ処理」「データ集計(Group By)」「時系列処理」の３カテゴリに分けてご紹介していきます。 Pandasに関する基本的な内容については、前エントリーで既に紹介されているので、是非こちらもご一読して頂けると幸いです。 data.gunosy.io データ処理 データの取り出し(query) 条件文に基づくデータ処理の適用(where) 各行への関数の適用(apply) データ集計(Group By) カラム毎に異なる集計を適用する(agg) 最大・最小値である行を取り出す(first) 標準化や正規化処理を適用する(transform) 時系列処理 時間の丸め処理(round) 時系
【本当の初心者向け】ニューラルネットとTensorFlow入門のためのオリジナルチュートリアル１ - HELLO CYBERNETICS
はじめに TensorFlowを理解する 計算グラフに対する理解 実践的なTensorFlowの理解 写像とは？ 写像をTensorFlowのコードと合わせて見る プレースホルダーという概念 写像をメモリに乗せる メモリに載せた写像のプレースホルダーに値を与える ニューラルネットのアフィン層設計 数式おさらい コードで見る ニューラルネットの設計 2層のニューラルネットワーク 活性化関数 TensorFlow APIの活性化関数 ニューラルネットの順伝播 TensorFlowの実際 tf.InteractiveSession() 順伝播を試してみる 最後に 今回の記事に関する補足 ニューラルネットを理解するための関連記事 続きの記事 はじめに TensorFlowを本格的に活用し始めて感じていることがいくつかあります。 モジュールが異様に豊富で、どれを使えばいいか分からない プログラミング
KerasではじめるDeepLearning | DevelopersIO
こんにちは、小澤です。 今回はKerasというDeepLearningのライブラリについて書かせていただきます。 Kerasとは 公式のドキュメントによると以下のようになっています。 Kerasは，Pythonで書かれた，TensorFlowまたはTheano上で実行可能な高水準のニューラルネットワークライブラリです． Kerasは，迅速な実験を可能にすることに重点を置いて開発されました． 可能な限り遅れなくアイデアから結果に進められることは，良い研究をする上で重要です． Keras Documentationより Kerasを利用するとDeepLearningの背後にある数学的な部分をスクラッチで実装しなくても、各層で利用するアルゴリズムとパラメータを指定するのみなど、比較的短いコードで目的のネットワークを表現することができます。 そのため、研究領域において非常に流れが早く企業などでも素
機械学習で使う指標総まとめ(教師あり学習編) - プロクラシスト
こんにちは、ほけきよです！ 機械学習の基本は教師あり学習です。 でも、実際の現場ではいろいろ指標が出てきて「?」 ってなるので、一回本気でまとめてみることにしてみました！ 教師あり学習の分類 二値分類 用語一覧表 図解 事例 事例1:果物の分類 事例2:ガンかどうかの検査 ROC曲線の意味合い 指標まとめ 多クラス分類 precision, recall, F-measure accuracy logarithm loss 出力が数値(回帰) 用語一覧 二乗誤差(MSE, RMSE)と絶対誤差(MAE)の使い分け AICとBIC, wAICの使い分け 時系列問題 参考になりそうなサイト 教師あり学習の分類 今回は正解はカテゴリか意味を持つ数字かで場合分けをしてみた。 全体の指標のサマリーはこんな感じ(だと思っている。) ※他にも大事な指標があるよ&これは間違っているのでは？？ というコメン
深層学習用PCを個人で自作するための部品選定ガイド(Amazon・実店舗) - roombaの日記
概要 趣味でディープラーニングを行うために自作PCを組んでみました。 自作のメリットとしては、 組み合わせの自由度が高く、ディープラーニング向けの構成を実現できる 必要十分な構成が可能なため、無駄がなく安い 部品の選定を通してハードウェアに関する知識が深まる 組み立てが楽しい などが挙げられます。 しかしながら、CPUやマザーボード、メモリ等の部品には様々な規格があり、部品の選定には正しい知識が必要です。それを共有するのがこの記事の目的です。 購入にあたっては、Amazonで調べたほか、秋葉原の複数の実店舗*1やそれらのオンラインストアを調査しました。 多くの場合Amazonが安いということが分かりましたが、一部は実店舗やオンラインストアの方が廉価でした。本記事ではすべての部品の購入先と購入価格も記します*2。目安にしてください。 結果として、最新のGPUであるGTX 1080 Ti（10
チャットワークのScala移行と大規模メッセージDB再構築、本当にできたんですね！（前編） | HRナビ by リクルート
2016年8月、トレタの増井雄一郎さん（「IT芸人」「フログラマー」で検索！）はPHPからScalaへの移行を表明していたChatWork CTOの山本正喜さんに「本当にScala化できるんですか？」と直球で聞きました（「PHPからScalaに乗り換えたチャットワークさん、その後どうですか？（前編）」）。そして2017年2月。「移行できたら、ぜひもう一回来てください」との誘いを受けて、再び増井さんがチャットワークにやってきました！ 増井 Scala化、おめでとうございます！ 山本 ありがとうございます。 増井 前回も聞きましたが、読んでない方もいるでしょうから、もう一度聞かせてください。Scalaを入れようと思った時期はいつなんでしょうか。 山本 そのあたりはBlog（「チャットワークがScalaを採用する理由、これからのチャレンジ。」）に書いたんですが、2年半前──合宿をしてScala化
１台のEC2でもELBを使うメリットについてまとめてみました | DevelopersIO
ご機嫌いかがでしょうか、豊崎です。 ELB（Elastic Load Balancing）はその名の通りロードバランサーなので、負荷分散のイメージが強いと思いますが、 ここではWEBサーバが１台でも前段にELBを置いた方がいい理由についてまとめたいと思います。 WEBサーバが１台でもELBを置いた方が良い理由 インスタンスの差し替えが容易 運用が開始した後、EC2に対して修正を行う必要がでた場合、インスタンスの差し替えが容易になります。 DNSの変更を行うことなく、バックエンドの切り替えが可能です。 ELBのヘルスチェックで監視 ELBのヘルスチェックを利用してWEBサーバの死活監視を行うことができます。 CloudWatchアラームを組み合わせて通知が可能です。 HTTPSのSSL終端をELBへ SSLを利用する場合、EC2でSSLを終端させるとOpenSSLなどの管理が発生します。 一
Play 2.6の新機能 - たけぞう瀕死ブログ
Play 2.6のドキュメントにある「What’s new in Play 2.6」からScalaに関する部分をざっと日本語にしてみました。 https://www.playframework.com/documentation/2.6.x/Highlights26 細かい部分はマイグレーションガイドも見ないとダメそうですね。こちらはかなり分量があるのでさくっと日本語にするのは厳しそう…。 https://www.playframework.com/documentation/2.6.x/Migration26 グローバルステートが非推奨に アプリケーションではplay.api.Play.current / play.Play.application()でグローバルアプリケーションにアクセスできるけど非推奨。以下のようにして禁止することもできる。 play.allowGlobalAppli
プログラミング生放送勉強会 第47回＠サイボウズ株式会社 松山オフィス に参加したった！
執筆日時： 2017年6月21日09時06分 今年も無事に開催＆終了できて安心しました。登壇者の方々、参加者の方々、視聴者の方々、ありがとうございました。場所を貸してくださいましたサイボウズさんにも感謝いたします。 atnd.org 参加者は35人（ATND ベース）で、そんなに欠席者もいなかったんじゃないかな？ よくわかんないけど。独断と偏見による単純計算で、東京の勉強会に換算すると 105 人の参加になるので、割とすごいなって感じです。 サイボウズさんの新しい松山オフィス 場所を移った（五志喜 本店の前 → 松山三越の裏）とは聞いていたのですが、実際に行ったのは初めて。Google ストリートビューで場所をチェックしたときはまだ更地でしたが、いい感じのビルが生えていました。中身もまっさらでキレイ。 ってか、おしゃれカフェかなんかですかね……すげぇ。こんなところで働いてたら、そら効率上が
プログラミング生放送勉強会 第47回＠サイボウズ株式会社 松山オフィス を開催 #pronama - なか日記
大阪や名古屋で暮らした時の繋がりで始めた松山でのプログラミング生放送勉強会。 今回で6回目を迎えることができました。ちなみに、私が松山に引っ越した2012年から毎年1回開催しています。 今年も多くの方に参加して頂いて、大いに盛り上がりましたのでよかったです。 勉強会の詳しい内容は他の方のブログを見て下さい（丸投げ プログラミング生放送勉強会 第47回＠サイボウズ株式会社 松山オフィス #pronama 開催日時 2016/06/17 (土) 13:00 - 18:00 開催場所 サイボウズ株式会社 松山オフィス （愛媛県松山市二番町3-7-12 QUALIA MATSUYAMA 3階） 勉強会 : https://atnd.org/events/86884 懇親会 : https://atnd.org/events/86885 時間：2014/06/17 (土) 18:00 to 20:0
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
統合開発環境 Eclipse 日本語化プロジェクト - Pleiades
誰でも簡単にできる！ LINE Botの作り方
