一般的な時系列のモデリング＆予測に、機械学習系の手法よりも古典的な計量時系列分析の方が向いている理由を考えてみた（追記あり） - 渋谷駅前で働くデータサイエンティストのブログ
この記事は、以下の@icoxfog417さんによる問題提起に合わせたちょっとした実験をまとめたものです。 時系列予測の問題において、機械学習のモデルより既存の統計モデル(ARMAモデルなど)の方が予測精度において優良な結果が出るという研究。データへの適合=予測精度の向上ではないことも実験で示している。機械学習の研究では統計モデルとの比較も入れるべきという提言をしている。 https://t.co/jboGhYSX6E— piqcy (@icoxfog417) September 16, 2019 この点について僕はこんなコメントをしたのですが。 だいぶ以前から「一般的な時系列データ予測の問題は単位根過程や季節調整など非定常過程との戦いなので、本質的に定常過程を想定する機械学習手法での予測は計量時系列分析など非定常過程も考慮した古典的なモデルによる予測には及ばない」と言い続けてきたけど、やっ
社内勉強会で機械学習の概要について話しました | DevelopersIO
AWS事業本部では社内勉強会を定期的に開催しているのですが、機械学習というテーマで話す機会がありましたので、その内容について公開します。事前アンケート結果に基づき機械学習の概要と案件の特徴について話しました。 スライド Pythonスクリプト スライド内で利用したPythonスクリプトは以下になります。Colaboratoryで実行できることを確認しています。本当はipynb形式でGistに上げたかったのですが、なぜかエラーになってしまうので諦めました。また、このスクリプトはITエンジニアのための機械学習理論入門：書籍案内｜技術評論社に付属する 04-perceptron.py をベースにしています。 最後に 機械学習関連では3年前に#cmdevio2016 (レポート: C-1) データ分析チームの振り返りについて話しました ｜ DevelopersIOで話したのですが、当時よりは機械学
IT産業はタダ働きのエンジニアに依存しすぎている
By Pressmaster 「フリーソフトウェア」「無料アプリ」の中には便利なものがたくさんあります。しかし、有料のソフトウェアの中にも「無料のコード」が多数内在しています。さまざまなプロトコルを用いてデータを転送するライブラリ「libcurl」とファイルを送受信用コマンドラインツール「cURL」を開発し無料で提供しているダニエル・ステンバーグさんが「オープンソースプロジェクトを公開すること」にまつわる自身のエピソードを語っています。 The Internet Relies on People Working for Free - OneZero https://onezero.medium.com/the-internet-relies-on-people-working-for-free-a79104a68bcc iPhoneのような多数のコードによって動いている製品の価格には、その
51歳で司法試験に合格した技術者、6年間会社を辞めずに勉強を続けられた理由
定年が延長され、「75歳まで働くのが普通になる」といった言葉も聞かれます。それならば、年齢に関係なくできる仕事に早めに就いておきたい。そう考える人が増えています。 今回は、ある技術者が6年かけて司法試験に挑んだ話を紹介します。 仕事を辞めるつもりだったが、思いとどまる その技術者は、素材メーカー勤務の武本さん（仮名）。上場企業で技術者として働きながら、51歳で見事司法試験に合格しました。 バブル時代に大学を卒業して就職した武本さん。その頃と比較して、日本企業の世界的地位が危うくなっているのを肌で感じています。リコールなどによって自社のブランドも揺らぎ、「この先どうしよう」と危機感を募らせたのが45歳のときでした。 その頃は、世間的に法科大学院が注目されていた時代。「どうせ勉強するなら今とは違う畑で、難しく価値の高いものにチャレンジしたい」と考え、司法試験合格を目標に据えました。 社会人が難
【 pvremove 】コマンド――物理ボリュームを削除する
pvremoveコマンドとは？ 「pvremove」はLVM（Logical Volume Manager）の物理ボリュームを削除するコマンドです。 Linuxでは当初、HDDなどに直接ファイルシステムを割り当てて管理していましたが、現在では、物理ボリュームをまとめて仮想化されたボリュームグループを作り上げた後、それを論理ボリュームに切り分けて管理する仕組みLVMが取り入れられています。例えば、CentOSでは、デフォルト設定のインストールで論理ボリュームを使用します。 実際にLVMの仕組みを使うには、まず「pvcreate」コマンド（連載第335回）で物理ボリュームを作成します。その後、「vgcreate」コマンド（連載第336回）を使って、物理ボリューム上にボリュームグループを作り上げます。最後に「lvcreate」コマンド（第337回）を使って、ボリュームグループ上に論理ボリュームを
知らない単語でも意味を推定するAI、東芝が開発 「専門用語を理解できない」解消へ
東芝が、システムに登録されていない未知の単語でも、単語の特徴や文脈から意味を推定して学習できるAIを開発したと発表した。 東芝はこのほど、システムに登録されていない未知の単語でも、単語や文脈から意味を推定し、学習していく「未知語理解AI」を開発したと発表した。ユーザーとの会話中、未知の単語を抜き出し、ユーザーに登録済みの言葉で言い直すよう提案したり、その場で学習したりするという。 専門用語や略語が多い業界では、あらかじめAIに全ての単語を学習させておくことが難しく、認識精度が上がりにくいという課題があった。ユーザーとの会話中、未知の単語が登場すると「分かりません」と答えて対話を終了するか、別の単語と間違えてしまい、会話が成り立たなくなるケースもある。従来は単語の意味を推定する際に文脈を考慮しない手法を使っていたためだ。 そこで同社は、未知の単語を抜き出し、文脈も考慮して意味を推定するAIを
MeCabへユーザー辞書を追加する方法
こんにちは、GMOアドマーケティングのS.Rです。 NLP（自然言語処理）は機械学習の中でも人気な分野の一つです。 今回は日本語のNLPで重要な処理である形態素解析のツール「MeCab」へユーザー辞書を追加する方法を紹介します。 1. NLPの基本処理プロセス 日本語を英語へ機械翻訳する例で説明します。 基本処理プロセスは図1の通りです。形態素解析は日本語に関するNLP処理の最初のプロセスです。 図1. 機械翻訳の処理の流れ 2. 形態素解析とは 形態素解析については以下のWikipediaの解説をご覧ください。 形態素解析（けいたいそかいせき、Morphological Analysis）とは、文法的な情報の注記の無い自然言語のテキストデータ（文）から、対象言語の文法や、辞書と呼ばれる単語の品詞等の情報にもとづき、形態素（Morpheme, おおまかにいえば、言語で意味を持つ最小単位）の
AIにシンプルな「かくれんぼ」を繰り返し実行させることで複雑な戦略とその対抗策を生み出す試み
OpenAIが、機械学習エージェントにシンプルなかくれんぼを遊ばせることで、徐々に複雑なツールを使用できるように進化していく様子を観察しています。AIはかくれんぼを繰り返し遊ぶことで、独学で6つの異なる戦略とそれに対する対抗策を練り上げたそうで、「AIが独自にこれほど複雑な協調適応をみせたことは、将来的により複雑で知的な動作を生み出す可能性があることを示唆している」と記しています。 Emergent Tool Use from Multi-Agent Interaction https://openai.com/blog/emergent-tool-use/ Clever hide-and-seek AIs learn to use tools and break the rules | TechCrunch https://techcrunch.com/2019/09/17/clever
CircleCIからGitHub Actionsへの移行 (Node.js) - 余白
自作のライブラリのCIをCircleCIからGitHub Actionsへ移行したメモ github.com github.com 特にメリットがあるから乗り換えたとかいうわけでもないけど、GitHubだけで完結するならそれに越したことはない ファイルの場所 .github/workflows/<ワークフローの名前>.yml だが、いまのところ複数作るユースケースが見えないので main.yml とした。 実行環境 ubuntu-latest を選択した。特に理由はないけど一応MacOSやWindowsも選べるっぽい？ Software in virtual environments for GitHub Actions - GitHub Help を見るとわかるが、 めちゃくちゃ充実したプリインのソフトウェアがある。 yarn や Git、Docker、Chromeもなんの設定もなく最初
スマートフォンの遠隔操作を引き起こすSIMカードに係る脆弱性について - みっきー申す
先日、スマートフォン関連のサイバーニュースとして、以下の記事を書きました。 micro-keyword.hatenablog.com 当該記事はAndroidに係る攻撃ケースでしたが、今度はSIMカードに係る脆弱性についての記事です。 立て続けにスマートフォン関連のサイバートピックが出てくると知識もどんどんシフトしていかなければ！と思いますね。 脆弱性の発表について 今回の脆弱性はほとんどのSIMカードにプリインストールされているS@T browserというソフトウェアに起因するものです。 simjacker.com AdaptiveMobile Security社が公開したもので、発表者はこの脆弱性をSIMjackerと名付けています。 本発表はVirusBulletinという、世界的なセキュリティカンファレンスでも紹介されるとのことです。 発表時刻は、現地時間の10月3日9時からですね
「経営目線の理解」がエンジニア人生にもたらすもの Battle Conference U30 2019 基調講演 Part2
2019年7月6日、株式会社サイバーエージェントが主催するイベント「Battle Conference U30」が開催されました。30歳以下のエンジニアによる30歳以下のエンジニアのための技術カンファレンスである本イベントには、さまざまな領域で活躍する若手が登壇。企業の枠を超えて、自身の技術・事業・キャリアに関する知見を発表しました。基調講演「技術にまつわる戦略思考」に登壇したのは、株式会社AppBrew代表取締役・深澤雄太氏。エンジニアが経営目線や戦略思考を持つことの意味を説きました。登壇資料はこちら 戦略は目的達成のための方法論 深澤雄太氏：これが今日の本題なんですけど、「戦略的」とさっきからよく言っていますが、具体的に何を言っているのかはシンプルに、このスライドのとおりだと思っています。 戦略は目的達成のための方法論です。現代の……とくに技術が関わるような経営の現場においては、偉そう
Google、「Flutter 1.9」リリース、Webアプリ生成機能を統合。Flutterは単一コードでネイティブアプリとWebアプリを開発できるフレームワークに
Google、「Flutter 1.9」リリース、Webアプリ生成機能を統合。Flutterは単一コードでネイティブアプリとWebアプリを開発できるフレームワークに Googleは今年5月にFlutterからWebアプリケーションを生成できる「Flutter for Web」を発表。テクニカルプレビューとしてきましたが、Flutter 1.9でこの機能を正式にFlutterに統合しました。 参考：Google、「Flutter for Web」発表。FlutterからWebアプリを生成。Flutterはマルチプラットフォーム対応のフレームワークに。Google I/O 2019 FlutterはもともとiOS/Android対応のネイティブアプリケーションを開発するためのUIフレームワークとして、Dart 2とともに2018年3月に登場。2018年12月にバージョン1.0に到達した段階で、
サボろうとするとメンターが現れるChrome拡張機能 - Qiita
完成品 作業をサボってTwitterやYoutubeを見始めるとメンターが現れるChrome拡張機能を作りました。 （ストアに公開はしていません） ※メンターには以下の動画を使用しています。 https://www.youtube.com/watch?v=IZmYn4ObRJc 類似作品 進捗がなかったらメンターが現れるATOM 進捗がなかったらメンターが現れるエディター 使い方 以下からgit cloneまたはダウンロード。 https://github.com/watatakahashi/block-menter Chromeからchrome://extensions/を開き、右上のスイッチからディベロッパーモードをオンにした後、「パッケージ化されていない拡張機能を読み込む」で、先程ダウンロードしたフォルダを選択。 これで完了。 作り方 こちらを参考にしました。 Chrome機能拡張の
「雑務減らして練習増やす」「社内メール使いません」――東大アメフト部とメルカリの「Slack」活用術
チャットツール「Slack」を提供する米Slack Technologiesが、カンファレンス「Frontiers Tour Tokyo」を開催。講演には東京大学アメフト部やメルカリなど、Slackと外部ツールを連携させている顧客が登壇。業務効率化などに役立つ活用法を紹介した。 2013年にリリースし、1日当たりのアクティブユーザー数（全世界）が1000万人に達しているというチャットツール「Slack」。昨今では「Google Drive」「Salesforce」「SAP Concur」「Office 365」などと連携し、トークルーム内で経費申請、予定の管理、人材採用の管理といった作業が可能になった。複数のツールを立ち上げて別個に操作する手間などを解消できるため、無駄な業務の削減につながると期待を集めている。 提供元の米Slack Technlogiesが9月17日に開いたカンファレンス
ITエンジニアの評価が低い本当の理由
私は大学生の頃、同じコンピュータークラブの先輩に憧れて、将来は一流のITエンジニアになりたいと思っていました。 なぜ、ITエンジニアを志望していたのかと思い返せば、NECの「PC98」や「Linux」のコマンドを打ちまくって知らないソフトウエアをどんどん動かす先輩を格好良く感じました。また、当時はソフトウエアの開発ができると、大学生でも非常に好待遇のアルバイトがたくさんあり、まさに「稼げる仕事」だったことも大きな理由です。 そのため、2000年に就職活動をする際には「絶対にソフトウエアエンジニアになりたい」と、ソフトエンジニアとして働ける企業を探していました。そこで、「ソフトウエア」という名前が付いている会社に入ればハードウエアの部署に配属されることはないだろうという、自分でも笑ってしまうような理由で、当時一部上場したばかりで非常に人気の高かったNECソフトに入社しました。 それから、19
めっちゃ需要あるのにAndroidエンジニアが足りてないらしいから魅力とか紹介する回(配信用カンペ) - Qiita
自己紹介 バーチャル幼女プログラマーのきりみんちゃんです フリーランスのAndroidアプリ開発エンジニアをやってます YouTubeチャンネル(音量注意)：https://www.youtube.com/channel/UCqN87Ye4TNLB04EFhxJ0L5w 今日のおはなし Androidエンジニアが足りてないらしいよ！！ 需要はめっちゃあって観測範囲だとわりとどこの会社もAndroidエンジニア探してる印象 特に足りてないのはわりと勉強会とかブログとかで積極的にアウトプットしたりするような意欲の高いタイプの人 当分はかなり需要が供給を上回る感じなので転職有利だと思うし、やる気があれば新人でも育ててもらえるかもしれない 今だとお給料も高めだと思う 原因考察 開発されるアプリの規模や要求される品質は上がり続けてて需要は増えている ぶっちゃけあんまり若い層が育っていないような 勉強
【個人開発】Qiitaの人気の記事・ユーザー・書籍を見つけられるWebサービスを作りました - Qiita
*印が付いているものは初めてさわった技術です。はい、お恥ずかしながらすべて初物です。（普段はJavaとかJavaとかJavaとかさわってます） Vue.jsを使用したSPAで作成しています。当初はRuby on Railsで作り始めたのですが、作るWebサービスを考えるとバックエンドはフルスタックなものはいらない・むしろデータ加工したAPIを返すだけで良いんじゃ？と思い、一気に方針転換してSPAで作るように変更しました。 バックエンドフレームワークも、Flaskに変更しました。 Flaskは一般にマイクロフレームワークと呼ばれていて、1ファイルで成り立つようなくらいなモノで小さく始められます。 が、Flaskの機能自体は少ないわけではなく、ディレクトリ構成なども特に規定があるわけでもなく、自由なので初心者には結構難しいFWなのかなという感じでした。 （RailsやDjangoのように規約に
「彼らはその仕事を『事務職』だと思っている」地方の企業を回って思う、ITエンジニアを採用する発想すらない人たちの話
沢渡あまね新刊 #バリューサイクルマネジメント #組織変革Lab 主宰 @amane_sawatari 「その仕事、エンジニア1～2名入れれば劇的に改善できますよ」 最近、地方（に限らないけど）の企業を回っていて思うこと。ところが、そもそもITエンジニアを採用する発想がない。彼ら／彼女たちはその仕事を「事務職」だと思っているから。そして優秀な事務員を探し求めている。凄くもったいない。 2019-09-11 00:04:14 沢渡あまね新刊 #バリューサイクルマネジメント #組織変革Lab 主宰 @amane_sawatari 地方企業経営者「優秀な事務員が欲しい！『事務員募集』」 沢渡「（その仕事なら、むしろエンジニア採用した方がいいと思う。そのほうが改善も進む）」 都内のエンジニア「Uターン転職したいけれど、エンジニアの求人がない！」 地方のエンジニア「地元にエンジニアの求人がない！」
遺伝子組み換えされた蚊を野生に放ち撲滅する実験が失敗、予想外の結果に
by skeeze 蚊は刺されるとかゆみが出てうっとうしいだけではなく、デング熱・ジカ熱・マラリアといった伝染病を媒介することでも人々を悩ませています。そんな伝染病を媒介する蚊を撲滅するため、遺伝子を操作して生まれた子孫が死ぬようにした蚊を野生に放ち、蚊の個体数を減少させる実験がブラジルで行われていましたが、残念ながら実験は失敗したと報告されました。 Transgenic Aedes aegypti Mosquitoes Transfer Genes into a Natural Population | Scientific Reports https://www.nature.com/articles/s41598-019-49660-6 GM experiment may have strengthened wild mosquitoes https://newatlas.com/s
躊躇せず「今の体制じゃ出来ません」「取り敢えず足元を固めさせてください」と言うのも、大事な仕事のうち。
ホーム > 躊躇せず「今の体制じゃ出来ません」「取り敢えず足元を固めさせてください」と言うのも、大事な仕事のうち。 昔の失敗の話をします。色々事情がありまして、ちょっと伏字多めな点はご容赦ください。 昔、アルファベット3文字系の大き目のSI会社から、とある金融系のベンチャー企業に転職したことがあります。 もうこれも随分昔の話で、20代後半になるかならないか、くらいの頃だったと思います。 SI会社の名前を仮にA社、ベンチャー企業の名前を仮にB社とさせてください。 私がB社に関わったきっかけは、B社のBtoCシステムのリプレースをA社が受託したことでした。 私はリプレースのプロジェクトにアサインされまして、下っ端として色々やったんですが、会社同士でなにやら色々とゴタゴタがあり、開発を進める段階でプロジェクトは頓挫。 リリースすることなく、僅かなドキュメントと作りかけのモジュールを残して、そのシ
個人的に超絶為になったので新人エンジニアに勧めたい記事まとめ - Qiita
はじめに コードを綺麗に描く方法やプログラミングの勉強方法や考え方など、 個人的にとても為になって感謝している記事をまとめてみました。 コード関連 良いコードを書く技術（まとめ） Naming -名前付け- ソースコードを汚くするには？ ダメエンジニアの8つの特徴 勉強方法関連 新しく言語を学ぶときに心がけていること 深夜だから個人的なプログラミング学習方法を書くよ！ 【まつもとゆきひろ氏 特別講演】20代エンジニアのためのプログラマー勉強法のまとめ 2019/3/30 知識が無いからこそコードレビューで指摘をしよう 考え方関連 レガシープロジェクトを引き継いだ時、最初にするべき７つのこと ハッピーな開発🎉をするための、プロジェクトにおける要件定義の役割 [初心者]オブジェクト指向でなぜつくるのか ビルドとデプロイとリリースの違いについて AWS (下準備編)世界一丁寧なAWS解説。EC
休みの日に仕事の連絡が来る
どうしたら良いかわからず増田で愚痴るんだけど。 表題の通り、休みの日に携帯に仕事の電話がくる。 私にしか答えられない内容もあれば、私以外でも対応できることもある。 私以外でも対応できる事柄でも、私が一番詳しい、私に聞けばなんとかなる、という認識が先方にあり連絡がくる。 朝の8時から夜の11時くらいまで来る。 寝ていても遊んでいても来る。私は月曜日が休みの職業なのだが、そうしたことを知った上で個人的に連絡してくる。 最悪なのは、振休などで休みの際に、一度職場に電話をかけて不在と知ったうえで「本日お休みと聞いたので連絡しました〜」と連絡してくる客だ。 客、といっても彼らからお金をもらうわけではない。 私の職業は、公務員やそれに準ずる職業あるいは農業協同組合などの団体職員、シンクタンクのようなところで、給料をもらい職務の一環で取材に答えるサービスをしている。 まったく個人的な時間が持てず生活が苦
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ドライブスルーの注文はAIに。マクドナルドが音声認識のスタートアップを買収して目指すこと
アイリスオーヤマ、無線LAN環境もスマートスピーカーもいらない「音声操作シーリングライト」 - 家電 Watch
Generated Photos | Unique, worry-free model photos