サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
円安とは
yoneyore.hatenablog.com
エンジニアのためのデータ分析基盤入門 2.4 プロセシングレイヤー データを変換する より 意味 非構造データを構造データにしたり、付加価値を付ける作業を行うこと。 ラングリングはこねくり回すという意味である。 データプレパレーション[data preparation]とも呼ばれる。 どちらも同じ作業内容を指す。 データラングリング自体非常に難易度が高く、 プログラミング言語を習熟していること(Pythonが多い)、 社内のドメイン知識が必要になってくる。 データサイエンティストやデータエンジニアリングが担当することが多い。 海外では、CTOやCDO自身が行うケースもある。 主な3つの作業(本書内では図解解説有) データストラクチャリング[data structuring] 非構造的なデータを構造化データにする操作のこと 非構造データのパターンを見つけ出し、構造化 データクレンジング[da
2. IT ガバナンスにおける EDM モデル 本ガイドラインでは、前節の IT ガバナンスの定義における経営陣の行動を、情報システムの企画、開発、保守、運用に関わる IT マネジメントとそのプロセスに対して、経営陣が評価し、指示し、モニタすることとする。 また、IT ガバナンスにおける国際標準であるISO/IEC 38500 シリーズ及び日本での規格である JIS Q 38500 より、評価(Evaluate)、指示(Direct)、モニタ(Monitor)の頭文字をとって EDM モデルと呼ぶ。 ・評価とは、現在の情報システムと将来のあるべき姿を比較分析し、IT マネジメントに期待する効果と必要な資源、想定されるリスクを見積もることである。 ・指示とは、情報システム戦略を実現するために必要な責任と資源を組織へ割り当て、期待する効果の実現と想定されるリスクに対処するよう、IT マネジメン
AsciiDocとは 軽量マークアップ言語の一つ。 記法などの紹介は他のサイトで沢山書いてくれているので割愛。 Asciidoctor 文法クイックリファレンス(日本語訳) Markdownでかけなかったアレ、Asciidocならこうかけますよ。 #Markdown - Qiita 先輩が利用していて、以下が非常に良いなと思い、Markdownから変更することを思案中。 Markdownで小回りが利かない部分なども対応(してそう) マーカー機能やnoteなどのアイコンなどビジュアライズ機能がデフォルト装備 (出力系に左右されるところはあるが)出力後のHTMLが綺麗 拡張機能を用いればUMLや図などを記述、組込が楽 Vimで設定方法 VSCodeを利用すれば楽に使えるが、Vimに出戻りしてきたので、Vim for Windowsで設定を行う。 (設定方法) 1. QuickRunやPreVi
あまり認証や認可に関する本が無いので纏めてみた(随時更新中)。 この中でピンとくるのが無ければ、Web界隈を追い求める方が良さげ。 (なお、英語本、技術書典界隈などは当方追えてないですが…) OpenID Connect/OAuth関連 整理してOAuth2.0を使うためのチュートリアルガイド 雰囲気で使わずきちんと理解する!整理してOAuth2.0を使うためのチュートリアルガイド・最新改訂版 技術の泉シリーズ (技術の泉シリーズ(NextPublishing)) 作者:Auth屋インプレス NextPublishingAmazon OpenID Connect入門: 概念からセキュリティまで体系的に押さえる Kindleでしか買えなさそう OpenID Connect入門: 概念からセキュリティまで体系的に押さえる 作者:土岐 孝平Amazon Software Design (ソフトウ
行いたいこと Evernoteの情報をエクスポートし、OneNoteにインポートを行いたい。 現状整理 昔はOneNote Importerという公式ツールが提供されていた。 しかしながら、2023年4月1日時点では提供が行われていない。(※1) Microsoft コミュニティ:EvernoteからOneNote移行TOOL「OneNote Importer」が見つかりません ※1 今後M365利用増加のため、テコ入れする可能性はあるかもしれません。 対応方法 Evernote2Onenoteというツールを作成してくれている方がおられるのでそれを用いた。 Evernote2Onenote - Stefans Tools 実施方法 1.evernoteのノートブック上で右クリックをし、ノートブックをエクスポートを選択する。 ENEX形式を選択し、エクスポートを実行する。 これをノートブック
構成 SP:mod_auth_mellon (with Apache HTTP Server) IdP:AzureAD アプリ:Tomcat 実現したいこと SAML認証を行い、Tomcatへのアクセス制御を行う。 AzureADのキー(仮にemailとする)値を、Tomcatに渡したい。 Tomcatには、リクエストヘッダーにUSERNAMEというキー名で値を引き渡したい。 失敗例 mod_auth_mellonのマニュアルを参照した。 mod_auth_mellon User Guide そこには、SAMLから受け取った値は、デフォルトでは "MELLON_" + "定義した名前"で取得できるとのこと。 なお、記述っぷりを参考にしたい場合は、GitHub側を見れば"MELLON_"部分の変え方も含め、readmeに綺麗に記載してくれている。 github.com よって、以下の様に書い
過去の失敗をevernoteに書き留めていたので、少しずつこちらに移植。 [内容] ファイル連動に関して、以下の考慮が出来ていなかった。 ・項目にカンマを含む場合の考慮 ・項目に改行コードを含む場合の考慮 ・受取先が数値項目なのに、送信されてくるデータがダブルクオーテーションで囲まれていた場合の考慮 ETLのツールによっては、型定義していないと、同じ項目なのにあるレコードでは数値、あるレコードでは文字列と自動変換してしまう。結果、後続処理でエラーになる場合がある。 ・項目に半角スペースパディングやゼロパディングが行われている場合の考慮 逆に半角スペースサプレスやゼロサプレスが行われている場合の考慮 ・DBでnull、空文字で管理している項目の取扱い (nullも空文字も同じ扱いなのかどうか、XMLやJSONの項目の存在有無に関わるのかどうか) ・コード値が直値で設定されている項目や、変換後
テキストデータにおける変換処理の例 日付処理:西暦/和暦変換、JST/UTCなどのタイムゾーン変換 不正な値処理変換:Null値や空文字の取扱い 文字列や値の統一:大文字小文字の統一(半角/全角もか)、整数/小数の統一、表記揺れの統一 テーブルの結合処理:取引ログテーブルと取引先テーブルを取引先IDで結合 ファイルサイズの変換:大量の細かい数KB程度のファイルを数百MBのファイルに集約 ファイルフォーマットの変換:Parques/ORCへの変換 [自己メモ] 他にもデータ変換を行う際には、格納先がRDBのテーブルに格納する際には以下の様な事が配慮必要である コード値変換:男性/女性といった値や、ON/OFFなどのフラグ値の変換、そもそもマッピング関係があるかどうか 桁合わせ:ゼロパディング(0埋め)、ゼロサプレス(0削り)、コメントなどの文字の桁不一致時の処理 時刻処理:秒/ミリ秒格納、年
[MySQL5.6上でInnoDBロックモニターを有効化する方法] CREATE TABLE innodb_lock_monitor (a int) ENGINE INNODB; なお、offにするにはDROP TABLEするか、MySQLサーバーを再起動する事である。 [MySQL5.7上でInnoDBロックモニターを有効化する方法] SET GLOBAL innodb_status_output_locks = ON; SET GLOBAL innodb_status_output = ON;1行目が出力される情報をInnoDBロックモニターのものにするかどうかで、ONはInnoDBロックモニター、OFFはInnoDBモニターを指す。このオプションを有効にすると、エラーログに記録されるものだけではなく SHOW ENGINE INNODB STATUSの出力も InnoDB ロックモニ
Tomcat バージョンとEOL対応表 系列 最新版(※1) EOL EOL説明文 11.0.x 11.0.0.-M13 未定 無し 10.1.x 10.1.15 未定 無し 10.0.x 10.0.27 2022.10.31 Apache Tomcat® - End of life for Apache Tomcat 10.0.x 9.0.x 9.0.82 未定 無し 8.5.x 8.5.95 2024/3/31 Apache Tomcat® - End of life for Apache Tomcat 8.5.x 8.0.x 8.0.53 2018/6/30 Apache Tomcat® - End of life for Apache Tomcat 8.0.x 7.0.x 7.0.103 2021/3/31 Apache Tomcat® - End of life for Apac
事象 Amazon RDS for MySQLに対して、MySQL WorkbenchでData Export行ったSQLファイルをData Importを行うと以下の様なエラーが返ってくる。 ERROR 1227 (42000) at line 17: Access denied; you need (at least one of) the SUPER privilege(s) for this operation 原因 1. インポートしたいダンプファイルのユーザーは`user1`@`localhost`となっていた。 しかし、RDSはリモートなので、インポート先は`user1`@`%`に紐づけられていた。 2. (書き込み対象のスキーマに対しては権限を付与していたが、) ビューやスキーマの情報を管理するスキーマに対して権限を与えていなかった。 3. インポートしたいダンプファイルが
設定方法 1.事前にcondaコマンドやvenvなどで仮想環境を作成しておく(一つ目の肝) 2.[ウインドウ] - [設定] - [PyDev] - [インタープリター] - [Python インタープリター]を選択 3.Browse for python/pypy exeを選択 このボタン押下すると急にディレクト選択画面が出現するので注意4.パスを選択迫られるので、ここで1.で作成した仮想環境配下にあるpython.exeを選択 5.インタープリター名を任意の名前(自分の仮想環境に付けた名前がベスト)に書き換え、OKボタンを押下 6.適用して閉じるボタンを押下 利用方法 Djangoの開発を行いたい場合 1.Pydevパッケージエクスプローラで右クリックをし、[新規] - [プロジェクト]を選択 2.[PyDev] - [PyDev Django プロジェクト]を選択 3.プロジェクト名
前置き ・パラメータ名がハイフン表記か、アンダースコア表記か常に意識しておく必要有 ・初めてMySQLを起動する前に設定すべき 後でも直せなくはないが、苦行 また、mysql/performance/sysスキーマをalter文で変更するの怖い(一部放置している…) 前提 ・MySQL5.7/8.0におけるmy.cnf(Linux)/パラメータグループ(AmazonRDS)での設定を考慮 ・文字コードはutf8mb4、照合順序はutf8mb4_general_ciに設定 ・データベースのことをスキーマ、MySQLサーバーのプロセス全体をサーバーと記述する 文字コード 1.文字コードとは ・みんな大好き文字コードのため割愛 ・MySQL5.7も8.0もutf8mb4が無難 (cp932で保管しないといけないシステムもあるであろうが…) 2.文字コードに関するパラメータ 2.1.charact
事象 バイナリファイルなど、コンソールの文字コードに合ってないファイルやデータベースの中身を標準出力に表示させてしまい、それからコンソールが全て変な文字しか打てなくなる。 対応方法 以下orangecloverさんサイトより抜粋 「e」「c」「h」「o」「スペース」「Ctrl + V」「Esc」「c」「Enter」と入力する。 詳細な解説 誤ってバイナリファイルを開いてしまってターミナルが文字化けした場合の対処方法 - みちしるべ 補足事項 MySQLのコンソールで同事象が発生した際、同じコマンドを打っても受付てくれなかった。 やり方はあるのであろうが、一度exitで抜けて、そこから上記コマンドを打って、直った状態で再度MySQLのコンソールに入り直した方が早い。 (コンソール全部落として、再度ログインするよりかは断然早い) ターミナルソフトTera Termガイドブック 作者:平田豊まん
【事象】 Software Design 2020年12月号のVimの細道 第56回にファイラとしてfernが紹介されていたので試したみた。 まず、以下のパッケージをダウンロードしてきた。 github.com github.com github.com その後、インストールは直接packフォルダに配置した。 (WEB+DB PRESSではvim-plug(Plug~)による対応方法であったが、当方は使ってないため) vim82-kaoriya-win64 |ーvim82 |ーpack |ーfern.vim |ーstart |ーfern.vim |ー(以下略) |ーnerdfont.vim |ー(以下略) |ーfern-renderer-nerdfont.vim |ー(以下略) その後、gvimrcに以下を追加した。 let g:fern#renderer = 'nerdfont' 設定後
【機能概要】 ・MySQL utf8mb4 utf8は過去の歴史的経緯から1文字を表すための文字列長が1~3バイトの時代から1~4バイトになっている。(※1) MySQLもutf8は1~3バイトのutf-8しか保存できないため、4バイトになる様な文字コードを格納する場合は、utf8mb4にする必要がある。 なお、MySQL8.0では、デフォルトはuft8mb4である。 ・UTF-16のサロゲートペア UTF-16において2バイトで表現できない文字を4バイトで表すためのコード体系 ※1 過去2バイトであったとか、5バイト/6バイト問題は一旦忘れる。 詳しくは、ユニコード戦記とかを読んでもらえれば。。 【本題】 日本語を扱う人にとっては、漢字が間違いなくこの狭間に埋もれてしまう。 そのため、utf8mb4なデータベースにしていても、サロゲートペアな実装してなかったら(Javaは基本length
ペアプロに恐怖を感じるチームにはバディプログラミングを勧めている。 1日の最後の例えば1時間だけ、バディと一緒に今日それぞれ完成させたコードをレビューする。 ペアプログラミングほどエクストリームではないが、それでも恩恵は大きい。 ペアプログラミングと同様に(See.8.3.2 どうやってペアを組むか)毎日もしくは最低でも毎週、バディをランダムに交代することをお勧めする。タスクごと、イテレーションごとなどでも構わない。 ペアプログラミングのメリットをちょっと体験するのにバディプログラミングは良いプラクティスである。 レガシーコードからの脱却 ―ソフトウェアの寿命を延ばし価値を高める9つのプラクティス 作者:David Scott Bernstein出版社/メーカー: オライリージャパン発売日: 2019/09/19メディア: 単行本(ソフトカバー)
[経緯] 踏み台を一つだけ踏む場合は、TeraTermのSSH転送機能を用いれば簡単にSSHポートフォワードを行える。 これが行えれば、踏み台に一度FTPファイル転送を行い、踏み台から更に接続先にファイルを転送するみたいな不毛な事をせずに、WindowsのWinscpなどを用いて直接ファイル転送を行う事ができる。 しかしながら、踏み台を二つ以上踏まないといけない場合は、TeraTermのSSH転送機能だけでは残念ながら行えなさそうである(もしできるのであれば誰がご教授願います)。 素直にポートフォワードをコマンドラインから行えばいいのだが、クライアントがWindowsの場合はSSHがインストールされていない場合もある。 サーバーにさえ接続できればSSH転送を(できるユーザーアカウントを知っていれば)コマンドラインベースで入力できるので、TeraTermと組み合わした方法をメモっておく。 [
iconvの用途は文字コード変換に用いることが主目的であるが、-cというオプションを指定すると、その文字コードに許されていない文字を削除するのに用いれる。 #「こん」のあとにUTF-8として不正な0xffを埋め込む echo -e 'こん\xffにちわ' | iconv -f UTF-8 -t UTF-8 →位置 6 に不正な入力シーケンスがあります # iconv -c で削除 echo -e 'こん\xffにちわ' | iconv -c -f UTF-8 -t UTF-8 →こんにちわ シェルプログラミング実用テクニック (Software Design plus) 作者: 上田隆一,USP研究所出版社/メーカー: 技術評論社発売日: 2015/05/15メディア: 大型本この商品を含むブログ (6件) を見る
【内容】 Windows Serverのタスクスケジューラにおいて、ログオンしている以外にも稼働させる様に設定変更を行いたかった。 そのため、セキュリティオプションの「ユーザーがログオンしているかどうかにかかわらず実行する」の設定を行った。 その際にアカウントが求められたので、管理者のユーザー名とパスワードを入力した。 しかしながら、ユーザー名もパスワードも間違えていないのに、”指定されたアカウント名が有効ではありません”と怒られて設定が行えなかった。 【原因】 名前空間が誤っていた。 今回の場合では、ユーザー名だけでは足りてなかった。 【対応方法】 ホスト名\ユーザー名に設定する。 もし分からない場合 or 異なる場合は、GUIから設定を行う。 具体的には、ユーザーまたはグループの変更で権限に利用したいユーザーを選択すると、勝手に補間してくれる。 できるPRO Windows Serve
【概要】 ・キャプチャフィルタ:キャプチャするパケット自体を絞り込む機能 ・ディスプレイフィルタ:絞り込んだパケットの表示を絞り込む機能 キャプチャフィルタとディスプレイフィルタでは構文が異なるため、注意が必要 【キャプチャフィルタ】 tcpdumpと同じpcap-filterの構文で設定可能 構文をすべて入力し終えたとき、ボックスが緑色であれば正しい構文、赤色であれば構文エラー not(!)やand($$)やor(||)も指定可能 (設定方法) ・"Wiresharkへようこそ”画面にあるキャプチャフィルタのボックスに入力する方法 キャプチャフィルタ・・・を入力の箇所 ・[キャプチャインタフェース] - [キャプチャフィルタ]から選択する方法キャプチャフィルタの箇所 (文法) Proto Dir Type ID ・Proto:プロトコルを指定(ip, tcp, udp, arp, eth
[やりたかった事] 定期的にjcmdを使ってGCを強制的に発生をさせたかった。 そこでAnsibleを用いて実行をさせようとしたが、root権限のままではAttachできないとJVMに怒られるので、 Tomcat(正確にはTomEEだが)を起動させているユーザであるtomcatユーザにてsudo実行を行おうとした。 shell: sudo -u tomcat jcmd `jps | grep Bootstrap | awk '{print $1}` GC.run しかし、上記内容にて実行を行うと、以下の様なウォーニングが発生した。 Consider using 'become', 'become_method', and 'become_user' rather than runnig sudo [原因] Ansibleではsudoコマンドを直接利用するのは、現在非推奨になっているため。
事象 MySQLのワークベンチでUPDATE文を実行すると、以下のエラーが発生した。 Error Code: 1175. You are using safe update mode and you tried to update a table without a WHERE that uses a KEY column To disable safe mode, toggle the option in Preferences -> SQL Editor and reconnect. 0.062 sec 原因 大量の(主キー以外の)update/deleteを誤って行えない様に制限してくれているため。 対応方法(一時的) SET SQL_SAFE_UPDATES = 0; 参考サイト http://rikutoto.blogspot.jp/2013/11/mysqlerror-code
このページを最初にブックマークしてみませんか?
『yoneyore.hatenablog.com』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く