MD5チェックサムでファイルが破損せず転送できたかを確認する
Linuxで使えるmd5sumコマンドを使って、ファイルが破損せずネットワーク越しにコピーできたかを確認する方法です。 たまに使いたくなるのですがいつも忘れているのできちんとメモをしておきます。 Li …
Scrapyで画像収集クローラーを作ってみる
Python製のクローラーフレームワークScrapyで画像収集をしたい時のメモです。 画像収集に関してもScrapyは簡単にスクレイピングできる仕組みを最初から持っているのでこれを使ってみます。 なお …
PythonのScrapyでHTML、XML、CSV用のクローラーを作ってみる
クローラー開発でPython製のクローラーフレームワークScrapyを使ったらめちゃくちゃ便利だったのでメモします。 Scrapyを使うと数行のコードでお目当てのデータを簡単に抽出できるので、これから …
新語に対応したMeCabの辞書mecab-ipadic-NEologdを使ってみる
日々生まれる新語に対応してくれるMeCabの辞書mecab-ipadic-NEologdを使ってみました。 日本語で自然言語処理をする時は形態素解析がほぼ必要になってきますが、従来からあるMeCabの …
SFTPでchrootを設定しつつSSHでログインできないユーザーを作成する
SFTPでchrootは設定しつつも、SSHではログインできないユーザーを作成するメモ書きです。 サーバを複数人で共有で使いたいのですが、こんな感じの要件を満たす必要が出てきました。 ユーザーはSFT …
プラグインを有効化するだけで高速化するQuicklink for WordPressを試す
有効化するだけで WordPress のページ表示を高速化する Quicklink for WordPress を試してみました。 注意点はあるもののプラグインを有効化するだけでページの読み込み速度が …
Amazonの偽レビューをscikit-learnで機械学習してみる
最近、Amazonで偽レビューを使って評価を偽装した胡散臭い商品が多いですが、買い物をする時に邪魔でしかないのでこれを機械学習 (ランダムフォレスト) で見抜けないか試してみました。 機械学習について …
Cocoonでトップページを作る時のSEOを考慮したカスタマイズ方法
更新：2020-03-08 フッターに表示されるサイト名にもh1が適用される問題を修正しました。(include/func-custom-header.php) WordPress でブログじゃないサ …
Seleniumで自動ログイン処理と失敗時は指定回数リトライさせる方法
Python3 と Selenium で自動ログイン処理と、失敗時にはリトライさせる方法のメモ書きです。 ログインが必要なページのスクレイピングって面倒ですが、Selenium でブラウザそのものを操 …
WordPressで自動出力されるCSS＆Javascriptタグのtype属性を完璧に消す
WordPress で自動出力される CSS＆Javascript タグの type 属性を完璧に消す方法のメモ書きです。 HTML5 では下記のような type 属性は不要という事で W3C の M …
Web経由でFFmpegのエンコード処理を行い進捗状況を表示するメモ
Web 経由で FFmpeg のエンコード処理を走らせながら進捗状況をブラウザに表示する方法についてのメモです。 動画アップロードサイトではユーザーに動画を Web 経由でアップさせ、エンコードしたり …
CentOSにSeleniumとGoogle Chrome ＆ ChromeDriverをインストールする
ログイン認証が必要な Web ページの内容をスクレイピングしたくなったので Selenium を使ってみる事にしました。 認証が必要なページを自力でスクレイピングしようとすると中々大変なので、ブラウザ …
WordPressに新しい関数を追加する時はfunction_existsを付けた方が無難
WordPress をカスタマイズしていると新しい関数を追加したくなる事が多いと思いますが、その時は必ず function_exists を付けて欲しいって話を書きます。 WordPress 用のサー …