work.log

元エンジニアの備忘録的ブログ

PythonのScrapyでHTML、XML、CSV用のクローラーを作ってみる

クローラー開発でPython製のクローラーフレームワークScrapyを使ったらめちゃくちゃ便利だったのでメモします。 Scrapyを使うと数行のコードでお目当てのデータを簡単に抽出できるので、これから …

新語に対応したMeCabの辞書mecab-ipadic-NEologdを使ってみる

日々生まれる新語に対応してくれるMeCabの辞書mecab-ipadic-NEologdを使ってみました。 日本語で自然言語処理をする時は形態素解析がほぼ必要になってきますが、従来からあるMeCabの …

SFTPでchrootを設定しつつSSHでログインできないユーザーを作成する

SFTPでchrootは設定しつつも、SSHではログインできないユーザーを作成するメモ書きです。 サーバを複数人で共有で使いたいのですが、こんな感じの要件を満たす必要が出てきました。 ユーザーはSFT …

プラグインを有効化するだけで高速化するQuicklink for WordPressを試す

有効化するだけで WordPress のページ表示を高速化する Quicklink for WordPress を試してみました。 注意点はあるもののプラグインを有効化するだけでページの読み込み速度が …

Amazonの偽レビューをscikit-learnで機械学習してみる

最近、Amazonで偽レビューを使って評価を偽装した胡散臭い商品が多いですが、買い物をする時に邪魔でしかないのでこれを機械学習 (ランダムフォレスト) で見抜けないか試してみました。 機械学習について …

Cocoonでトップページを作る時のSEOを考慮したカスタマイズ方法

更新:2020-03-08 フッターに表示されるサイト名にもh1が適用される問題を修正しました。(include/func-custom-header.php) WordPress でブログじゃないサ …

Seleniumで自動ログイン処理と失敗時は指定回数リトライさせる方法

Python3 と Selenium で自動ログイン処理と、失敗時にはリトライさせる方法のメモ書きです。 ログインが必要なページのスクレイピングって面倒ですが、Selenium でブラウザそのものを操 …

WordPressで自動出力されるCSS&Javascriptタグのtype属性を完璧に消す

WordPress で自動出力される CSS&Javascript タグの type 属性を完璧に消す方法のメモ書きです。 HTML5 では下記のような type 属性は不要という事で W3C の M …

Web経由でFFmpegのエンコード処理を行い進捗状況を表示するメモ

Web 経由で FFmpeg のエンコード処理を走らせながら進捗状況をブラウザに表示する方法についてのメモです。 動画アップロードサイトではユーザーに動画を Web 経由でアップさせ、エンコードしたり …

CentOSにSeleniumとGoogle Chrome & ChromeDriverをインストールする

ログイン認証が必要な Web ページの内容をスクレイピングしたくなったので Selenium を使ってみる事にしました。 認証が必要なページを自力でスクレイピングしようとすると中々大変なので、ブラウザ …

WordPressに新しい関数を追加する時はfunction_existsを付けた方が無難

WordPress をカスタマイズしていると新しい関数を追加したくなる事が多いと思いますが、その時は必ず function_exists を付けて欲しいって話を書きます。 WordPress 用のサー …

CentOSにPyenvをインストールしてPython3の開発環境を構築する

CentOSでPythonの開発環境を構築するメモ書きです。 WEBのフレームワークから機械学習のライブラリまで何でも揃ってるPythonですが、CentOSでPythonを使おうとすると2系と古いの …

Webサイトの常時SSL化はどこまで暗号化されるのか?

Webブラウザの Google Chromeが2017年10月より、通信が暗号化されないHTTP接続を使ったWebサイトに対する警告をURLバーに表示するよう仕様変更されました。 これまでは個人情報を …

よく読まれている記事

  • 本日
  • 週間
  • 月間