HTTPSサイトに混在コンテンツが無いかを調べるWEBサービスを作ってみた
サイトに混在コンテンツ (Mixed Content) が無いかを調べるWEBサービスを作ってみたのでこのブログで公開しました。 クローラーを作るためにScrapyを覚える事にしましたが、どうせなら何 …
Scrapydを使ってScrapy製のクローラーをデーモン化し定期実行する
Scrapyで作成したクローラー (スパイダー) をScrapydというクローラー管理APIを使って制御するメモです。 クローラーをバッググラウンドで動かしたい場合、cronにコマンドを登録して定期実 …
BrowserMob Proxyを使ったアクセス解析に影響を与えないSeleniumのスクレイピングメモ
SeleniumでHeadless Chromeを使う時に、アクセス解析に影響を与えないようにスクレイピングするにはどうしたら良いかを調べました。 今のWebサイトってJavaScriptをほぼ必ず使 …
MD5チェックサムでファイルが破損せず転送できたかを確認する
Linuxで使えるmd5sumコマンドを使って、ファイルが破損せずネットワーク越しにコピーできたかを確認する方法です。 たまに使いたくなるのですがいつも忘れているのできちんとメモをしておきます。 Li …
Scrapyで画像収集クローラーを作ってみる
Python製のクローラーフレームワークScrapyで画像収集をしたい時のメモです。 画像収集に関してもScrapyは簡単にスクレイピングできる仕組みを最初から持っているのでこれを使ってみます。 なお …
PythonのScrapyでHTML、XML、CSV用のクローラーを作ってみる
クローラー開発でPython製のクローラーフレームワークScrapyを使ったらめちゃくちゃ便利だったのでメモします。 Scrapyを使うと数行のコードでお目当てのデータを簡単に抽出できるので、これから …
新語に対応したMeCabの辞書mecab-ipadic-NEologdを使ってみる
日々生まれる新語に対応してくれるMeCabの辞書mecab-ipadic-NEologdを使ってみました。 日本語で自然言語処理をする時は形態素解析がほぼ必要になってきますが、従来からあるMeCabの …
SFTPでchrootを設定しつつSSHでログインできないユーザーを作成する
SFTPでchrootは設定しつつも、SSHではログインできないユーザーを作成するメモ書きです。 サーバを複数人で共有で使いたいのですが、こんな感じの要件を満たす必要が出てきました。 ユーザーはSFT …
プラグインを有効化するだけで高速化するQuicklink for WordPressを試す
有効化するだけで WordPress のページ表示を高速化する Quicklink for WordPress を試してみました。 注意点はあるもののプラグインを有効化するだけでページの読み込み速度が …
Amazonの偽レビューをscikit-learnで機械学習してみる
最近、Amazonで偽レビューを使って評価を偽装した胡散臭い商品が多いですが、買い物をする時に邪魔でしかないのでこれを機械学習 (ランダムフォレスト) で見抜けないか試してみました。 機械学習について …
Cocoonでトップページを作る時のSEOを考慮したカスタマイズ方法
WordPress でブログじゃないサイトを作るため Cocoon を触ってます。 Cocoon はブログを作る時によく使う機能がほぼ網羅されていて、プラグインだとか PHP をゴリゴリいじるカスタマ …
Seleniumで自動ログイン処理と失敗時は指定回数リトライさせる方法
Python3 と Selenium で自動ログイン処理と、失敗時にはリトライさせる方法のメモ書きです。 ログインが必要なページのスクレイピングって面倒ですが、Selenium でブラウザそのものを操 …
WordPressで自動出力されるCSS＆Javascriptタグのtype属性を完璧に消す
WordPress で自動出力される CSS＆Javascript タグの type 属性を完璧に消す方法のメモ書きです。 HTML5 では下記のような type 属性は不要という事で W3C の M …