Cocoonにカスタムタクソノミーを追加して記事のカテゴリー分けをカスタマイズする
WordPressのテーマ、Cocoonにカスタムタクソノミーを追加するカスタマイズメモです。 カテゴリーやタグだけでは無く、サイトによってはもっと細かく記事をカテゴライズしたい場合があります。例えば …
[Kernel panic] VFS: Unable to mount root fs on unknown-block(0,0) の対処方法
CentOSでサーバを構築中にカーネルパニックに遭遇したのでその対処方法を残しておきたいと思います。 サーバ会社から引き渡された直後に、少し設定変更をして再起動をしたらOSが起動せず… IPMIの仮想 …
DELLのRemote Management Controllerで仮想コンソールを起動できない時の対処方法
DELLのRemote Management Controllerで仮想コンソールを開こうと思ったら、Javaのセキュリティ制限に引っかかりまくりハマったのでメモします。 久しぶりにバーチャルではない …
HTTPSサイトに混在コンテンツが無いかを調べるWEBサービスを作ってみた
サイトに混在コンテンツ (Mixed Content) が無いかを調べるWEBサービスを作ってみたのでこのブログで公開しました。 クローラーを作るためにScrapyを覚える事にしましたが、どうせなら何 …
Scrapydを使ってScrapy製のクローラーをデーモン化し定期実行する
Scrapyで作成したクローラー (スパイダー) をScrapydというクローラー管理APIを使って制御するメモです。 クローラーをバッググラウンドで動かしたい場合、cronにコマンドを登録して定期実 …
BrowserMob Proxyを使ったアクセス解析に影響を与えないSeleniumのスクレイピングメモ
SeleniumでHeadless Chromeを使う時に、アクセス解析に影響を与えないようにスクレイピングするにはどうしたら良いかを調べました。 今のWebサイトってJavaScriptをほぼ必ず使 …
MD5チェックサムでファイルが破損せず転送できたかを確認する
Linuxで使えるmd5sumコマンドを使って、ファイルが破損せずネットワーク越しにコピーできたかを確認する方法です。 たまに使いたくなるのですがいつも忘れているのできちんとメモをしておきます。 Li …
Scrapyで画像収集クローラーを作ってみる
Python製のクローラーフレームワークScrapyで画像収集をしたい時のメモです。 画像収集に関してもScrapyは簡単にスクレイピングできる仕組みを最初から持っているのでこれを使ってみます。 なお …
PythonのScrapyでHTML、XML、CSV用のクローラーを作ってみる
クローラー開発でPython製のクローラーフレームワークScrapyを使ったらめちゃくちゃ便利だったのでメモします。 Scrapyを使うと数行のコードでお目当てのデータを簡単に抽出できるので、これから …
新語に対応したMeCabの辞書mecab-ipadic-NEologdを使ってみる
日々生まれる新語に対応してくれるMeCabの辞書mecab-ipadic-NEologdを使ってみました。 日本語で自然言語処理をする時は形態素解析がほぼ必要になってきますが、従来からあるMeCabの …
SFTPでchrootを設定しつつSSHでログインできないユーザーを作成する
SFTPでchrootは設定しつつも、SSHではログインできないユーザーを作成するメモ書きです。 サーバを複数人で共有で使いたいのですが、こんな感じの要件を満たす必要が出てきました。 ユーザーはSFT …
プラグインを有効化するだけで高速化するQuicklink for WordPressを試す
有効化するだけで WordPress のページ表示を高速化する Quicklink for WordPress を試してみました。 注意点はあるもののプラグインを有効化するだけでページの読み込み速度が …
Amazonの偽レビューをscikit-learnで機械学習してみる
最近、Amazonで偽レビューを使って評価を偽装した胡散臭い商品が多いですが、買い物をする時に邪魔でしかないのでこれを機械学習 (ランダムフォレスト) で見抜けないか試してみました。 機械学習について …