Elasticsearchでよく利用するAPIや操作方法の私的メモ
Elasticsearchで普段よく利用するコマンドやクエリの覚書です。 これまで手元のメモ帳に残していましたが増えてきたのでそのままこちらへメモしておきます。 ElasticsearchのAPIを利 …
年別アーカイブ： 2019年
ElasticsearchでWordPressの検索機能を改善する（導入と組み込み編）
オープンソースの検索エンジンであるElasticsearchを使い、WordPressの検索機能を改善できないか検討したのでメモに残します。 WordPressのデフォルトの検索って必要最低限の機能と …
Cocoonにカスタムタクソノミーを追加して記事のカテゴリー分けをカスタマイズする
WordPressのテーマ、Cocoonにカスタムタクソノミーを追加するカスタマイズメモです。 カテゴリーやタグだけでは無く、サイトによってはもっと細かく記事をカテゴライズしたい場合があります。例えば …
[Kernel panic] VFS: Unable to mount root fs on unknown-block(0,0) の対処方法
CentOSでサーバを構築中にカーネルパニックに遭遇したのでその対処方法を残しておきたいと思います。 サーバ会社から引き渡された直後に、少し設定変更をして再起動をしたらOSが起動せず… IPMIの仮想 …
DELLのRemote Management Controllerで仮想コンソールを起動できない時の対処方法
DELLのRemote Management Controllerで仮想コンソールを開こうと思ったら、Javaのセキュリティ制限に引っかかりまくりハマったのでメモします。 久しぶりにバーチャルではない …
Scrapydを使ってScrapy製クローラーをデーモン化＆定期実行する
Scrapyで作成したクローラー (スパイダー) をScrapydというクローラー管理APIを使って制御するメモです。 クローラーをバッググラウンドで動かしたい場合、cronにコマンドを登録して定期実 …
BrowserMob Proxyを使ったアクセス解析に影響を与えないSeleniumのスクレイピングメモ
SeleniumでHeadless Chromeを使う時に、アクセス解析に影響を与えないようにスクレイピングするにはどうしたら良いかを調べました。 今のWebサイトってJavaScriptをほぼ必ず使 …
MD5チェックサムでファイルが破損せず転送できたかを確認する
Linuxで使えるmd5sumコマンドを使って、ファイルが破損せずネットワーク越しにコピーできたかを確認する方法です。 たまに使いたくなるのですがいつも忘れているのできちんとメモをしておきます。 Li …
Scrapyで画像収集クローラーを作ってみる
Python製のクローラーフレームワークScrapyで画像収集をしたい時のメモです。 画像収集に関してもScrapyは簡単にスクレイピングできる仕組みを最初から持っているのでこれを使ってみます。 なお …
PythonのScrapyでHTML、XML、CSV用のクローラーを作ってみる
クローラー開発でPython製のクローラーフレームワークScrapyを使ったらめちゃくちゃ便利だったのでメモします。 Scrapyを使うと数行のコードでお目当てのデータを簡単に抽出できるので、これから …
新語に対応したMeCabの辞書mecab-ipadic-NEologdを使ってみる
日々生まれる新語に対応してくれるMeCabの辞書mecab-ipadic-NEologdを使ってみました。 日本語で自然言語処理をする時は形態素解析がほぼ必要になってきますが、従来からあるMeCabの …
SFTPでchrootを設定しつつSSHでログインできないユーザーを作成する
SFTPでchrootは設定しつつも、SSHではログインできないユーザーを作成するメモ書きです。 サーバを複数人で共有で使いたいのですが、こんな感じの要件を満たす必要が出てきました。 ユーザーはSFT …
プラグインを有効化するだけで高速化するQuicklink for WordPressを試す
有効化するだけで WordPress のページ表示を高速化する Quicklink for WordPress を試してみました。 注意点はあるもののプラグインを有効化するだけでページの読み込み速度が …