Coroで作成したスレッドの実行順序を制御する
Coro のメモ書き。 下記の記事でセマフォによる同時スレッド数の制御と、簡単な HTML パーサ機能を付け加えましたがこれだけでは全然使い物にならないので、新しく別の処理を追加してみたいと思います。 …
年別アーカイブ： 2014年
Coroで作ったクローラもどきのスレッドをセマフォで制御する
Coro のメモ書き。 前回の記事で最大の懸念事項だった「LWP 利用時の timeout 処理」が何とか実装できたので、次は Coro::Semaphore を使って同一ホストへの接続を厳密に制御し …
CoroでLWPを使うスレッドにtimeout処理を入れる
Coro のメモ書き。 下記の記事で、ようやくそれらしいクローラもどきをつくることができましたが、このコードには致命的な問題があります。 Coroで作ったクローラもどきにスレッド管理機能をつける Co …
Coroで作ったクローラもどきにスレッド管理機能をつける
Coro のメモ書き。 下記の記事で作成した、クローラもどきに「スレッド管理機能」をつけてみます。 Coro::Channelを使ってクローラちっくなものを書いてみる 何でコレが必要かと言うと、上記の …
WordPressの自動バックグラウンド更新を停止する
4/9 に WordPress の 3.8.2 がリリースされたみたいですが、そのタイミングで下記のようなメールが届きました。 件名: [work.log] WordPress 3.8.2 がご利用い …
Coro::Channelを使ってクローラちっくなものを書いてみる
Coro のメモ書き。 ボチボチ使い方をわかってきたつもりになってきたので、下記を参考にクローラの部品を書いてみたいと思います。 参考にしたページ Coroを使ったやさしいクローラの作り方（3） 理解 …
Coro::Channelでスレッド間のデータ送受信のメモ
Coro のメモ書き。 Coro で作成したスレッド間でデータの送受信を行うには Coro::Channel が便利。 #!/usr/bin/perl use strict; use warnings …
PerlのCoroでWordPressのファイルアップロードを高速化
Perl の Coro と RPC::XML::Client モジュールのメモです。 WordPress に画像をアップロードする処理を並列化して高速化しようという試みです。 Coro::LWP を使 …
PerlのCoroを使ってスクレイピング処理を並行化
Perl モジュールの Coro のメモ書きです。 処理内容を見なおしたりキャッシュとか使ってみたりしながら、スクレイピング処理を効率的にできるように色々試しているのですが、その中で Coro という …
PerlのLWPでCacheを使う
Perl の LWP::UserAgent と XML::FeedPP を使って何かする時に、毎回フレッシュなデータを取ってきてたのですが、場合によっては一定期間は同じデータを使いまわしたいという事が …
PerlのCache::Fileが便利なのでメモ
Perl の Cache::File モジュールが便利なのでメモ。 一定期間使いますようなデータをファイルに保存しといて後から再利用する感じ。 では早速使い方から サンプルその1 データ「hoge」を …
PerlからWordPressを操作する
Perl から WordPress を操作するメモです。 モジュールが何種類かあるのでちょっと迷ったんですが、RPC::XML::Client が使いやすそうに見えたのでこれで試してみました。 Wor …
WordPressのwp_optionsテーブルって結構便利
WordPress の wp_options テーブルが結構便利と今更ながら思ったのでメモ。 wp_options テーブルを SELECT するとたまに JSON っぽいデータを見かけるのですが、ア …