CoroのLWPを使うスレッドを一定条件で強制終了させる
Coro のメモ書き。 下記記事で作成した Coro を使ったクローラをベースに、まともなヤツを書いて動かしていたのですが早速問題が発生。 Coroを作ったクローラの試作品で内部リンクを辿る Coro …
「Perl」の記事一覧
PerlとWordPress間でデータを共有するメモ
Perl と WordPress (PHP) 間でデータを共有するメモです。 運用中の WordPress をリモートから色々と制御したいと思っていて、XML-RPC と wp_options をつか …
PerlのXML::FeedPP使い方のメモ（補完）
Perl モジュールの XML::FeedPP の使い方を補完したメモ書きです。 以前に、下記で大体の取得系メソッドをまとめたのですが、「カテゴリ・タグ」の取得がよくわからないままだったのでちょっと補 …
PerlのRPC::XML::ClientでWordPressへ記事を投稿するメモ
Perl モジュール RPC::XML::Client のメモ。 以前に、このモジュールを使って WordPress への接続と投稿記事の取得について書きましたが、今回はこれで WordPress へ …
Coroを作ったクローラの試作品で内部リンクを辿る
Coro のメモ書き。 これまでに Coro で色々と試してきましたが、そろそろクロール機能をつけてサイトを辿らせてみようと思います。 ただし、試作品だしエラー処理とか負荷とか色々考慮していない部分が …
Coroで作成したスレッドの実行順序を制御する
Coro のメモ書き。 下記の記事でセマフォによる同時スレッド数の制御と、簡単な HTML パーサ機能を付け加えましたがこれだけでは全然使い物にならないので、新しく別の処理を追加してみたいと思います。 …
Coroで作ったクローラもどきのスレッドをセマフォで制御する
Coro のメモ書き。 前回の記事で最大の懸念事項だった「LWP 利用時の timeout 処理」が何とか実装できたので、次は Coro::Semaphore を使って同一ホストへの接続を厳密に制御し …
CoroでLWPを使うスレッドにtimeout処理を入れる
Coro のメモ書き。 下記の記事で、ようやくそれらしいクローラもどきをつくることができましたが、このコードには致命的な問題があります。 Coroで作ったクローラもどきにスレッド管理機能をつける Co …
Coroで作ったクローラもどきにスレッド管理機能をつける
Coro のメモ書き。 下記の記事で作成した、クローラもどきに「スレッド管理機能」をつけてみます。 Coro::Channelを使ってクローラちっくなものを書いてみる 何でコレが必要かと言うと、上記の …
Coro::Channelを使ってクローラちっくなものを書いてみる
Coro のメモ書き。 ボチボチ使い方をわかってきたつもりになってきたので、下記を参考にクローラの部品を書いてみたいと思います。 参考にしたページ Coroを使ったやさしいクローラの作り方（3） 理解 …
Coro::Channelでスレッド間のデータ送受信のメモ
Coro のメモ書き。 Coro で作成したスレッド間でデータの送受信を行うには Coro::Channel が便利。 #!/usr/bin/perl use strict; use warnings …
PerlのCoroでWordPressのファイルアップロードを高速化
Perl の Coro と RPC::XML::Client モジュールのメモです。 WordPress に画像をアップロードする処理を並列化して高速化しようという試みです。 Coro::LWP を使 …
PerlのCoroを使ってスクレイピング処理を並行化
Perl モジュールの Coro のメモ書きです。 処理内容を見なおしたりキャッシュとか使ってみたりしながら、スクレイピング処理を効率的にできるように色々試しているのですが、その中で Coro という …