「Coro」の記事一覧

Coro のメモ書き。 下記記事で作成した Coro を使ったクローラをベースに、まともなヤツを書いて動かしていたのですが早速問題が発生。 Coroを作ったクローラの試作品で内部リンクを辿る Coro …

Coro のメモ書き。 これまでに Coro で色々と試してきましたが、そろそろクロール機能をつけてサイトを辿らせてみようと思います。 ただし、試作品だしエラー処理とか負荷とか色々考慮していない部分が …

Coro のメモ書き。 下記の記事でセマフォによる同時スレッド数の制御と、簡単な HTML パーサ機能を付け加えましたがこれだけでは全然使い物にならないので、新しく別の処理を追加してみたいと思います。 …

Coro のメモ書き。 前回の記事で最大の懸念事項だった「LWP 利用時の timeout 処理」が何とか実装できたので、次は Coro::Semaphore を使って同一ホストへの接続を厳密に制御し …

Coro のメモ書き。 下記の記事で、ようやくそれらしいクローラもどきをつくることができましたが、このコードには致命的な問題があります。 Coroで作ったクローラもどきにスレッド管理機能をつける Co …

Coro のメモ書き。 下記の記事で作成した、クローラもどきに「スレッド管理機能」をつけてみます。 Coro::Channelを使ってクローラちっくなものを書いてみる 何でコレが必要かと言うと、上記の …

Coro のメモ書き。 ボチボチ使い方をわかってきたつもりになってきたので、下記を参考にクローラの部品を書いてみたいと思います。 参考にしたページ Coroを使ったやさしいクローラの作り方（3） 理解 …

Coro のメモ書き。 Coro で作成したスレッド間でデータの送受信を行うには Coro::Channel が便利。 #!/usr/bin/perl use strict; use warnings …

Perl の Coro と RPC::XML::Client モジュールのメモです。 WordPress に画像をアップロードする処理を並列化して高速化しようという試みです。 Coro::LWP を使 …

Perl モジュールの Coro のメモ書きです。 処理内容を見なおしたりキャッシュとか使ってみたりしながら、スクレイピング処理を効率的にできるように色々試しているのですが、その中で Coro という …