work.log

エンジニアの備忘録的ブログ

「Coro」の記事一覧

CoroのLWPを使うスレッドを一定条件で強制終了させる

Coro のメモ書き。 下記記事で作成した Coro を使ったクローラをベースに、まともなヤツを書いて動かしていたのですが早速問題が発生。 Coroを作ったクローラの試作品で内部リンクを辿る Coro …

Coroを作ったクローラの試作品で内部リンクを辿る

Coro のメモ書き。 これまでに Coro で色々と試してきましたが、そろそろクロール機能をつけてサイトを辿らせてみようと思います。 ただし、試作品だしエラー処理とか負荷とか色々考慮していない部分が …

Coroで作成したスレッドの実行順序を制御する

Coro のメモ書き。 下記の記事でセマフォによる同時スレッド数の制御と、簡単な HTML パーサ機能を付け加えましたがこれだけでは全然使い物にならないので、新しく別の処理を追加してみたいと思います。 …

Coroで作ったクローラもどきのスレッドをセマフォで制御する

Coro のメモ書き。 前回の記事で最大の懸念事項だった「LWP 利用時の timeout 処理」が何とか実装できたので、次は Coro::Semaphore を使って同一ホストへの接続を厳密に制御し …

CoroでLWPを使うスレッドにtimeout処理を入れる

Coro のメモ書き。 下記の記事で、ようやくそれらしいクローラもどきをつくることができましたが、このコードには致命的な問題があります。 Coroで作ったクローラもどきにスレッド管理機能をつける Co …

Coroで作ったクローラもどきにスレッド管理機能をつける

Coro のメモ書き。 下記の記事で作成した、クローラもどきに「スレッド管理機能」をつけてみます。 Coro::Channelを使ってクローラちっくなものを書いてみる 何でコレが必要かと言うと、上記の …

Coro::Channelを使ってクローラちっくなものを書いてみる

Coro のメモ書き。 ボチボチ使い方をわかってきたつもりになってきたので、下記を参考にクローラの部品を書いてみたいと思います。 参考にしたページ Coroを使ったやさしいクローラの作り方(3) 理解 …

Coro::Channelでスレッド間のデータ送受信のメモ

Coro のメモ書き。 Coro で作成したスレッド間でデータの送受信を行うには Coro::Channel が便利。 #!/usr/bin/perl use strict; use warnings …

PerlのCoroでWordPressのファイルアップロードを高速化

Perl の Coro と RPC::XML::Client モジュールのメモです。 WordPress に画像をアップロードする処理を並列化して高速化しようという試みです。 Coro::LWP を使 …

PerlのCoroを使ってスクレイピング処理を並行化

Perl モジュールの Coro のメモ書きです。 処理内容を見なおしたりキャッシュとか使ってみたりしながら、スクレイピング処理を効率的にできるように色々試しているのですが、その中で Coro という …

よく読まれている記事

  • 今日
  • 週間
  • 月間