Crawler problem

[kristine]

Folosesc urmatoarea configuratie pentru crawler pentru a indexa tt_news:

tx_crawler.crawlerCfg.paramSets =
tx_crawler.crawlerCfg.paramSets {
   tt_news = &tx_ttnews[tt_news]=[_TABLE:tt_news;_PID:156]
   tt_news {
      cHash = 1
      procInstrFilter = tx_indexedsearch_reindex,tx_indexedsearch_crawler, tx_cachemgm_recache
      baseUrl = http://domeniu/
      pidsOnly = 716
   }
}
Vreau ca crawlerul sa imi genereze dinamic lista de url-uri cu parametrul aditional tx_ttnews[tt_news]:
    *  http://www.domain.ro/index.php?id=716&tx_ttnews[tt_news]=1&cHash=547474787f74747
    *  http://www.domain.ro/index.php?id=716&tx_ttnews[tt_news]=2&cHash=5gdgd87f7474567
    *  http://www.domain.ro/index.php?id=716&tx_ttnews[tt_news]=3&cHash=5474747hdhd747475
    * …
Apoi urmez urmatorii pasi (pe care ii stiti):


Si cand vreau sa procesez rezultatele

imi da Error: 404 NOT Found page , adica imi afiseaza pagina mea de 404 din Typo3.
Am cautat pe net si singurul lucru ce am gasit ca indiciu este asta:
http://www.hiawatha-webserver.org/forum/topic/139

Ati avut problema aceasta? Unde este setat headerul HTTP_X_T3CRAWLER ca eu nu am gasit in nici un fisier de-al lui Typo3, doar cand este verificat in fisierele extensiei crawler.

Ce ma sfatuiti?

[kristine]

Deci, la voi merge crawlerul si cronjob-ul pentru tt_news?
Anyone?
Nu aveti nici o idee d c nu merge?

[tiberiu]

Salut,

Cred ca majoritatea dintre noi n-am folosit niciodata index_search-ul cu crawler. (sau l-am folosit si nu mai stim noi )
Am folosit indexed_search la site-uri precum www.arobs.com, www.trackgps.ro sau www.optimallsfa.ro dar peste tot indexarea s-a facut in timpul navigarii prin site. La ultimele 2 site-uri imi indexeaza si news-urile in mod corespunzator.

Tu de ce trebuie sa folosesti cronjob-ul si extensia "crawler"?