WTF? Čia aišku gal ir klaida, bet Google jau LRS rezultatams rodo "Šio rezultato aprašas nepasiekiamas dėl šios svetainės robots.txt – sužinokite daugiau." - tas užkomentuotas Disallow turbūt neteisingas, bet pvz. Bing tai explicitly užblokuota. Kodėl? Kas čia do absurdas?

Visi valstybinių institucijų puslapiai yra viešai prieinami žmonėms. Negi reikia teisės akto, kad tokie būtų ir robotams?

Beje paskutiniu metu pastebėjau gerokai daugiau tokių fintų, pvz.
* http://www.vlkk.lt/robots.txt - užblokuota visa svetainė
http://www.vrk.lt/robots.txt - užblokuotas vienas specifinis puslapis (wtf?)

Mačiau ir daugiau, tik nepamenu... Pvz. http://www.kaunas.lt/robots.txt akivaizdžiai negeras (robots.txt galioja tik savo domeinui - o ir šiaip tie kur užblokuoti puslapiai tai kažkokie nelabai teisingi).

/cc +Remigijus Šimašius +Skirmantas Tumelis 
Shared publiclyView activity