Post by dunks » Thu Apr 19, 2012 6:38 pm

setelah saya cari thread tentang robot diforum indonesia,, jawabannya gk cukup meyakinkan,, :D
makanya (maaf) saya bikin thread lg tentang robots.txt,,
saya harapkan para mastah disini mau mengupas tuntas tentang robots.txt ini.. supaya hasil crawl nya baik ( gk banyak error )

mulai dari saya dulu deh,,
ini yg saya dapatkan setelah ngubek2 forum opencart :

Code: Select all

    user-agent: *
    Allow: /
    Disallow: /*&limit
    Disallow: /*?limit=*
    Disallow: /*&sort
    Disallow: /*?route=checkout/
    Disallow: /*?route=account/
    Disallow: /*?route=affiliate/
    Disallow: /*?route=product/compare
    Disallow: /*?route=account/return/insert
    Disallow: /*?sort=pd.name&order=DESC
    Disallow: /*?sort=pd.name&order=ASC
    Disallow: /*?sort=p.price&order=ASC
    Disallow: /*?sort=p.price&order=DESC
    Disallow: /*?sort=rating&order=DESC
    Disallow: /*?sort=rating&order=ASC
    Disallow: /*?sort=p.model&order=ASC
    Disallow: /*?sort=p.model&order=DESC
    Disallow: /admin/
    Disallow: /catalog/
    Disallow: /download/
    Disallow: /image/
    Disallow: /system/

    Sitemap: http://www.example.com/index.php?route=feed/google_sitemap

-tambahan update dari bro screenager
-masukan dari bro qahar

apakah mastah2 ada tambahan yg lain supaya link yg gk dibutuhin ke block alias gk ke crawl..
terimakasih,
O0
Last edited by dunks on Sat Apr 21, 2012 12:09 pm, edited 2 times in total.

Ingat Gadget, Ingat DroidLime https://www.droidlime.com/


User avatar
Active Member

Posts

Joined
Wed Apr 20, 2011 1:19 pm
Location - Jakarta - Indonesia

Post by screenager8 » Thu Apr 19, 2012 7:23 pm

bagus... Sy memang kedepan mau memaksimalkan coding Opencart supaya selalu lolos W3C Validation dan tidak ada error di Google WebMaster Tools.... Ini bahan yg bagus..

Ada jg yg pakai ini:

Code: Select all

User-agent: *
Disallow: /admin/
Disallow: /catalog/
Disallow: /download/
Disallow: /image/
Disallow: /system/
Allow: /
Silahkan dipelajari dan bagi2 informasinya :D

Image

Bukatoko.com | Cara mudah & cepat punya toko online!


User avatar
Active Member

Posts

Joined
Sat Nov 28, 2009 5:45 pm
Location - Jakarta, Indonesia

Post by dunks » Thu Apr 19, 2012 7:56 pm

mantap bro screenager,,

robot kan ada 2 versi :

1.Robots.txt
2.Robot meta tag dan x-robot-tag https://developers.google.com/webmaster ... s_meta_tag

khusus yg versi kedua sekiranya bisa di optimalisasi menggunakan module.. ayo mastah yg jago buat module... :D
saya rasa akan sangat berguna..

Ingat Gadget, Ingat DroidLime https://www.droidlime.com/


User avatar
Active Member

Posts

Joined
Wed Apr 20, 2011 1:19 pm
Location - Jakarta - Indonesia

Post by dunks » Thu Apr 19, 2012 8:42 pm

bagaimana dengan yg ini mastah :

Code: Select all

Disallow: /*?route=product/compare
Disallow: /*?route=account/return/insert
Disallow: /*?sort=pd.name&order=DESC
Disallow: /*?sort=pd.name&order=ASC
Disallow: /*?sort=p.price&order=ASC
Disallow: /*?sort=p.price&order=DESC
Disallow: /*?sort=rating&order=DESC
Disallow: /*?sort=rating&order=ASC
Disallow: /*?sort=p.model&order=ASC
Disallow: /*?sort=p.model&order=DESC
monggo di selidiki dulu,, kalo bagus saya insert di page one

Ingat Gadget, Ingat DroidLime https://www.droidlime.com/


User avatar
Active Member

Posts

Joined
Wed Apr 20, 2011 1:19 pm
Location - Jakarta - Indonesia

Post by dunks » Thu Apr 19, 2012 8:50 pm

tambah 1 lagi :D

Code: Select all

Disallow: /*?limit=*

Ingat Gadget, Ingat DroidLime https://www.droidlime.com/


User avatar
Active Member

Posts

Joined
Wed Apr 20, 2011 1:19 pm
Location - Jakarta - Indonesia

Post by SarahJeanette » Fri Apr 20, 2012 3:22 pm

bagus topiknya ( * mantau dulu... 8) )

aku kirain dgn disallow folder2x sudah cukup bagus, tp kalau ada metode lain yang lebih bagus, ok juga sih klo bisa diimplementasikan

<trustme>there's no system 100% bugs free</trustme>


User avatar
New member

Posts

Joined
Tue Apr 10, 2012 11:16 am

Post by dunks » Fri Apr 20, 2012 5:48 pm

yup,, buat menghindari error crawl aja,, soalnya page sort,serach, kadang2 suka ke index juga

Ingat Gadget, Ingat DroidLime https://www.droidlime.com/


User avatar
Active Member

Posts

Joined
Wed Apr 20, 2011 1:19 pm
Location - Jakarta - Indonesia

Post by qahar » Fri Apr 20, 2012 6:52 pm

Kalau menggunakan SEO extension untuk friendly url, disallow berdasar url tersebut tidak bisa digunakan.
Misalnya agar tampil menarik index.php?route=product/search diganti lebih friendly search.html, maka semua query search html akan tetep di crawler.

kalau menggunakan friendly url, rule tsb perlu disesuaikan lagi. Atau dibuat rule untuk disallow filter_name seperti disallow limit. Kalau filter_tag sepertinya masih mendatangkan benefit.

Semoga bisa membantu :)

User avatar
Expert Member

Posts

Joined
Tue Jun 29, 2010 10:24 pm
Location - Indonesia

Post by dunks » Fri Apr 20, 2012 10:30 pm

qahar wrote:Kalau menggunakan SEO extension untuk friendly url, disallow berdasar url tersebut tidak bisa digunakan.
Misalnya agar tampil menarik index.php?route=product/search diganti lebih friendly search.html, maka semua query search html akan tetep di crawler.

kalau menggunakan friendly url, rule tsb perlu disesuaikan lagi. Atau dibuat rule untuk disallow filter_name seperti disallow limit. Kalau filter_tag sepertinya masih mendatangkan benefit.

Semoga bisa membantu :)
boleh tau bang qahar benefitnya filter_tag secara spesifik lagi,, ane rada kurang mudeng neh :)

Ingat Gadget, Ingat DroidLime https://www.droidlime.com/


User avatar
Active Member

Posts

Joined
Wed Apr 20, 2011 1:19 pm
Location - Jakarta - Indonesia

Post by qahar » Sat Apr 21, 2012 2:19 am

Misalnya mas bro punya toko smartphone online, kemudian membagi produk ke dalam kategori tertentu berdasarkan OS. Nah di masing" produk kemudian ditentukan tags lebih spesifik misalnya Android 4.0. Sehingga kalau di klik akan muncul semua produk yg udah andro 4 di halaman search. Atau tags "Android Upgradable", "dual-sim", "3G + Wifi" dll.

Nah misalnya tags tadi nyantol di search engine kan lumayan. Ketika ada yang search "Android dual-sim" kemudian munculah toko online mas bro dengan link ke halaman search dengan result tags "dual-sim".

Ya gambarannya kurang lebih begitu, meskipun kurang yakin juga apakah di search engine halaman 1, 2 atau bahkan di atas halaman 5. Tapi kan lumayan, toh ga rugi :). Saya bisa kasih contoh diatas soalnya pernah search smartphone ngarahnya ke web Oc halaman search tags hehee... karena tags-nya lengkap jadi enak mau liat" produk berdasarkan tags tertentu. :D

User avatar
Expert Member

Posts

Joined
Tue Jun 29, 2010 10:24 pm
Location - Indonesia

Post by dunks » Sat Apr 21, 2012 2:39 am

qahar wrote:Misalnya mas bro punya toko smartphone online, kemudian membagi produk ke dalam kategori tertentu berdasarkan OS. Nah di masing" produk kemudian ditentukan tags lebih spesifik misalnya Android 4.0. Sehingga kalau di klik akan muncul semua produk yg udah andro 4 di halaman search. Atau tags "Android Upgradable", "dual-sim", "3G + Wifi" dll.

Nah misalnya tags tadi nyantol di search engine kan lumayan. Ketika ada yang search "Android dual-sim" kemudian munculah toko online mas bro dengan link ke halaman search dengan result tags "dual-sim".

Ya gambarannya kurang lebih begitu, meskipun kurang yakin juga apakah di search engine halaman 1, 2 atau bahkan di atas halaman 5. Tapi kan lumayan, toh ga rugi :). Saya bisa kasih contoh diatas soalnya pernah search smartphone ngarahnya ke web Oc halaman search tags hehee... karena tags-nya lengkap jadi enak mau liat" produk berdasarkan tags tertentu. :D
woo ,, i seee,, :)
berarti product/search bagus di allow aje untuk SEO.. ( tapi ini pengaruh gk ke crawl error? ) ,, ada kejadian temanku crawl error not foundnya sampe 8000 pages..

-kalo untuk sort di category ama product/compare gimana bang ??

Ingat Gadget, Ingat DroidLime https://www.droidlime.com/


User avatar
Active Member

Posts

Joined
Wed Apr 20, 2011 1:19 pm
Location - Jakarta - Indonesia

Post by qahar » Sat Apr 21, 2012 3:44 am

Crawl error itu kan karena sebelumnya ada menjadi tidak ada. Misalnya membuat artikel terkait dengan produk kemudian dicantumkan link tag-nya. Tapi tags tersebut sudah tidak digunakan. Atau melakukan migrasi sistem sehingga sebagian besar link berubah, tapi lupa sitemap tidak di resubmit atau search engine masih menggunakan cache lama.

Kalau menurut saya product sort disallow aja ga masalah. Untuk compare disallow juga, karena default product compare itu blank page, ada isinya kalau visitor klik compare di produk. Kalau tidak klik compare di produk, ya halamannya pasti kosong.

User avatar
Expert Member

Posts

Joined
Tue Jun 29, 2010 10:24 pm
Location - Indonesia

Post by screenager8 » Sat Apr 21, 2012 8:52 am

Lanjutkan diskusinya, sangat informatif...

Image

Bukatoko.com | Cara mudah & cepat punya toko online!


User avatar
Active Member

Posts

Joined
Sat Nov 28, 2009 5:45 pm
Location - Jakarta, Indonesia

Post by dunks » Sat Apr 21, 2012 12:07 pm

wokkeeH,, setelah dikit demi sedikit terkumpul masukan dari mastah2 saya list lagi dah

Code: Select all

user-agent: *
Allow: /

Disallow: /*?route=account/
Disallow: /*?route=affiliate/
Disallow: /*?route=account/return/insert
Disallow: /*?route=checkout/
Disallow: /*?route=product/compare

Disallow: /admin/
Disallow: /catalog/
Disallow: /download/
Disallow: /image/
Disallow: /system/

Disallow: /*?limit*
Disallow: /*?sort*

Sitemap: http://www.example.com/index.php?route=feed/google_sitemap
-sort dan limit cukup pake * maka url ke blok ( saya ude test sendiri )

monggo di selidiki lagii,, ada tambahan?

Ingat Gadget, Ingat DroidLime https://www.droidlime.com/


User avatar
Active Member

Posts

Joined
Wed Apr 20, 2011 1:19 pm
Location - Jakarta - Indonesia

Post by screenager8 » Sat Apr 21, 2012 1:16 pm

Nah tinggal dicoba kalau pakai SEO Url dan tanpa SEO Url,... ada problem gak di Google Webmaster.... Sebenernya ini task yg sy mau kerjakan, tapi kalau bro DUNKS mau kerjakan dan dipublish reportnya,... sangat membantu :D...

Lanjut!!

Image

Bukatoko.com | Cara mudah & cepat punya toko online!


User avatar
Active Member

Posts

Joined
Sat Nov 28, 2009 5:45 pm
Location - Jakarta, Indonesia

Post by dunks » Sat Apr 21, 2012 1:49 pm

saya rasa ini sangat berhubungan dengan search engine optimize (SEO) ada baiknya jika seo url di aktipkan.. :)
jadi tehnik robot ini ya buat SEO url.. menurut saya

monggo,, Lanjuuut..

Ingat Gadget, Ingat DroidLime https://www.droidlime.com/


User avatar
Active Member

Posts

Joined
Wed Apr 20, 2011 1:19 pm
Location - Jakarta - Indonesia

Post by pusakakecantikan » Sun Apr 07, 2013 7:55 pm

Pantau dulu yah, masih tentang beda .htaccess, robots.txt, meta bot, dll.
Di web saya asal pake, tapi tidak tau maksudnya. :(
Ada yang bisa menjelaskan cara pakai Meta Bot Control Di Extension :
http://www.opencart.com/index.php?route ... meta%20bot

dan fungsinya apa aja sih ???

Nih web saya yang pake meta bot http://www.pusakakecantikan.com
Thanks para master OC.

Visit My Webstore :
Toko Kosmetik Online
Toko Underware


Posts

Joined
Wed Aug 22, 2012 12:00 pm

Post by d3vin » Tue Apr 23, 2013 9:59 am

Ini masuk jg kayanya gan

Code: Select all

Disallow: /*?category_id=*&product_id=*
Disallow: /cart/add?*

---- a happy coder ---- http://www.leetographia.com.au


Newbie

Posts

Joined
Tue Apr 23, 2013 8:33 am
Location - sydney

Post by rindiani » Tue Sep 30, 2014 1:51 pm

Halloo gannn... O0
Barang kali ada yang bisa bantu saya

robots.txt saya adalah :

Code: Select all

User-agent: *
    Disallow: /*&limit
    Disallow: /*?sort
    Disallow: /*&sort
    Disallow: /*?route=checkout/
    Disallow: /*?route=account/
    Disallow: /*?route=product/search
    Disallow: /*?page=1
    Disallow: /*&create=1
    Disallow: /index.php?route=information/information
    Disallow: /*?route=affiliate/
    Disallow: /*?keyword
    Disallow: /*?av
    Disallow: /admin/
    Disallow: /system/
    Disallow: /catalog/
beberapa hari setelah saya masukin tuh code, ditemukan banyak page not found 404 pada webmaster tool
apakah itu disebabkan robots.txt tersebut ya?
mohon advisnya para mas bro semua


thx sebelumnya ...

Jilbab - kerudung - mukena - baju - muslim


Newbie

Posts

Joined
Tue Sep 30, 2014 1:28 pm

Post by acepnoor » Tue Oct 14, 2014 12:26 pm

Kalau saya memakai robots.txt yang simple saja. Disallow admin

Code: Select all

Sitemap: http://www.site.com/index.php?=route/feed/google_sitemap

User-agent: *
Disallow: <strong>/admin/</strong>
Allow: /
Semoga membantu

User avatar
Newbie

Posts

Joined
Mon Oct 06, 2014 4:10 pm
Location - Jakarta
Who is online

Users browsing this forum: No registered users and 3 guests