Идея по поводу индексирования product...?ajax

12.02.2019 10:36	#1
Victor Panarin Name: Victor 31.07.2016 Posts: 8	Идея по поводу индексирования (Idea about indexing) pages as product...?ajax Здравствуйте! На протяжении длительного времени Google выдает информацию о проблемах на страницах, к которым обращается поисковый робот по периодически обнаруживаемой им ссылке из скрипта, внедряемого на страницу продукта. Это страницы по типу /product/ajax_attrib_select_and_price/ХХХ?ajax=1. Я нашел много рекомендаций в интернете на этот счет. Испробовал много способов их удалить. Но, Робот через какое-то время их снова обнаруживает и сообщает, что страница проиндексирована, несмотря на блокировку в фале robots.txt. Даже в controllers/product.php добавил в функцию строку function ajax_attrib_select_and_price(){ header('X-Robots-Tag: noindex'); Но, это так и не помогает. Goole сообщает о проблеме. И вот у меня идея появилась. Может каким-то образом возможно сделать на этих страницах, чтобы в head добавилось что-то типа <head> <link href="https://my.domain/it-service-page" rel="canonical"> </head> Страницу it-service-page создать на сайте как нормально индексируемую страницу, но с информацией о том, что это специальная служебная страница, и что она для посетителя никакой пользы не несет. В этом случае не потребуется массово блокировать страницы /product/ajax_attrib_select_and_price/ХХХ?ajax=1. Google будет понимать их как неканонические и удалит из индекса. И наконец-то перестанет информировать о проблемах. Как это сделать, чтобы по запросу этих ajax-страниц в head добавить тег rel-canonical? Заранее спасибо! Last change: 12.02.2019 10:41

12.02.2019 10:40	#2
Victor Panarin Name: Victor 31.07.2016 Posts: 8	Aw: Идея по поводу индексирования product...?ajax And my idea in traslate/// Hello! For a long time, Google provides information about the problems on the pages accessed by the search robot on a periodically detected link from the script finded on the product page. Are these pages as that type - /product/ajax_attrib_select_and_price / XXX?ajax=1. I found a lot of recommendations on the Internet in this regard. Tried many ways to remove them. But, the Robot after a while they again detects and reports that the page is indexed, despite the lock in the robots file.txt. Even in controllers/product.php added a line to the function function ajax_attrib_select_and_price(){ header('X-Robots-Tag: noindex'); But it still doesn't help. Goole reports a problem. And now I have an idea there. Maybe somehow it is possible to make on these pages that in the head something like was added <head> <link href="https://my.domain/it-service-page "rel= "canonical"> </head> Page it-service-page to create on the site as a normally indexed page, but with information that this is a special service page, and that it is for the visitor does not have any benefit. In this case you don't need to block /product/ajax_attrib_select_and_price/XXX pages massively?ajax=1. Google will understand them as non-canonical and will remove them from the index. And finally stop to inform me about the problems. How to do it, to request for the ajax page in the head tag add rel-canonical? Thanks in advance! Last change: 12.02.2019 10:44

12.02.2019 13:36	#3
admin (Support Team) Name: Admin 05.08.2010 Posts: 25919	Aw: Идея по поводу индексирования product...?ajax Страница не HTML. а json - там не можно передавать <head> вы проверяли правельность вашего robots.txt? Last change: 12.02.2019 13:37

12.02.2019 17:43	#4
Victor Panarin Name: Victor 31.07.2016 Posts: 8	Aw: Идея по поводу индексирования product...?ajax Все правильно. Внутри тела страницы передаются данные в JSON-формате. Но, поисковик, заглянув в script, нашел вполне адекватную ссылку и сходил по ней. Запрос информации по этой ссылке через стандартный порт доступа приводит к тому, что эта JSON-упаковка обрамляется в head и body. Вот в таком виде поисковик и знает все об этой странице. Head не заполнен. Нет ни заголовков, ни описания, и так далее. Кроме того, после более детального исследования содержимого, поисковая система понимает, что внутри и очень мелкий шрифт, и элементы расположены слишком близко, и так далее. И, в итоге, все эти проблемы выдаются пачками в консоли вебмастера то в одном виде, то в другом. Скриншот во вложении... Заметьте, что там есть и <head> и <body>. Вот и нужно заставить сервер при обращении через html отдавать в тегах <head> ссылку на другую более понимаемую каноническую страницу. В этом случае будет снято тысяча вопросов, которые задаются на разных форумах....

12.02.2019 18:34	#5
admin (Support Team) Name: Admin 05.08.2010 Posts: 25919	Aw: Идея по поводу индексирования product...?ajax Нет там head (chrome / firefox) view-source:http://demo.joomshopping.com/index.php/shop/product/ajax_attrib_select_and_price/1?ajax=1&change_attr=2&qty=1&attr%5B1%5D=1&attr%5B2%5D=4 Last change: 12.02.2019 18:43

12.02.2019 18:41	#6
Victor Panarin Name: Victor 31.07.2016 Posts: 8	Aw: Идея по поводу индексирования product...?ajax Да уж... Жаль... Это было бы одним из вариантов решения постоянной проблемы с пересмотром кучи заблокированных страниц. Но, нельзя ли в очередных версиях компонента в функцию в контроллере controllers/product.php добавить строку function ajax_attrib_select_and_price(){ header('X-Robots-Tag: noindex'); ?

12.02.2019 18:43	#7
admin (Support Team) Name: Admin 05.08.2010 Posts: 25919	Aw: Идея по поводу индексирования product...?ajax В новой версии joomshopping мы будем передавать Content-Type: application/json Должно решить проблему. \components\com_jshopping\controllers\product.php before print $model->getProductDataJson(); Add: header("Content-type: application/json; charset=utf-8"); Last change: 12.02.2019 19:47

12.02.2019 21:46	#8
Victor Panarin Name: Victor 31.07.2016 Posts: 8	Aw: Идея по поводу индексирования product...?ajax Да здравствует Админ!!!!!!!!! Заголовок теперь содержит Content-type: application/json; charset=utf-8. Яндекс реагирует абсолютно адекватно при проверке ответа сервера и понимает, что страница не содержит контента. С Гуглом пока непонятно. "В лоб" его сервисы не понимают пока, что проблема устранена. Даже после удаления запрета в robot.txt он считает, что страница запрещена к индексированию. Придется подождать... Думаю, что после прямого указания на тип данных и у Google "срастется" через какое-то время все как надо. Спасибо огромное!