Si ponemos “Google” y “Reddit” en la misma frase, es seguro que escucharemos una cacofonía de suspiros de quienes trabajan en el sector editorial online. Bueno, ahora también podríamos oír más suspiros del usuario medio de Internet, ya que parece que Google es el único motor de búsqueda que puede extraer información de Reddit para incluir nuevas publicaciones en sus resultados de búsqueda.
404 Media se dio cuenta de esto Y ayer se señaló que otros motores de búsqueda distintos de Google, como Bing y DuckDuckGo, no muestran ningún resultado de Reddit de la última semana en sus resultados de búsqueda. Parece que este es el caso, y puedes comprobarlo tú mismo yendo a otro motor de búsqueda como DuckDuckGo, buscando “site:reddit.com” y configurándolo para que muestre solo los resultados de la semana pasada. En el momento de escribir este artículo, no aparecen resultados para una búsqueda de este tipo en DuckDuckGo, pero sí en Google.
Esto parece deberse a los cambios en el archivo robots.txt de Reddit. Robots.txt es un archivo que prácticamente todos los sitios web tienen y que les indica a los robots, como los de los motores de búsqueda, qué páginas del sitio no pueden rastrear. Además de evitar que los motores de búsqueda rastreen algunas páginas, este archivo ha sido útil para los sitios web que buscan evitar que se rastree información para el entrenamiento de la IA al deshabilitar los rastreadores de IA.
Sin embargo, parece que Reddit ha cambiado recientemente la política para prohibir que cualquier bot rastree el sitio web. No tienes que confiar en nuestra palabra, puedes comprobarlo tú mismo visitando https://www.reddit.com/robots.txtLas últimas líneas de la página básicamente le dicen a cualquier bot que no tiene permitido rastrear ninguna de las páginas de Reddit. Y si no se rastrea, no se muestra nada en los resultados de búsqueda. Así es como funcionan los motores de búsqueda: para simplificarlo, rastrean, clasifican y muestran cuando los usuarios buscan términos relacionados.
Pero Google todavía logra mostrar nuevos resultados de Reddit en los resultados de búsqueda, lo que significa que de alguna manera puede acceder a la información de Reddit a pesar de la prohibición de robots.txt.
Si empezamos a preguntarnos si la razón detrás de todo esto tiene que ver con Google se asocia con Reddit—una asociación que le da a Google acceso exclusivo al contenido del sitio Reddit para entrenamiento de IA—tenemos la siguiente garantía.
Tim Rathschmidt, portavoz de Reddit, dijo: El borde “Esto no tiene nada que ver con nuestra reciente asociación con Google”, continuó. “Hemos estado en conversaciones con varios motores de búsqueda. No hemos podido llegar a acuerdos con todos ellos, ya que algunos no pueden o no quieren hacer promesas ejecutables con respecto a su uso del contenido de Reddit, incluido su uso para IA”.
Sin embargo, a mi entender, esto hace que parezca que este problema es sólo… indirectamente Debido a la asociación de Reddit con Google. Si el contrato de asociación otorga a Google derechos exclusivos sobre los datos de Reddit para el entrenamiento de la IA, entonces tendría sentido que Reddit no permitiera que otros motores de búsqueda extrajeran datos del sitio web si “no puede llegar a acuerdos”.
En todo caso, esta explicación retrasa las cosas un poco más y me hace pensar que hay un punto más en contra de la asociación original entre Google y Reddit. Este punto es que Reddit aparentemente ahora no puede permitir que otros motores de búsqueda rastreen su sitio a menos que estén dispuestos a hacer promesas “ejecutables” sobre su uso del contenido de Reddit para la IA. (Tu suposición es tan buena como la mía sobre qué significa “ejecutable” en este caso).
Director ejecutivo de Epic Games Tim Sweeney dice “Es parte de una desconcertante aceleración de los monopolios que se expanden para bloquear aún más la competencia y quitarle acceso a los usuarios”.
Esto forma parte de una desconcertante aceleración de la expansión de los monopolios para bloquear aún más la competencia y arrebatarle dinero a los usuarios. Los motores de búsqueda solían proporcionar enlaces a contenido relevante. Ahora bombardean a los usuarios con anuncios mezclados con contenido extraído y lavado por IA sin atribución. https://t.co/xMvzir3DPA24 de julio de 2024
Por cierto, todo esto ocurrió meses después de que Google comenzara a impulsar los hilos de Reddit en sus clasificaciones de resultados de búsqueda para varios términos, una decisión que Danny Sullivan, enlace de búsqueda de Google, explicó en X (a través de Mesa redonda sobre SEO) se debe a que “a los usuarios que realizan búsquedas reales parece gustarles. Lo buscan de manera proactiva. Tiene sentido que lo mostremos para mantener los resultados de búsqueda relevantes y satisfactorios para todos”.
Ha habido Mucha charla En el mundo editorial se habla mucho de lo devastador que ha sido o podría ser este cambio para impulsar a Reddit en algunas publicaciones más pequeñas y sitios independientes, pero no ha habido mucho alboroto por parte de los usuarios finales. Eso podría deberse a que Google tiene razón y la gente quiere que Reddit aparezca en los primeros puestos de sus resultados de búsqueda.
Bueno, tal vez ese problema en particular haya afectado principalmente a los editores, pero este último es sin duda un problema mayor para los usuarios finales. Es decir, a menos que estos acepten una monopolización cada vez mayor de las búsquedas por parte de Google.
Piénsalo de esta manera: si Google tiene razón y los usuarios finales realmente… hacer Si a los usuarios de Reddit les importan tanto los resultados de sus búsquedas, parece que Google ahora tiene acceso exclusivo a una de las cosas que más les importan a sus usuarios finales. ¿Por qué alguien buscaría en otra parte?
Sin mencionar los riesgos de la asociación ya establecida que permite a Google el acceso exclusivo a Reddit para el entrenamiento de IA, siendo Reddit posiblemente una de las plazas públicas digitales más grandes del mundo. En relación con esto, uno no puede evitar preguntarse qué harán los organismos gubernamentales de EE. UU., el Reino Unido y la UE que acaban de Acordó trabajar para evitar el monopolio en la industria de la IA. Has de ello.
