如何在与客户谈判中实现你的目标
Posted: Wed Feb 12, 2025 8:44 am
专业论坛的参与者不断讨论打击数据解析的技术方法。事实上，存在解决问题的方案，这是令人欣喜的。但也有缺点：将来，这些方法可能会弊大于利。
最简单、最有效的方法是确定您正在被抓取数据的 IP 地址并阻止访问。为此，您需要一个日志表，在其中输入用户数据和页面访问时间。
有不同的方法来识别解析器，其中之一就是跟踪请求的频率。请求过于频繁（与平均 80% 的偏差小于 10 秒）表明您正在被抓取。另一种检测方法是检查正在下载的内容。例如，如果它是图像或 CSS 样式，您很可能正在处理解析器。
下载有关该主题的有用文档：
确定访问该网站的机器人是否有用。这非 塞浦路斯电话号码列表 常困难，因为许多机器人看起来完全像正常的搜索机器人或浏览器，并相应地进行伪装。它只能通过一组特征来确定，这需要特定的、定制的软件。
如果不考虑各种因素，则可能会阻止搜索或其他安全机器人 - 并非所有因素都由用户代理正确表示。此外，有害者为了不暴露自己，会减少请求的频率。
由于 IP 可以动态分配，因此阻止 IP 地址只有在最明显的情况下才有意义。但增加频率限制和设定发生次数将是一个有用的措施。让我们记住，所有这些只适用于一种方法。
还有另一种选择——使用不同的服务来防御 DDOS 攻击。这些程序决定了您的网站有多繁忙。如果每秒的连接数非常高，解析就会被视为 DDOS 攻击。监视器上出现延迟和警告信息。解析程序在多个线程中创建负载，下载页面之间不会暂停。有时它会有所帮助，但只能针对最简单的机器人。
第三种方式是使用JavaScript来解析网站的数据。 JavaScript 可能有所不同。脚本使解析器的工作变得更加困难，因为程序不解释数据。这种方法的缺点是它也使积极的机器人更难以工作。如果您不小心使用脚本，您的网站可能会在搜索结果中排名下降，甚至被删除。
另一种方法是使用验证码，当然，没有人喜欢这种方法。
如果排除两个缺点，该方法可被认为是有效的：
看到验证码后，用户会感到恼火，无法忽略它，因此对您的网站的忠诚度会降低；
有一些验证码识别服务正在不断改进。
由于访问者会对您的资源失去一些兴趣，因此使用结果非常值得怀疑。
验证码
ReCAPTCHA 更有用，因为它会尝试检测用户是否在网站上移动。
要使用更复杂的方法，必须尽最大努力。首先，确定解析器正在浏览该站点，然后弄清楚，然后不干扰其工作或阻止访问。使用技术工具往往不会产生任何结果。这就像是在与一个看不见的敌人作战。你可以尝试，但伤害自己的可能性更大。
最后，一种方法可以帮助防止网站进行数据分析，且不会产生负面影响并且不需要持续的努力。如果您无法提供 100% 的防机器人保护，请让您的网站内容更难被使用。例如，最有价值的物品可能是产品照片。在您的图像上添加难以去除的水印。自动消除它们很困难，而且恢复原始图像以发布在您的网站上是一项并不是每个人都想解决的任务。
组织措施
主要任务之一是确保新网站页面在被抓取之前能够被快速索引。在搜索引擎中输入查询“Google 和 Yandex 中的作者”，并使用所有方法通知搜索机器人有关新页面的信息。只有内容独特时该方法才有效。
根据网络监控结果（搜索引擎手动查询、抄袭检查），可以确定有人借用了您的资料。如果您发现内容已被复制，请尝试与其他网站的所有者交谈。您对谈判结果不满意吗？依法提出索赔。
有必要清楚了解互联网信息的属性：
数据在最短的时间内在整个网络中分发。这会从技术上使得证明您的网站是原始来源变得困难。
互联网上绝大多数资料都没有版权。这些是它们的不同组合。在这里，版权法将毫无用处。
有关互联网的法律方面还不够完善，因此额外的诉讼只能加剧问题而不是解决问题，尤其是对您有利。
搜索引擎作为IT行业的巨头，利用了很多法律漏洞。那些从网站解析您的数据的人也很有可能使用它们。
允许提出与非法使用照片和其他内容有关的索赔，这些照片和其他内容的作者身份很容易得到证明。首先，你可以向搜索引擎投诉。至少该网站将再次成为主要来源。根据投诉，采取适当的行动：例如，谷歌可以对一张照片进行惩罚。
对解析采取多么严厉的措施取决于具体的个案。例如，当解析器明显试图从网站提取个人信息时，您可以开始对抗解析器。泄露此类信息将会损害您的网络资源的信誉。观众的信任度降低，导致流量和利润都减少。在某些情况下，这可能会导致与行政当局代表的斗争。
但通常，针对内容泄露的法律诉讼都不会产生预期的结果。这需要时间和注意力，而且最终的成本可能无法得到回报。
最简单、最有效的方法是确定您正在被抓取数据的 IP 地址并阻止访问。为此，您需要一个日志表，在其中输入用户数据和页面访问时间。
有不同的方法来识别解析器，其中之一就是跟踪请求的频率。请求过于频繁（与平均 80% 的偏差小于 10 秒）表明您正在被抓取。另一种检测方法是检查正在下载的内容。例如，如果它是图像或 CSS 样式，您很可能正在处理解析器。
下载有关该主题的有用文档：
确定访问该网站的机器人是否有用。这非 塞浦路斯电话号码列表 常困难，因为许多机器人看起来完全像正常的搜索机器人或浏览器，并相应地进行伪装。它只能通过一组特征来确定，这需要特定的、定制的软件。
如果不考虑各种因素，则可能会阻止搜索或其他安全机器人 - 并非所有因素都由用户代理正确表示。此外，有害者为了不暴露自己，会减少请求的频率。
由于 IP 可以动态分配，因此阻止 IP 地址只有在最明显的情况下才有意义。但增加频率限制和设定发生次数将是一个有用的措施。让我们记住，所有这些只适用于一种方法。
还有另一种选择——使用不同的服务来防御 DDOS 攻击。这些程序决定了您的网站有多繁忙。如果每秒的连接数非常高，解析就会被视为 DDOS 攻击。监视器上出现延迟和警告信息。解析程序在多个线程中创建负载，下载页面之间不会暂停。有时它会有所帮助，但只能针对最简单的机器人。
第三种方式是使用JavaScript来解析网站的数据。 JavaScript 可能有所不同。脚本使解析器的工作变得更加困难，因为程序不解释数据。这种方法的缺点是它也使积极的机器人更难以工作。如果您不小心使用脚本，您的网站可能会在搜索结果中排名下降，甚至被删除。
另一种方法是使用验证码，当然，没有人喜欢这种方法。
如果排除两个缺点，该方法可被认为是有效的：
看到验证码后，用户会感到恼火，无法忽略它，因此对您的网站的忠诚度会降低；
有一些验证码识别服务正在不断改进。
由于访问者会对您的资源失去一些兴趣，因此使用结果非常值得怀疑。
验证码
ReCAPTCHA 更有用，因为它会尝试检测用户是否在网站上移动。
要使用更复杂的方法，必须尽最大努力。首先，确定解析器正在浏览该站点，然后弄清楚，然后不干扰其工作或阻止访问。使用技术工具往往不会产生任何结果。这就像是在与一个看不见的敌人作战。你可以尝试，但伤害自己的可能性更大。
最后，一种方法可以帮助防止网站进行数据分析，且不会产生负面影响并且不需要持续的努力。如果您无法提供 100% 的防机器人保护，请让您的网站内容更难被使用。例如，最有价值的物品可能是产品照片。在您的图像上添加难以去除的水印。自动消除它们很困难，而且恢复原始图像以发布在您的网站上是一项并不是每个人都想解决的任务。
组织措施
主要任务之一是确保新网站页面在被抓取之前能够被快速索引。在搜索引擎中输入查询“Google 和 Yandex 中的作者”，并使用所有方法通知搜索机器人有关新页面的信息。只有内容独特时该方法才有效。
根据网络监控结果（搜索引擎手动查询、抄袭检查），可以确定有人借用了您的资料。如果您发现内容已被复制，请尝试与其他网站的所有者交谈。您对谈判结果不满意吗？依法提出索赔。
有必要清楚了解互联网信息的属性：
数据在最短的时间内在整个网络中分发。这会从技术上使得证明您的网站是原始来源变得困难。
互联网上绝大多数资料都没有版权。这些是它们的不同组合。在这里，版权法将毫无用处。
有关互联网的法律方面还不够完善，因此额外的诉讼只能加剧问题而不是解决问题，尤其是对您有利。
搜索引擎作为IT行业的巨头，利用了很多法律漏洞。那些从网站解析您的数据的人也很有可能使用它们。
允许提出与非法使用照片和其他内容有关的索赔，这些照片和其他内容的作者身份很容易得到证明。首先，你可以向搜索引擎投诉。至少该网站将再次成为主要来源。根据投诉，采取适当的行动：例如，谷歌可以对一张照片进行惩罚。
对解析采取多么严厉的措施取决于具体的个案。例如，当解析器明显试图从网站提取个人信息时，您可以开始对抗解析器。泄露此类信息将会损害您的网络资源的信誉。观众的信任度降低，导致流量和利润都减少。在某些情况下，这可能会导致与行政当局代表的斗争。
但通常，针对内容泄露的法律诉讼都不会产生预期的结果。这需要时间和注意力，而且最终的成本可能无法得到回报。