“从技术角度看道德数据收集的十诫”

道德数据收集在网络日常运营中的表现非常具体。以下是你需要注意的事项:
1 min read
道德数据收集的十诫

本文将讨论以下内容:

  • [1] 执行了解你的客户(KYC)程序
  • [2] 阻止可操作的API端点
  • [3] 监督全球网络使用情况
  • [4] 每个站点流量限制规则——不造成伤害
  • [5] 黑名单非公共域名
  • [6] 同行同意
  • [7] 闲置资源
  • [8] 设定网络限制
  • [9] 选择加入/退出
  • [10] 符合GDPR(安全性、存储和个人信息)

从技术角度看,什么使数据收集网络具有道德性?

[1] 执行了解你的客户(KYC)程序

  • 所有潜在的网络用户都应该经过高级员工和/或合规官员进行的严格审查过程。
  • 如果潜在客户是一家公司,应审核以下项目:(i) 公司注册以确保其真实性,(ii) 公司网站,(iii) 公司电子邮件域名,(iv) 企业社交媒体资料。
  • 对于潜在的自由职业客户,视频面试和物理身份证明应作为前提条件。数据收集网络还应确认实际地址的真实性,并确保IP地址和信用卡账单地址匹配。

[2] 阻止可操作的API端点

道德数据收集网络应阻止可能被滥用的API端点,包括:

创建虚假账户(在社交媒体、评论网站、金融机构等)

广告欺诈(例如点击欺诈)

虚假评论(包括虚假产品评分、服务评论和大规模投票)

[3] 监督全球网络使用情况

应监督全球网络使用情况,以确保其流量不接近拒绝服务攻击(DDoS)速率。如果流量速率开始上升,应自动调节降低流量。

流量监控不仅针对特定客户对特定目标域名的流量,还包括所有客户在所有产品上的汇总流量,以防止无意中的DDoS攻击。

DDOS攻击工作原理图示,攻击者设置僵尸电脑,然后进入代理网络攻击受害者电脑

此外,账户经理应在授予网络权限后对客户事件日志进行详细监控。如果发现客户KYC用例与其实际账户活动之间存在差异,应永久终止其账户。

例如,一个声称进行网站测试的客户却试图利用网络进行广告欺诈。通过监控,合规团队可以识别此类网络滥用并及时制止。

[4] 每个站点流量限制规则——不造成伤害

数据收集网络必须确保其活动不会干扰网站的正常服务质量。即使收集任务仅占用网站资源的10%,也可能影响性能和运营统计数据,导致网站产品团队对用户行为得出错误结论。

因此,数据收集网络应研究其目标站点,并根据站点的标准运营流量水平设定每个域名的限制。这确保在不影响服务质量的前提下,保持网站使用统计数据的准确性。

[5] 黑名单非公共域名

道德数据提供商应将不包含公共、开源信息的域名列入黑名单,以防止被滥用。这可能包括:

支付服务器攻击——这可能包括使用虚假或被盗凭证进行非法购买,或进行黑客攻击和DDoS攻击。

API服务器中断——这可能是对网络服务器、应用程序或两者的直接攻击。

[6] 同行同意

合法的数据收集网络只有在用户同意详细使用条款后才会通过同行设备路由流量。默认情况下,用户不会自动加入。这应该是一种公平的交易,即数据收集网络可以通过同行设备路由流量,而同行则因提供资源而得到补偿。这可能包括免费升级订阅、无广告版应用程序或任何其他积极影响用户体验的内容。

[7] 闲置资源

道德数据收集网络只在严格条件下使用同行资源(即路由流量),确保用户体验几乎不受影响。这些条件应至少确保用户设备:

  • 在路由流量时处于闲置状态(未使用)
  • 连接到WiFi,使用非常有限的3G/LTE数据
  • 有足够的电池电量

每个同行的中位带宽应根据地理位置而有所不同。全球实际建议的平均值应为每个同行每天8MB,即相当于一个亚马逊产品页面的一半大小。

使用选择加入设备的条件——设备未使用、连接到WIFI、有足够的电池电量

[8] 设定网络限制

道德数据收集平台监控并限制通过单个同行设备的流量,以确保与用户自身使用相比,设备资源消耗微不足道。例如,如果一个普通用户在一天内访问多个网站、听音乐和观看一些短视频,伦理数据收集平台的使用,相当于在常规浏览器上加载一个亚马逊产品页面。

[9] 选择加入/退出

数据收集网络必须基于民主的对等网络。构成这个网络的个人需要随时自由选择加入和退出。这是互联网透明性的基本原则,必须得到维护,以确保数据和信息的去中心化和自由流动。

[10] 符合GDPR(安全性、存储和个人信息)

道德数据收集网络应遵守GDPR规则,包括但不限于:

  • 仅在用户完全同意的情况下收集IP作为个人信息,保护用户隐私,不收集任何其他私人信息或行为统计数据。绝不收集用户的任何数据。
  • 完全遵守GDPR和CCPA关于收集数据安全和存储的规定,作为GDPR网页抓取IDE和GDPR数据处理 者。

底线

Bright Data遵守所有10条道德数据收集戒律。选择数据收集平台时建议进行尽职调查,以确保:

  • 信息的长期价值
  • 数据及其衍生分析、产品和服务的法律可行性
  • 您的网络、系统和软件的安全性

最后,超越一切的是透明度——您必须表现出透明度和可信赖性——作为指导原则,要开放接受频繁的变更,并经常检查和测试您的指南——这是一个快速发展的领域,要做到正确并不容易。