web指纹-需求分析

总体描述 1.1 目标任务 web指纹模块接入用户访问网站产生的镜像流量，通过分析该加密流量特征识别出用户正在访问的网页或者搜索的关键词。任务目标主要拆解为两块：针对用户访问特定网站（如youtube），能够识别出该用户是否访问了我们关注的网页（如涉政up主的主页），如果是，具体到哪一个网页；针对用户使用google搜索的场景，能够识别出该用户是否搜索了我们关注的关键词（如FLG），如果是，具体到搜索了什么。将上述流量分析日志（包含元数据和访问的网页url或搜索的关键词）发送至信誉模块。 1.2 上下游关系上游模块：代理模块：本模块从代理模块获取镜像流量用于分析综管模块：本模块从综管平台处获取需要监控的网页集合以及搜索关键词集合下游模块：用户信誉模块：本模块向用户信誉模块输出当前的分析识别结果，包括当前IP地址、时间戳、网页识别结果或搜索关键词识别结果、识别置信度 1.3 基本功能 web指纹模块的基本功能包括： 1）40个网站【相关资源】的全流量接入与过滤 2）完成两类识别任务：用户对特定网页的访问识别搜索特定关键词识别 3）将上述识别结果发送给KAFKA，供信誉分析模块取用 1.3 基本假设不考虑NAT，接入流量的源IP对应唯一的用户对于网页识别任务的基本假设：（1）暂时不考虑浏览器缓存的影响–假设每次访问过程从源站加载了所有的资源，而不是存在部分从浏览器缓存中读取；（2）用户直接访问监控集合中的网页，而不是通过从主页逐步点击到达哪些网页（不太合理，后续需要完善）；（3）单次访问网页的流量加载完成后才会出现下一次访问行为（具有合理性，坏人通常会在被监控的网页上停留较长时间来获取信息）对于搜索关键词识别任务的基本假设：用户使用中文拼音打字输入；用户输入了正确完整的搜索内容，即不存在漏敲和误敲情况 2. 需求规定 2.1 功能需求流量接入与过滤：模块需能够实时接入网关镜像流量，根据SNI字段从原始流量中初步识别出对于特定网站的访问行为，并且能够在多标签访问造成流量重叠的情况下，根据SNI信息和网站包含资源的先验知识将不同标签页的网站访问流量区分开。特定web页面识别：模块通过分析加密流量特征，提取流量指纹，并识别用户是否访问了管理者关注的页面，如果是，具体到哪个页面。识别精度直接影响用户信誉分析结果，因此识别精度具有较高优先级。 Google搜索关键词识别：模块通过分析加密流量特征，提取流量指纹，并识别用户是否搜索了管理者关注的关键词，如果是，具体到哪个关键词。用户使用语言区分（附加功能）：用户使用google搜索的情况下，模块能够通过分析加密流量特征，区分出用户的是中文、英语、法语还是维语。识别结果发送：将识别结果（包含元数据和访问的网页url或搜索的关键词）发送至信誉模块以支持进一步的信誉评估和决策。 2.2 非功能需求识别精度需求：进行特定web页面识别时，对于单个网站监控100个不同网页的情况下，识别准确率不低于90%；进行google搜索关键词识别时，对于中文平均长度为4个字的监控关键词集合，召回率不低于95%，精确率不低于70%。性能需求：支持在100mbps带宽场景下的近实时网页访问与搜索关键词的识别；对于每个网络连接或者网络会话级别样本，1秒内生成识别结果。鲁棒性需求：具备面向chrome、edge、firefox主流浏览器；windows、linux主流操作系统；正常办公网、限速网络环境的识别能力。识别结果置信度需求（扩展性需求）：对于输出的每条识别结果，附带当前判定的置信度，后续可能被用于更精确的用户信誉分析。 2.3 输入输出要求输入：经过网络设备镜像端口的流量；由管理员配置的web页面url和google搜索关键词。输出：源IP地址、时间戳、识别结果（web页面url或google搜索关键词，分两个主题发布）、识别置信度。 Attachments

web指纹-方案设计

一、模块概述 1.1 模块功能 web指纹模块接入（1）代理模块处用户访问网站产生的镜像流量；（2）综管模块处下发的监控网页集合及监控关键词集合，通过分析该加密流量特征识别出用户正在访问的网页或者搜索的关键词。任务目标主要拆解为两块：针对用户访问特定网站（如youtube），能够识别出该用户是否访问了我们关注的网页（如涉政up主的主页），如果是，具体到哪一个网页；针对用户使用google搜索的场景，能够识别出该用户是否搜索了我们关注的关键词（如FLG），如果是，具体到搜索了什么。将上述流量分析日志（包含元数据和访问的网页url或搜索的关键词）发送至信誉模块。当前时间周期内，仅实现面向youtube的网页识别（up主的主页）和面向google搜索的搜索关键词识别。（橘色内容表示当前最小化实现需要具备的能力） 1.2 用户行为（识别对象）定义：重要（1）youtube网页访问行为：本模块需要识别的网页访问行为指的是用户通过浏览器直接访问某个网页。有以下具体的约束条件: 1. 直接访问特定网页，如通过搜索引擎结果找到具体的wikipedia链接，然后点击那个链接进入wikipedia页面；或者直接通过复制url访问某个网页，暂不支持通过网站其他页面逐步点击进入目标网页（如通过youtube首页点击某个视频然后再点击某个up主页面）；2. 访问期间缓存已过期，即浏览器请求并加载了该网页的所有资源；3. 目标用户浏览某网页时间超过n秒，即web资源已经全部加载完毕；4. 用户不会在上一个网页加载完成前访问另一个当前网站的网页。通过链接直接访问某up主主页/频道（如通过点击收藏的链接或者直接复制粘贴url）在youtube主页上搜索某up主，然后点击头像访问他的主页观看某up主的某个视频后，点击头像访问他的主页（2）google关键词搜索行为：本模块需要识别的关键词搜索行为指的是，用户通过浏览器使用google搜索引擎正确完整的键入一个关键词（或句子）敲击回车进行搜索的行为。有一下具体的约束条件：1. 输入关键词时不存在漏敲或者误敲。通过浏览器使用google搜索引擎正确完整的键入一个关键词（或句子）敲击回车进行搜索的行为 1.3 设计目标前述的模块功能需满足识别精度需求、性能需求和鲁棒性需求：识别精度：进行youtube网页识别时，监控100个不同网页（up主的主页）的情况下，封闭世界中多分类准确率不低于90%，开放世界假设用户会访问top500受欢迎up主主页，误检率和漏检率不高于10%；进行google搜索关键词识别时，对于中文平均长度为4个字的监控关键词集合，召回率不低于95%，精确率不低于70%。性能：支持在100mbps带宽场景下的近实时网页访问与搜索关键词的识别；对于每个网络连接或者网络会话级别样本，1秒内生成识别结果。鲁棒性：具备面向chrome 、edge、firefox主流浏览器； windows 、linux主流操作系统；正常办公网、限速网络环境的识别能力。 1.3 参考资料 web指纹-需求分析二、模块组成写在前面：目前对于youtube网页识别和google搜索关键词识别的处理流程进行了统一，均采取通过指纹库匹配的范式来识别访问行为（不再使用基于模型训练的范式）。 2.1 流量过滤模块（1）功能描述：接入实时流量，过滤无关流量（2）输入：镜像口网卡处的以太网层全流量（3）输出：按照SNI过滤后的网络流日志NETWORK_FLOW_LOG，推送到Kafka（对于youtube网页识别任务此处只保留SNI为yt3.ggpht.com和yt3.googleusercontent.com的网络流；对于google搜索关键词识别任务此处只保留SNI为www.google.com的网络流）网络流日志设计见4.1节 2.2 指纹提取模块（1）功能描述：面向一条网络流日志，首先基于时间信息划分多次的访问行为（多个待识别样本----多组数据包长度序列），对于每次访问行为提取生成指纹（一系列设计好的特征）（2）输入：从订阅的kafka主题处获取网络流日志NETWORK_FLOW_LOG （3）输出：一次访问行为的待匹配的youtube页面指纹（见4.2节）或者google搜索关键词指纹（见4.5节）（之后作为输入，回调指纹匹配模块得到识别结果） 2.3 指纹建库模块（1）功能描述：基于管理者下发的配置管控集合，主动进行对这些目标的访问行为并采集数据构建指纹（人工构建，类似于人工撰写规则），遍历管控集合中的所有网页及搜素关键词执行指纹采集，构建指纹库。（目前最小化实现暂不支持实时调整管控集合）（2）输入：从综管模块使用RESTful接口获取当前配置的youtube页面集合和google搜索关键词集合（3）输出： youtube页面指纹库文件（其中包含了管理者配置的管控页面对应的指纹，指纹设计见4.3） google搜索关键词指纹库文件（其中包含了管理者配置的关键词对应的指纹，指纹设计见4.6） 2.4 指纹匹配模块（1）功能描述：基于已构建的指纹库，面向当前生成的每一个指纹（每生成一个指纹调用一次本模块）将其与库中的指纹匹配，并输出匹配结果给信誉模块（匹配到了具体哪一个，或者没匹配上）（2）输入：读取文件获得的指纹库函数调用获得的一个待匹配指纹样本（3）输出：对于youtube网页识别结果上传到kafka名为webpage_result的topic，识别结果日志格式见4.4 对于google搜索关键词识别结果上传到kafka名为search_result的topic，识别结果日志格式见4.7 三、数据流图暂时没什么要写的四、数据表设计 4.1 网络流日志--kafka日志 NETWORK_FLOW_LOG 名称字段名称类型空值约束示例客户端IP src_ip str N 192.168.0.1 客户端端口 src_port int N 1234 服务端IP dst_ip str N 10.28.8.78 服务端端口 dst_port int N 443 传输层协议 protocol int N 0表示udp；1表示tcp 1 流开始时间 start_time unix timestamp N ISO 8601 1672964800000 TLS_SNI TLS_SNI str N yt3.ggpht.com 有向包长度序列 trace [int] N 每个列表元素对应一个网络层数据包的包长；出向包使用+包长，入向包使用-包长 [60,-60,1514,980,-60,-1000...] 包间间隔序列 time_interval [float] N 每个列表元素对应当前网络层数据包与前一个数据包的包间时间间隔 [0,0.001,0.0035,0.009...] 4.2 youtube页面待匹配指纹记录 webpage_fingerprint_sample 名称字段名称类型空值约束示例客户端IP src_ip str N 192.168.0.1 客户端端口 src_port int N 1234 服务端IP dst_ip str N 10.28.8.78 服务端端口 dst_port int N 443 传输层协议 protocol int N 0表示udp；1表示tcp 1 流开始时间 start_time unix timestamp N ISO 8601 1672964800000 图片资源数量 resource_num int N 4 请求包大小序列 request_len_seq [int] N 该序列长度等于图片资源数量 [975,181,180,192] 资源总大小 resource_size int N 145963 4.3 youtube页面指纹（指纹库中） webpage_fingerprint 名称字段名称类型空值约束示例网页链接 url str N www.youtube.com/@ChenPoKong1 图片资源数量 resource_num int N 4 请求包大小序列 request_len_seq [int] N 该序列长度等于图片资源数量 [975,181,180,192] 资源总大小 resource_size int N 145963 4.4 youtube页面指纹识别结果日志--kafka日志 WEBPAGE_LOG 名称字段名称类型空值约束示例客户端IP src_ip str N 192.168.0.1 行为开始时间 start_time unix timestamp N 1672964800000 匹配结果 result str Y 为空表示识别到一次访问行为，但并不在管控列表中 www.youtube.com/@ChenPoKong1 置信度 confidence float Y 置信度取值(0,1]，数值越大表明识别准确的可能性越大；为空表示当前行为不在管控列表中 0.8 4.5 google搜索关键词待匹配指纹记录 search_fingerprint_sample 名称字段名称类型空值约束示例客户端IP src_ip str N 192.168.0.1 客户端端口 src_port int N 1234 服务端IP dst_ip str N 10.28.8.78 服务端端口 dst_port int N 443 传输层协议 protocol int N 0表示udp；1表示tcp 1 流开始时间 start_time unix timestamp N ISO 8601 1672964800000 关键请求包长度序列 search_len_seq [int] N [872,122,122,123,124,125,165,166,167] 4.6 google搜索关键词指纹（指纹库中） search_fingerprint 名称字段名称类型空值约束示例搜索关键词 key_word str N 信工所关键请求包长度序列 search_len_seq [int] N [872,122,122,123,124,125,165,166,167] 4.7 google搜索关键词识别结果日志--kafka日志 SEARCHING_LOG 名称字段名称类型空值约束示例客户端IP src_ip str N 192.168.0.1 行为开始时间 start_time unix timestamp N 1672964800000 匹配结果 result str Y 为空表示识别到一次访问行为，但并不在管控列表中信工所置信度 confidence float Y 置信度取值(0,1]，数值越大表明识别准确的可能性越大；为空表示当前行为不在管控列表中 0.8 五、内部接口 5.1 过滤流量获取接口（1）接口功能：镜像流量经过流量过滤模块处理后，会生成多条网络流日志NETWORK_FLOW_LOG，本接口实现对于这些日志数据的生产与消费（2）接口设计：网络流日志NETWORK_FLOW_LOG将被推送到kafka队列 kafka主题配置：inner_filted_flow 消息格式：json格式，示例参考4.1节表设计消息生产频率：每当识别出一条具有特定SNI的网络流，当该流结束时（FIN），立即发送消息消费者说明：指纹提取模块订阅该主题以实时获取待处理的日志样本 5.2 待匹配指纹获取接口（1）接口功能：负责传送当前生成的待匹配指纹到指纹匹配模块（2）接口设计：考虑在主程序中，注册指纹提取模块对kafka的inner_filted_flow主题进行监听，消费生成的每条网络流日志并生成提取到的指纹表示，之后将待匹配指纹通过函数参数的形式传递给指纹匹配模块函数 5.3 指纹库读写接口（1）接口功能：负责实现在数据准备阶段将构建的指纹写入数据库；在部署执行阶段将指纹库读入内存（2）接口设计：分别将youtube网页指纹和google搜索关键词写入webpage_fingerprint.pkl和search_fingerpint.pkl文件，文件中是序列化后的指纹库，序列化前使用python list格式存储，list中每个元素是一个指纹记录（格式参见4.3节和4.6节）读取文件时，使用序列化读取工具，将文件中的数据加载到内存，并转换成原始指纹库的list格式六、外部接口 6.1 youtube网页识别结果输出接口（1）接口功能：将youtube网页访问行为识别结果上传到kafka，供信誉模块取用分析（2）接口设计： youtube页面指纹识别结果日志（webpage_result日志格式见4.4节）将被推送到kafka队列 kafka主题配置：webpage_result_v1 消息格式：json格式，示例参考4.4节表设计消息生产频率：每当识别出一次用户访问youtube某up主的主页行为时，立即发送消息消费者说明：信誉模块订阅该主题以实时获取识别结果尹姜谊请确认 6.2 google搜索关键词识别结果输出接口（1）接口功能：将google搜索关键词行为识别结果上传到kafka，供信誉模块取用分析（2）接口设计： google搜索关键词识别结果日志（search_result日志格式见4.7节）将被推送到kafka队列 kafka主题配置：search_result_v1 消息格式：json格式，示例参考4.7节表设计消息生产频率：每当识别出一次用户使用google搜索引擎搜索某个关键词时，立即发送消息消费者说明：信誉模块订阅该主题以实时获取识别结果尹姜谊请确认 Attachments 111996451_attachments_image2024-11-6_17-7-57.png 111996451_attachments_image2024-11-6_17-1-40.png 111996451_attachments_image2024-11-6_16-53-21.png 111996451_attachments_image2024-11-6_15-41-30.png 111996451_attachments_image2024-11-6_14-35-10.png

对YouTube的使用习惯

目标: 找到真正观看视频的环境进行识别和分析，对扫描网站标题内容，浅度观看的人不进行分析？ YouTube油管是如何计算观看次数的？怎样才算一次观看？ 2023 年 2 月 IORG 台灣 YouTube 使用者習慣調查 https://iorg.tw/a/youtube-in-tw-232 Google Brain如何给予了Youtube新生？ https://www.woshipm.com/pd/964399.html Marked by 程逸飞： web指纹相关--目前将潜在用户访问涉政up主的首页的行为分为三类：通过链接直接访问该up主主页/频道（如通过点击收藏的链接或者直接复制粘贴url）在youtube主页上搜索该up主，然后点击头像访问他的主页观看该up主的某个视频后，点击头像访问他的主页上述三种行为都会访问到同样的页面--up主的首页/频道在浏览器中的显示如下：但是三种行为产生的完整流量却有较大的差别，例如：行为1直接访问，是从一个空的标签页访问了该页面，会请求并加载该网页的所有网络资源（包括html、图片、字体、js脚本等）行为2通过搜索访问该up主首页，此时相当于已经进入到了youtube网站，一些通用的网络资源（如字体和部分js脚本）已经加载过，那么点击进入up主首页是就会从缓存中读取一部分资源，和行为1产生的流量存在差异行为3通过观看up主视频然后点击头像访问他的主页，流量上的表现和行为2类似，存在一些通用网络资源从缓存加载不走网络上述内容可以总结为浏览器缓存带来的挑战，因此我们需要寻找一些在上述三种行为中都会固定触发从网络加载的资源。经过仔细的实验，我们发现上图红框中的部分会默认通过网络加载，从上至下，红框1是该up主的频道封面；红框2是该up主的头像；红框3是自动播放的up主最受欢迎的视频。基于上述观察，我们目前有两种实现需求的想法：红框1和红框2的内容在网络上是通过第三方服务器加载的（非www.youtube.com）-- yt3.googleusercontent.com 和 yt3.ggpht.com ，且只有用户频道封面和用户缩略头像是通过上述服务加载，因此在SNI是yt3.googleusercontent.com和yt3.ggpht.com的网络流中，不存在其他资源加载干扰，可以比较准确的提取出资源的数量（不同的频道图片数量有少量差别，但是同频到访问多次图片数量是稳定的）、各请求url的长度（表征为请求侧数据包的长度）和该页面所有图片资源总大小（表征为网络流中响应包的总长度）。如下图所示，访问某up主首页，在右侧开发者工具栏-网络栏目中使用“yt3”过滤资源，显示加载了3种不同像素比例的该up主头像缩略图；加载了一个频道封面图；加载了一个当前用户的头像缩略图。我们经过初步的实验验证，表明上述三个特征的组合是有区分性的，可以直接组合成该up主页面的指纹，用指纹匹配的范式识别用户行为，但由于时间原因目前还无法给出量化的识别结果。上图第三个红框中的该up主最受欢迎的视频，会直接自动播放，是否能用视频指纹的方式识别出用户正在观看这个视频，从而推断出用户在访问该up主的主页？杜梅婕 Attachments 111996739_attachments_image2024-11-4_19-16-54.png 111996739_attachments_image2024-11-5_10-11-44.png 111996739_attachments_image2024-11-5_10-11-11.png 111996739_attachments_image2024-11-5_10-9-57.png 111996739_attachments_image2024-11-5_10-7-30.png 111996739_attachments_image2024-11-5_10-6-54.png 111996739_attachments_image2024-11-5_9-40-53.png

Youtube视频指纹采集

Github： https://github.com/Aniya-code/YT-master 脚本： https://github.com/Aniya-code/DTscript Attachments

Youtube视频指纹采集

一、程序设计：该程序通过selenium控制chrome流量器从视频网址首页爬取视频URL列表，并依次对列表中的URL进行浏览。在浏览过程中通过tshark记录原始pcap数据包、通过mitmproxy对数据包进行解密后使用DPI技术识别出视频流并记录指纹信息、通过对视频流ip发icmp包记录实时的链路rtt信息。具体流程如下：代码存放于： https://github.com/Hale233/batch_video_clawer 二、python环境需求： selenium 4.1.3 lxml 4.8.0 ping3 4.0.3 mitmproxy 8.1.0 三、Windows软件需求： chromedriver 该驱动能被 python 程序调用，实现基于 chrome 的网页爬虫。可通过该网址进行下载： http://chromedriver.storage.googleapis.com/index.html 。下载前先查看本机的 chrome 版本，并在该网址中找到相应的版本进行下载。在完成安装后需在 C:\Users\admin\AppData\Local\Google\Chrome\目录下创建一个driver的用户浏览目录（目录名字自定义），用于每次爬虫过程中记录cookie信息以及浏览器设置信息，避免每次爬虫前都需重复设置。由于基于该爬虫程序是基于TCP破密，因此需要在浏览器设置中禁用QUIC协议，具体禁用步骤为：打开chrome浏览器-在地址栏输入 chrome://flags/#enable-quic -找到expermentalQUIC protocol 项选择disabled- 重启浏览器（注意：该步骤应在第一次运行主程序的时候进行。在运行主程序时会弹出爬虫驱动的浏览器界面，在该界面中执行该步骤，后续浏览器记录后便无需再执行该步骤） tshark 该软件用于捕获播放视频过程中产生的流量包。可通过 wireshark 安装，安装完成后在安装目录下能找到 tshark.exe 程序。 mitmproxy 该软件用于代理 http 流量并进行解密。可通过 https://mitmproxy.org/ 进行安装，建议安装最新的 8.0 版本。在安装完成后进行如下步骤配置：具体可参考： https://docs.mitmproxy.org/stable/overview-installation/ 输入 mitmproxy –version 检查是否安装成功；通过命令行输入 mitmproxy 运行代理；设置局域网代理，具体步骤为：控制面板 -internet 选项 - 连接 - 局域网设置 - 勾选代理服务器，并设置地址为127. 0.0.1 ，端口 8080- 确定 - 应用。具体如下图：打开 http://mitm.it/ ，下载对应的证书并安装。打开一个网页，检查 mitmproxy 运行界面是否能捕获到数据包，正常捕获如下图所示：四、python程序设置配置文件：配置文件存放于 \batch_video_clawer\bin\vdieo_title_clawer.conf 中。具体配置说明如下：配置名说明示例 [sofware_path ] chrome_driver_path chrome_driver位置，对应上述chromedriver的存放路径 chrome_driver_path= E:\code_project\auto_video_player\chromedriver.exe tshark_path TSHARK位置 tshark_path= D:\Wireshark\tshark.exe mitmproxy_path mitmdump 可执行文件位置，一般存放位置如示例。（注意不是mitmproxy安装路径\bin\mitmdump.exe，而是在python安装路径\Scripts\mimdump.exe ） mitmproxy_path= C:\Users\用户名\AppData\Local\Programs\Python\Python39\Scripts\mitmdump.exe mitm_py mitmproxy_video_label.py文件存放位置 mitm_py= E:\code_project\video_title_classification\batch_video_clawer\src\mitmproxy_video_label.py tshark_interface_number tshark捕包的网络接口名字 tshark_interface_number=localnet1 chrome_user_data_path 谷歌浏览器用户浏览信息的存放位置，对应上述的chromedriver安装过程中的driver用户浏览目录 chrome_user_data_path= C:\Users\admin\AppData\Local\Google\Chrome\selenium_data [record_path] root_path 结果记录位置 root_path=E:\pcap_data\ mitm_record_path mitm记录的文件临时存放位置（随便新建一个临时存放的位置） mitm_record_path= E:\code_project\video_title_classification\batch_video_clawer\data\mitm_label_record\ ping_record_path ping记录的文件临时存放位置（不重要） ping_record_path= E:\code_project\video_title_classification\batch_video_clawer\data\ping\ [clawer] time_duration 每一个视频的播放时长，单位秒，当视频实际时长小于该时长时，将播放实际时长 time_duration=600 batch_size 每一个pcap文件中播放多少视频,此处应取1 batch_size=1 batch_count 总共播放多少批视频,当batch_size=1时表示总共播放多少个视频 batch_count=10 video_server 需要捕获的视频服务商,可选择的有:tencent\bilibili\youtube video_server=youtube player_click 是否需要自动点击播放按键，1为是，0为否; 在第一次爬取youtube网址时浏览器会自动禁止自动播放，此时应把该值设为1。在爬取一段时间后浏览器会学习到自动播放行为，每次点开视频会自动播放，此时应把该值设置为0. 简而言之，当观察到视频点开后不会自动播放则调整该值。 player_click=1 [ping] ping_record_flag 是否记录视频流的链路时延信息 0为不记录，1为记录 ping_record_flag=0 ping_timeout icmp 包丢包时长，单位秒 ping_timeout=0.1 ping_interval icmp发包时间间隔，单位秒 ping_interval=0.001 ping_count icmp发包数量 ping_count=1000 ping_size icmp包负载大小 ping_size=1 其中tshark_interface_number为捕包的网络接口名字可通过网络连接界面查看，如下图所示网络接口名为 localnet1。注意有多个网络接口时应选择当前正在使用的接口。 batch_video_clawer_mitm.py文件设置在 main 函数中需要指定配置文件的绝对路径 conf_path ，以及通过 clawr.get_url(“ 类别名 ”,” 某分区首页 URL”) 来调用函数进行数据采集。该程序会在 root_path 目录下创建类别名目录，并通过浏览传入的某分区首页 URL 来批量采集视频列表。 mitmproxy_video_label.py 文件设置需在 init 函数中定义 conf_path 的路径。五、运行过程在完成上述配置步骤后，运行 batch_video_clawer_mitm.py 文件。最后运行成功后数据会被记录于 root_path 目录下，其中每个类别将包含三个文件夹，分别是 mitm 、 pcap 、 url ，具体解释如下：目录名介绍 mitm 记录指纹信息，按流记录 pcap 记录 pcap 文件 url 记录视频的 URL 信息同一个视频将对应相同的三个文件夹下相同的文件名六、注意事项在视频开始播放后应关闭自动连播功能，如下图所示：在运行程序时应保证局域网 8080 代理开启 chrome浏览器会自动更新，每次更新后应下载对应版本的chromedriver，否则将无法使用第一次运行主程序时应执行关闭QUIC的操作，以及在播放视频时选择相应的分辨率（后续的视频都会以该分辨率播放）由于chromedriver采用用户自定义存储目录的模式，因此每次浏览的记录都会被保存下来，包括视频的缓存。因此，每次进行爬取时应及时清空浏览器缓存，防止由于存在缓存而导致视频没有按顺序请求的情况当观察到视频网页打开后暂停播放时，应调整配置文件中play_click的值在播放视频时选择1080p的分辨率 Attachments 91327893_attachments_微信截图_20220706112434.png 91327893_attachments_微信截图_20220706113827.png 91327893_attachments_微信截图_20220706113729.png 91327893_attachments_微信截图_20220630213542.png 91327893_attachments_微信截图_20220630213453.png 91327893_attachments_微信截图_20220630213416.png 91327893_attachments_image2022-7-1_12-22-44.png 91327893_attachments_图片2.png

Youtube视频指纹采集问题记录

--------------------------------20240605 更新----------------------------------- 【1】不同时刻采集相同10个url指纹对比结果：发现有一个url的相同itag指纹却不同，是由于不同时刻下载的该url的网页源码内容不同，特别是其中3个itag（248、247、244，都是VP9编码的视频itag）的initRange/bitrate/contentLength发生了变化，我们下载的视频文件也因此不同，解析出的指纹结果差别较大。 itag列表不变、视频源变【2】1400个视频里有一个视频的网页源代码里有几个itag 没有initRange 字段，暂时没有解析这种情况的指纹。个别itag没有initRange字段【3】存在某些视频（常见）下载的网页源代码中音频的itag会重复出现，两者initRange/bitrate/contentLength不同。个别itag重复出现，对应不同音频源 --------------------------------20240606 更新----------------------------------- 【2】补充：top.2:1288个URL 中出现3个url的3个itag（248、247、244)没有initRange字段。【4】不同时刻采集的一个url的itag列表不同。前脚刚下载完网页源码（itag,initrange等信息)，后脚itag就失效了。 itag列表变 --------------------------------20240617 更新----------------------------------- 【5】发现有部分视频的itag对应指纹解析错误，既有视频，又有音频，猜测是下载的视频和获取的index_range对应的视频不是同一个。部分指纹解析错误。 Attachments 106112050_attachments_image2024-6-5_15-8-10.png 106112050_attachments_image2024-6-5_15-6-40.png 106112050_attachments_image2024-6-5_15-3-43.png

Youtube视频quic流量采集

代码存放于： https://github.com/Hale233/batch_video_clawer/tree/v2.0 待采集URL列表： URL_list.csv 一、python环境需求： selenium 4.1.3 lxml 4.8.0 二、Windows软件需求： chromedriver 该驱动能被 python 程序调用，实现基于 chrome 的网页爬虫。可通过该网址进行下载： http://chromedriver.storage.googleapis.com/index.html 。下载前先查看本机的 chrome 版本，并在该网址中找到相应的版本进行下载。在完成安装后需在 C:\Users\admin\AppData\Local\Google\Chrome\目录下创建一个driver的用户浏览目录（目录名字自定义），用于每次爬虫过程中记录cookie信息以及浏览器设置信息，避免每次爬虫前都需重复设置。在浏览器设置中启用QUIC协议，具体禁用步骤为：打开chrome浏览器-在地址栏输入 chrome://flags/#enable-quic -找到expermentalQUIC protocol 项选择Enabled- 重启浏览器 tshark 该软件用于捕获播放视频过程中产生的流量包。可通过 wireshark 安装，安装完成后在安装目录下能找到 tshark.exe 程序。三、python程序设置配置文件：配置文件存放于 \batch_video_clawer\bin\video_title_clawer.conf 中。具体配置说明如下：配置名说明示例 [sofware_path ] chrome_driver_path chrome_driver位置，对应上述chromedriver的存放路径 chrome_driver_path= E:\code_project\auto_video_player\chromedriver.exe tshark_path TSHARK位置 tshark_path= D:\Wireshark\tshark.exe tshark_interface_number tshark捕包的网络接口名字 tshark_interface_number=localnet1 chrome_user_data_path 谷歌浏览器用户浏览信息的存放位置，对应上述的chromedriver安装过程中的driver用户浏览目录 chrome_user_data_path= C:\Users\admin\AppData\Local\Google\Chrome\selenium_data [record_path] root_path 结果记录位置 root_path=E:\pcap_data\ [clawer] time_duration 每一个视频的播放时长，单位秒，当视频实际时长小于该时长时，将播放实际时长 time_duration=600 player_click 是否需要自动点击播放按键，1为是，0为否; 在第一次爬取youtube网址时浏览器会自动禁止自动播放，此时应把该值设为1。在爬取一段时间后浏览器会学习到自动播放行为，每次点开视频会自动播放，此时应把该值设置为0. 简而言之，当观察到视频点开后不会自动播放则调整该值。 player_click=1 mitm_flag 是否采用mitm进行解密并记录明文信息，1为是，0为否 mitm_flag=0 url_csv_path 存放待爬取URL的CSV文件路径 url_csv_path= /Users/hale/PycharmProjects/batch_video_clawer/data/result/URL_list.csv 其中tshark_interface_number为捕包的网络接口名字可通过网络连接界面查看，如下图所示网络接口名为 localnet1。注意有多个网络接口时应选择当前正在使用的接口。 batch_video_clawer_mitm.py文件设置在 main 函数中需要指定配置文件的绝对路径 conf_path 。该程序会在 root_path 目录下创建类别名目录，并通过CSV中记录的 URL 来采集视频流量。五、运行过程在完成上述配置步骤后，运行src/video_finger_clawer/batch_video_clawer_mitm.py文件。程序会自动读取配置文件中的url_csv_path的csv文件，并依次访问该文件中的url，同时记录pcap文件。最后运行成功后数据会被记录于 root_path 目录下，其中每个类别将包含两个文件夹，分别是 pcap 、 url ，具体解释如下：目录名介绍 pcap 记录 pcap 文件 url 记录视频的 URL 信息六、注意事项在视频开始播放后应关闭自动连播功能，如下图所示： chrome浏览器会自动更新，每次更新后应下载对应版本的chromedriver，否则将无法使用第一次运行主程序时应执行启用QUIC的操作，以及在播放视频时选择相应的分辨率（后续的视频都会以该分辨率播放）由于chromedriver采用用户自定义存储目录的模式，因此每次浏览的记录都会被保存下来，包括视频的缓存。因此，每次进行爬取时应及时清空浏览器缓存，防止由于存在缓存而导致视频没有按顺序请求的情况当观察到视频网页打开后暂停播放时，应调整配置文件中play_click的值在播放视频时选择1080p的分辨率 Attachments 91327905_attachments_URL_list.csv 91327905_attachments_微信截图_20220706112434.png 91327905_attachments_微信截图_20220706113729.png 91327905_attachments_微信截图_20220630213542.png 91327905_attachments_截屏2023-01-11 12.11.42.png

ACCESS-YouTube流量识别

记录人王晨旭题目 Fingerprinting Technique for YouTube Videos Identification in Network Traffic CCF等级 None 研究背景贡献方法目标：识别Youtube视频数据集：从Youtube上随机选择了43个视频，每个视频下载55次。VPN选择SurShark（使用OpenVPN协议）,获得43个VPN 和非VPN Titles, 每个视频流量捕获120秒。数据预处理：根据IP，只选择下行的流量。每个周期的字节数（BYTES PER PERIOD）：DASH使用VBR编码，由于比特率是变化的，120内的每秒比特率可能是不规则的，从而降低模型性能。作者把Bytes Per Second(BPS)分成L段。在本文中L被设置为６。也就是把120秒划分为了20个区间。指纹：对于一个120秒长的视频，可以得到一个序列（a1,a2,ai...），这个序列就是6个BYTES PER PERIOD, 两个相邻的ai和ai-1生成的指纹，由如下公式表达：简单差分指纹(SDF)：绝对差分指纹(ADF): 差分指纹(DF)：模型识别：CNN 数据集工具/源码相关研究结果第一个数据集：非VPN下捕获的视频　（多分类）第二个数据集：VPN模式下捕获相同的视频　（多分类）第三个数据集：第一个数据集和第二个数据集的混合　（多分类）第四个数据集：正常流量模式下捕获的所有视频标记为１类，VPN模式下捕获的视频标记为１类（２分类）其他说明 Attachments 87530441_attachments_image2023-11-1_14-33-40.png 87530441_attachments_image2023-11-1_14-30-4.png 87530441_attachments_image2023-11-1_14-29-29.png 87530441_attachments_image2023-11-1_14-29-9.png

Uh oh!

GFW能知道你看了什么Youtube视频吗？有可能 #42

Description

Activity

Metadata

Metadata

Assignees

Labels

Type

Projects

Milestone

Relationships

Development

Issue actions