对于大流量的网站,解决各页面访问量统计问题的方法有:1、使用日志分析工具;2、使用计数器;3、使用JavaScript代码;4、使用分布式缓存。使用日志分析工具是指记录每一个用户访问网站的请求,并根据相应的日志信息生成报告。
一、对于大流量的网站解决各页面访问量统计问题的方法
1、使用日志分析工具
日志分析工具可以记录每一个用户访问网站的请求,并根据相应的日志信息生成报告。这种方法可以帮助网站管理员了解哪些页面被访问非常多、哪些页面被访问时长最长等关键指标。
2、使用计数器
计数器是一种简单的工具,可以记录一个页面被访问的次数。但是,计数器的数据可能不够精确,因为有些用户可能使用不同的设备或者浏览器访问同一个页面。
3、使用JavaScript代码
使用JavaScript代码:通过添加JavaScript代码到网站上,可以记录每一次页面被访问的信息。这种方法可以识别不同的用户和设备,并提供更准确的数据统计。
4、使用分布式缓存
使用分布式缓存:当网站流量非常大时,通常需要使用分布式缓存来存储和处理访问量数据。这种方法可以提高网站的性能和可扩展性,并且可以支持多个数据源和不同的数据格式。
二、免费开源的网站流量分析统计工具
1、Umami
Umami 是一个简单易用、自托管的开源(基于 MIT 协议)网站访问统计分析工具。Umami 不使用 Cookie,不跟踪用户,且所有收集的数据都会匿名化处理,符合 GDPR,资源占用很低,虽然功能简单,但分析的数据内容很丰富,基本的来源国家,来源域名,使用的浏览器、系统、设备,访问的网页这些都有,还支持多国语言。
2、Shynet
Shynet 是自建的、开源的(基于 Apache-2.0 协议)网站统计分析工具,它在没有 Cookie 的情况下工作,不会像其它公共统计工具一样追踪你的访客,它只收集足够有用的数据。同时可以不使用 Javascript 运行,分析脚本十分轻量,不到 1kb。
不过 Shynet 并不适合所有人,它非常适合个人项目和中小型网站,但尚未在高流量网站上进行测试。因此还需要大量的不断的维护升级,因此如果您需要一键式解决方案,较好使用其他工具。
3、Plausible
Plausible Analytics 是一个 100% 开源的(基于 AGPL-3.0 协议)轻量化网站统计分析工具。网站所有者获得一些可操作的数据来帮助他们学习和改进,同时不会使用 Cookie,没有跨站点或跨设备跟踪,也不会收集个人数据,并且完全符合 GDPR、CCPA 和 PECR 等隐私政策。
Plausible Analytics Cloud 默认是收费的版本,采用订阅制,直接托管在官方的服务器上,不需要自己搭建。但是也可以选择免费自建方案,自建的版本功能也很完善,只是发布频率较低,每半年才会整合更新一次。
4、Fathom
Fathom Analytics 是一个更简单、注重隐私的 Google Analytics 替代方案。Fathom 尊重用户的隐私,不会收集任何个人身份信息。同时为用户提供有关网站的所需信息。
Fathom 也有 Lite 和 Pro 版本,Pro 版本和上面的一样,采用付费订阅制,不使用 Cookie;而 Lite 版本是免费开源的(基于 MIT 协议),可以自己搭建,但是目前不符合 PECR,因为它使用匿名的 Cookie,同时 Lite 版本相比 Pro 版本,分析的数据很少,只有上图中的基础数据,没有语言、来源位置、设备分析等数据。
5、Ackee
Ackee 是一个关注隐私的开源(基于 MIT 协议)自建分析工具,采用轻量级的 Node.js 和 MongoDB 架构。Ackee 界面简洁美观,采用匿名数据采集的方式,分析你网站的流量并在最小的界面中提供有用的统计信息。对于不需要像 Google Analytics 或 Matomo 这样的全功能营销分析平台的个人来说,是一款非常不错的工具。
三、对于大流量的网站解决访问量问题的方法
- 确定当前服务器设备是否满足流量需求。
- 使用Memcache缓存技术,把动态内容缓存到文件中,动态网页直接调用这些文件,而不必再访问数据库。
- 禁止外部盗链,图片和文件外部盗链会给服务器带来大量的负载压力,可以通过refer来禁止外部盗链,或者使用apache来配置禁止盗链。
- 控制大文件的下载,大文件的下载对于非SCSI硬盘来说会占用大量的资源,导致服务器的响应能力下降。
- 使用不同的主机分流主要流量,使服务器均衡负载。
- 使用流量统计软件统计分析网站流量,可以知道哪些地方耗费了大量的流量,哪些页面需要再进行优化。
延伸阅读1:大型网站系统的特点
高并发,大流量,需要面对高并发用户,大流量访问,Google日均PV数为35亿,日均IP访问数为3亿,2011年腾讯QQ最大用户在线数1.4亿,淘宝2012年双11活动一天交易额191亿,活动开始名列前茅分钟独立访问用户达1000万。