使用python和Selenium爬取淘宝数据 发表于 2020-06-11 分类于 爬虫 简介之前使用python爬取了速卖通的数据,这里使用Selenium爬取淘宝数据,总体的实现逻辑没有太大区别,但是用Selenium打开淘宝页面,并且会有一个拖拽式的验证码,我们同样使用Selenium来模拟这些动作 阅读全文 »
使用python和Selenium爬取网页 发表于 2020-06-10 分类于 爬虫 简介最近使用八爪鱼爬虫软件在网上爬取了一部分数据,也想尝试一下实现一个简单的爬虫,这里是使用python的一次实践,我们要首先安装python和Selenium,Selenium就是一个软件可以驱动浏览器进行自动化测试的软件,安装方法很简单,可以自行百度. 阅读全文 »
netty概念和使用netty搭建WebSocket 发表于 2020-05-13 更新于 2020-05-18 分类于 netty 简介netty是java网络编程框架,其架构抽象出的概念很容易使我们针对不同的需求来定制不同的处理器,本文将简介netty的概念和一些网络知识,最后并使用netty来编写一个webScoket聊天室服务器. 阅读全文 »
关于钉钉在外网故障情况下仍然能发送消息的思考 发表于 2020-05-06 分类于 网络 简介前段时间公司外网发生故障,外网无法访问,但是钉钉发送消息却不受影响,却仍然可以收发,当时感觉不可思议,结合最近学习的网络知识,这里做一下分析和总结 阅读全文 »
Linux下链接oralce报SQLRecoverableException: I/O Exception: Connection reset 发表于 2020-04-26 分类于 oralce 简介今天在正式环境部署应用时,使用jdbc连接数据库发现启动应用非常的忙,等待启动后查看日志发现SQLRecoverableException: I/O Exception: Connection reset’错误,在stackoverflow中发现有可能是linux随机数的问题,一下是网上摘抄的 阅读全文 »
二次开发CAS服务端登录流程 发表于 2020-04-10 分类于 CAS 简介CAS 服务端登录提供了默认的登录流程并采用WebFlow进行实现,但是再实际项目中需要对接外部的登录系统,如果外部账号之前没有在本系统登录过,那么就要在内部账号进行一次二次注册,这需要对原有的登录流程进行修改,如果外部账号验证通过则进行判断该账号时候在本系统注册过,如果没有跳转到二次注册页面进行注册,我这里使用的版本是5.3.X 阅读全文 »
nginx反向代理静态资源404问题 发表于 2020-04-10 分类于 nginx 简介在前后端分离的项目中通过nginx映射前端的html静态资源出现404,是由于配置静态路径有两种方式 阅读全文 »
关于大流量下防止超卖的思考 发表于 2020-03-29 分类于 并发 简介最近在思考如何在大流量下防止超卖的问题,其实在并发下防止超卖或者其它一些并发问题,本质上绕不开锁的问题,因为如果没有锁无法保证数据同步的问题(至少是目前还没想到其它方法),这边进行了一次尝试. 阅读全文 »
CAS 解决前后端分离静态页面地址无法验证,无法登录的问题 发表于 2020-03-26 分类于 CAS 简介现有项目采用前后端分离分开部署的策略,根据前文CAS客户端和Gateway集成的文章中提到的CAS的验证流程,我们可得知在用户调用接口时如果发现本地项目没有缓存用户登录信息,就跳转到CAS服务端去验证,登录完成后再跳转到原页面,并在url中带上ticket参数再去验证本次请求的合法性,在采用前后端分离的项目中会有一下问题,以下是解决方案. 阅读全文 »