From 8de012dfa57631960defdc049cee84c0c332d128 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=8F=B6=E4=BF=8F=E9=94=8B?= Date: Tue, 23 Feb 2021 21:12:13 +0800 Subject: [PATCH] =?UTF-8?q?feat=EF=BC=9A=E5=BC=80=E6=BA=90=E7=89=88?= =?UTF-8?q?=E6=9C=AC?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .autod.conf.js | 28 + .eslintignore | 2 + .eslintrc | 10 + .gitignore | 27 + LICENSE | 12 +- README.md | 28 +- app/common/index.ts | 17 + app/common/scanFolder.ts | 49 + app/controller/baseController.ts | 27 + app/controller/home.ts | 9 + app/controller/morningPaper.ts | 90 + app/middleware/catchError.ts | 16 + app/middleware/httpLogs.ts | 16 + app/router.ts | 11 + app/service/baseService.ts | 32 + app/service/morningPaper/index.ts | 45 + app/service/puppeteer/html.ts | 40 + app/service/puppeteer/index.ts | 20 + app/service/sendMsg/weixin.ts | 28 + app/service/spider/README.md | 1 + app/service/spider/csstricks/index.ts | 39 + app/service/spider/devto/index.ts | 39 + app/service/spider/freecodecamp/index.ts | 39 + app/service/spider/githubIssues/index.ts | 38 + app/service/spider/infoq/index.ts | 40 + app/service/spider/juejin/index.ts | 39 + app/service/spider/leetcode/index.ts | 52 + app/service/spider/medium/index.ts | 40 + app/service/spider/meituan/index.ts | 40 + app/service/spider/segmentfault/index.ts | 39 + app/service/spider/tencenttmq/index.ts | 38 + app/service/spider/testerhome/index.ts | 38 + app/service/spider/youzan/index.ts | 40 + app/service/spider/zhihu/index.ts | 38 + app/typings/appManager.d.ts | 6 + app/typings/index.d.ts | 17 + app/typings/puppeteer.d.ts | 4 + app/typings/weixin.d.ts | 37 + config/config.default.ts | 49 + config/plugin.ts | 11 + package.json | 63 + test/app/controller/home.test.ts | 8 + test/app/controller/morningPaper.test.ts | 17 + test/app/service/morningPaper/index.test.ts | 6 + test/app/service/sendMsg/weixin.test.ts | 10 + .../service/spider/githubIssues/index.test.ts | 13 + test/app/service/spider/infoq/index.test.ts | 12 + test/app/service/spider/juejin/index.test.ts | 13 + .../app/service/spider/leetcode/index.test.ts | 11 + .../service/spider/segmentfault/index.test.ts | 13 + .../service/spider/tencenttmq/index.test.ts | 13 + .../service/spider/testerhome/index.test.ts | 13 + test/app/service/spider/zhihu/index.test.ts | 13 + test/global.ts | 63 + test/mockData/githubIssues/html_mock.js | 1482 ++++++ test/mockData/infoq/html_mock.js | 1662 ++++++ test/mockData/juejin/html_mock.js | 1684 +++++++ test/mockData/segmentfault/html_mock.js | 2327 +++++++++ test/mockData/tencenttmq/html_mock.js | 4484 +++++++++++++++++ test/mockData/testerhome/html_mock.js | 1132 +++++ test/mockData/weixin/index/fail.json | 3 + test/mockData/weixin/index/success.json | 3 + test/mockData/zhihu/html_mock.js | 362 ++ tsconfig.json | 34 + typings/index.d.ts | 5 + 65 files changed, 14629 insertions(+), 8 deletions(-) create mode 100644 .autod.conf.js create mode 100644 .eslintignore create mode 100644 .eslintrc create mode 100644 .gitignore create mode 100644 app/common/index.ts create mode 100644 app/common/scanFolder.ts create mode 100644 app/controller/baseController.ts create mode 100644 app/controller/home.ts create mode 100644 app/controller/morningPaper.ts create mode 100644 app/middleware/catchError.ts create mode 100644 app/middleware/httpLogs.ts create mode 100644 app/router.ts create mode 100644 app/service/baseService.ts create mode 100644 app/service/morningPaper/index.ts create mode 100644 app/service/puppeteer/html.ts create mode 100644 app/service/puppeteer/index.ts create mode 100644 app/service/sendMsg/weixin.ts create mode 100644 app/service/spider/README.md create mode 100644 app/service/spider/csstricks/index.ts create mode 100644 app/service/spider/devto/index.ts create mode 100644 app/service/spider/freecodecamp/index.ts create mode 100644 app/service/spider/githubIssues/index.ts create mode 100644 app/service/spider/infoq/index.ts create mode 100644 app/service/spider/juejin/index.ts create mode 100644 app/service/spider/leetcode/index.ts create mode 100644 app/service/spider/medium/index.ts create mode 100644 app/service/spider/meituan/index.ts create mode 100644 app/service/spider/segmentfault/index.ts create mode 100644 app/service/spider/tencenttmq/index.ts create mode 100644 app/service/spider/testerhome/index.ts create mode 100644 app/service/spider/youzan/index.ts create mode 100644 app/service/spider/zhihu/index.ts create mode 100644 app/typings/appManager.d.ts create mode 100644 app/typings/index.d.ts create mode 100644 app/typings/puppeteer.d.ts create mode 100644 app/typings/weixin.d.ts create mode 100644 config/config.default.ts create mode 100644 config/plugin.ts create mode 100644 package.json create mode 100644 test/app/controller/home.test.ts create mode 100644 test/app/controller/morningPaper.test.ts create mode 100644 test/app/service/morningPaper/index.test.ts create mode 100644 test/app/service/sendMsg/weixin.test.ts create mode 100644 test/app/service/spider/githubIssues/index.test.ts create mode 100644 test/app/service/spider/infoq/index.test.ts create mode 100644 test/app/service/spider/juejin/index.test.ts create mode 100644 test/app/service/spider/leetcode/index.test.ts create mode 100644 test/app/service/spider/segmentfault/index.test.ts create mode 100644 test/app/service/spider/tencenttmq/index.test.ts create mode 100644 test/app/service/spider/testerhome/index.test.ts create mode 100644 test/app/service/spider/zhihu/index.test.ts create mode 100644 test/global.ts create mode 100644 test/mockData/githubIssues/html_mock.js create mode 100644 test/mockData/infoq/html_mock.js create mode 100644 test/mockData/juejin/html_mock.js create mode 100644 test/mockData/segmentfault/html_mock.js create mode 100644 test/mockData/tencenttmq/html_mock.js create mode 100644 test/mockData/testerhome/html_mock.js create mode 100644 test/mockData/weixin/index/fail.json create mode 100644 test/mockData/weixin/index/success.json create mode 100644 test/mockData/zhihu/html_mock.js create mode 100644 tsconfig.json create mode 100644 typings/index.d.ts diff --git a/.autod.conf.js b/.autod.conf.js new file mode 100644 index 0000000..cd4bc15 --- /dev/null +++ b/.autod.conf.js @@ -0,0 +1,28 @@ +'use strict'; + +module.exports = { + write: true, + plugin: 'autod-egg', + prefix: '^', + devprefix: '^', + exclude: [ + 'test/fixtures', + 'coverage', + ], + dep: [ + 'egg', + 'egg-scripts', + ], + devdep: [ + 'autod', + 'autod-egg', + 'egg-bin', + 'tslib', + 'typescript', + ], + keep: [ + ], + semver: [ + ], + test: 'scripts', +}; diff --git a/.eslintignore b/.eslintignore new file mode 100644 index 0000000..40a8aad --- /dev/null +++ b/.eslintignore @@ -0,0 +1,2 @@ +**/*.d.ts +node_modules/ diff --git a/.eslintrc b/.eslintrc new file mode 100644 index 0000000..fa2b67f --- /dev/null +++ b/.eslintrc @@ -0,0 +1,10 @@ +{ + "extends": "eslint-config-egg/typescript", + "rules": { + "@typescript-eslint/ban-ts-ignore": 1, + "@typescript-eslint/no-var-requires": 0 + }, + "parserOptions": { + "project": "./tsconfig.json" + } +} \ No newline at end of file diff --git a/.gitignore b/.gitignore new file mode 100644 index 0000000..5557f2b --- /dev/null +++ b/.gitignore @@ -0,0 +1,27 @@ +logs/ +npm-debug.log +node_modules/ +coverage/ +.idea/ +run/ +.DS_Store +.vscode +*.swp +*.lock +package-lock.json +.travis.yml +appveyor.yml + +app/**/*.js +test/**/*.js +!test/mockData/**/*.js +config/**/*.js +app/**/*.map +test/**/*.map +config/**/*.map +typings/app/**/*.d.ts +typings/config/**/*.d.ts +projects +projects_build +temp +app/public \ No newline at end of file diff --git a/LICENSE b/LICENSE index 872dffc..61b3a27 100644 --- a/LICENSE +++ b/LICENSE @@ -1,6 +1,6 @@ -MIT License +The MIT License (MIT) -Copyright (c) 2021 bigo前端 +Copyright (c) 2021-present, bigo Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal @@ -9,13 +9,13 @@ to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions: -The above copyright notice and this permission notice shall be included in all -copies or substantial portions of the Software. +The above copyright notice and this permission notice shall be included in +all copies or substantial portions of the Software. THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, -OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE -SOFTWARE. +OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN +THE SOFTWARE \ No newline at end of file diff --git a/README.md b/README.md index af1087a..550d712 100644 --- a/README.md +++ b/README.md @@ -1,2 +1,26 @@ -# morning-paper-sever -前端早报服务端 +## 前端早报 + +## 系统介绍 +bigo前端早报系统，包括但不限于掘金、知乎、infoq等咨询站点内容推送 +支持推送到：企业微信 +待支持：钉钉 + +## 开发 + +```bash +$ npm i +$ npm run dev +$ open http://localhost:9001/ +``` + +## 功能预览 +![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/cad986da6a884001b9a9e5e333061a83~tplv-k3u1fbpfcp-watermark.image) + +![](https://p1-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/c6f7ffe7c5fd4bff817d009166d3d786~tplv-k3u1fbpfcp-watermark.image) + +![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/a3ee7778d27a46da9f46f93289ac0901~tplv-k3u1fbpfcp-watermark.image) + +## 实现原理 + +使用puppeteer获取html结构，然后使用cheerio解析dom结构，返回爬虫数据。 + diff --git a/app/common/index.ts b/app/common/index.ts new file mode 100644 index 0000000..6a1963f --- /dev/null +++ b/app/common/index.ts @@ -0,0 +1,17 @@ +// 爬虫站点枚举 +export enum EBizType { + INFOQ = 'infoq', + JUEJIN = 'juejin', + SEGMENTFAULT = 'segmentfault', + ZHIHU = 'zhihu', + LEETCODE = 'leetcode', + TESTERHOME = 'testerhome', + TENCENTTMQ = 'tencenttmq', + MEITUAN = 'meituan', + YOUZAN = 'youzan', + GITHUBISSUES = 'githubIssues', + FREECODECAMP = 'freecodecamp', + MEDIUM = 'medium', + DEVTO = 'devto', + CSSTRICKS = 'csstricks', +} diff --git a/app/common/scanFolder.ts b/app/common/scanFolder.ts new file mode 100644 index 0000000..51a3b1d --- /dev/null +++ b/app/common/scanFolder.ts @@ -0,0 +1,49 @@ +const fs = require('fs'); + +/** + * 遍历文件夹，返回下面的文件以及目录 + * + * @param {String} pathFolder 目标目录or目标文件 + * @param {RegExp} ignoreList 忽略哪些文件夹 + * @param {RegExp} includeList 包含哪些文件 + */ +export default function(pathFolder: string, ignoreList?, includeList?) { + const fileList: string[] = []; + const folderList: string[] = []; + function walk(pathFolder) { + if (ignoreList && pathFolder.match(ignoreList)) { // 忽略哪些文件夹 + return true; + } + if (fs.statSync(pathFolder).isFile()) { // 如果是目标文件，直接返回 + fileList.push(pathFolder); + return true; + } + folderList.push(pathFolder); + const files = fs.readdirSync(pathFolder); + files.forEach(function(item) { + const tmpPath = pathFolder + '/' + item, + stats = fs.statSync(tmpPath); + if (stats.isDirectory()) { + walk(tmpPath); + folderList.push(tmpPath); + } else { + if (ignoreList && tmpPath.match(ignoreList)) { // 忽略哪些文件 + return true; + } + if (includeList) { // 包含哪些文件 + if (tmpPath.match(includeList)) { + fileList.push(tmpPath); + } + return true; + } + fileList.push(tmpPath); + } + }); + } + + walk(pathFolder); + return { + fileList, + folderList, + }; +} diff --git a/app/controller/baseController.ts b/app/controller/baseController.ts new file mode 100644 index 0000000..a389806 --- /dev/null +++ b/app/controller/baseController.ts @@ -0,0 +1,27 @@ +import { Controller } from 'egg'; + +export default class BaseController extends Controller { + /** + * 成功 + * @param data 响应数据 + */ + success(data) { + this.ctx.body = { + success: true, + ...data, + }; + return; + } + + /** + * 失败 + * @param data 响应数据 + */ + fail(data) { + this.ctx.body = { + success: false, + ...data, + }; + return; + } +} diff --git a/app/controller/home.ts b/app/controller/home.ts new file mode 100644 index 0000000..0c7ca3b --- /dev/null +++ b/app/controller/home.ts @@ -0,0 +1,9 @@ +import Controller from '@/controller/baseController'; + +export default class HomeController extends Controller { + public async index() { + this.ctx.body = 'hello world'; + return; + } + +} diff --git a/app/controller/morningPaper.ts b/app/controller/morningPaper.ts new file mode 100644 index 0000000..4942835 --- /dev/null +++ b/app/controller/morningPaper.ts @@ -0,0 +1,90 @@ +import Controller from '@/controller/baseController'; +import { EBizType } from '@/common'; + +export default class MorningPaper extends Controller { + /** + * 早报爬虫 + * infoq ==> http://127.0.0.1:9001/morningPaper?link=https://www.infoq.cn/topic/Front-end&bizType=infoq&waitTime=3000 + * juejin ==> http://127.0.0.1:9001/morningPaper?link=https://juejin.cn/frontend&bizType=juejin&waitTime=3000 + * segmentfault ==> http://127.0.0.1:9001/morningPaper?link=https://segmentfault.com/channel/frontend&bizType=segmentfault&waitTime=3000 + * zhihu ==> http://127.0.0.1:9001/morningPaper?link=https://zhuanlan.zhihu.com/eggjs&bizType=zhihu&waitTime=3000 + * leetcode ==> http://127.0.0.1:9001/morningPaper?link=https://leetcode-cn.com/problems/course-schedule&bizType=leetcode&waitTime=3000 + * testerhome ==> http://127.0.0.1:9001/morningPaper?link=https://testerhome.com/topics/last&bizType=testerhome&waitTime=3000 + * tencenttmq ==> http://127.0.0.1:9001/morningPaper?link=https://cloud.tencent.com/developer/column/1088&bizType=tencenttmq&waitTime=3000 + * githubIssues ==> http://127.0.0.1:9001/morningPaper?link=https://github.com/bigo-frontend/blog/issues&bizType=githubIssues&waitTime=3000 + * freecodecamp ==> http://127.0.0.1:9001/morningPaper?link=https://www.freecodecamp.org/news/&bizType=freecodecamp&waitTime=3000 + * medium ==> http://127.0.0.1:9001/morningPaper?link=https://medium.com/front-end-weekly&bizType=medium&waitTime=3000 + * devto ==> http://127.0.0.1:9001/morningPaper?link=https://dev.to&bizType=devto&waitTime=3000 + * csstricks ==> http://127.0.0.1:9001/morningPaper?link=https://css-tricks.com/&bizType=csstricks&waitTime=3000 + */ + public async index() { + const waitTime = Number(this.ctx.query.waitTime); + let link = this.ctx.query.link; + const bizType = this.ctx.query.bizType; + let html = ''; + if (!link) { + this.fail({ + msg: '入参校验不通过', + }); + return; + } + if (bizType === EBizType.LEETCODE) { // leetcode先获取每日一题链接，再爬取具体内容 + link = await this.service.spider.leetcode.index.getRandomOneQuestionLink(); + if (link === '') { + this.fail({ + msg: '入参校验不通过', + }); + return; + } + } + console.log(link); + const htmlResult = await this.service.puppeteer.index.getHtml(link, waitTime); + if (htmlResult.status === false) { + this.fail({ + msg: '爬取html失败，请稍后重试或者调整超时时间', + }); + return; + } + html = htmlResult.data; + const links = this.service.morningPaper.index.formatHtmlByBizType(bizType, html) || []; + this.success({ + data: links.filter(item => !item.title.match('招聘')), + }); + return; + } + + /** + * 推送消息到企业微信机器人 + * http://127.0.0.1:9001/sendMsg2Weixin?content=hello,world!&token=企业微信token + */ + async sendMsg2Weixin() { + const content = this.ctx.query.content; + const token = this.ctx.query.token; + if (!token || !content) { + this.fail({ + resultObj: { + msg: '入参数据异常', + }, + }); + return; + } + const status = await this.service.sendMsg.weixin.index(token, content); + this.logger.info('发送消息 bizType=%j content=%j', token, content); + if (status) { + this.success({ + resultObj: { + msg: '发送成功', + }, + }); + return; + } + + this.fail({ + resultObj: { + msg: '发送失败', + }, + }); + return; + } + +} diff --git a/app/middleware/catchError.ts b/app/middleware/catchError.ts new file mode 100644 index 0000000..8eb6f43 --- /dev/null +++ b/app/middleware/catchError.ts @@ -0,0 +1,16 @@ +module.exports = () => { + return async (ctx, next) => { + + try { + await next(); + } catch (err) { + ctx.logger.error(err); + ctx.body = { + status: false, + msg: '出错啦~', + }; + } + + return ctx.body; + }; +}; diff --git a/app/middleware/httpLogs.ts b/app/middleware/httpLogs.ts new file mode 100644 index 0000000..b45d278 --- /dev/null +++ b/app/middleware/httpLogs.ts @@ -0,0 +1,16 @@ +module.exports = () => { + return async (ctx, next) => { + + await next(); + + ctx.app.logger.info('httplogs=%j', { + body: ctx.body, + url: ctx.request.url, + method: ctx.request.method, + referer: ctx.request.headers.referer, + resStatus: ctx.response.status, + }); + + return ctx.body; + }; +}; diff --git a/app/router.ts b/app/router.ts new file mode 100644 index 0000000..313699f --- /dev/null +++ b/app/router.ts @@ -0,0 +1,11 @@ +import { Application } from 'egg'; + +export default (app: Application) => { + const { controller, router } = app; + + router.get('/', controller.home.index); + // 早报咨询获取 + router.get('/morningPaper', controller.morningPaper.index); + // 推送微信机器人消息 + router.get('/sendMsg2Weixin', controller.morningPaper.sendMsg2Weixin); +}; diff --git a/app/service/baseService.ts b/app/service/baseService.ts new file mode 100644 index 0000000..4f51477 --- /dev/null +++ b/app/service/baseService.ts @@ -0,0 +1,32 @@ +import { Service } from 'egg'; +import { PlainObject } from 'typings/app'; + +/** + * BaseService Service + */ +export default class BaseService extends Service { + // 通用请求 + public async fetch(url, options?) { + const result: CURLRes = await this.app.curl(url, { + timeout: 5 * 60 * 1000, + dataType: 'json', + ...options, + }); + if (result.status !== 200 || result.data.success === false) { + return { + status: false, + data: result.data, + }; + } + return { + status: true, + data: result.data, + }; + } + + // https://eggjs.org/zh-cn/core/view.html#locals + // 日志记录 + public appendLog(msg: PlainObject) { + this.ctx.app.locals = msg; + } +} diff --git a/app/service/morningPaper/index.ts b/app/service/morningPaper/index.ts new file mode 100644 index 0000000..655117f --- /dev/null +++ b/app/service/morningPaper/index.ts @@ -0,0 +1,45 @@ +import BaseService from '@/service/baseService'; +import { EBizType } from '@/common'; + +export default class Index extends BaseService { + /** + * 根据业务类型进行html格式清洗 + * @param bizType 业务类型 + * @param html html结构 + */ + formatHtmlByBizType(bizType: string, html: string) { + switch (bizType) { + case EBizType.INFOQ: + return this.service.spider.infoq.index.getLinks(html); + case EBizType.JUEJIN: + return this.service.spider.juejin.index.getLinks(html); + case EBizType.SEGMENTFAULT: + return this.service.spider.segmentfault.index.getLinks(html); + case EBizType.ZHIHU: + return this.service.spider.zhihu.index.getLinks(html); + case EBizType.LEETCODE: + return this.service.spider.leetcode.index.getLinks(html); + case EBizType.TESTERHOME: + return this.service.spider.testerhome.index.getLinks(html); + case EBizType.TENCENTTMQ: + return this.service.spider.tencenttmq.index.getLinks(html); + case EBizType.MEITUAN: + return this.service.spider.meituan.index.getLinks(html); + case EBizType.YOUZAN: + return this.service.spider.youzan.index.getLinks(html); + case EBizType.GITHUBISSUES: + return this.service.spider.githubIssues.index.getLinks(html); + case EBizType.FREECODECAMP: + return this.service.spider.freecodecamp.index.getLinks(html); + case EBizType.MEDIUM: + return this.service.spider.medium.index.getLinks(html); + case EBizType.DEVTO: + return this.service.spider.devto.index.getLinks(html); + case EBizType.CSSTRICKS: + return this.service.spider.csstricks.index.getLinks(html); + default: + break; + } + } + +} diff --git a/app/service/puppeteer/html.ts b/app/service/puppeteer/html.ts new file mode 100644 index 0000000..7ba5760 --- /dev/null +++ b/app/service/puppeteer/html.ts @@ -0,0 +1,40 @@ +import BaseService from '@/service/baseService'; +import * as puppeteer from 'puppeteer'; + +/** + * 通过puppeteer获取html结构 + */ +export default class Index extends BaseService { + viewport = { + width: 1920, + height: 1080, + } + launch = { + headless: true, + args: [ '--remote-debugging-port=0', '--no-sandbox', '--disable-setuid-sandbox' ], + } + userAgent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36' + /** + * 获取页面完整html结构 + * @param link 页面链接 + * @param waitTime 页面加载时长 + */ + public async getHtml(link, waitTime = 3000): Promise { + this.logger.info(link, waitTime); + const browser = await puppeteer.launch(this.launch); + const page = await browser.newPage(); + await page.setViewport(this.viewport); + await page.setUserAgent(this.userAgent); + await page.goto(link); + await page.waitFor(waitTime); + // const userAgent = await page.evaluate('navigator.userAgent'); + // this.logger.info(userAgent); + const html = await page.evaluate(() => { + // @ ts-ignore + // eslint-disable-next-line + return document?.querySelector('html')?.outerHTML; + }); + await browser.close(); + return html; + } +} diff --git a/app/service/puppeteer/index.ts b/app/service/puppeteer/index.ts new file mode 100644 index 0000000..d0cc1dc --- /dev/null +++ b/app/service/puppeteer/index.ts @@ -0,0 +1,20 @@ +import BaseService from '@/service/baseService'; + +/** + * 通过puppeteer获取html结构 + */ +export default class Index extends BaseService { + /** + * 获取页面html结构 + * @param link 页面链接 + * @param waitTime 超时时间 + */ + public async getHtml(link, waitTime = 3000) { + const res = await this.service.puppeteer.html.getHtml(link, waitTime); + return { + status: true, + data: res, + }; + } + +} diff --git a/app/service/sendMsg/weixin.ts b/app/service/sendMsg/weixin.ts new file mode 100644 index 0000000..8c7b893 --- /dev/null +++ b/app/service/sendMsg/weixin.ts @@ -0,0 +1,28 @@ +import BaseService from '@/service/baseService'; + +/** + * 推送微信机器人消息 + */ +export default class Index extends BaseService { + public async index(token, content): Promise { + const url = `https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=${token}`; + const data = { + msgtype: 'markdown', + markdown: { + content, + }, + }; + console.log(url); + const result: any = await this.app.curl(url, { + method: 'POST', + headers: { + 'Content-Type': 'application/json', + }, + data, + }); + if (result.status !== 200) { + return false; + } + return true; + } +} diff --git a/app/service/spider/README.md b/app/service/spider/README.md new file mode 100644 index 0000000..c4079b1 --- /dev/null +++ b/app/service/spider/README.md @@ -0,0 +1 @@ +爬虫服务，解析html结构，获取dom内容 \ No newline at end of file diff --git a/app/service/spider/csstricks/index.ts b/app/service/spider/csstricks/index.ts new file mode 100644 index 0000000..75c8338 --- /dev/null +++ b/app/service/spider/csstricks/index.ts @@ -0,0 +1,39 @@ +import BaseService from '@/service/baseService'; +import * as cheerio from 'cheerio'; + +/** + * csstricks数据爬取 + * https://css-tricks.com/ + */ +export default class Index extends BaseService { + DOMAIN = ''; + /** + * 获取资讯列表 + */ + public getLinks(html): Link[] { + const $ = cheerio.load(html); + const links = this.getHtmlContent($); + return links; + + } + /** + * 解析html结构 + * @param $ cheerio对象 + */ + getHtmlContent($): Link[] { + const links: Link[] = []; + $('.article-grid .article-card').each((index, ele) => { + const title = $(ele).find('h2>a').text() + .trim(); + const href = $(ele).find('h2>a').attr('href'); + if (title && href) { + links.push({ + title, + href: href, + index, + }); + } + }); + return links; + } +} diff --git a/app/service/spider/devto/index.ts b/app/service/spider/devto/index.ts new file mode 100644 index 0000000..0ccac7a --- /dev/null +++ b/app/service/spider/devto/index.ts @@ -0,0 +1,39 @@ +import BaseService from '@/service/baseService'; +import * as cheerio from 'cheerio'; + +/** + * devto数据爬取 + * https://dev.to/ + */ +export default class Index extends BaseService { + DOMAIN = 'https://dev.to'; + /** + * 获取资讯列表 + */ + public getLinks(html): Link[] { + const $ = cheerio.load(html); + const links = this.getHtmlContent($); + return links; + + } + /** + * 解析html结构 + * @param $ cheerio对象 + */ + getHtmlContent($): Link[] { + const links: Link[] = []; + $('.articles-list .crayons-story').each((index, ele) => { + const title = $(ele).find('.crayons-story__title>a').text() + .trim(); + const href = $(ele).find('.crayons-story__title>a').attr('href'); + if (title && href) { + links.push({ + title, + href: this.DOMAIN + href, + index, + }); + } + }); + return links; + } +} diff --git a/app/service/spider/freecodecamp/index.ts b/app/service/spider/freecodecamp/index.ts new file mode 100644 index 0000000..822a360 --- /dev/null +++ b/app/service/spider/freecodecamp/index.ts @@ -0,0 +1,39 @@ +import BaseService from '@/service/baseService'; +import * as cheerio from 'cheerio'; + +/** + * freecodecamp数据爬取 + * https://www.freecodecamp.org/news/ + */ +export default class Index extends BaseService { + DOMAIN = 'https://www.freecodecamp.org'; + /** + * 获取资讯列表 + */ + public getLinks(html): Link[] { + const $ = cheerio.load(html); + const links = this.getHtmlContent($); + return links; + + } + /** + * 解析html结构 + * @param $ cheerio对象 + */ + getHtmlContent($): Link[] { + const links: Link[] = []; + $('.post-feed .post-card').each((index, ele) => { + const title = $(ele).find('.post-card-title>a').text() + .trim(); + const href = $(ele).find('.post-card-title>a').attr('href'); + if (title && href) { + links.push({ + title, + href: this.DOMAIN + href, + index, + }); + } + }); + return links; + } +} diff --git a/app/service/spider/githubIssues/index.ts b/app/service/spider/githubIssues/index.ts new file mode 100644 index 0000000..e875302 --- /dev/null +++ b/app/service/spider/githubIssues/index.ts @@ -0,0 +1,38 @@ +import BaseService from '@/service/baseService'; +import * as cheerio from 'cheerio'; + +/** + * github issues爬取 + * @type 前端 https://github.com/bigo-frontend/blog/issues + */ +export default class Index extends BaseService { + DOMAIN = 'https://github.com'; + /** + * 获取资讯列表 + */ + public getLinks(html): Link[] { + const $ = cheerio.load(html); + const links = this.getHtmlContent($); + return links; + + } + /** + * 解析html结构 + * @param $ cheerio对象 + */ + getHtmlContent($): Link[] { + const links: Link[] = []; + $('.js-navigation-container .js-navigation-item').each((index, ele) => { + const title = $(ele).find('a.js-navigation-open').text(); + const href = $(ele).find('a.js-navigation-open').attr('href'); + if (title && href) { + links.push({ + title, + href: this.DOMAIN + href, + index, + }); + } + }); + return links; + } +} diff --git a/app/service/spider/infoq/index.ts b/app/service/spider/infoq/index.ts new file mode 100644 index 0000000..53c55af --- /dev/null +++ b/app/service/spider/infoq/index.ts @@ -0,0 +1,40 @@ +import BaseService from '@/service/baseService'; +import * as cheerio from 'cheerio'; + +/** + * infoq页面数据爬取 + * @type 前端 https://www.infoq.cn/topic/Front-end + */ +export default class Index extends BaseService { + DOMAIN = ''; + /** + * 获取资讯列表 + */ + public getLinks(html): Link[] { + const $ = cheerio.load(html); + const links = this.getHtmlContent($); + return links; + + } + /** + * 解析html结构 + * @param $ cheerio对象 + */ + getHtmlContent($): Link[] { + const links: Link[] = []; + $('.article-list .article-item').each((index, ele) => { + const title = $(ele).find('a.com-article-title').text() + .replace(/\s/g, '') + .replace(/\n/g, ''); + const href = $(ele).find('a.com-article-title').attr('href'); + if (title && href) { + links.push({ + title, + href: this.DOMAIN + href, + index, + }); + } + }); + return links; + } +} diff --git a/app/service/spider/juejin/index.ts b/app/service/spider/juejin/index.ts new file mode 100644 index 0000000..89b312d --- /dev/null +++ b/app/service/spider/juejin/index.ts @@ -0,0 +1,39 @@ +import BaseService from '@/service/baseService'; +import * as cheerio from 'cheerio'; + +/** + * 掘金页面数据爬取 + * @type 前端 https://juejin.im/welcome/frontend + */ +export default class Index extends BaseService { + DOMAIN = 'https://juejin.cn'; + /** + * 获取资讯列表 + */ + public getLinks(html): Link[] { + const $ = cheerio.load(html); + const links = this.getHtmlContent($); + return links; + + } + /** + * 解析html结构 + * @param $ cheerio对象 + */ + getHtmlContent($): Link[] { + const links: Link[] = []; + $('.entry-list .entry').each((index, ele) => { + const title = $(ele).find('a.title').text() + .trim(); + const href = $(ele).find('a.title').attr('href'); + if (title && href) { + links.push({ + title, + href: this.DOMAIN + href, + index, + }); + } + }); + return links; + } +} diff --git a/app/service/spider/leetcode/index.ts b/app/service/spider/leetcode/index.ts new file mode 100644 index 0000000..a075f34 --- /dev/null +++ b/app/service/spider/leetcode/index.ts @@ -0,0 +1,52 @@ +import BaseService from '@/service/baseService'; +import * as cheerio from 'cheerio'; + +/** + * 力扣中国页面数据爬取 + */ +export default class Index extends BaseService { + DOMAIN = 'https://leetcode.com'; + DOMAIN_CN = 'https://leetcode-cn.com'; + link = ''; + /** + * 获取资讯列表 + */ + public getLinks(html): Link[] { + const $ = cheerio.load(html); + const links = this.getHtmlContent($); + return links; + + } + /** + * 解析html结构 + * @param $ cheerio对象 + */ + getHtmlContent($): Link[] { + const links: Link[] = []; + const title = 'leetcode每日一题：' + $('h4[data-cypress="QuestionTitle"]').find('a').text(); + links.push({ + title, + href: this.link, + index: '0', + }); + return links; + } + /** + * 根据每日一题接口，获取具体题目链接 + */ + public async getRandomOneQuestionLink() { + // https://leetcode.com/problems/random-one-question/all + const apiUrl = `${this.DOMAIN}/problems/random-one-question/all`; + const result: CURLRes = await this.app.curl(apiUrl, { + timeout: 5 * 60 * 1000, + dataType: 'json', + }); + console.log(result); + const link = result.headers?.location; + if (link) { + this.link = this.DOMAIN_CN + link; + return this.link; + } + return ''; + } +} diff --git a/app/service/spider/medium/index.ts b/app/service/spider/medium/index.ts new file mode 100644 index 0000000..09e9242 --- /dev/null +++ b/app/service/spider/medium/index.ts @@ -0,0 +1,40 @@ +import BaseService from '@/service/baseService'; +import * as cheerio from 'cheerio'; + +/** + * medium数据爬取 + * https://medium.com/front-end-weekly + */ +export default class Index extends BaseService { + DOMAIN = 'https://medium.com'; + /** + * 获取资讯列表 + */ + public getLinks(html): Link[] { + const $ = cheerio.load(html); + const links = this.getHtmlContent($); + return links; + + } + /** + * 解析html结构 + * @param $ cheerio对象 + */ + getHtmlContent($): Link[] { + const links: Link[] = []; + // col js-trackPostPresentation + $('.row .col').each((index, ele) => { + const title = $(ele).find('h3').text() + .trim(); + const href = $(ele).find('a').attr('href'); + if (title && href) { + links.push({ + title, + href, + index, + }); + } + }); + return links; + } +} diff --git a/app/service/spider/meituan/index.ts b/app/service/spider/meituan/index.ts new file mode 100644 index 0000000..3474b1d --- /dev/null +++ b/app/service/spider/meituan/index.ts @@ -0,0 +1,40 @@ +import BaseService from '@/service/baseService'; +import * as cheerio from 'cheerio'; + +/** + * 美团技术团队页面数据爬取 + * https://tech.meituan.com/ + */ +export default class Index extends BaseService { + DOMAIN = ''; + /** + * 获取资讯列表 + */ + public getLinks(html): Link[] { + const $ = cheerio.load(html); + const links = this.getHtmlContent($); + return links; + + } + /** + * 解析html结构 + * @param $ cheerio对象 + */ + getHtmlContent($): Link[] { + const links: Link[] = []; + $('.post-container-wrapper .post-container').each((index, ele) => { + const title = $(ele).find('.post-title>a').eq(0) + .text(); + const href = $(ele).find('.post-title>a').eq(0) + .attr('href'); + if (title && href) { + links.push({ + title, + href: this.DOMAIN + href, + index, + }); + } + }); + return links; + } +} diff --git a/app/service/spider/segmentfault/index.ts b/app/service/spider/segmentfault/index.ts new file mode 100644 index 0000000..1a7df30 --- /dev/null +++ b/app/service/spider/segmentfault/index.ts @@ -0,0 +1,39 @@ +import BaseService from '@/service/baseService'; +import * as cheerio from 'cheerio'; + +/** + * segmentfault页面数据爬取 + * @type 前端 https://segmentfault.com/channel/frontend + */ +export default class Index extends BaseService { + DOMAIN = 'https://segmentfault.com'; + /** + * 获取资讯列表 + */ + public getLinks(html): Link[] { + const $ = cheerio.load(html); + const links = this.getHtmlContent($); + return links; + + } + /** + * 解析html结构 + * @param $ cheerio对象 + */ + getHtmlContent($): Link[] { + const links: Link[] = []; + $('.news-list .news__item-info').each((index, ele) => { + const title = $(ele).find('.news__item-title').text(); + const url = $(ele).find('a').eq(0) + .attr('href'); + if (title && url) { + links.push({ + title, + href: this.DOMAIN + url, + index, + }); + } + }); + return links; + } +} diff --git a/app/service/spider/tencenttmq/index.ts b/app/service/spider/tencenttmq/index.ts new file mode 100644 index 0000000..40e5f61 --- /dev/null +++ b/app/service/spider/tencenttmq/index.ts @@ -0,0 +1,38 @@ +import BaseService from '@/service/baseService'; +import * as cheerio from 'cheerio'; + +/** + * testerhome页面数据爬取 + * @type test https://cloud.tencent.com/developer/column/1088 + */ +export default class Index extends BaseService { + DOMAIN = 'https://cloud.tencent.com'; + /** + * 获取资讯列表 + */ + public getLinks(html): Link[] { + const $ = cheerio.load(html); + const links = this.getHtmlContent($); + return links; + + } + /** + * 解析html结构 + * @param $ cheerio对象 + */ + getHtmlContent($): Link[] { + const links: Link[] = []; + $('.com-article-list .com-article-panel').each((index, ele) => { + const title = $(ele).find('.com-article-panel-title>a').text(); + const href = $(ele).find('.com-article-panel-title>a').attr('href'); + if (title && href) { + links.push({ + title, + href: this.DOMAIN + href, + index, + }); + } + }); + return links; + } +} diff --git a/app/service/spider/testerhome/index.ts b/app/service/spider/testerhome/index.ts new file mode 100644 index 0000000..de122a6 --- /dev/null +++ b/app/service/spider/testerhome/index.ts @@ -0,0 +1,38 @@ +import BaseService from '@/service/baseService'; +import * as cheerio from 'cheerio'; + +/** + * testerhome页面数据爬取 + * @type test https://testerhome.com/topics/last + */ +export default class Index extends BaseService { + DOMAIN = 'https://testerhome.com'; + /** + * 获取资讯列表 + */ + public getLinks(html): Link[] { + const $ = cheerio.load(html); + const links = this.getHtmlContent($); + return links; + + } + /** + * 解析html结构 + * @param $ cheerio对象 + */ + getHtmlContent($): Link[] { + const links: Link[] = []; + $('.item-list .topic').each((index, ele) => { + const title = $(ele).find('.title>a').attr('title'); + const href = $(ele).find('.title>a').attr('href'); + if (title && href) { + links.push({ + title, + href: this.DOMAIN + href, + index, + }); + } + }); + return links; + } +} diff --git a/app/service/spider/youzan/index.ts b/app/service/spider/youzan/index.ts new file mode 100644 index 0000000..f4473e9 --- /dev/null +++ b/app/service/spider/youzan/index.ts @@ -0,0 +1,40 @@ +import BaseService from '@/service/baseService'; +import * as cheerio from 'cheerio'; + +/** + * 有赞技术页面数据爬取 + * https://tech.youzan.com/ + */ +export default class Index extends BaseService { + DOMAIN = 'https://tech.youzan.com'; + /** + * 获取资讯列表 + */ + public getLinks(html): Link[] { + const $ = cheerio.load(html); + const links = this.getHtmlContent($); + return links; + + } + /** + * 解析html结构 + * @param $ cheerio对象 + */ + getHtmlContent($): Link[] { + const links: Link[] = []; + $('.post-list .post').each((index, ele) => { + const title = $(ele).find('.post-title>a').eq(0) + .text(); + const href = $(ele).find('.post-title>a').eq(0) + .attr('href'); + if (title && href) { + links.push({ + title, + href: this.DOMAIN + href, + index, + }); + } + }); + return links; + } +} diff --git a/app/service/spider/zhihu/index.ts b/app/service/spider/zhihu/index.ts new file mode 100644 index 0000000..98ca20f --- /dev/null +++ b/app/service/spider/zhihu/index.ts @@ -0,0 +1,38 @@ +import BaseService from '@/service/baseService'; +import * as cheerio from 'cheerio'; + +/** + * 知乎页面数据爬取 + * @type 前端 https://zhuanlan.zhihu.com/eggjs + */ +export default class Index extends BaseService { + DOMAIN = 'https:'; + /** + * 获取资讯列表 + */ + public getLinks(html): Link[] { + const $ = cheerio.load(html); + const links = this.getHtmlContent($); + return links; + + } + /** + * 解析html结构 + * @param $ cheerio对象 + */ + getHtmlContent($): Link[] { + const links: Link[] = []; + $('.Card .ArticleItem').each((index, ele) => { + const title = $(ele).find('.ContentItem-title a').text(); + const href = $(ele).find('.ContentItem-title a').attr('href'); + if (title && href) { + links.push({ + title, + href: this.DOMAIN + href, + index, + }); + } + }); + return links; + } +} diff --git a/app/typings/appManager.d.ts b/app/typings/appManager.d.ts new file mode 100644 index 0000000..72bbba9 --- /dev/null +++ b/app/typings/appManager.d.ts @@ -0,0 +1,6 @@ +interface AppManagerCreateOptions { + name: string; + desc: string; + bizTypeId: string; + tplId: string; +} \ No newline at end of file diff --git a/app/typings/index.d.ts b/app/typings/index.d.ts new file mode 100644 index 0000000..8966772 --- /dev/null +++ b/app/typings/index.d.ts @@ -0,0 +1,17 @@ +interface Link { + title: string; + href: string; + index: string; +} + +declare module 'egg' { + export interface Application { + [key: string]: any; + } +} + +interface CURLRes { + headers: any; + status?: number; + data: T; +} \ No newline at end of file diff --git a/app/typings/puppeteer.d.ts b/app/typings/puppeteer.d.ts new file mode 100644 index 0000000..583e98e --- /dev/null +++ b/app/typings/puppeteer.d.ts @@ -0,0 +1,4 @@ +interface PuppeteerRes { + success: boolean; + data: string; +} \ No newline at end of file diff --git a/app/typings/weixin.d.ts b/app/typings/weixin.d.ts new file mode 100644 index 0000000..efcd7ee --- /dev/null +++ b/app/typings/weixin.d.ts @@ -0,0 +1,37 @@ +/** + * 微信机器人响应定义 + */ +interface Headers { + server: string; + date: string; + "content-type": string; + "content-length": string; + connection: string; + "error-code": string; + "error-msg": string; +} + +interface Res { + status: number; + statusCode: number; + statusMessage: string; + headers: Headers; + size: number; + aborted: boolean; + rt: number; + keepAliveSocket: boolean; + data: object; + requestUrls: string[]; + timing?: any; + remoteAddress: string; + remotePort: number; + socketHandledRequests: number; + socketHandledResponses: number; +} + +interface RootObject { + data: object; + status: number; + headers: Headers; + res: Res; +} diff --git a/config/config.default.ts b/config/config.default.ts new file mode 100644 index 0000000..c212997 --- /dev/null +++ b/config/config.default.ts @@ -0,0 +1,49 @@ +import { EggAppConfig, EggAppInfo, PowerPartial } from 'egg'; +import * as path from 'path'; + +const port = 9001; +export default (appInfo: EggAppInfo) => { + const config = {} as PowerPartial; + + // override config from framework / plugin + // use for cookie sign key, should change to your own and keep security + config.keys = appInfo.name + '_1591931412408_4711'; + + // add your egg config in here + config.middleware = [ 'catchError', 'httpLogs']; + + // 请在这里修改自己项目运行的端口 + config.cluster = { + listen: { + port, + }, + nginxCode: 200, + }; + + // add your special config in here + const bizConfig = { + root: path.resolve(__dirname, '../'), + }; + + // 关闭csrf防控https://eggjs.org/zh-cn/core/security.html + config.security = { + csrf: { + enable: false, + }, + xframe: { + enable: false, + }, + domainWhiteList: [ '*' ], + }; + + config.cors = { + origin: '*', + allowMethods: 'GET,HEAD,PUT,POST,DELETE,PATCH', + }; + + // the return config will combines to EggAppConfig + return { + ...config, + ...bizConfig, + }; +}; diff --git a/config/plugin.ts b/config/plugin.ts new file mode 100644 index 0000000..7d7a84f --- /dev/null +++ b/config/plugin.ts @@ -0,0 +1,11 @@ +import { EggPlugin } from 'egg'; +import 'tsconfig-paths/register'; + +const plugin: EggPlugin = { + cors: { + enable: true, + package: 'egg-cors', + }, +}; + +export default plugin; diff --git a/package.json b/package.json new file mode 100644 index 0000000..67a025d --- /dev/null +++ b/package.json @@ -0,0 +1,63 @@ +{ + "name": "morning-paper-sever", + "version": "1.0.0", + "description": "bigo前端早报系统，包括但不限于掘金、知乎、infoq等咨询站点内容推送", + "author": "yeqiaofeng@bigo.sg", + "private": true, + "egg": { + "typescript": true, + "declarations": true + }, + "scripts": { + "start": "egg-scripts start --daemon --title=morning-paper-sever", + "stop": "egg-scripts stop --title=morning-paper-sever", + "dev": "egg-bin dev", + "debug": "egg-bin debug", + "fix": "npm run lint -- --fix", + "test": "egg-bin test", + "cov": "egg-bin cov", + "tsc": "ets && tsc -p tsconfig.json", + "ci": "npm run lint && npm run cov && npm run tsc", + "autod": "autod", + "lint": "eslint . --ext .ts", + "clean": "ets clean" + }, + "dependencies": { + "puppeteer": "3.3.0", + "cheerio": "^1.0.0-rc.3", + "egg": "^2.6.1", + "egg-cors": "^2.2.3", + "egg-scripts": "^2.6.0", + "fs-extra": "^9.0.1", + "lodash": "^4.17.15", + "moment": "^2.24.0", + "uuid": "^3.3.3" + }, + "devDependencies": { + "@types/mocha": "^2.2.40", + "@types/node": "^7.0.12", + "@types/supertest": "^2.0.0", + "autod": "^3.0.1", + "autod-egg": "^1.1.0", + "egg-bin": "^4.11.0", + "egg-mock": "^3.16.0", + "eslint": "^6.7.2", + "eslint-config-egg": "^8.0.0", + "tslib": "^1.9.0", + "typescript": "^3.0.0" + }, + "engines": { + "node": ">=8.0.0" + }, + "ci": { + "version": "8" + }, + "repository": { + "type": "git", + "url": "" + }, + "eslintIgnore": [ + "coverage" + ], + "license": "MIT" +} diff --git a/test/app/controller/home.test.ts b/test/app/controller/home.test.ts new file mode 100644 index 0000000..e0a816d --- /dev/null +++ b/test/app/controller/home.test.ts @@ -0,0 +1,8 @@ +import bigoMock from './../../global'; + +describe('test/app/controller/home.test.ts', () => { + it('should GET /', async () => { + const result = await bigoMock.app.httpRequest().get('/').expect(200); + bigoMock.assert(result.text === 'hello world'); + }); +}); diff --git a/test/app/controller/morningPaper.test.ts b/test/app/controller/morningPaper.test.ts new file mode 100644 index 0000000..6510eb3 --- /dev/null +++ b/test/app/controller/morningPaper.test.ts @@ -0,0 +1,17 @@ +import bigoMock from './../global'; + +// TESTS=test/app/controller/morningPaper.test.ts npm test +describe('发送微信机器人消息单测', () => { + it('入参正常，发送消息成功', async () => { + bigoMock.app.mockService('sendMsg.weixin', 'index', () => { + return true; + }); + const result = await bigoMock.app.httpRequest().get('/sendMsg2Weixin?content=hello,world!&bizType=frontend-test'); + bigoMock.assert(result.body.success === true); + }); + + it('入参content为空，返回error params', async () => { + const result = await bigoMock.app.httpRequest().get('/sendMsg2Weixin?content=&bizType=frontend-test'); + bigoMock.assert(result.body.success === false); + }); +}); diff --git a/test/app/service/morningPaper/index.test.ts b/test/app/service/morningPaper/index.test.ts new file mode 100644 index 0000000..5829798 --- /dev/null +++ b/test/app/service/morningPaper/index.test.ts @@ -0,0 +1,6 @@ +// import bigoMock from './../../../global'; + +// // TESTS=test/app/service/morningPaper/index.test.ts npm test +// describe('早报单测用例', () => { + +// }); diff --git a/test/app/service/sendMsg/weixin.test.ts b/test/app/service/sendMsg/weixin.test.ts new file mode 100644 index 0000000..2cfd169 --- /dev/null +++ b/test/app/service/sendMsg/weixin.test.ts @@ -0,0 +1,10 @@ +// import bigoMock from './../../../global'; + +// // TESTS=test/app/service/sendMsg/weixin.test.ts npm test +// describe('发送微信机器人消息单测用例', () => { + +// it('根据业务类型进行html格式清洗 ==> 获取frontend token成功', async () => { + +// }); + +// }); diff --git a/test/app/service/spider/githubIssues/index.test.ts b/test/app/service/spider/githubIssues/index.test.ts new file mode 100644 index 0000000..74b8b5d --- /dev/null +++ b/test/app/service/spider/githubIssues/index.test.ts @@ -0,0 +1,13 @@ +import bigoMock from './../../../../global'; + +// TESTS=test/app/service/spider/githubIssues/index.test.ts npm test +describe('githubIssues爬虫单测用例', () => { + + it('解析html结构成功', async () => { + const html = bigoMock.getMockData('githubIssues', 'html_mock.js'); + const result = bigoMock.ctx.service.spider.githubIssues.index.getLinks(html); + bigoMock.assert(result[0].title === 'nginx反向代理实现线上调试'); + bigoMock.assert(result[0].href === 'https://github.com/bigo-frontend/blog/issues/3'); + }); + +}); diff --git a/test/app/service/spider/infoq/index.test.ts b/test/app/service/spider/infoq/index.test.ts new file mode 100644 index 0000000..4679c10 --- /dev/null +++ b/test/app/service/spider/infoq/index.test.ts @@ -0,0 +1,12 @@ +import bigoMock from './../../../../global'; + +// TESTS=test/app/service/spider/infoq/index.test.ts npm test +describe('infoq爬虫单测用例', () => { + + it('解析html结构成功', async () => { + const html = bigoMock.getMockData('infoq', 'html_mock.js'); + const result = bigoMock.ctx.service.spider.infoq.index.getLinks(html); + bigoMock.assert(result[0].title === '谷歌正式发布Android11Beta版，带来多项重磅更新！'); + }); + +}); diff --git a/test/app/service/spider/juejin/index.test.ts b/test/app/service/spider/juejin/index.test.ts new file mode 100644 index 0000000..f1eee11 --- /dev/null +++ b/test/app/service/spider/juejin/index.test.ts @@ -0,0 +1,13 @@ +import bigoMock from './../../../../global'; + +// TESTS=test/app/service/spider/juejin/index.test.ts npm test +describe('掘金爬虫单测用例', () => { + + it('解析html结构成功', async () => { + const html = bigoMock.getMockData('juejin', 'html_mock.js'); + const result = bigoMock.ctx.service.spider.juejin.index.getLinks(html); + console.log(result); + bigoMock.assert(result[0].title === '一个合格的初级前端工程师需要掌握的模块笔记'); + }); + +}); diff --git a/test/app/service/spider/leetcode/index.test.ts b/test/app/service/spider/leetcode/index.test.ts new file mode 100644 index 0000000..83a7bd1 --- /dev/null +++ b/test/app/service/spider/leetcode/index.test.ts @@ -0,0 +1,11 @@ +import bigoMock from './../../../../global'; + +// TESTS=test/app/service/spider/leetcode/index.test.ts npm test +describe('leetcode爬虫单测用例', () => { + + it('获取每日一题链接成功', async () => { + const result = await bigoMock.ctx.service.spider.leetcode.index.getRandomOneQuestionLink(); + console.log(result); + }); + +}); diff --git a/test/app/service/spider/segmentfault/index.test.ts b/test/app/service/spider/segmentfault/index.test.ts new file mode 100644 index 0000000..9ce788d --- /dev/null +++ b/test/app/service/spider/segmentfault/index.test.ts @@ -0,0 +1,13 @@ +import bigoMock from './../../../../global'; + +// TESTS=test/app/service/spider/segmentfault/index.test.ts npm test +describe('segmentfault爬虫单测用例', () => { + + it('解析html结构成功', async () => { + const html = bigoMock.getMockData('segmentfault', 'html_mock.js'); + const result = bigoMock.ctx.service.spider.segmentfault.index.getLinks(html); + bigoMock.assert(result[0].title === '让你眼前一亮的 10 大 TS 项目'); + bigoMock.assert(result[0].href === 'https://segmentfault.com/a/1190000022913729'); + }); + +}); diff --git a/test/app/service/spider/tencenttmq/index.test.ts b/test/app/service/spider/tencenttmq/index.test.ts new file mode 100644 index 0000000..98384ef --- /dev/null +++ b/test/app/service/spider/tencenttmq/index.test.ts @@ -0,0 +1,13 @@ +import bigoMock from './../../../../global'; + +// TESTS=test/app/service/spider/tencenttmq/index.test.ts npm test +describe('tencenttmq爬虫单测用例', () => { + + it('解析html结构成功', async () => { + const html = bigoMock.getMockData('tencenttmq', 'html_mock.js'); + const result = bigoMock.ctx.service.spider.tencenttmq.index.getLinks(html); + console.log(result); + bigoMock.assert(result[0].title === '基于git的测试用例管理方案'); + }); + +}); diff --git a/test/app/service/spider/testerhome/index.test.ts b/test/app/service/spider/testerhome/index.test.ts new file mode 100644 index 0000000..63f67a0 --- /dev/null +++ b/test/app/service/spider/testerhome/index.test.ts @@ -0,0 +1,13 @@ +import bigoMock from './../../../../global'; + +// TESTS=test/app/service/spider/testerhome/index.test.ts npm test +describe('testerhome爬虫单测用例', () => { + + it('解析html结构成功', async () => { + const html = bigoMock.getMockData('testerhome', 'html_mock.js'); + const result = bigoMock.ctx.service.spider.testerhome.index.getLinks(html); + console.log(result); + bigoMock.assert(result[0].title === '怎么能接听来电？获取不到不到元素'); + }); + +}); diff --git a/test/app/service/spider/zhihu/index.test.ts b/test/app/service/spider/zhihu/index.test.ts new file mode 100644 index 0000000..d0a4380 --- /dev/null +++ b/test/app/service/spider/zhihu/index.test.ts @@ -0,0 +1,13 @@ +import bigoMock from './../../../../global'; + +// TESTS=test/app/service/spider/zhihu/index.test.ts npm test +describe('zhihu爬虫单测用例', () => { + + it('解析html结构成功', async () => { + const html = bigoMock.getMockData('zhihu', 'html_mock.js'); + const result = bigoMock.ctx.service.spider.zhihu.index.getLinks(html); + bigoMock.assert(result[0].title === 'amis在bigo人工智能训练平台落地实践'); + bigoMock.assert(result[0].href === 'https://zhuanlan.zhihu.com/p/348810960'); + }); + +}); diff --git a/test/global.ts b/test/global.ts new file mode 100644 index 0000000..da43a8b --- /dev/null +++ b/test/global.ts @@ -0,0 +1,63 @@ +import * as assert from 'assert'; +import { app } from 'egg-mock/bootstrap'; +import * as path from 'path'; +import * as fs from 'fs'; + +class BigoMock { + app; + ctx; + assert = assert; // 挂载assert + async before() { + console.log('hello bigoMock'); + this.app = app; + await app.ready(); + this.ctx = app.mockContext(); + return; + } + /** + * 模拟 Service 方法返回值 + * @param service 方法类 + * @param methodName 方法名 + * @param fileName 文件名（状态） + */ + mockServiceByData(service, methodName, fileName) { + let serviceClassName = ''; + if (typeof service === 'string') { + const arr = service.split('.'); + serviceClassName = arr[arr.length - 1]; + } + const servicePaths = path.join(serviceClassName, methodName); + this.app.mockService(service, methodName, () => { + return this.getMockData(servicePaths, fileName); + }); + } + /** + * 获取本地test/mockData的mock数据 + * @param folder 文件夹 + * @param fileName 文件名 + */ + getMockData(folder, fileName) { + return this.getJson(folder, fileName); + } + /** + * 约定从test/mockData/service/methodName/fileName.json获取数据 + * @param folder 文件夹 + * @param fileName 文件名 + */ + getJson(folder, fileName) { + // 默认追加json后缀 + console.log(path.extname(fileName)); + if (!path.extname(fileName)) { + fileName = fileName + '.json'; + } + const fullPaths = path.join(process.cwd(), 'test/mockData', folder, fileName); + return fs.readFileSync(fullPaths, 'utf-8'); + } +} + +const bigoMock = new BigoMock(); +(async function() { + await bigoMock.before(); +})(); + +export default bigoMock; diff --git a/test/mockData/githubIssues/html_mock.js b/test/mockData/githubIssues/html_mock.js new file mode 100644 index 0000000..9899f7a --- /dev/null +++ b/test/mockData/githubIssues/html_mock.js @@ -0,0 +1,1482 @@ +export const html = ` + + + + + + + + + + + + + + + + + + + + + + + + + + +Issues · bigo-frontend/blog + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
+ Skip to content + + + + + + + + + +
+ +
+ + + + + +
+ + + +
+ + + + + + + + + +
+
+
+ + + + + + + + + + + + + + +
+ +
+ +
+

+ + +/ + +blog + + +

+ + +
+ +
    + +
  • +
    + +
    + + + Unwatch + + + +
    + Notifications +
    +
    + + + + + + + +
    +     +
    + +
    +
    • + +
  • +
    +
    + + +
    +
    + + +
    + +
    • + +
  • +
    +
    + + + Fork + + + +
    + +

    Fork blog

    +
    + +
    + + +

    If this dialog fails to load, you can visit the fork page directly.

    +     +
    + +     +
    +
    + + +
    • +
+ +
+ + +
+ + +
+
+ + + +
+ + +
+
+
+
+ +
+
+

+ Label issues and pull requests for new contributors +

+

+ Now, GitHub will help potential first-time contributors + + discover issues + labeled with + good first issue +

+
+
+
+
+ + + + +
+ +
+ + + + + + + New issue + New + +
+
+ + + +
+ +
+ + + 3 Open + + + + + 0 Closed + +
+ +
+ +
+
+
+ +
+ +
+
+ +
+ + + 3 Open + + + + + 0 Closed + +
+ +
+ +
+ +
+ + Author + + + +
+
+ Filter by author + +
+
+ +
+ + + +
+ +
+ + +
+ +Label + + + +
+
+ Filter by label + +
+
+ +
+ + + +
+ Use ⌥ + click/return to exclude labels. +
+
+ +
+ + + +
+ +Projects + + + +
+
+ Filter by project + +
+ + + +
+ +
+ + +
+ +Milestones + + + +
+
+ Filter by milestone + +
+
+ +
+ + + +
+ +
+ + + +
+ +Assignee + + + +
+
+ Filter by who’s assigned + +
+
+ +
+ + + +
+ +
+ + +
+ +Sort + + + +
+
+ Sort by + +
+ +
+ + + Newest + + + + Oldest + + + + Most commented + + + + Least commented + + + + Recently updated + + + + Least recently updated + + +
Most reactions
+
+ + 👍 + + + 👎 + + + 😄 + + + 🎉 + + + 😕 + + + ❤️ + + + 🚀 + + + 👀 + +
+
+
+ +
+ +
+
+ +
+ + 0 selected + + +
+ + +
+ +Mark as + + +
+
+ Actions +
+
+
 +
+ +
+ +Label + + +
+
+ Apply labels +
+ +
+
+ +
+
+ +
+
 +
+ +
+ +Milestone + + +
+
+ Set milestone +
+ +
+
+ +
+
+ +
+
 +
+ +
+ +Assign + + +
+
+ Assign someone +
+
+
+ +
+
+ +
+
 +
+ + +
+
+
+ +
+
+ +
+
+ + + +
+ + + +
+ + +
+ + nginx反向代理实现线上调试 +
+ + #3 + opened 7 days ago by + yeyeye0525 + + + + + + + + + +
+
+ +
+ + + + + + +
+
+
+
+ + + + +
+ +
+
+ + +
+
+ + + +
+ + + +
+ + +
+ + gif首帧图片截取 +
+ + #2 + opened 8 days ago by + yeyeye0525 + + + + + + + + + +
+
+ +
+ + + + + + +
+
+
+
+ + + + +
+ +
+
+ + +
+
+ + + +
+ + + +
+ + +
+ + 关于bigo前端团队 +
+ + #1 + opened 8 days ago by + yeyeye0525 + + + + + + + + + +
+
+ +
+ + + + + + +
+
+
+
+ + + + +
+ +
+
+ +
+
+
+ +
+ +
+ +
+ +
+ +
+ +ProTip! +Exclude your own issues with -author:yeyeye0525. +
+ +
+ + +
+
+ + + + + + + + + + + + +
+
+ +
+ + + + + + +
+ + +You can’t perform that action at this time. +
+ + + + + + + + + + + + + +
`; diff --git a/test/mockData/infoq/html_mock.js b/test/mockData/infoq/html_mock.js new file mode 100644 index 0000000..1bcd5d0 --- /dev/null +++ b/test/mockData/infoq/html_mock.js @@ -0,0 +1,1662 @@ +export const html = ` + + + + + + + + + + + + + + + + + + + + 前端_前端开发_web前端-InfoQ + + + + + + + + + + + + + + + + + + + + + + + + + + + +
+
+ +
+ +
+
+ +
+ +
+
+ + +
+
+
+ +
+ 写作平台 +
+ +
+
+
+
+
+ +
+
+
+ +
+
+
+
+

前端

+
+ 关注 +
+
+
+ 收录了前端频道下的 1404 篇内容 +
+ 在新陈代谢旺盛的前端领域，帮助开发者把握前端未来的方向，关注科技企业的前端实践，在这里看到前端的远端。 +
+
+
+ + 社区 + 小程序 + 知乎 +
+
+
+
+
+
    +
  • 全部
    • +
  • 文章
    • +
  • 视频
    • +
  • 话题
    • +
  • 迷你书
    • +
+
+
+
+
+
+
+
+ + +
+
+ 谷歌正式发布Android 11 Beta版，带来多项重磅更新！ + +
+
+
+ 谷歌正式发布 Android 11 Beta 版，带来多项重磅更新！
+
+

作者 : Android开发者博客 译者: 核子可乐 策划: 小智 +

+
+ 16 分钟前 +
+
+

谷歌安卓开发者博客正式发布了 Android 11 Beta 版，本次版本更新着力强调三大主题：人、控制与隐私。谷歌还在 Kotlin 协同程序中为开发者提供更新，旨在完善 Jetpack Compose 工具包、加快 Android Studio 中的构建速度，并为 Play Console 带来全新的使用体验。谷歌表示，这是一个开发者友好的版本，带来了现代 Android 开发的新体验。

+
+
+ + 移动 + 前端 + GMTC + Android +
+
+
+
+
+ +
+ + +
+
+ Serverless国内发展的纵向观察 + +
+
+
+ Serverless 国内发展的纵向观察
+
+

作者 : 佘磊 + + + + +

+
+ 37 分钟前 +
+
+

云计算正在各领域持续深化其影响力，同样，各领域下日益变化的需求，也在倒逼云计算不断进行自我优化。

+
+
+ + 前端 + 架构 + 云原生 + 云计算 + Serverless + 腾讯云 +
+
+
+
+
+ +
+ + +
+
+ 数据仓库系统建设中的工作流及优化 + +
+
+
+ 数据仓库系统建设中的工作流及优化
+
+

作者 : DataFunTalk + + + + +

+
+ 57 分钟前 +
+
+

本文提出一套适用于数据仓库建设的 workflow 优化方案。

+
+
+ + 大数据 + 架构 + 数据库 + 前端 + 阿里巴巴 +
+
+
+
+
+ +
+ + +
+
+ 日活超过3亿的快手是怎么进行性能优化的？ + +
+
+
+ 日活超过 3 亿的快手是怎么进行性能优化的？
+
+

作者 : 冉叶兰 + + + + +

+
+ 4 小时前 +
+
+

随着快手 App 功能越来越多，App 的性能也面临着严峻的挑战，诸如 App 越来越卡、内存占用越来越大、包大小不断增加等各类问题都严重影响着用户体验。

+
+
+ + 前端 + GMTC + 移动 + APM + 性能调优 + 最佳实践 +
+
+
+
+
+ +
+ + +
+
+ JavaScript开发人员更喜欢Deno的五大原因 + +
+
+
+ JavaScript 开发人员更喜欢 Deno 的五大原因
+
+

作者 : Dan Halperin 译者: 王强 策划: 张晓楠 +

+
+ 6 月 11 日 +
+
+

深入了解过 Deno 的各项优点之后，我意识到了 Deno 正是 2020 年的今天，后端 Javascript 开发人员所需要的东西。

+
+
+ + 前端 + 语言 & 开发 + 文化 & 方法 +
+
+
+
+
+ +
+ + +
+
+ 移动前端开发和 Web 前端开发的区别是什么？ + +
+
+
+ 移动前端开发和 Web 前端开发的区别是什么？
+
+

作者 : 卓凌 + + + + +

+
+ 6 月 11 日 +
+
+

本文介绍移动和 Web 前端开发的区别。

+
+
+ + 移动 + 前端 + 架构 + 安全 + 语言 & 开发 + 阿里巴巴 +
+
+
+
+
+ +
+ + +
+
+ 从零搭建一个Electron应用 + +
+
+
+ 从零搭建一个 Electron 应用
+
+

+
+
+ 用户头像 + +
+
+ 局外人 +

+
+ 6 月 9 日 +
+
+

Electron 是一个优秀的跨平台桌面应用程序开源库，目前接触 Electron 的开发者也越来越多。但是笔者发现，目前社区里缺少对初学者足够友好的入门教程来帮助初学者用 Electron 搭建一个完整的开发框架。

+
+
+ + 语言 & 开发 + 前端 + JavaScript +
+
+
+
+
+ +
+ + +
+
+ 如何使用深度学习识别 UI 界面组件？ + +
+
+
+ 如何使用深度学习识别 UI 界面组件？
+
+

作者 : 常艳芳（苏川） + + + + +

+
+ 6 月 11 日 +
+
+

本文介绍使用机器学习的方式来识别 UI 界面元素的完整流程。

+
+
+ + 前端 + AI + 测试 + 移动 + 硬件 + 开源 + 深度学习 + 机器学习 + 阿里巴巴 + 阿里云 +
+
+
+
+
+ +
+ + +
+
+ 27岁程序员转职赏金猎人：一个漏洞10万美元，比工资香多了 + +
+
+
+ 27 岁程序员转职赏金猎人：一个漏洞 10 万美元，比工资香多了
+
+

作者 : TinaSambodhi + + + + +

+
+ 6 月 10 日 +
+
+

Bug 赏金的平均收入是软件工程师平均工资的 2.7 倍，我们鼓励你用业余时间兼职。

+
+
+ + 语言 & 开发 + 开源 + 测试 + 安全 + 运维 + 产品 + 前端 + 社区 +
+
+
+
+
+ +
+ + +
+ +
+
+ 论一个前端工程师的自我修养
+
+

+
+
+ 用户头像 + +
+
+ 萧文翰 +

+
+ 6 月 10 日 +
+
+

闲谈前端开发者的那些事

+
+
+ + 前端 + 技术管理 + 最佳实践 +
+
+
+
+
+ +
+ + +
+
+ 携程基于Mirror集群的自助性能测试实践 + +
+
+
+ 携程基于 Mirror 集群的自助性能测试实践
+
+

作者 : Tony Liu + + + + +

+
+ 6 月 10 日 +
+
+

本文介绍怎样高效地进行线上应用的压测。

+
+
+ + 测试 + 容器 + 架构 + 前端 + 安全 + 最佳实践 +
+
+
+
+
+ +
+ + +
+
+ 10个实用的JS技巧 + +
+
+
+ 10 个实用的 JS 技巧
+
+

作者 : Zander Shirley 译者: 王强 策划: 小智 +

+
+ 6 月 9 日 +
+
+

JavaScript 总是能给人带来惊喜。

+
+
+ + 前端 + GMTC + JavaScript + 方法论 +
+
+
+
+
+ +
+ + +
+
+ 前端福音：为什么使用React和SVG开发图形UI是天作之合？ + +
+
+
+ 前端福音：为什么使用 React 和 SVG 开发图形 UI 是天作之合？
+
+

作者 : Steve Liles 译者: 王强 策划: 小智 +

+
+ 6 月 9 日 +
+
+

React 和 SVG 是一种强大的组合：声明式 UI 组件库与声明式图形语言堪称绝配，是前端开发人员的福音。

+
+
+ + 前端 + GMTC + 方法论 + 最佳实践 +
+
+
+
+
+ +
+ + +
+
+ 美团MySQL数据库巡检系统的设计与应用 + +
+
+
+ 美团 MySQL 数据库巡检系统的设计与应用
+
+

作者 : 王琦 + + + + +

+
+ 6 月 8 日 +
+
+

本文介绍美团 MySQL 数据库巡检系统的框架和巡检内容。

+
+
+ + 数据库 + 运维 + 前端 + 架构 + 硬件 + 测试 + MySQL +
+
+
+
+
+ +
+ + +
+
+ 何时使用TypeScript：常见场景的详细介绍 + +
+
+
+ 何时使用 TypeScript：常见场景的详细介绍
+
+

作者 : Khalil Stemmler 译者: 王强 策划: 小智 +

+
+ 6 月 8 日 +
+
+

在这篇指南中，我们会探讨什么情况下绝对应该使用 TypeScript 这种类型严格的编程语言，又在什么情况下应该继续使用原生的 JavaScript。

+
+
+ + 前端 + GMTC + JavaScript + 方法论 +
+
+
+
+
+ +
+ + +
+
+ 腾讯课堂小程序的开发实践 + +
+
+
+ 腾讯课堂小程序的开发实践
+
+

作者 : 陈天忱 + + + + +

+
+ 6 月 5 日 +
+
+

本文介绍腾讯课堂小程序的开发实践

+
+
+ + 前端 + 运维 + 数据库 + 小程序 + 腾讯 +
+
+
+
+
+ +
+ + +
+
+ 浅析小程序云原生数据库的设计与应用 + +
+
+
+ 浅析小程序云原生数据库的设计与应用
+
+

作者 : 杨哲刘翔王伟嘉 + + + + +

+
+ 6 月 5 日 +
+
+

本文介绍腾讯如何为云开发构建一个安全易用、高性能和高可用的 nosql 文档型数据库。

+
+
+ + 数据库 + 运维 + 前端 + 架构 + 安全 + 小程序 + 腾讯 + 腾讯云 +
+
+
+
+
+ +
+ + +
+
+ eBPF Internal：Instructions and Runtime + +
+
+
+ eBPF Internal：Instructions and Runtime
+
+

作者 : 阿里云操作系统团队 + + + + +

+
+ 6 月 5 日 +
+
+

本文介绍 eBPF 是如何具备堪比原生的执行效率和动态扩展当前 Linux 内核的能力。

+
+
+ + 安全 + 架构 + 开源 + 测试 + 前端 + Linux +
+
+
+
+
+ +
+ + +
+
+ 爱奇艺全链路自动化监控平台的探索与实践 + +
+
+
+ 爱奇艺全链路自动化监控平台的探索与实践
+
+

作者 : 爱奇艺技术产品团队 + + + + +

+
+ 6 月 5 日 +
+
+

本文介绍爱奇艺技术产品团队研发的全链路自动化监控平台。

+
+
+ + 开源 + 架构 + 前端 + 数据库 + 大数据 + 移动 + 最佳实践 +
+
+
+
+
+ +
+ + +
+
+ 我们现在正处于JavaScript消亡的边缘？ + +
+
+
+ 我们现在正处于 JavaScript 消亡的边缘？
+
+

作者 : shawn swyx wang 译者: 许学文 策划: 蔡芳芳 +

+
+ 6 月 4 日 +
+
+

每 10 年 JavaScript 都会发生一次改朝换代式的变革。

+
+
+ + 前端 + 语言 & 开发 + GMTC + JavaScript +
+
+
+
+
+ +
+ + +
+
+ 大厂经验：一套Web自动曝光埋点技术方案 + +
+
+
+ 大厂经验：一套 Web 自动曝光埋点技术方案
+
+

+
+
+ 用户头像 + +
+
+ DeeperMan +

+
+ 6 月 4 日 +
+
+

介绍一套 Web 自动曝光埋点技术方案

+
+
+ + 前端 + 语言 & 开发 + Web框架 +
+
+
+
+
+ +
+ + +
+
+ 可视化辅助编程在贝壳找房的探索与实践 + +
+
+
+ 可视化辅助编程在贝壳找房的探索与实践
+
+

作者 : 钱力 + + + + +

+
+ 6 月 4 日 +
+
+

本文介绍可视化辅助编程在贝壳找房的探索与实践。

+
+
+ + 前端 + 架构 + 数据库 + 开源 + 最佳实践 +
+
+
+
+
+ +
+ + +
+
+ 西瓜视频落地 Flutter，给你的避坑指南 + +
+
+
+ 西瓜视频落地 Flutter，给你的避坑指南
+
+

作者 : 冉叶兰 + + + + +

+
+ 6 月 4 日 +
+
+

在近百人的研发团队落地这样一个“颠覆性”的技术，西瓜视频在落地 Flutter 的过程中有哪些踩坑经验？Flutter 未来有会有怎样的发展？

+
+
+ + 语言 & 开发 + 前端 + GMTC + Web框架 + 技术选型 + 最佳实践 +
+
+
+
+
+ +
+ + +
+
+ React之Context源码分析与实践 + +
+
+
+ React 之 Context 源码分析与实践
+
+

+
+
+ 用户头像 + +
+
+ 费马 +

+
+ 6 月 3 日 +
+
+

Context 提供了一个无需为每层组件手动添加 props，就能在组件树间进行数据传递的方法。

+
+
+ + 前端 + 移动 + Web框架 +
+
+
+
+
+ +
+
+ + +
+
+
+ +
+
+
+
+

推荐作者

+
+
    +
  • +
    +
    + 用户头像 + +
    +
    +
    +
    +
    + 王莹 +
    +
    + 关注 +
    +
    +

    InfoQ编辑

    +
    • +
  • +
    +
    + 用户头像 + +
    +
    +
    +
    +
    + 孟夕 +
    +
    + 关注 +
    +
    +

    极客邦会议主编

    +
    • +
  • +
    +
    + 用户头像 + +
    +
    +
    +
    +
    + 王文婧 +
    +
    + 关注 +
    +
    +

    InfoQ编辑

    +
    • +
+
+
+
+

大厂实战分享

+ 查看更多 +
+
    +
    +
    + +
    +
    + 美团点评下一代服务治理系统 OCTO-Mesh 的探索与实践 +
    +
    +
    +

    郭继东 | 美团点评 技术专家

    +
    +
    + 立即下载 +
    +
+
+
+
+

推荐频道

+ 查看更多 +
+
    +
  • +
    + +
    +
    +

    社区

    +

    共 816 篇内容

    +
    • +
  • +
    + +
    +
    +

    小程序

    +

    共 91 篇内容

    +
    • +
  • +
    + +
    +
    +

    知乎

    +

    共 21 篇内容

    +
    • +
+
+ +
+
+ +
+
+ +
+ Copyright © 2020, Geekbang Technology Ltd. All rights reserved. 极客邦控股（北京）有限公司 | +  京 ICP 备 16027448 号 - 5 + 京公网安备 京公网安备 11010502039052号 +
+
+
+
+ + +
+ 前端_前端开发_web前端-InfoQ + + + +
+ +
+
+ +
+ + +`; diff --git a/test/mockData/juejin/html_mock.js b/test/mockData/juejin/html_mock.js new file mode 100644 index 0000000..3ffec94 --- /dev/null +++ b/test/mockData/juejin/html_mock.js @@ -0,0 +1,1684 @@ +export const html = ` + + 前端-掘金 + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
+
+
+
+ +
+
+ + +
+ + +
+ +
+ + +
+ + +
+ +
+ +
+
+
+
+ + +
+
+
+
+
+ +
+ +
+
+
+
+ +
+
+ +
+
+
+ +
+
+
+
+
+ +
+
+
+ + + + + + + + + +
+
+
+ +`; diff --git a/test/mockData/segmentfault/html_mock.js b/test/mockData/segmentfault/html_mock.js new file mode 100644 index 0000000..2bd9f3e --- /dev/null +++ b/test/mockData/segmentfault/html_mock.js @@ -0,0 +1,2327 @@ +export const html = ` + + + + + + + + + + (1) 前端 - SegmentFault 思否 + + + + + + + + + + + + + + + + + + + + + + +
+ +
+
+ +
+
+
+
+ 首页 + 问答 + 专栏 + 课程 +
+
+ + +
+
+
+
+ +
+
+ +
+
+
+
+ 为你推荐 + 近期热门 + 最新内容 + 技术频道 +
+ + +
+
+
+
+ +
+ +
+
+
前端
+
+ +
+
+
+ + +
+

让你眼前一亮的 10 大 TS 项目

+
+
+ TypeScript 是一种由微软开发的自由和开源的编程语言。它是 JavaScript 的一个超集，而且本质上向这个语言添加了可选的静态类型和基于类的面向对象编程。 +
+
+ 4·赞 + + 阿宝哥·今天 13:04 +
+
+
+
+
+ + +
+

比较 JavaScript 对象的四种方式

+
+
+ 作者：Dmitri Pavlutin翻译：疯狂的技术宅 原文：[链接] 未经允许严禁转载 比较 JavaScript 中的原始值非常简单。只需使用任何一种可用的相等运算符即可，例如严格相等运算符： {代码...} 但是对象却有结构化数据... +
+
+ 4·赞 + + 疯狂的技术宅·今天 12:59 +
+
+
+
+
+ + +
+

这个前端竟然用动态规划写瀑布流布局？给我打死他！

+
+
+ 前言 瀑布流布局是前端领域中一个很常见的需求，由于图片的高度是不一致的，所以在多列布局中默认布局下很难获得满意的排列。 我们的需求是，图片高度不规律的情况下，在两列布局中，让左右两侧的图片总高度尽可... +
+
+ 2·赞 + + 晨曦时梦见兮·今天 11:37 +
+
+
+
+
+ + +
+

从 0 到 1 认识 Typescript

+
+
+ 最近这两年，有很多人都在讨论 Typescript，无论是社区还是各种文章都能看出来，整体来说正面的信息是大于负面的，这篇文章就来整理一下我所了解的 Typescript。 +
+
+ 2·赞 + + yhlben·6月11日 +
+
+
+
+
+ + +
+

小智在这3年开发中遇到的 CSS 问题及解决方案，有大佬帮他总结好了 ！

+
+
+ 在浏览器中实现用户界面时，请尽可能减少浏览器带来的差异，以使用户界面具有可预测性。 跟踪所有这些差异很困难，因此，我整理了一些常见问题及其解决方案方便大家查看。 +
+
+ 9·赞 + + 前端小智·今天 09:58 +
+
+
+
+
+ + +
+

ant-design-vue 按需加载遇到坑-less报错

+
+
+ 网上多是2种解决方法：1，修改vue.config.js,根节点加css配置 {代码...} 2，方法2，把less版本降到3.0以下。 反正我试了，都没用。 然后测试了很多搜索结果，有一个可用，不知道是否有问题。这里分享一下： antv... +
+
+ 赞 + + jsoncode·今天 09:38 +
+
+
+
+
+ + +
+

高性能多级多选级联组件开发

+
+
+ 最近在项目开发过程中，有个一个多级多选的公共组件开发需求，特在这里记录下开发过程中所做的一些优化以及分享一下我是如何从零开发并设计一个组件的思路，希望给阅读这篇文章的读者带来一点收获。 +
+
+ 6·赞 + + 离尘不理人·6月11日 +
+
+
+
+
+ + +
+

EmailJS：5步使用JavaScript直接从前端发送电子邮件

+
+
+ 有很多方法可以读取这些数据。你可以将你的表单与数据库（如MySQL）连接，然后从数据库中读取传入的信息。好吧，这是一个选择，但是我认为这对于你的非技术客户来说可能会很麻烦。 +
+
+ 3·赞 + + 杜尼卜·6月11日 +
+
+
+
+
+ + +
+

移动前端开发和 Web 前端开发的区别是什么？

+
+
+ 简介： 前端这门技术，从诞生发展至今不过寥寥十余年。如果说前十年是 PC 前端的时代，那后十年一定是属于移动前端的时代。特别是随着网络制式的发展，移动设备在全球范围内得到了空前的普及，在前端领域，Hybird... +
+
+ 14·赞 + + 阿里技术·6月5日 +
+
+
+
+
+ + +
+

使用tree-node-cli生成树状目录

+
+
+ 在写博客的时候经常会需要展示项目的目录结构，我电脑是windows的，tree命令不是很好使。能用Node就用Node! 所以就找了几个跨平台的。分别是tree-cli和tree-node-cli，这两个是一个作者。其中tree-node-cli是比较... +
+
+ 2·赞 + + playboy5566·6月11日 +
+
+
+
+
+ + +
+

前端性能：股票交易APP频繁更新怎么破

+
+
+ 一个正常的股票交易APP，是很复杂的，大都用原生写，但是有的公司没钱啊，只能做一套web app或者用RN这些写，也有用Flutter的(这就是没钱又要玩，那怎么办呢？那就玩乞丐版呀) +
+
+ 9·赞 + + Peter谭金杰·6月11日 +
+
+
+
+
+ + +
+

JavaScript重构技巧 — 条件

+
+
+ 点赞再看，养成习惯本文 GitHub [链接] 上已经收录，更多往期高赞文章的分类，也整理了很多我的文档，和教程资料。欢迎Star和完善，大家面试可以参照考点复习，希望我们一起有点东西。 +
+
+ 1·赞 + + 前端小智·6月11日 +
+
+
+
+
+ + +
+

新基建下，智慧交通发展新规划：智慧隧道监控可视化系统

+
+
+ 随着当代经济的发展，交通环境日益紧张，加上山区地区的交通运输的需求，隧道的交通建设开发方兴未艾。隧道交通的规划越来越完备，而对于隧道内监控管理维护却显得有些不足。而工业4.0的崛起，逐步进入了智能化的... +
+
+ 2·赞 + + hightopo·6月10日 +
+
+
+
+
+ +
+

webpack + express 实现文件精确缓存

+
+
+ index.html 设置成 no-cache，这样每次请求的时候都会比对一下 index.html 文件有没变化，如果没变化就使用缓存，有变化就使用新的 index.html 文件。 +
+
+ 6·赞 + + woai3c·6月10日 +
+
+
+
+
+ + +
+

10分钟白嫖我的常用的在线工具网站清单

+
+
+ 大家好，我是 Guide 哥，一个三观比主角还正的技术人。 简单整理了一下自己日常经常使用的工具网站，分享给小伙伴们！其他推荐阅读： 完结撒花！JavaGuide面试突击版来啦！ 「Java面试题精华集」Java基础知识篇（... +
+
+ 47·赞 + + Snailclimb·6月10日 +
+
+
+
+
+ + +
+

Chrome浏览器支持直接读写本地文件了

+
+
+ 开启方法：Chrome浏览器升级到83版本以上；访问chrome://flags/，开启 Native File System API 选项 +
+
+ 7·赞 + + CoyPan·6月10日 +
+
+
+
+
+ +
+

JavaScript常用方法集

+
+
+ 日期格式化 {代码...} 计算时分秒差值 {代码...} 深拷贝 {代码...} 数组去重 {代码...} 数组对象排序 {代码...} +
+
+ 11·赞 + + whjin·6月10日 +
+
+
+
+
+ + +
+

TypeScript：重新发明一次 JavaScript

+
+
+ 作为一个 Node.js 开发者，我很早便了解到了 TypeScript，但又因为我对 CoffeeScript 的喜爱，直到 2016 年才试用了一下 TypeScript，但当时对它的学习并不深入，直到最近又在工作中用 TypeScript 开发了两个后端... +
+
+ 25·赞 + + LeanCloud·6月10日 +
+
+
+
+
+ + +
+

谈谈图片上传及canvas压缩的流程

+
+
+ 我们通常在做图片上传的时候都会遇上这样的情况，一是后端接口限制上传图片的大小，或者是即使后端没有限制大小，因为图片太大在前端渲染时太慢，造成页面加载体验较差。因此我们很有必要对上传的图片进行压缩。 +
+
+ 16·赞 + + lzg9527·6月10日 +
+
+
+
+
+ + +
+

遮遮掩掩的滚动条 -> el-scrollbar

+
+
+ Element-UI，作为一套非常出名 Vue 的 UI 组件库，玩 Vue 人几乎都认识它。最近在翻看 Element 的源码时，发现了一个有趣的现象，怎么 autocomplete 组件的联想列表组件 -> autocomplete-suggestions 里面，还... +
+
+ 3·赞 + + 竹之同学·6月10日 +
+
+
+
+
+ +
+

JavaScript 对象迭代方法与性能比较

+
+
+ 原文地址：Iterating Over JavaScript Object Entries and their Performance - 5 Techniques 本文地址：[链接] Object.entries 返回对象所有可枚举的键值对，不会追寻原型链上的 key {代码...} Object.keys 返回... +
+
+ 1·赞 + + ssshooter·6月10日 +
+
+
+
+
+ + +
+

前端动画必知必会：React 和 Vue 都在用的 FLIP 思想实现小姐姐流畅移动。

+
+
+ 前言 在 Vue 的官网中的过渡动画章节中，可以看到一个很酷炫的动画效果 乍一看，让我们手写出这个逻辑应该是非常复杂的，先看看本文最后要实现的效果吧，和这个案例是非常类似的。 预览 也可以直接进预览网址里看... +
+
+ 18·赞 + + 晨曦时梦见兮·6月10日 +
+
+
+
+
+ + +
+

JavaScript重构技巧 — 对象和值

+
+
+ 点赞再看，养成习惯本文 GitHub [链接] 上已经收录，更多往期高赞文章的分类，也整理了很多我的文档，和教程资料。欢迎Star和完善，大家面试可以参照考点复习，希望我们一起有点东西。 +
+
+ 3·赞 + + 前端小智·6月10日 +
+
+
+
+
+ + +
+

使用Vue Composition API写出清晰、可扩展的表单

+
+
+ 表单是前端开发中最棘手的部分之一，您可能会在其中发现很多混乱的代码。 基于组件的框架，如 Vue.js，在提高前端代码的可扩展性方面做了很多工作，但是表单的问题仍然存在。 在本教程中，将向您展示新的 Vue Com... +
+
+ 5·赞 + + 戎马·6月10日 +
+
+
+
+
+ +
+

用js代码触发dom事件的实现方案

+
+
+ 前端编写测试用例时，在测试界面上的一些效果时，通常都希望能够模拟一些用户操作，而模拟用户操作最主要的方式就是用代码触发指定事件。通常一些元素上会自带一些触发事件的方法，例如click、focus等，但是如果... +
+
+ 4·赞 + + 水电·6月9日 +
+
+
+
+
+ + +
+

从零开始的Flutter之旅: InheritedWidget

+
+
+ 往期回顾 从零开始的Flutter之旅: StatelessWidget 从零开始的Flutter之旅: StatefulWidget 在之前的文章中，介绍了StatelessWidget与StatefulWidget的特性与它们的呈现原理。 这期要聊的是它们的另一个兄弟Inher... +
+
+ 5·赞 + + 午后一小憩·6月9日 +
+
+
+
+
+ + +
+

这些前端基础题你能答对几道？(测试你的基础掌握,附答案解析)

+
+
+ JavaScript中有很多重要特性及概念。比如原型,原型链,this,闭包,作用域,隐式转换等等。如果不能熟练掌握,在进阶中级前端开发工程师的道路上必定是困难重重。 +
+
+ 19·赞 + + Erdong·6月9日 +
+
+
+
+
+ +
+

从零构建前端 Lint 工作流（2020手把手版）

+
+
+ eslint prettier stylelint husky lint-staged typescript eslint-config-alloy 为构建项目代码质量保驾护航。 +
+
+ 33·赞 + + 周振超·6月9日 +
+
+
+
+
+ + +
+

TypeScript 中的顶级类型：any 和 unknown

+
+
+ 作者：Dr. Axel Rauschmayer翻译：疯狂的技术宅 原文：[链接] 未经允许严禁转载 在 TypeScript中，any 和 unknown 是包含所有值的类型。在本文中，我们将会研究它们是怎样工作的。 TypeScript 的两种顶级类型 any... +
+
+ 5·赞 + + 疯狂的技术宅·6月9日 +
+
+
+
+
+ +
+

react组件---组件间通信

+
+
+ Context 主要应用场景在于很多不同层级的组件需要访问同样一些的数据。请谨慎使用，因为这会使得组件的复用性变差。使用 context 比较好的场景是真正意义上的全局信息且不会更改，例如界面主题、用户信息等如果你... +
+
+ 6·赞 + + SuRuiGit·6月9日 +
+
+
+
+
+ +
+

想要试试Electron ，不如看看这篇爬坑总结

+
+
+ web端能做的事情很多，但是当涉及到操作系统的时候，可能就有点力不从心了。前段时间在开发一个web系统的时候，就遇到了类似的情况。我们需要获取电脑操作系统的一些信息，比如mac地址等。我们的web系统是完全放... +
+
+ 20·赞 + + xmanlin·6月9日 +
+
+
+
+
+ + +
+

性能优化小册 - React 搜索优化：防抖、缓存、LRU

+
+
+ 最近要对 react 项目做重构优化等相关的工作，由于有好长时间没碰 React 了，今天索性把一个基于关键字搜索的 demo 做一下简单优化，在此记录以下。 +
+
+ 12·赞 + + 破晓L·6月9日 +
+
+
+
+
+ + +
+

了不起的 TypeScript 入门教程（1.2W字）

+
+
+ TypeScript 是一种由微软开发的自由和开源的编程语言。它是 JavaScript 的一个超集，而且本质上向这个语言添加了可选的静态类型和基于类的面向对象编程。 +
+
+ 56·赞 + + 阿宝哥·6月9日 +
+
+
+
+
+ + +
+

JavaScript重构技巧 — 数组，类名和条件

+
+
+ 点赞再看，养成习惯本文 GitHub [链接] 上已经收录，更多往期高赞文章的分类，也整理了很多我的文档，和教程资料。欢迎Star和完善，大家面试可以参照考点复习，希望我们一起有点东西。 +
+
+ 6·赞 + + 前端小智·6月9日 +
+
+
+
+
+ + +
+

聊聊NPM镜像那些险象环生的坑

+
+
+ 作者：JowayYoung仓库：Github、CodePen博客：掘金、思否、知乎、简书、头条、CSDN公众号：IQ前端联系我：关注公众号后有我的微信哟特别声明：原创不易，未经授权不得对此文章进行转载或抄袭，否则按侵权处理，如... +
+
+ 9·赞 + + JowayYoung·6月9日 +
+
+
+
+
+ + +
+

新基建，多杆合一点亮城市革命

+
+
+ 我国城市化发展如火如荼的进行中，在新基建的政策背景下，配合着5G应用的成熟和广泛应用，由理论转换为实际应用，就以智慧杆塔拉开了变革的序幕。智慧杆塔所展现出的“政策+标准+生态”状态，给未来更多社会资源开... +
+
+ 1·赞 + + hightopo·6月9日 +
+
+
+
+
+ + +
+

《你不知道的 Blob》番外篇

+
+
+ 学习时间：2020.06.06学习章节：《你不知道的 Blob》原文对 Blob 的知识点介绍得非常完整清晰，本文通过四个问题来总结本文核心知识： Blob 是什么？ Blob 怎么用？ Blob 有哪些使用场景？ Blob 与 ArrayBuffer ... +
+
+ 18·赞 + + pingan8787·6月8日 +
+
+
+
+
+ +
+

react表单---受控组件与非受控组件

+
+
+ 在 React 中，表单元素通过组件的 state 属性来自己维护 state，并根据用户输入调用setState()来进行数据更新，使 React 的 state 成为“唯一数据源”，被 React 以这种方式控制取值的表单输入元素就叫做“受控组件”。 +
+
+ 3·赞 + + SuRuiGit·6月8日 +
+
+
+
+
+ +
+

Vue 3 响应式原理及实现

+
+
+ 从零开始实现你自己的响应式库，从零开始实现 Vue 3 响应式模块。本文完整内容见buid-your-own-vue-next 1. 实现响应式 响应基本类型变量 首先看一下响应式预期应该是什么样的，新建一个 demo.js 文件，内容如下... +
+
+ 30·赞 + + natee·6月8日 +
+
+
+
+
+ + +
+

那些不常见，但却非常实用的css属性(整理不易)

+
+
+ 1、-webkit-line-clamp 可以把 块容器 中的内容限制为指定的行数。并且在超过行数后，在最后一行显示"..." 这是正常的展示 {代码...} 这是加了 line-clamp 后的展示 [链接] 2、all 将除却 unicode-bidi 与 direct... +
+
+ 55·赞 + + 寒水寺一禅·6月5日 +
+
+
+
+
+ + +
+

如何使用JavaScript访问设备前后摄像头

+
+
+ 在这篇文章中，我将向您展示如何通过JavaScript在网页上访问设备的摄像头，并支持多种浏览器，而无需外部库。 如何使用相机API 要访问用户的相机（或麦克风），我们使用JavaScript MediaStream API。该API允许通... +
+
+ 29·赞 + + 杜尼卜·6月8日 +
+
+
+
+
+ +
+

ShowDoc v2.7.1 发布，IT 团队的在线 API 文档、技术文档工具

+
+
+ 更新内容： 1、推出Mac客户端，下载链接：[链接]  2、可以给成员只授权项目的某个目录，适合更精细化的权限控制。 3、当用户编辑页面的时候将自动锁定，防止其他人修改覆盖 4、当markdown的超链接指向本项目的时... +
+
+ 3·赞 + + star7th·6月8日 +
+
+
+
+
+ +
+

彻底搞懂call、apply、bind区别及实现

+
+
+ 上述例子中，当foo函数单独调用时内部this绑定为全局对象window。当通过call方法调用时this被绑定为call方法中的第一个参数。call方法中的除了第一个参数外的剩余参数为foo函数的实参。 +
+
+ 14·赞 + + Erdong·6月8日 +
+
+
+
+
+ + +
+

小蝌蚪日记：通过console.log高仿FBI Warning

+
+
+ 作者：第一名的小蝌蚪微信公众号：前端屌丝 blog & github： [链接] 深夜，十二点 昏暗的房间，一卷餐巾纸 注定这是个不平凡的夜 。。。 小蝌蚪打开了珍藏在C盘深处的隐藏文件夹 里面罗列着许多晦涩难懂的文... +
+
+ 13·赞 + + 第一名的小蝌蚪·6月8日 +
+
+
+
+
+ + +
+

如何让用户选择是否离开当前页面？

+
+
+ 写在开头 为什么要写这个文章，因为每个礼拜都有人问我这个问题... 抄一个微信公众号的编辑器的类似功能场景来实现 为什么要让用户选择是否离开页面 如果用户填写了很多数据此时 不小心点了其他a标签或者关闭了浏... +
+
+ 16·赞 + + Peter谭金杰·6月8日 +
+
+
+
+
+ + +
+

前端请求的第N种方式——玩转React Hook

+
+
+ 我曾在几年前写过一篇文章——《Jquery ajax, Axios, Fetch区别之我见》——从原理和使用层面分析了ajax,axios和fetch的区别。现在，本文从一个小的例子出发，通过使用react hook，给大家剖析一种新的数据请求方式；... +
+
+ 4·赞 + + 这是你的玩具车吗·6月8日 +
+
+
+
+
+ + +
+

JavaScript 中 15 种常见的数组操作

+
+
+ 点赞再看，养成习惯本文 GitHub [链接] 上已经收录，更多往期高赞文章的分类，也整理了很多我的文档，和教程资料。欢迎Star和完善，大家面试可以参照考点复习，希望我们一起有点东西。 +
+
+ 17·赞 + + 前端小智·6月8日 +
+
+
+
+
+ + +
+

一份值得收藏的 Git 异常处理清单

+
+
+ Git 作为一种分布式版本控制系统已经成为现在开发的宠儿，不仅应用在前端、后端、客户端等开发场景中，也成为各行业互联网企业分工协作的必备技能之一。 +
+
+ 13·赞 + + 政采云前端团队·6月8日 +
+
+
+
+
+ + +
+

JavaScript 和 TypeScript 的封装性 —— 私有成员

+
+
+ JavaScript 使用了基于原型模式的 OOP 实现，一直以来，其封装性都不太友好。为此，TypeScript 在对 JavaScript 类型进行增强的同时，特别关注了“类”定义。TS 的类定义起来更接近于 Java 和 C# 的语法，还允许使... +
+
+ 3·赞 + + 边城·6月8日 +
+
+
+
+
+ + +
+

啥是HTTPS？？终于有人把它说清楚了

+
+
+ 作者：极客挖掘机来源： [链接] 引言 最近上海连续下了一周雨，温度一夜之间回到解放前，穿夏装的我被冻得瑟瑟发抖，躲在家里哪也不想去。 在家百无聊赖的刷着网页，看到公众号后台的留言，有同学问我 HTTP 和 HT... +
+
+ 8·赞 + + 民工哥·6月7日 +
+
+
+
+
+ + +
+

前端实现生成带有样式的excel表格 Node和浏览器读写Excel文件探究实践

+
+
+ js-xlsx: 目前 Github 上 star 数量最多的处理 Excel 的库，支持解析多种格式表格 XLSX / XLSM / XLSB / XLS / CSV，解析采用纯 js 实现，写入需要依赖 nodejs 或者 FileSaver.js 实现生成写入 Excel，可以生成子... +
+
+ 4·赞 + + 志军·6月7日 +
+
+
+
+
+ + +
+

269个常用工具函数助你提升工作效率

+
+
+ 页面DOM里的每个节点上都有一个classList对象，程序员可以使用里面的方法新增、删除、修改节点上的CSS类。使用classList，程序员还可以用它来判断某个节点是否被赋予了某个CSS类。 +
+
+ 34·赞 + + 叫我詹躲躲·6月6日 +
+
+
+
+
+ + +
+

写给前端技术小白、初级前端的一点学习建议

+
+
+ 首先，简单介绍一下自己，20 届普通二本毕业生，非计算机专业。2018 年 3 月开始开始自学编程，早期学的是 Java、C 语言、PHP。从去年 4 月份开始正式入坑前端。 +
+
+ 12·赞 + + 五柳·6月7日 +
+
+
+
+
+ + +
+

新版vue-router的hooks用法

+
+
+ 根据这篇《今日凌晨Vue3 beta版震撼发布，竟然公开支持脚手架项目！》我搭建了一个Vue 3的脚手架项目，用这种方式搭建的脚手架项目不仅仅只有vue是新版的，就连vue-router、vuex都是最新的。 +
+
+ 2·赞 + + 手撕红黑树·6月7日 +
+
+
+
+
+ + +
+

有趣的Canvas，你值得拥有！

+
+
+ Canvas 是 HTML5 提供的一个用于展示绘图效果的标签. Canvas 原意为画布, 在 HTML 页面中用于展示绘图效果. 最早 Canvas 是苹果提出的一个方案, 今天已经在大多数浏览器中实现。 +
+
+ 14·赞 + + lzg9527·6月6日 +
+
+
+
+
+ +
+

实用算法解析 - 前缀和

+
+
+ 给定一个整数数组和一个整数 k，你需要找到该数组中和为 k 的连续的子数组的个数。示例 1 :输入:nums = [1,1,1], k = 2输出: 2 , [1,1] 与 [1,1] 为两种不同的情况。 说明 :数组的长度为 [1, 20,000]。数组中元素... +
+
+ 9·赞 + + 安歌·6月5日 +
+
+
+
+
+ + +
+

ZooTeam 前端周刊｜第 85 期

+
+
+ 政采云前端小报第85期浏览更多往期小报，请访问： [链接] 九个超级实用的 ES6 特性 超实用的九个 ES6 特性，使你的代码更加简洁。 性能为何至关重要  |  Web Fundamentals  |  Google Developers 由于移动设备和... +
+
+ 3·赞 + + 政采云前端团队·6月5日 +
+
+
+
+
+ + +
+

将 Gatsby 项目迁移到 TypeScript

+
+
+ 之前花了些时间将gatsby-theme-gitbook迁移到 Typescript,以获得在 VSCode 中更好的编程体验.整体差不多已经完成迁移,剩下将 Gatsby 的 API 文件也迁移到 TS,这里可以看到 gatsby#21995 官方也在将核心代码库迁移... +
+
+ 3·赞 + + XYShaoKang·6月5日 +
+
+
+
+
+ + +
+

发现算法之美-排序

+
+
+ 什么是排序？ 初识 算法图 JavaScript中的排序 普通排序 复杂排序 复杂排序函数封装 lodash(v4.17.15)排序函数 从V8源码看sort() 必会经典排序算法 冒泡排序（最大值置尾排序） 选择排序（最小值置头排序） 插入... +
+
+ 21·赞 + + 趁你还年轻·6月5日 +
+
+
+
+
+ + +
+

修复一个因为 scrollbar 占据空间导致的 bug

+
+
+ 背景 这一个因为滚动条占据空间引起的bug, 查了一下资料， 最后也解决了，顺便研究一下这个属性， 做一下总结，分享给大家看看。 正文 昨天， 测试提了个问题， 现象是一个输入框的聚焦提示偏了， 让我修一下, 如... +
+
+ 10·赞 + + 皮小蛋·6月5日 +
+
+
+
+
+ + +
+

10 个超有用的 JavaScript 技巧

+
+
+ 众所周知，JavaScript 一直在迅速变化。新的 ES2020 引入了许多很棒的功能。你可以通过很多不同的方式去编写代码。他们会达到相同的目标，但其中一些会更短、更清晰。你可以凭借一些小技巧来使代码更清晰。这里列... +
+
+ 30·赞 + + 疯狂的技术宅·6月5日 +
+
+
+
+
+ + +
+

发现算法之美-双指针之对撞指针

+
+
+ 什么是对撞指针？ 初识 算法图 对撞过程图 JavaScript中的Array与对撞指针 在js中，如何定义对撞指针？ 实现一个最简对撞指针 leetcode 对撞指针 解法题目 7.整数反转（easy） 9.回文数（easy） 27.移除元素（eas... +
+
+ 2·赞 + + 趁你还年轻·6月5日 +
+
+
+
+
+ + +
+

六个好用的程序员开发在线工具

+
+
+ 老实说，虽然我做过许多前端开发，但我并不擅长 CSS。当我陷入困境时，EnjoyCSS 是我的大救星。EnjoyCSS 提供了一个简单的交互界面，帮助我设计元素，然后自动输出相应的 CSS 代码。 +
+
+ 25·赞 + + 民工哥·6月5日 +
+
+
+
+
+ +
+

写一个脚本，将所有js文件后缀批量改成ts后缀

+
+
+ 做项目的时候准备把js项目重构成ts项目，需要把文件后缀改成ts，一个bat脚本搞定，命令如下： {代码...} 把脚本放到根目录下，双击运行完就可以了 +
+
+ 2·赞 + + all2005·6月5日 +
+
+
+
+
+ + +
+

JavaScript必须掌握的基础 ---> 原型&原型链

+
+
+ 原型和原型链的主要作用： 实现属性和方法的公用 继承 所以下面的例子全是以构造函数为例。 原型 函数是也是对象，是一个属性的集合，所以函数下也有属性，也可以自定义属性。当我们创建一个函数时就默认会有一个... +
+
+ 26·赞 + + Erdong·6月5日 +
+
+
+
+
+ +
+

前端开发必备工具箱

+
+
+ 前端开发是一个相当复杂的方向，至少就大项目而言，你很难仅用浏览器和编辑器完成工作。这里列出了我在开发过程中用到的工具。我希望这个列表能帮助其他人发现一些可以用在工作流程中的好工具。 +
+
+ 34·赞 + + LeanCloud·6月5日 +
+
+
+
+
+ + +
+

Web安全之CSRF实例解析

+
+
+ 之前写过一篇 web安全之XSS实例解析,是通过举的几个简单例子讲解的，同样通过简单得例子来理解和学习CSRF，有小伙伴问实际开发中有没有遇到过XSS和CSRF，答案是有遇到过，不过被测试同学发现了，还有安全扫描发现... +
+
+ 22·赞 + + 木子星兮·6月5日 +
+
+
+
+
+ + +
+

NutUI 视频组件开发心得

+
+
+ 说到在项目中引入一个视频，我们肯定会想到 HTML5 为我们提供的 Video 标签，它为我们提供了许多属性和方法，使用起来很方便，当然直接使用也会遇到各种兼容问题，在最初学习 Video 标签时，W3C 官网就给出了这样... +
+
+ 8·赞 + + 京东设计中心JDC·6月5日 +
+
+
+
+
+ + +
+

JavaScript 对象可以做到的三件事

+
+
+ 点赞再看，养成习惯本文 GitHub [链接] 上已经收录，更多往期高赞文章的分类，也整理了很多我的文档，和教程资料。欢迎Star和完善，大家面试可以参照考点复习，希望我们一起有点东西。 +
+
+ 4·赞 + + 前端小智·6月5日 +
+
+
+
+
+ + +
+

如何通过nvm安装多版本nodejs？如果nodejs安装成功，npm安装失败了怎么办？

+
+
+ 我们在开发项目的时候，最开始，是只有一个老的项目，老项目单独安装了node版本4.4.7，后来有了新项目，由于有两个项目，但是一个需要老一些版本的node，一个需要新版本的node，因此需要在两个版本之间进行切换，... +
+
+ 3·赞 + + WEB开发阿靖·6月5日 +
+
+
+
+
+ + +
+

CSS 创意构想 - Part 2 / 2

+
+
+ 背景 本文接上篇， 继续我们的《CSS》 创意构想。 因为有一些案例没有代码， 本着学习的态度， 我需要一个个补齐， 也方便大家看。 更新的时候可能就按小节， 逐步更新。 废话不多少， 开始正文吧。 ------ 正文 ... +
+
+ 25·赞 + + 皮小蛋·6月4日 +
+
+
+
+
+ + +
+

vue-router 导航守卫中 next 控制实现

+
+
+ 钩子函数有不同的作用，例如 beforEach，afterEach，beforeEnter，beforeRouteEnter，beforeRouteUpdate，beforeRouteLeave，针对这些注册的钩子函数，要依次进行执行，并且在必要环节有控制权决定是否继续进入到... +
+
+ 4·赞 + + 戎马·6月4日 +
+
+
+
+
+ + +
+

发现数据结构之美-栈

+
+
+ 在代码的世界中，无论是什么语言，栈其实都是一种非常重要的数据结构。全球闻名的代码提问社区stack overflow就以栈（stack）溢出作为网站名的一个部分。在写代码或者是debug的过程中，相信你已经感受到了在函数... +
+
+ 6·赞 + + 趁你还年轻·6月4日 +
+
+
+
+
+ + +
+

性能优化小册 - 让页面更早的渲染：使用 preload 提升资源加载优先级

+
+
+ preload 是一个新的 Web 标准，旨在提高性能以及提供给 web 开发者更多的细粒度加载控制。它可以使开发者自定义加载逻辑而避免以 script 标签加载资源所带来的性能损耗。 +
+
+ 7·赞 + + 破晓L·6月4日 +
+
+
+
+
+ + +
+

提高你的 JavaScript 技能10 个面试题

+
+
+ 刷题是我们提高自己技术的一种好方法。下面的问题很有挑战性和“指导性”。如果你知道该怎样回答，那意味着自己的水平很好，但是如果你发现自己答错了，并能够搞清楚为什么错，我认为那会更好！ +
+
+ 20·赞 + + 疯狂的技术宅·6月4日 +
+
+
+
+
+ +
+
+
+ + +
+
+
+

课程推荐

+ +
+
+
+
+
+ +
+
【思否编程公开课】跟我学用 Serverless 开发接龙小程序
+
+ (121 人参与) +
+ ￥19.00 + + ￥119.00 + +
+
+
+ +
+
【思否编程公开课】走进互联网应用—从单体应用到微服务
+
+ (108 人参与) +
+ ￥9.90 +
+
+
+ +
+
凯威教你学 Python: 系列课程
+
+ +
+ + + + + +
+ + + + + +
+
(2460 人参与) +
+ ￥99.00 + + ￥299.00 + +
+
+
+ +
+
「一入 Java 深似海 」系列 2019年第一季（第一、二、三期合集）
+
+ +
+ + + + + +
+ + + + + +
+
(2022 人参与) +
+ ￥384.00 +
+
+
+ +
+
【思否编程公开课】迎接Vue 3.0
+
+ (372 人参与) +
+ ￥49.00 + + ￥129.00 + +
+
+
+ +
+
【思否编程公开课】跟我学用 Serverless 开发接龙小程序
+
+ (121 人参与) +
+ ￥19.00 + + ￥119.00 + +
+
+
+ +
+
【思否编程公开课】走进互联网应用—从单体应用到微服务
+
+ (108 人参与) +
+ ￥9.90 +
+
+
+ +
+
凯威教你学 Python: 系列课程
+
+ +
+ + + + + +
+ + + + + +
+
(2460 人参与) +
+ ￥99.00 + + ￥299.00 + +
+
+
+ +
+
「一入 Java 深似海 」系列 2019年第一季（第一、二、三期合集）
+
+ +
+ + + + + +
+ + + + + +
+
(2022 人参与) +
+ ￥384.00 +
+
+
+
+
+
+ 更多 +
+ 活动推荐 +
+
+ +
+
+
+ JUN +
+
+ 10 +
+
+
+
+
+ 云+社区沙龙 online - - 新技术实践 +
+ 北京 + ·06-10  周三 + · + 报名中 +
+ +
+
+
+ JUN +
+
+ 21 +
+
+
+
+
+ 2020北京智源大会 +
+ 北京 + ·06-21  周日 + · + 报名中 +
+ +
+
+
+ MAY +
+
+ 26 +
+
+
+
+
+ 视频推荐、画质修复、广告植入，首届“马栏山杯”国际音视频算法大赛，芒果TV邀你来战 +
+ 北京 + ·05-26  周二 + · + 报名中 +
+ +
+
+
+ MAY +
+
+ 15 +
+
+
+
+
+ 开源软件供应链点亮计划 - 暑期2020 +
+ 北京 + ·05-15  周五 + · + 报名中 +
+ +
+
+
+ MAY +
+
+ 01 +
+
+
+
+
+ 首届云原生编程挑战赛（原中间件性能挑战赛升级） +
+ 杭州 + ·05-01  周五 + · + 报名中 +
+
+
+
+ +
+
+ +
+
+
+
+ + +
+ + + + + + + + + + + +`; diff --git a/test/mockData/tencenttmq/html_mock.js b/test/mockData/tencenttmq/html_mock.js new file mode 100644 index 0000000..8c89cd5 --- /dev/null +++ b/test/mockData/tencenttmq/html_mock.js @@ -0,0 +1,4484 @@ +export const html = ` + + + + 腾讯移动品质中心TMQ的专栏的全部内容 - 云+社区 - 腾讯云 + + + + + + + + + + + + + + + + + + + + + + + + + + + +
+
+
+
+
+ +
+
+ +
+
+
+ 备案 + 控制台 +
+
+
+
+
+ +
+ +
+
+
+ 搜索 +
+ + +
+
+
+ +
+
+
+
+ 写文章 + 提问 +
+
+ 登录 + + 注册 +
+
+ +
+
+
+
+
+ 展开 +

+
+
+ +
+ +
+ + +
+
+
+ +
+

腾讯移动品质中心TMQ的专栏

+
+ +
+
+ +
+
+ 307 + 篇文章 +
+
+
+ 207 + 人订阅 +
+
+
+ + +
+
+
+
+ +
+
+

全部文章

+
+
+
+
+
+
+ 腾讯移动品质中心TMQ + +
+

基于git的测试用例管理方案

+

点击上方蓝字关注我们！ | 导语 使用YAML文件描述测试用例，自动化生成测试用例，并提供网页访问的能力；同时对测试用例数据进行多维度的统计，提供丰富的测...

+
+ 60 + 2 + 0 +
+
+
+
+
+
+
+ 腾讯移动品质中心TMQ + +
+

关于持续交付中Git分支管理的思考

+

点击上方蓝字关注我们！ | 导语Aim at always writing production-ready code. 背景 提升研发效率（EP， En...

+
+ 70 + 3 + 0 +
+
+
+
+
+
+
+ 腾讯移动品质中心TMQ + +
+

研发效能认证（EPC）体系介绍

+

前言：随着2019年PCG各业务如火如荼的发展，急需提升的研发效能成为大家的关注点。由PCG研发部发起的一轮研发模式变革正在紧锣密鼓地席卷而来。 1 背景 ...

+
+ 159 + 1 + 0 +
+
+
+
+
+
+
+ 腾讯移动品质中心TMQ + +
+

基于Devops的厘米秀项目实践经验分享

+

基于现在研发变革的大背景，可能需要每个技术同学有更多的新思路特别是在测试方面会接受比较大的挑战，上半年在思考如何能更好让手头上的工作跟公司的整体相契合，一直没有...

+
+ 97 + 1 + 0 +
+
+
+
+ +
+
+
+
+
+ 腾讯移动品质中心TMQ + +
+

干货 | 测试工程师职业发展漫谈

+

编者按：本文为资深测试架构师思寒对测试工程师职业发展的思考总结，经典长文，值得每一位测试人品读。周六思寒主讲《互联网测试技术体系&测试工程师职业发展》公开...

+
+ 434 + 3 + 1 +
+
+
+
+ +
+
+
+
+
+ 腾讯移动品质中心TMQ + +
+

天下武功，唯'QUICK'不破，探究QUIC的五大特性及外网表现

+

QUIC简介 QUIC(Quick UDP Internet Connections)是谷歌提出的一种传输协议,由于其建立在UDP之上,使得相对于TCP之上的...

+
+ 201 + 2 + 0 +
+
+
+
+ +
+
+
+
+
+ 腾讯移动品质中心TMQ + +
+

如何写好 GO 语言单元测试

+

通过基本的单元测试框架介绍（http://km.oa.com/group/viptest/articles/show/374474）和mock框架介绍（ht...

+
+ 257 + 2 + 0 +
+
+
+
+ +
+
+
+
+
+ 腾讯移动品质中心TMQ + +
+

快速探索，音视频技术不再神秘

+

一、采集 - 数据从哪里来？ 1.1 采样原理 定义：对连续变化图像在空间坐标上做离散化处理，将模拟信号转变成数字信号的过程，即为图像进行采样。 通俗...

+
+ 275 + 2 + 0 +
+
+
+
+ +
+
+
+
+
+ 腾讯移动品质中心TMQ + +
+

当我们按下电源键，Android 究竟做了些什么？

+

现在，按下电源键 下面是Android启动的核心步骤流程图，看文字的时候，记得回来对照图来理解喔，希望阅读全文后，回观流程图，会有恍然大悟的感觉，那么...

+
+ 194 + 2 + 0 +
+
+
+
+ +
+
+
+
+
+ 腾讯移动品质中心TMQ + +
+

基于Caffe 框架的AI图像识别自动化

+

自动化实现过程，UI框架的自动化往往不能满足所有场景的需求，比如:动态效果图片内容一致性检查；在全民AI的浪潮中，基于Caffe框架的AI图像识别结合QT4A...

+
+ 862 + 4 + 0 +
+
+
+
+ +
+
+
+
+
+ 腾讯移动品质中心TMQ + +
+

Android终端单测杂烩

+

给测试同学-关于语言补习  Kotlin *建议Java全熟之后再看，同时看有可能会记错用法； *语法比较多，需要慢慢消化； *优先看下官网的Higher-O...

+
+ 302 + 3 + 0 +
+
+
+
+ +
+
+
+
+
+ 腾讯移动品质中心TMQ + +
+

单元测试两三问

+

单元测试（英语：UnitTesting）又称为模块测试，是针对程序模块（软件设计的最小单位）来进行正确性检验的测试工作。程序单元是应用的最小可测试部件。在过程化...

+
+ 213 + 6 + 0 +
+
+
+
+ +
+
+
+
+
+ 腾讯移动品质中心TMQ + +
+

Mac UT实践小结

+

开发UT实现：朱浩禹 测试UT实现：韩小晴、余轶斐 FT其他参与者：陈智、熊琦楠 （名字均按首字母排序） 一、为何要做单元测试？ 腾讯视频Mac项目研发质量较...

+
+ 230 + 4 + 0 +
+
+
+
+ +
+
+
+
+
+ 腾讯移动品质中心TMQ + +
+

golang三大基础mock大法

+

一、使用gomonkey来mock函数和方法  1、mock函数 gomonkey.ApplyFunc(target，double) 其中target是被mo...

+
+ 2.8K + 5 + 0 +
+
+
+
+ +
+
+
+
+
+ 腾讯移动品质中心TMQ + +
+

Python定时框架 Apscheduler 详解

+

在我们的日常工作自动化测试当中，几乎超过一半的功能都需要利用定时的任务来推动触发，例如在我们项目中有一个定时监控模块，根据自己设置的频率定时跑测试用例，定时检...

+
+ 451 + 2 + 0 +
+
+
+
+ +
+
+
+
+
+ 腾讯移动品质中心TMQ + +
+

MTSC2019 | 最热门软件测试技术和质量保障 QA 最佳实践

+

隆重推荐软件测试行业顶级技术大会 MTSC2019，文末有福利！ 2019，软件测试技术和质量保障体系有哪些新趋势、新变化？ 测试工程师进阶必备的测试技...

+
+ 362 + 4 + 0 +
+
+
+
+ +
+
+
+
+
+ 腾讯移动品质中心TMQ + +
+

PICK一下，iOS自动化测试新方案出道

+

一、背景 自动化测试一直是测试中非常重要的一环，好的自动化测试方案，不仅能够节省测试人力，而且能够发现很多人工测试不能发现的问题。 传统的iOS自动化测试方...

+
+ 552 + 6 + 1 +
+
+
+
+ +
+
+
+
+
+ 腾讯移动品质中心TMQ + +
+

企鹅电竞直播关键技术大揭秘

+

16年壮观的直播百团大战相信大家历历在目，至19年初所剩无几的直播寡头，来去如风的直播战场，离不开背后强大的直播技术支撑，本文通过直播基础技术介绍、剖析企鹅电...

+
+ 1.6K + 3 + 0 +
+
+
+
+ +
+
+
+
+
+ 腾讯移动品质中心TMQ + +
+

python与字符编码小记

+

用python2的小伙伴肯定会遇到字符编码的问题。下面对编码问题做个简单的总结，希望对各位有些帮助。 故事零：编码的定义 我们从“SOS“（国际通用求助信号...

+
+ 172 + 2 + 0 +
+
+
+
+ +
+
+
+
+
+ 腾讯移动品质中心TMQ + +
+

TMQ 邀您领取MTSC2019中国移动互联网测试开发大会门票

+

腾讯 TMQ 隆重推荐测试行业高品质技术大会 MTSC2019，文末有福利！ 2019，软件测试技术和质量保障体系有哪些新的变化？ 测试左移右移、持续集成...

+
+ 340 + 2 + 0 +
+
+
+
+ +
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 第 1 页 + 第 2 页 + 第 3 页 + 第 4 页 + 第 5 页 + 第 6 页 + 第 7 页 + 第 8 页 + 第 9 页 + 第 10 页 +
+
+
+
+
+
+
+
+ +
+
+

云+社区

+
+
+ +
+

扫码关注云+社区

+

领取腾讯云代金券

+
+
+
+
+
+
+
+
+
+
+

热门产品

+
+ +
+
+
+

热门推荐

+
+ +
+
+
+

更多推荐

+
+ +
+
+
+
+
+
+
+

Copyright © 2013 - 2020 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有 京公网安备 11010802017518 粤B2-20090059-1

+
+
+ +
+
+
+
+
+ +
+
+
+ +
+

扫码关注云+社区

+

领取腾讯云代金券

+
+
+
+
+ +
+
+
+ + + + + + + + + + + + +
+ +
+ +`; diff --git a/test/mockData/testerhome/html_mock.js b/test/mockData/testerhome/html_mock.js new file mode 100644 index 0000000..c48c199 --- /dev/null +++ b/test/mockData/testerhome/html_mock.js @@ -0,0 +1,1132 @@ +export const html = ` + + + + + + + + + + + 最新创建 · 社区 · TesterHome + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
+
+ +
+
+
+ + +
+
+
+ +
+
+
+
+
+
+ +
+
+
+ Appium 怎么能接听来电？获取不到不到元素 +
+
+ tancaidexiaoming + • 发布于 33 分钟前 +
+
+
+
+
+
+
+ +
+
+
+ 专栏文章 Charles 报错 Failed to install helper 解决方案 +
+
+ 来自 FunTester 的专栏 + FunTester + • 发布于 3 小时前 +
+
+
+
+
+
+
+ +
+
+
+ Appium Android8 以上使用 UIautomator Viewer 查看元素代替 Appium Inspector +
+
+ Lyzin + • 发布于 4 小时前 +
+
+
+
+
+
+
+ +
+
+
+ 问答 Android 10 系统下的 PSS 数值统计不准 +
+
+ 侑虎科技 + • 发布于 5 小时前 +
+
+
+
+
+
+
+ +
+
+
+ Bug 曝光台 TestHome 阅读次数的 BUG +
+
+ MmoMartin + • 发布于 6 小时前 +
+
+
+
+
+
+
+ +
+
+
+ Selenium 新手求教：python+selenium 如何在列表中通过状态选择指定行并点击该行的链接编码 +
+
+ 林夕儿 + • 最后由 MarvinWu 回复于 6 小时前 +
+
+
+ 1 +
+
+
+
+ +
+
+
+ 招聘 [腾讯北京] [AMS 联盟广告部] 腾讯广告技术支持 +
+
+ minizuo + • 发布于 8 小时前 +
+
+
+
+
+
+
+ +
+
+
+ 招聘 [腾讯北京] [AMS 联盟广告部] 测试开发工程师 +
+
+ minizuo + • 发布于 8 小时前 +
+
+
+
+
+
+
+ +
+
+
+ 招聘 [腾讯北京][AMS 联盟广告部] 移动端高级测试开发工程师 (Android/IOS) +
+
+ minizuo + • 发布于 8 小时前 +
+
+
+
+
+
+
+ +
+
+
+ Appium 多个 py 文件，放在一个脚本中执行，使用 TestSuite，怎样才能只执行一次 setUp ( 已经使用了 @classmethod ) ？ +
+
+ tancaidexiaoming + • 最后由 tancaidexiaoming 回复于 4 小时前 +
+
+
+ 5 +
+
+
+
+ +
+
+
+ 通用技术 Go 小白猫学习 macaron (马卡龙) 库 +
+
+ 陈子昂 + • 最后由 陈子昂 回复于 9 小时前 +
+
+
+ 4 +
+
+
+
+ +
+
+
+ 测试覆盖率 jacoco + ant 如何从 k8s 容器 dump 出 exec 文件 +
+
+ jusping + • 最后由 simon 回复于 1 小时前 +
+
+
+ 4 +
+
+
+
+ +
+
+
+ 测试基础 磁盘、mysql、redis、hana 的故事！ +
+
+ MmoMartin + • 发布于 19 小时前 +
+
+
+
+
+
+
+ +
+
+
+ 测试覆盖率 如何制定接口自动化测试的覆盖率？ +
+
+ Ki + • 发布于 21 小时前 +
+
+
+
+
+
+
+ +
+
+
+ Python python 诡异问题求助各位大哥 +
+
+ Neilguo111 + • 最后由 t-bug 回复于 20 分钟前 +
+
+
+ 9 +
+
+
+
+ +
+
+
+ 测试基础 视频质量评估工具-VMAF (Mac 安装问题及解决记录) +
+
+ zailushang + • 最后由 zailushang 回复于 6 小时前 +
+
+
+ 6 +
+
+
+
+ +
+
+
+ 持续集成 首次搭建 java+selenium+linux+docker+jenkins+git 之 web 自动化 +
+
+ wuyan + • 最后由 wuyan 回复于 2 小时前 +
+
+
+ 4 +
+
+
+
+ +
+
+
+ 专栏文章 Selenium 自动化常见问题 +
+
+ 来自 FunTester 的专栏 + FunTester + • 发布于 1 天前 +
+
+
+
+
+
+
+ +
+
+
+ 接口测试 如何提高接口测试的效率 +
+
+ 酷家乐质量效能 + • 最后由 nakal 回复于 8 小时前 +
+
+
+ 2 +
+
+
+
+ +
+
+
+ 接口测试 开源接口自动化测试项目－－时默 +
+
+ tianfuzhiguo + • 最后由 married577 回复于 1 天前 +
+
+
+ 1 +
+
+
+
+ +
+
+
+ 招聘 [上海] [贝壳] 招聘测试开发工程师 +
+
+ HiJack + • 发布于 1 天前 +
+
+
+
+
+
+
+ +
+
+
+ 招聘 [北京] 神策数据 (大数据领域) 招聘测试 / 测试开发工程师多名 (独角兽，机会多多) +
+
+ a11en_03 + • 最后由 a11en_03 回复于 7 小时前 +
+
+
+ 7 +
+
+
+
+ +
+
+
+ SoloPi 我们为什么要做 SoloPi +
+
+ Cathor + • 最后由 jeky2017 回复于 2 小时前 +
+
+
+ 3 +
+
+
+
+ +
+
+
+ SoloPi SoloPi 贡献者活动开启 —— 共建移动测试开源框架 +
+
+ Cathor + • 最后由 alisa_l_zhang 回复于 1 天前 +
+
+
+ 1 +
+
+
+
+ +
+
+
+ 职业经验 外包加薪 500，这算什么水平？ +
+
+ xuewuhe + • 最后由 phoenix 回复于 5 小时前 +
+
+
+ 18 +
+
+
+
+ +
+
+
+
+ 讨论节点分类导航 +
+
+
+
+ + 研发效能 效能度量 敏捷实践 持续交付 +
+
+ + Appium Macaca Selenium Calabash Robotium UiAutomator iOS 测试 其他测试框架 自动化工具 devops SoloPi STF Airtest 持续集成 Docker +
+
+ + 测试基础 白盒测试 Python 测试管理 通用技术 BDD Java Android 开发基础 性能常识 Linux 接口测试 +
+
+ + AI测试 数据测试 大数据测试 物联网测试 物联网概念 区块链测试 +
+
+ + 移动性能测试 安全测试 测试覆盖率 音视频测试 前端测试 性能测试工具 游戏测试 品质管理 接口和协议组成 VR/AR/MR +
+
+ + 招聘 求职 职业经验 转转QA +
+
+ + MTSC 互帮互助 书籍点评 公告 人脉内推 匿名吐槽 灌水 问答 小道消息 读书会 活动沙龙 公开课 树洞 社区管理 测试媛 跳蚤街 +
+
+ + WeTest腾讯质量开发平台 产品与解决方案 OneAPM 百度MTC DaoCloud Bug 曝光台 兼职/私活 云测服务 fir.im +
+
+ + 新手区 习惯性伸手党区 +
+
+ + 腾讯移动品质中心TMQ 360Qtest团队 京东质量社区 搜狗质量部 +
+
+ + 搞机圈 新秀群 运动圈 单身贵族 内部站务 测试行业内参 +
+
+ + ATX TTF基金会管理 Appetizer MeterSphere AppCrawler 开源测试工具 HttpRunner +
+
+
+
+
+
+
+
+ 发布新话题 +
+
+
+
+ +
+
+
+ +
+
+
+
+ 热门节点 + +
+
+ Appium + 招聘 + 接口测试 + 新手区 + Bug 曝光台 + 违规处理区 + 问答 + 自动化工具 + 测试基础 + 通用技术 +
+
+
+
+ 大家都在关注的专栏 + +
+
+
+
+ +
+
+

有赞测试

+

有赞测试团队

+
+
+
+ 29 篇 +
+
+
+ 有赞测试在技术上的尝试和探索从未止步，我们会在这里记录每一次心得，分享每一次收货。欢迎加入我们，一起讨论，一起分享，一起成长！ +
+
+
+
+
+ +
+
+

+
+ 测试开发之路 +

+

孙高飞

+
+
+ +
+
+
+
+
+
+ +
+
+

+
+ 测试驿栈-由浅入深学性能 +

+

飞天小子的性能课堂

+
+
+ 性能测试基础入门到瓶颈分析，性能调优，全景式学习。微信公众号：测试驿栈 +
+
+
+
+
+
+ +
+
+

+
+ 小P性能压测专栏(PTT) +

+

小P说性能压测

+
+
+ 这里是来自阿里巴巴的小屁同学,小P, PTS的P。PTS(Performance Test Service)是阿里云上一款专业级性能压测产品,产品背后是一个优秀的强悍的团队。团队同学在阿里内部深耕数年,历经多次双十一的洗礼；同时近几年在产品商业化过程中,接触了除电商以外各种行业压测,对性能压测有了深且广的理解。本专栏旨在提供一个交流窗口,大家来看一看当今各行各业的老铁们都是怎么进行性能压测的。 +
+
+
+
+
+
+ +
+
+

+
+ Qtest测试之道 +

+

360Qtest团队

+
+
+ “极致做事，简单做人”，Qtest愿与您结伴、分享！ 欢迎关注我们的微信公众号【Qtest之道】 +
+
+
+
+
+
+
+ 急聘 + +
+
+
+
+ +
+
+
+ [腾讯北京] [AMS 联盟广告部] 腾讯广告技术支持 +
+
+
+
+
+ +
+
+
+ [腾讯北京] [AMS 联盟广告部] 测试开发工程师 +
+
+
+
+
+ +
+
+
+ [腾讯北京][AMS 联盟广告部] 移动端高级测试开发工程师 (Android/IOS) +
+
+
+
+
+ +
+
+
+ [上海] [贝壳] 招聘测试开发工程师 +
+
+
+
+
+ +
+
+
+ [北京] 神策数据 (大数据领域) 招聘测试 / 测试开发工程师多名 (独角兽，机会多多) +
+
+
+ + + + + + + +
+
+
+
+ 小帖士 +
+
+ 每次看到穷游日志的时候感觉都是那么穷就不要出去浪了 +
+
+
+
+
+ 推荐 TesterHome 资源 +
+ +
+
+
+ 关注 TesterHome 公众号 +
+
    +
    • +
+
+ + + + +
+
+ 友情社区 +
+ +
+
+
+ 合作伙伴 +
+ +
+
+
+
+
+ + + + +
+
+ + + + + +`; diff --git a/test/mockData/weixin/index/fail.json b/test/mockData/weixin/index/fail.json new file mode 100644 index 0000000..9f74b27 --- /dev/null +++ b/test/mockData/weixin/index/fail.json @@ -0,0 +1,3 @@ +{ + "status": 500 +} \ No newline at end of file diff --git a/test/mockData/weixin/index/success.json b/test/mockData/weixin/index/success.json new file mode 100644 index 0000000..c783180 --- /dev/null +++ b/test/mockData/weixin/index/success.json @@ -0,0 +1,3 @@ +{ + "status": 200 +} \ No newline at end of file diff --git a/test/mockData/zhihu/html_mock.js b/test/mockData/zhihu/html_mock.js new file mode 100644 index 0000000..445500e --- /dev/null +++ b/test/mockData/zhihu/html_mock.js @@ -0,0 +1,362 @@ +export const html = ` + + + bigo前端 - 知乎 + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
+
+
+
+
+
+
+
+
+ + + + + + + +
+
+ 专栏 + bigo前端 +
+
+
+ +
+ +
+
+
+
+
+
+
+
+
+
+ bigo前端 +
+
+ bigo前端 +
+
+ +
+
+ · +
+
+ 3 +
篇内容 +
+
+
+ + +
+
+ +
+
+
+
+
+
+
+
+
+
+

amis在bigo人工智能训练平台落地实践

+ + + + + + + +
+
+
+
+

【bigo】前端配置系统pear

+ + + + + + + +
+
+
+
+

【bigo前端】如何截取gif首帧图片

+ + + + + + + +
+
+
+
+
+
+
+
+
+ +
+
+
+
+ + + + + + +
+
+ 想来知乎工作？请发送邮件到 jobs@zhihu.com +
+
+
+
+
+
+
+
+
+
+ +`; \ No newline at end of file diff --git a/tsconfig.json b/tsconfig.json new file mode 100644 index 0000000..aff1db9 --- /dev/null +++ b/tsconfig.json @@ -0,0 +1,34 @@ +{ + "compileOnSave": true, + "compilerOptions": { + "baseUrl": "./", + "paths": { + "@/*": ["app/*"] + }, + "target": "es2017", + "module": "commonjs", + "strict": true, + "noImplicitAny": false, + "experimentalDecorators": true, + "emitDecoratorMetadata": true, + "charset": "utf8", + "allowJs": false, + "pretty": true, + "noEmitOnError": false, + "noUnusedLocals": true, + "noUnusedParameters": true, + "allowUnreachableCode": false, + "allowUnusedLabels": false, + "strictPropertyInitialization": false, + "noFallthroughCasesInSwitch": true, + "skipLibCheck": true, + "skipDefaultLibCheck": true, + "inlineSourceMap": true, + "importHelpers": true + }, + "exclude": [ + "app/public", + "app/views", + "node_modules*" + ] +} diff --git a/typings/index.d.ts b/typings/index.d.ts new file mode 100644 index 0000000..c81035a --- /dev/null +++ b/typings/index.d.ts @@ -0,0 +1,5 @@ +import 'egg'; + +declare module 'egg' { + +} \ No newline at end of file