项目目标

解决用户平时工作、生活中遇到的问题
分享知识、经验以及社交互动
浏览问题打发时间

项目角色

回答者

分享知识、经验、获得成就

浏览者

学习知识、打发时间

提问者

通过提问、获得知识、经验

产品核心功能

提问

发布问题
我的问题

回答

优质答案筛选&排序
- 点赞
- 评论
答案发布功能

浏览

问题列表
收藏
热门列表
搜索功能
人与人之间的联系
- 关注功能
消息
- 关注的问题有新回答
- 提问的问题有新回答

产品形态

Web端

技术选型

前端

使用vue进行页面渲染

后端

使用Go作为开发语言

存储层

使用mysql

缓存

使用redis，提升网站访问性能

消息队列

使用nsq作为消息队列，用来处理异步消息

整体架构图

基础库选型

API层

gin框架

日志库

go系统日志

配置库

go开发

模块划分

短url模块

长短url互换

账号模块

注册功能
登录功能
个人信息功能

实现

规划

http协议是无状态的，服务端需要确认每次访问者的身份
通过用户提供的一些资料，来表明用户的身份
- 用户资料
  - 手机号&验证码
  - 邮箱&密码
  - 用户名&密码
身份验证
- 方案一每次请求的时候都把表明身份的用户资料带上
  - 信息不够安全
  - 用户体验差
- 方案二账号系统
  - 进行统一管理和鉴权
  - 通过账号注册吧用户的身份存储起来
  - 登录是鉴权通过，以后不再需要登录
  - cookie和session共同使用
  - Cookie机制
    - 存储在客户端本地的一个文件数据
    - 浏览器发送请求的时候，自动把cookie给带上
    - 服务端可以设置cookie
    - cookie是针对单个域名的，不同域名之间的cookie是独立的
  - Cookie与登录鉴权
    - 用户登录鉴权账号和密码后，设置一个cookie： username=chenmc
    - 用户每次请求时，会自动吧cookie：username=chenmc，发送到服务端
    - 服务端收到这个请求之后，从cookie里面取出username，然后查询该用户是否登录
    - 如果登录，通过鉴权，否则重定向到注册或者登录界面
  - 方案缺陷
    - Cookie容易被伪造
  - 方案改进
    - 32位随机值uuid替代id
    - 服务端Session

登录流程

session模块设计

本质上是提供一个key-value系统，通过key进行查询、添加、删除和更新
Session数据可以存储在内存当中，redis或者数据库中；存储在数据库中可以在多个服务器上共享
session接口设计

Set Get Del Save
SessionMgr接口设计

CreateSession GetSession 通过sessionid获取session
Redis Session模块设计
- CreateSession
- GetSession
- init

账号中间件开发

通过cookie获取sessionId，并查询session获取对应的user_id
用户登录之后，需要透明的种上cookie
提供获取user_id以及是否登录的接口

为什么需要中间件

处理用户session相关功能是通用的，每个业务都需要
使用gin中间件，能够非常方便的集成session模块
并且对于业务是透明的，使用起来非常简单

cookie

golang中，cookie结构

type Cookie struct {
    // k v
    Name string 
    Value string

    Path string // optional 在哪个路径下生效
    Domain string // optional 在哪个域名下生效
    Expire time.time // 绝对过期时间
    RawExpires string
    MaxAge int // 相对过期时间
    Secure bool // 是否只在https下设置成功
    HttpOnly bool // 只用于http，js等脚本不能读取
    Raw string
    Unparse []string
}

golang中读取cookie
- 读取单个cookie
  
  http.Request.Cookie(key string)
- 读取所有cookies
  
  http.Request.Cookies()
设置cookie
- cookie := http.Cookie{Name:"username", Value: "chenmc", MaxAge:3000}
- http.SetCookie(w, &cookie) // w is http.ResponseWriter

账号中间件开发

具体请求处理前，通过cookie获取sessionid，加载session
处理请求之后，如果session有修改，则设置cookie
暴露获取user_id和判断登录状态的两个接口

账号模块功能

主要提供登录和注册两个功能
登录支持账号和密码登录
注册只手机用户名、昵称、性别以及密码等信息
user_id通过全局唯一id生成器生成
- 若考虑分机分库，不能依靠mysql主键id自增来生成
- 分布式系统多个分片插入数据时，需要保证插入的id唯一
- 全局唯一id生成器要求
  - 生成的ID全局唯一
  - 生成的ID最好不大于64bit
    - 不用128位的uuid是因为1，太长；2，是字符串，比较排序有性能影响
  - 高性能要求
  - 整个系统没有单点
- snowflake算法
  - 41位时间戳 | 10位节点id | 12位序列号
- github: github.com/snoy/snoyflake

账号数据库设计

CREATE TABLE `user` (
    `id` bigint(20) NOT NULL AUTO_INCREMENT,
    `user_id` bigint(20) NOT NULL,
    `username` varchar(64) COLLATE utf8mb4_general_ci NOT NULL,
    `nickname` varchar(64) COLLATE utf8mb4_general_ci NOT NULL DEFAULT '',
    `password` varchar(64) COLLATE utf8mb4_general_ci NOT NULL,
    `email` varchar(64) COLLATE utf8mb4_general_ci NOT NULL,
    `sex` tinyint(4) NOT NULL DEFAULT '0',
    `create_time` timestamp NULL DEFAULT CURRENT_TIMESTAMP,
    `update_time` timestamp NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
    PRIMARY KEY  (`user_id`),
    UNIQUE KEY `idx_username` (`username`) USING BTREE,
    UNIQUE KEY `idx_user_id` (`user_id`) USING BTREE,
    UNIQUE KEY `idx_id` (`id`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci;

前端

采用vue.js框架进行开发
前端项目的地址，https://github.com/isanxia/mercury-client

收藏模块

收藏模块功能介绍
- 用户可以收藏优质的答案
- 用户需要先创建收藏夹，然后再收藏
- 收藏夹只支持一层，不支持嵌套

收藏表结构

收藏夹表

CREATE TABLE `favorite_dir` (
`id` bigint(20) unsigned NOT NULL AUTO_INCREMENT,
`dir_id` bigint(20) NOT NULL,
`dir_name` varchar(64) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL,
`user_id` bigint(20) unsigned NOT NULL,
`count` int(10) unsigned NOT NULL DEFAULT '0',
`create_time` timestamp NULL DEFAULT CURRENT_TIMESTAMP,
`update_time` timestamp NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
PRIMARY KEY (`dir_id`),
UNIQUE KEY `idx_id` (`id`) USING BTREE,
UNIQUE KEY `idx_user_dir_name` (`user_id`,`dir_name`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci;

收藏表

CREATE TABLE `favorite` (
`id` bigint(20) NOT NULL AUTO_INCREMENT,
`answer_id` bigint(20) NOT NULL,
`dir_id` bigint(20) NOT NULL,
`user_id` bigint(20) NOT NULL,
`create_time` timestamp NULL DEFAULT CURRENT_TIMESTAMP,
`update_time` timestamp NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
PRIMARY KEY (`id`),
UNIQUE KEY `idx_user_id_answer_id` (`user_id`,`dir_id`,`answer_id`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci;

接口设计

接口名接口

添加收藏夹 /api/favorite/add_dir

添加收藏 /api/favorite/add

获取收藏夹列表 /api/favorite/dir_list

获取收藏列表 /api/favorite/list
收藏列表
添加收藏
删除收藏

问答模块

问题提交

问题提交模块整体流程
表结构设计

CREATE TABLE `question` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `question_id` bigint(20) NOT NULL,
  `caption` varchar(128) COLLATE utf8mb4_general_ci NOT NULL COMMENT '问题标题',
  `content` varchar(8192) COLLATE utf8mb4_general_ci NOT NULL COMMENT '问题内容',
  `author_id` bigint(20) NOT NULL ,
  `category_id` bigint(20) NOT NULL COMMENT '所属栏目',
  `status` tinyint(4) NOT NULL DEFAULT '1' COMMENT '问题状态',
  `create_time` timestamp NULL DEFAULT CURRENT_TIMESTAMP,
  `update_time` timestamp NULL DEFAULT CURRENT_TIMESTAMP on update current_timestamp,
  primary key (`id`),
  KEY `idx_author_id` (`author_id`),
  KEY `idx_question_id` (`question_id`),
  KEY `idx_category_id` (`category_id`)
) ENGINE=InnoDB DEFAULT  CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci;

  - 该表结构设计存在一些问题，category_id不应该存放在该表中，问题和分类是1:n的关系，目前先暂时设计为1:1关系，
  - 因此要新建一张表，存放categor_id - question_id，组成n:m的表结构
  - 或每个category_id下有哪些问题，推荐使用redis数据库，可进行交集，并集等集合操作
  - 或者把category_id视为一个专栏，形成一个1:1的关系

敏感词过滤功能开发
- 1.采用正则表达式进行过滤
  - 性能差单词替换 O(n*m)
- 2.采用trie树进行过滤和替换
  - 字典树，前缀相同的在同一子树，节省空间
  - 查找速度快整体性能 O(n*m)
提交模块开发

问题列表

表结构设计

create table `category` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `category_id` int(10) unsigned NOT NULL ,
  `category_name` varchar(128) COLLATE utf8mb4_general_ci NOT NULL,
  `create_time` timestamp NULL DEFAULT CURRENT_TIMESTAMP,
  `update_time` timestamp NULL DEFAULT CURRENT_TIMESTAMP on update current_timestamp,
  PRIMARY KEY (`id`),
  UNIQUE KEY `idx_category_id` (`category_id`),
  UNIQUE KEY `idx_category_name` (`category_name`)
)ENGINE=InnoDB DEFAULT  CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci;

问题详情页

数据模型
- 维护一个问题到回答列表的关系链
- 维护一个回答基本信息的数据模型

表结构

问题-回答列表的关系链表

CREATE TABLE `question_answer_rel` (
  `id` bigint(20) NOT NULL  AUTO_INCREMENT,
  `question_id` bigint(20) NOT NULL ,
  `answer_id` bigint(20) NOT NULL ,
  `create_time` timestamp NULL DEFAULT CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`),
  UNIQUE KEY `idx_question_answer` (`question_id`, `answer_id`)
)ENGINE=InnoDB DEFAULT  CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci;

回答基本信息表

  CREATE TABLE `answer` (
    `id` bigint(20) NOT NULL  AUTO_INCREMENT,
    `answer_id` bigint(20) NOT NULL ,
    `content` text COLLATE utf8mb4_general_ci NOT NULL,
    `comment_count` int(10) unsigned NOT NULL DEFAULT '0' ,
    `voteup_count` int(11) NOT NULL DEFAULT '0' ,
    `authord_id` bigint(20) NOT NULL ,
    `status` tinyint(3) unsigned NOT NULL DEFAULT '1',
    `can_comment` tinyint(3) unsigned NOT NULL DEFAULT '1',
    `create_time` timestamp NULL DEFAULT CURRENT_TIMESTAMP,
    `update_time` timestamp NULL DEFAULT CURRENT_TIMESTAMP on update current_timestamp,
    PRIMARY KEY (`id`),
    UNIQUE KEY `idx_answer_id` (`answer_id`),
    KEY `idx_author_id` (`authord_id`)
 )ENGINE=InnoDB DEFAULT  CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci;

接口设计
- 问题详情接口，/api/question/detail?question_id=xxx
- 问题回答列表接口，/api/answer/list?question_id=xxx?offset=0&&limit=xxx
- 回答提交接口
接口开发
- 先查询问题-回答关系链，获取本次的问答id列表
- 通过问题id列表，批量的去查询回答列表
- 通过作者id列表，批量的去查询用户信息列表

问题原数据维护
- 问题作者、回答数

敏感词过滤模块开发

1.Trie树构造
2.词库加载
3.敏感词过滤和替换

关注模块

关注的人
关注的问题

通知模块

关注的问题有新回复
提问的问题有新回复

点赞模块

评论模块

评论模块结构
- 两层评论结构
  - level 1 对回答/问题的评论
  - level 2 对评论的评论
评论模块的基本功能
- 两层评论的组织形式
- 从概念上分为评论和回复两种形式
- 评论的计数
  - 评论数
  - 点赞数

表结构设计需要两张表，一张comment存储comment内容，一张comment_rel存储评论间的关系

comment表结构

CREATE TABLE `comment` (
    `id` bigint(20) NOT NULL AUTO_INCREMENT,
    `comment_id` bigint(20) NOT NULL,
    `content` longtext COLLATE utf8mb4_general_ci NOT NULL,
    `author_id` bigint(20) NOT NULL COMMENT '评论者的id',
    `like_count` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '点赞数量',
    `comment_count` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '评论数量',
    `create_time` timestamp NULL DEFAULT CURRENT_TIMESTAMP,
    `update_time` timestamp NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
    PRIMARY KEY (`id`),
    UNIQUE KEY `idx_comment_id` (`comment_id`),
    KEY `idx_author_id` (`author_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci

comment_rel表结构

CREATE TABLE `comment_rel` (
    `id` bigint(20) NOT NULL AUTO_INCREMENT,
    `comment_id` bigint(20) unsigned NOT NULL,
    `parent_id` bigint(20) NOT NULL COMMENT '评论的父id，1level的父id是回答id，2level的父id是要回复的评论id',
    `level` int(11) NOT NULL,
    `question_id` bigint(20) NOT NULL COMMENT '要评论的回答id/问题的id',
    `reply_author_id` bigint(20) NOT NULL COMMENT '被回复的作者id',
    `reply_comment_id` bigint(20) NOT NULL DEFAULT '0' COMMENT '被回复的评论id',
    PRIMARY KEY (`id`),
    KEY `idx_question_id_level` (`question_id`,`level`),
    KEY `idx_parent_id_level` (`parent_id`,`level`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci

接口设计

接口名	接口
发表评论接口	/api/comment/post_comment
发表回复接口	/api/comment/post_reply
获取评论列表接口	/api/comment/list
获取回复列表接口	/api/comment/reply_list
点赞接口	/api/comment/like

发表评论
- CreatePostComment
  - 获取前端传过来的Comment
  - 补充Comment结构数据
  - db通过Comment持久化评论
    - 写入comment表
    - 写入comment_rel表
发表回复
- PostReplyHandle
  - 获取前端传过来的Comment
  - 补充Comment结构数据
  - db通过Comment持久化评论
    - 写入comment表
    - 写入comment_rel表
    - answer表/question表对应id评论数+1
获取评论列表
- CommentListHandle
  - 从上下文中获取 answer_id/question_id, offet, limit
  - 获取level 1评论列表
  - 补充评论列表中Comemnt结构数据
    - 获取评论者信息
    - 获取回复者信息
  - 组建ApiCommentList，响应
获取回复列表
- ReplyListHandle
  - 从上下文中获取 answer_id/question_id, offet, limit
  - 获取level 2评论列表
  - 补充评论列表中Comemnt结构数据
    - 获取评论者信息
    - 获取回复者信息
  - 组建ApiCommentList，响应
点赞
- LikeHandle
  - 获取前端传过来的Like
  - 判断点赞类型，存入数据库

搜索模块

全文搜索
问题搜索

个人开发中遇到的问题

vue前端代码用npm i 安装依赖出现问题

解决办法
- 下载最新的node.js
- 换淘宝源
- 用淘宝源安装cnpm
- sudo cnpm i

调试注册代码，出现跨域访问问题，访问被浏览器阻止

问题原因
- vue前端代码中basepath是http://localhost:9090，而调试用的url是127.0.01:9090
解决办法
- 区分localhost与127.0.0.1的区别，用localhost组成uri访问

数据库user表少了password column

解决办法增加一列alter table user add column password varchar(64) COLLATE utf8mb4_general_ci NOT NULL after nickname;

调试时，端口9090被占用，运行不了qasystem

解决办法
- lsof -i:9090查看哪个进程在使用端口号，及其pid
- kill 对应的pid

用户首次登录时cookie设置失败

首次登录时，sesion不存在，需要重新创建，创建后需要设置sessionId，而我中间多了一个判断session.IsModify的操作，然后首次创建的session显然是没有修改的，导致错过设置，影响到保存了
解决办法，首次登录直接设置新的sessionId，并保存

cookie数据提交给浏览器失败

原因：在LoginHandle中，在ctx.JSON之后再SetCookie，根据gin框架的规则，应该先SetCookie，再ctx.JSON

mdlacc.ProcessRequest(ctx)

	defer func() {
		if err != nil {
			return
		}

		// 由于gin框架的特性，需要在util.ResponseSuccess之前调用，不能放在defer中
		fmt.Println("ProcessResponse")
		mdlacc.ProcessResponse(ctx)
		// 登录成功，那么我们设置user_id到用户session中
		util.ResponseSuccess(ctx, nil)
	}()

开发首页问题列表时遇到， err:missing destination name question_id in []common.Question

原因：在写结构体common.Question时，tag标签出现语法错误，两个tag之间有一个','号，QuestionId int64 json:"question_id_number", db:"question_id"`
解决办法，去掉','号QuestionId int64 json:"question_id_number" db:"question_id"`

接口名	接口
添加收藏夹	/api/favorite/add_dir
添加收藏	/api/favorite/add
获取收藏夹列表	/api/favorite/dir_list
获取收藏列表	/api/favorite/list

Files

readme.md

Latest commit

History

readme.md

File metadata and controls

项目目标

项目角色

回答者

浏览者

提问者

产品核心功能

提问

回答

浏览

产品形态

Web端

技术选型

前端

后端

存储层

缓存

消息队列

整体架构图

基础库选型

API层

日志库

配置库

模块划分

短url模块

账号模块

实现

规划

登录流程

session模块设计

账号中间件开发

为什么需要中间件

cookie

账号中间件开发

账号模块功能

账号数据库设计

前端

收藏模块

问答模块

敏感词过滤模块开发

关注模块

通知模块

点赞模块

评论模块

搜索模块

个人开发中遇到的问题

vue前端代码用npm i 安装依赖出现问题

调试注册代码，出现跨域访问问题，访问被浏览器阻止

数据库user表少了password column

调试时，端口9090被占用，运行不了qasystem

用户首次登录时cookie设置失败

cookie数据提交给浏览器失败

开发首页问题列表时遇到， err:missing destination name question_id in *[]*common.Question

开发首页问题列表时遇到， err:missing destination name question_id in []common.Question