FAQ

  • 若遇到无法解决的问题,请查看相关日志,保存截图信息,提交Issue,issue中请贴文本日志
  • 请先进行Issue搜索,或许就可以解决你的问题
  • 请使用最新的Releases版本,其他分支都是非稳定版本,不受支持

错误日志地址

logs/archery.log
logs/qcluster.log
logs/soar.log
# docker查看,可能不完整,以日志文件为准
docker logs archery -f --tail=10

SQL上线相关

MySQL审核、执行、备份基于Inception/goInception实现,建议使用SQL审核前先完整阅读对应项目文档,Inception目前已停止维护,遇到问题可先切换到goInception,如仍无法满足需求,可给goInception项目提交issue,作者反馈及时 - goInception使用规范及说明文档 - Inception使用规范及说明文档

无法选择资源组、实例

  • 资源组必须关联实例
    用户和实例之间目前是通过资源组间接关联
  • 资源组必须关联用户
    用户仅可以查看关联的资源组以及资源组所关联的实例信息,在系统管理-资源组管理页面,进行组管理以及组关联对象管理 -w1216 也可在用户管理中编辑用户,增加关联关系 -w1198

  • 必须给实例关联[支持上线]标签
    在实例管理中编辑实例,给实例关联标签

  • 资源组属性里一定不能设置 删除: 是 设置为 删除: [是]时,不显示资源组列表,如需显示一定要设置[否]

选择MySQL实例后不显示数据库

系统会默认过滤系统和测试数据库,目前无法配置,过滤列表为

information_schema
performance_schema
mysql
test
sys

审核人无法查看申请人提交的工单

相关issue: #84 #287 - 审核人只能审核自己所在资源组的数据,所以审核人必须要关联工单的资源组

MySQL检测报错

以下错误均出现在Inception中,切换到goInception和避免所有问题

Must start as begin statement

或者提示TypeError: '<' not supported between instances of 'NoneType' and 'int' Inception版本不正确导致出现兼容问题,可以按照下列方法修改,或者直接使用推荐版本:https://github.com/hhyo/inception

#修改venv4archer/lib/python3.6/site-packages/MySQLdb/connections.py
def show_warnings(self):
"""Return detailed information about warnings as a
sequence of tuples of (Level, Code, Message). This
is only supported in MySQL-4.1 and up. If your server
is an earlier version, an empty sequence is returned."""
if self._server_version[0] is None: return () #增加一行,解决语法SQL语法错误时弹出的报错信息
if self._server_version < (4,1): return ()
self.query("SHOW WARNINGS")
r = self.store_result()
warnings = r.fetch_row(0)
return warnings

The backup dbname is too long

主库配置的连接信息过长,Inception生成备份时需要依靠连接信息创建备份数据库,可使用ip或者cname别名缩短连接名信息

invalid source infomation

inception用来审核的账号,密码不能包含*,同时用户和端口不能为空

Incorrect database name ''**

inception检查不支持子查询

Invalid remote backup information**

inception无法连接备份库

SQL上线执行语句失败,提示需要SUPER权限

相关issue: #129 - 这个问题的根本原因是,如果binlog格式不为ROW,Inception/goInception会尝set binlog_format=row, 而这个操作需要super权限,所以会有这个错误提示

工单状态一直是执行中

  1. 检查日志记录确认是否正常启动了Django-Q服务,日志文件为logs/qcluster.log
  2. 使用python manage.py qmonitor确认qcluster的运行状态
  3. 检查日志是否有执行报错的信息
  4. 登录inception,使用inception get processlist;确认语句执行状态,部分场景下可能出现备份耗时过长

回滚报错

相关issue: #309 可在issue搜索回滚、备份关键字 - 错误信息一般如下所示,或者显示备份数据库不存在,请按照以下checklist逐一排查 -w1338 1. 使用前先完整阅读goInceptionInception项目文档 2. 检查系统配置里面inception备份库的相关配置 3. 检查inception配置文件inc.cnf里面的inception_remote_相关配置 4. 检查inception审核用户和备份用户权限,权限参考 sql — inception备份用户 GRANT SELECT, INSERT, CREATE ON *.* TO 'inception_bak' — inception审核用户(主库配置用户,如果要使用会话管理需要赋予SUPER权限,如果需要使用OSC,请额外配置权限) GRANT SELECT, INSERT, UPDATE, DELETE, CREATE, DROP, ALTER, REPLICATION CLIENT, REPLICATION SLAVE ON *.* TO 'inception' 5. 检查binlog是否开启,并且格式需要为ROW,binlog_row_image为FULL 6. 检查DML的表是否存在主键 7. 检查语句是否有影响数据 8. 检查备份库是否开启autocommit 9. mariadb不会生成备份

SQL查询相关

相关issue: #145

申请查询权限选择资源组后不显示实例信息

  • 在线查询仅显示关联了【支持查询】标签的实例,并且用户所在资源组需要关联该实例
  • 建议单独创建一个只读账号,来区分上线实例和查询实例

MySQL查询提示无法校验查询语句权限,请联系管理员

从v1.7.3开始,使用goInception来解析语句,进行表权限校验,注意检查goInception的连接以及goInception对查询实例的连接

脱敏字段添加过于繁琐

可参考下面的脚本,定时运行即可

DIR="$( cd "$( dirname "$0"  )" && pwd  )"
cd $DIR
archery_host=127.0.0.1
archery_port=3306 
archery_user=
archery_db=archery
archery_pw=

# 获取archery所有slave实例信息
mysql -h$archery_host -P$archery_port -u$archery_user -p$archery_pw $archery_db -N -e "select 
instance_name,host,port 
from sql_instance  where type='slave';">instances.list

# 清空表
mysql -h$archery_host -P$archery_port -u$archery_user -p$archery_pw $archery_db -N -e "truncate table data_masking_columns;"

# 获取脱敏字段信息
cat instances.list|while read instance_name host port 
do 
mysql -h$host -P$port -u$user -p$pw -N -e "
SELECT CASE
         WHEN COLUMN_NAME REGEXP 'phone|mobile|phone_number'
           THEN 1
         WHEN COLUMN_NAME REGEXP 'id_number|idcard'
           THEN 3
         WHEN COLUMN_NAME REGEXP 'mail'
           THEN 4
         WHEN COLUMN_NAME REGEXP 'pwd|password'
           THEN 6
         END AS       rule_type,
       1     AS       active,
       '$instance_id' instance_id,
       TABLE_SCHEMA   table_schema,
       TABLE_NAME     table_name,
       COLUMN_NAME    column_name,
       COLUMN_COMMENT column_comment
FROM information_schema.COLUMNS
WHERE COLUMN_NAME REGEXP 'phone|mobile|phone_number|id_number|idcard|mail|pwd|password'
AND TABLE_NAME NOT LIKE 'tmp%';">$instance_name.txt

# 更新表数据
mysql -h$archery_host -P$archery_port -u$archery_user -p$archery_pw $archery_db -N -e "load data local infile '$instance_name.txt' replace into table data_masking_columns fields terminated by '\t' ( rule_type,active,instance_name,table_schema,table_name,column_name,column_comment);"
done

脱敏查询规则未生效

  1. 检查配置管理是否开启了脱敏配置
  2. 检查脱敏字段是否命中(名称区分大小写,关联实例和查询实例是否一致)
  3. 检查脱敏规则的正则表达式是否可以匹配到数据,无法匹配的会返回原结果
  4. 检查是否关闭了QUERY_CHECK参数,关闭该参数遇到无法解析的脱敏语句会直接跳过

SQL优化相关

慢日志不显示

  1. 检查脚本内的配置,hostname和实例配置表中的内容是否保持一致,比如实例列表配置如下 -w1125 则脚本内的hostname就应该为hostname="mysql:3306"
  2. 检查慢日志收集表mysql_slow_query_review_history是否存在记录,并且hostname_max是否和实例配置的host:port一致

采用goinception后添加json类型字段报错

* 报错如下:报错不允许使用json类型(列'xxx')
* 解决方法:在goincepiton的配置文件config.toml 添加enable_json_type=true

其他

页面样式显示异常

通常显示如下 -w1337 这是因为NGINX的静态资源配置不正确,无法访问样式文件,修改相关配置即可,假如 settings.py配置项为:STATIC_ROOT = os.path.join(BASE_DIR, 'static') archery部署路径为:/opt/archery,则location修改为

location /static {
         alias /opt/archery/static; 
       }

普通用户点击修改密码后无法登录管理页面

进入用户管理页面开启职员状态即可 -w1330

MS SQL server 连接异常

需要安装 msodbc驱动,具体参加官方文档