DDL也会有undo吗?模拟Oracle中DML、DDL与undo的关系,10046跟踪DDL语句

发布于:2024-07-11 ⋅ 阅读:(17) ⋅ 点赞:(0)

已经有两个月没有更新博客了,主要实在忙毕设和毕业的一些事情!这两个月也是非常的精彩呀,充分体会到了职场的和校园的不同,作为一名刚毕业就满 1 年工作经验的牛马人,在两个月期间经历了两次调岗、两次降薪,如果再来个裁员那就更精彩了!!哈哈

废话不多说,上菜

今天主要来研究DDL、DML与undo的关系?前两天部门有同事问:

大概意思就是:在执行插入语句时能否理解为它占用的undo表空间和该表所占数据文件的大小一致,我是这么回答的:

小小获得了部门主管的称赞!

在数据库事务四大特性中有一个是原子性,具体来说就是 原子性是指对数据库的一系列操作,要么全部成功,要么全部失败,不可能出现部分成功的情况。实际上,原子性底层就是通过undo log实现的。undo log主要记录了数据的逻辑变化,比如一条INSERT语句,对应一条DELETEundo log,对于每个UPDATE语句,对应一条相反的UPDATEundo log,这样在发生错误时,就能回滚到事务之前的数据状态。同时,undo log也是MVCC(多版本并发控制)实现的关键。 undo空间主要用于存储事务未提交之前的数据快照,方便回滚事务。理论上在undo里面只需要记录关键信息(最少信息)确保能够回滚到事务之前的数据就可以。所以对于insert语句,undo只需要记录插入行的 ROWID,就可以完成回滚;delete语句需要在 Undo 中记录被删除行所有列的前镜像和其 ROWID; update语句需要在 Undo 中记录被更新列的前镜像和被更新行 ROWID;

究竟为什么呢?对不对呢?

今天就来研究下为什么undo(insert) < undo(update) < undo(delete) < 数据文件中记录的表大小

一、用到的SQL

1、查询当前会话中undo的大小

select vs.name, ms.value
   from v$mystat ms, v$sysstat vs
  where ms.statistic# = vs.statistic#
    and name = 'undo change vector size';

ps:后面经常会用到这条SQL,不一一写出了,查看undo大小用这个SQL。表时当前会话产生undo的大小。重进会话可以刷新。2、启用SQL跟踪的SQL,用10046 事件查看跟踪SQL执行情况, 设置level 1只查看基本的 SQL 跟踪,包括 SQL 语句的执行情况。

oradebug setmypid; 
 oradebug event 10046 trace name context forever,level 1;

二、DML语句占undo表空间的大小

结论

先说结论:一般情况下undo(insert) < undo(update) < undo(delete) < 数据文件中记录的表大小

数据操纵语言 Data Manipulation Language DML:SELECT,UPDATE,INSERT,DELETE

实验

1、环境准备:

sqlplus 进入实验环境,查看undo大小为0

NAME VALUE


undo change vector size 0

建表

create table pandatbtb (id int,name varchar2(10));

查undo:

NAME VALUE


undo change vector size 2628

细心的人会发现了,create是DDL语句啊,直接提交不会回滚,为什么会产生undo呢?别急下个实验我们再看。

现在我们需要刷新当前会话的undo:v$mystatv$sysstat是 Oracle 数据库中的动态性能视图,分别存储当前会话的统计信息和系统级别的统计信息。 所以退出去,重登录可以刷新会话即刷新当前会话undo,查看undo大小为0就对了。

NAME VALUE


undo change vector size 0

环境准备好了,我们来实验INSERT,DMLUPDATE,DELETE三条语句所占undo的大小吧:

2、insert语句占用undo的大小:

insert into pandatb values (1,'panda01');

查看undo大小:

NAME VALUE


undo change vector size 112

退出重进,或者看增量。

3、update语句占用undo的大小:

update pandatb set name = 'panda02' where id = 1;

查看undo大小:

NAME VALUE


undo change vector size 168

4、delete语句占用undo的大小:

delete panda02 where id = 1;

查看undo大小:

NAME VALUE


undo change vector size 260

由此可见,一般情况下,undo(insert) < undo(update) < undo(delete) 但是由于实验数据过小,不具有普遍性,仅供参考,这不是绝对,在某种情况有可能会发生顺序颠倒的时候。

5、数据文件中记录的表大小

analyze简单收集一下表的统计信息:

SYS@orcl> analyze table PANDATB compute statistics for table;
 Table analyzed.
 SYS@orcl> select table_name, blocks, empty_blocks, num_rows
 from dba_tables
 where table_name = 'PANDATB';

TABLE_NAME BLOCKS EMPTY_BLOCKS NUM_ROWS


PANDATB 1 6 1

可以看到现在还有一行数据,用到一个8k的块,还有6个空的块。

扩展1:如何不产生 UNDO 或少量的 UNDO 呢?

在 Oracle 数据库中,DML(数据操作语言)语句通常会生成 undo 数据,以确保事务的原子性、一致性、隔离性和持久性(ACID)。然而,在某些情况下,我们可能希望减少 undo 的生成量,以提高性能或处理特定的需求。以下是一些方法,可以减少 DML 操作生成的 undo 数据量:

1. 使用直接路径插入(Direct-Path Insert)

使用 append 提示进行 insert 叫做直接路径加载插入。加载大数据的时候可以采用这种方式。直接路径插入会绕过缓冲缓存(buffer cache),将数据直接写入数据文件,从而减少 undo 的生成。

INSERT /*+ APPEND */ INTO target_table
 SELECT * FROM source_table;
 
 delete /*+ append */ panda02 where id = 1;

注意:直接路径插入可能会持久化数据,不可回滚,所以要小心使用。并且加入/+append/提示插入数据后需要马上 commit 事务,不然会出现ERROR 位于第 1 行:ORA-12838: 无法在并行模式下修改之后读/修改对象的错误。 会影响下一次修改失败(insert,update,delete)即使此时 select 这个表都会报错。因此 append 提示的语句首先不能是业务表,其次要尽快提交 commit。

2. 使用批量操作(Bulk Operations)

批量操作可以减少每个单独 DML 语句的开销,从而间接减少 undo 数据量。

使用 PL/SQL 的 FORALL

DECLARE
  TYPE numlist IS TABLE OF NUMBER;
  mylist numlist := numlist(1, 2, 3, 4, 5);
BEGIN
  FORALL i IN mylist.FIRST..mylist.LAST
    INSERT INTO my_table (column1) VALUES (mylist(i));
END;
3. 减少事务大小

通过减少单个事务中操作的记录数,可以减少每个事务生成的 undo 数据量。

-- 小事务
BEGIN
  INSERT INTO my_table VALUES (1, 'data1');
  COMMIT;
  INSERT INTO my_table VALUES (2, 'data2');
  COMMIT;
END;
4. 使用分区表(Partitioned Tables)

使用分区表将大表分成多个小的独立部分,可以减少每个分区上的 DML 操作生成的 undo 数据量。

CREATE TABLE partitioned_table (
  id NUMBER,
  data VARCHAR2(100)
)
PARTITION BY RANGE (id) (
  PARTITION p1 VALUES LESS THAN (1000),
  PARTITION p2 VALUES LESS THAN (2000)
);
5. 使用不可回滚表(Non-Undo Tables)

在某些特殊情况下(如临时表),可以选择使用不产生 undo 数据的表。

CREATE GLOBAL TEMPORARY TABLE temp_table (
  id NUMBER,
  data VARCHAR2(100)
) ON COMMIT DELETE ROWS;

在某些特殊情况下(如临时表),可以选择使用不产生 undo 数据的表。

CREATE GLOBAL TEMPORARY TABLE temp_table (
  id NUMBER,
  data VARCHAR2(100)
) ON COMMIT DELETE ROWS;
6. 调整批量提交频率

在大量 DML 操作中,增加批量提交的频率可以减少每个事务生成的 undo 数据量。

DECLARE
  CURSOR c IS SELECT * FROM source_table;
  counter INTEGER := 0;
BEGIN
  FOR r IN c LOOP
    INSERT INTO target_table VALUES (r.id, r.data);
    counter := counter + 1;
    IF counter = 1000 THEN
      COMMIT;
      counter := 0;
    END IF;
  END LOOP;
  COMMIT;
END;
7. 使用 TRUNCATE 代替 DELETE

TRUNCATE 表操作不会生成 undo 数据,因为它直接重置高水位标记,而不是逐行删除数据。

TRUNCATE TABLE my_table;

注意TRUNCATE 操作是不可回滚的。

虽然在很多情况下生成 undo 数据是必须的,但通过上述方法,可以有效地减少 DML 操作生成的 undo 数据量,从而提升性能和效率。具体选择哪种方法,需要根据实际业务需求和数据库的使用场景来确定。

扩展2:select会产生undo吗?

select属于DQL是DML的一个分支,查询语句并不会造成数据的更改,不会记录在undo中。但是在某些情况下select也会产生undo1. SELECT FOR UPDATE当使用 SELECT ... FOR UPDATE 语句时,数据库会对被查询的行加锁,以防止其他事务对这些行进行更改。这种情况下,会产生 undo 信息来记录锁的状态,以便在事务回滚时能够正确释放锁。

SELECT * FROM my_table WHERE id = 1 FOR UPDATE;

2. 查询触发了内部修改在某些情况下,查询可能会触发内部的自动修改。例如,某些存储过程或触发器在查询期间被调用,并且这些过程或触发器对数据进行了修改。虽然这种情况不常见,但它确实会导致产生 undo。3. Flashback Query在使用 Flashback Query 功能时,Oracle 需要读取 undo 数据来恢复到指定的时间点。这意味着即使查询本身不产生 undo,它仍然依赖于 undo 数据来完成查询。

SELECT * FROM my_table AS OF TIMESTAMP (SYSTIMESTAMP - INTERVAL '5' MINUTE);

4. 读一致性Oracle 数据库为了实现读一致性,可能会在查询过程中使用 undo 数据来确保返回的数据是一致的,特别是在多事务并发访问的环境中。虽然这不会直接导致查询生成 undo,但 undo 的使用在这个过程中是必要的。5. 索引和统计信息更新有时查询可能会触发统计信息或索引的更新,特别是在查询优化器决定收集统计信息以优化查询性能的情况下。这些更新操作可能会产生 undo。

三、DDL语句占用undo表空间的大小

DDL都是直接提交的?没有回滚这一说,也有会产生undo吗?事实是几乎每个 ddl 操作都会产生 undo,我们来探究一下:ddl 是否会产生 undo:

select vs.name, ms.value
  from v$mystat ms, v$sysstat vs
 where ms.statistic# = vs.statistic#
   and name = 'undo change vector size';

NAME VALUE


undo change vector size 0

DDL语句是否占用undo空间探究

SQL> create table pandatb2 as select name from v$datafile;Table created.查看undo大小:

NAME VALUE


undo change vector size 2400

create table 的 ddl 语句产生了大约 2400 bytes 的撤销变化向量

drop table PANDATB2;查看undo大小:

NAME VALUE


undo change vector size 4936

drop table 语句产生 4936-2400=2536 bytes 的 undo 数据,drop多于 create table;从结果中可以看出,DDL 操作也产生 UNDO。

10046跟踪探究DDL过程

有些人可能会奇怪 DDL 怎么产生了 UNDO?DDL 不是不能 ROLLBACK 么? 我们需要查看 DDL 语句执行过程。这里我们通过 10046 trace 来查看:

猜测:可能是 create table 时 Oracle 需要向基表中 insert 数据,而 drop table 时则需要 delete/update 数据,递归调用了DML语句,比如一些存储过程、在建表的时候需要创建一些基表和隐藏字段,显然后者产生更多的 undo

我们下面用 10046 来跟踪一下 create table 与 drop table 到底做了哪些操作?

1、10046 来跟踪 create table
SYS@orcl> oradebug setmypid; 
Statement processed.
SYS@orcl> oradebug event 10046 trace name context forever,level 1; 
Statement processed.
SYS@orcl> create table pandatb02 (id int,name varchar2(10));

Table created.

select vs.name, ms.value
from v$mystat ms, v$sysstat vs where ms.statistic# = vs.statistic#
  3  and name = 'undo change vector size';

NAME								      VALUE
---------------------------------------------------------------- ----------
undo change vector size 					       2312

SYS@orcl>

create 产生了 2.3k 的 undo

SYS@orcl> oradebug tracefile_name; 
/u01/app/oracle/diag/rdbms/orcl/orcl/trace/orcl_ora_10078.trc



[root@orcl:/root]$ cat /u01/app/oracle/diag/rdbms/orcl/orcl/trace/orcl_ora_10078.trc | egrep "insert|update|delete"
   m_stmt:='insert into sdo_geor_ddl__table$$ values (1)';
   m_stmt:='insert into sdo_geor_ddl__table$$ values (2)';
insert into obj$(owner#,name,namespace,obj#,type#,ctime,mtime,stime,status,remoteowner,linkname,subname,dataobj#,flags,oid$,spare1,spare2,spare3) values(:1,:2,:3,:4,:5,:6,:7,:8,:9,:10,:11,:12,:13,:14,:15,:16,:17,:18)
insert into seg$ (file#,block#,type#,ts#,blocks,extents,minexts,maxexts,extsize,extpct,user#,iniexts,lists,groups,cachehint,hwmincr, spare1, scanhint, bitmapranges) values (:1,:2,:3,:4,:5,:6,:7,:8,:9,:10,:11,:12,:13,:14,:15,:16,DECODE(:17,0,NULL,:17),:18,:19)
insert into tab$(obj#,ts#,file#,block#,bobj#,tab#,intcols,kernelcols,clucols,audit$,flags,pctfree$,pctused$,initrans,maxtrans,rowcnt,blkcnt,empcnt,avgspc,chncnt,avgrln,analyzetime,samplesize,cols,property,degree,instances,dataobj#,avgspc_flb,flbcnt,trigflag,spare1,spare6)values(:1,:2,:3,:4,decode(:5,0,null,:5),decode(:6,0,null,:6),:7,:8,decode(:9,0,null,:9),:10,:11,:12,:13,:14,:15,:16,:17,:18,:19,:20,:21,:22,:23,:24,:25,decode(:26,1,null,:26),decode(:27,1,null,:27),:28,:29,:30,:31,:32,:33)
insert into col$(obj#,name,intcol#,segcol#,type#,length,precision#,scale,null$,offset,fixedstorage,segcollength,deflength,default$,col#,property,charsetid,charsetform,spare1,spare2,spare3)values(:1,:2,:3,:4,:5,:6,decode(:5,182/*DTYIYM*/,:7,183/*DTYIDS*/,:7,decode(:7,0,null,:7)),decode(:5,2,decode(:8,-127/*MAXSB1MINAL*/,null,:8),178,:8,179,:8,180,:8,181,:8,182,:8,183,:8,231,:8,null),:9,0,:10,:11,decode(:12,0,null,:12),:13,:14,:15,:16,:17,:18,:19,:20)
   m_stmt:='delete from sdo_geor_ddl__table$$ where id=2';
   m_stmt:='delete from sdo_geor_ddl__table$$';
update seg$ set type#=:4,blocks=:5,extents=:6,minexts=:7,maxexts=:8,extsize=:9,extpct=:10,user#=:11,iniexts=:12,lists=decode(:13, 65535, NULL, :13),groups=decode(:14, 65535, NULL, :14), cachehint=:15, hwmincr=:16, spare1=DECODE(:17,0,NULL,:17),scanhint=:18, bitmapranges=:19 where ts#=:1 and file#=:2 and block#=:3
[root@orcl:/root]$

主要是向基表中插入数据可见 DDL 语句递归做了很多 DML 操作,这些都将产生 UNDO。

2、10046 来跟踪 drop table
SYS@orcl> oradebug setmypid; 
Statement processed.
SYS@orcl> oradebug event 10046 trace name context forever,level 1; 
Statement processed.
SYS@orcl> drop table pandatb02;

Table dropped.

select vs.name, ms.value
from v$mystat ms, v$sysstat vs where ms.statistic# = vs.statistic#
  3  and name = 'undo change vector size';

NAME								      VALUE
---------------------------------------------------------------- ----------
undo change vector size 					       3012

dropped产生了 3k 的 undo

SYS@orcl>  oradebug tracefile_name; 
/u01/app/oracle/diag/rdbms/orcl/orcl/trace/orcl_ora_10083.trc

[root@orcl:/root]$ cat /u01/app/oracle/diag/rdbms/orcl/orcl/trace/orcl_ora_10083.trc | egrep "insert|update|delete"
         'Need use delete_topo_geometry_layer() to deregister table '
   m_stmt:='insert into sdo_geor_ddl__table$$ values (1)';
   m_stmt:='insert into sdo_geor_ddl__table$$ values (2)';
insert into sdo_geor_ddl__table$$ values (2)
select decode(u.type#, 2, u.ext_username, u.name), o.name,        t.update$, t.insert$, t.delete$, t.enabled,        decode(bitand(t.property, 8192),8192, 1, 0),        decode(bitand(t.property, 65536), 65536, 1, 0),       decode(bitand(t.property, 131072), 131072, 1, 0),       (select o.name from obj$ o          where o.obj# = u.spare2 and o.type# =57)  from sys.obj$ o, sys.user$ u, sys.trigger$ t, sys.obj$ bo where t.baseobject=bo.obj# and bo.name = :1 and bo.spare3 = :2  and bo.namespace = 1  and t.obj#=o.obj# and o.owner#=u.user#  and o.type# = 12 and bitand(property,16)=0 and bitand(property,8)=0  order by o.obj#
delete from object_usage where obj# in  (select a.obj# from object_usage a, ind$ b where  a.obj# = b.obj# and b.bo# = :1)
delete from sys.cache_stats_1$ where dataobj# = :1
delete com$ where obj#=:1
delete from hist_head$ where obj# = :1
delete from compression$ where obj#=:1
   m_stmt:='delete from sdo_geor_ddl__table$$ where id=2';
   m_stmt:='delete from sdo_geor_ddl__table$$';
delete from sdo_geor_ddl__table$$ where id=2
delete from col$ where obj#=:1
delete from icol$ where bo#=:1
delete from icoldep$ where obj# in (select obj# from ind$ where bo#=:1)
delete from jijoin$ where obj# in ( select obj# from jijoin$ where tab1obj# = :1 or tab2obj# = :1)
delete from jirefreshsql$ where iobj# in ( select iobj# from jirefreshsql$ where tobj# = :1)
delete from ccol$ where obj#=:1
delete from ind$ where bo#=:1
delete from cdef$ where obj#=:1
delete ecol$ where tabobj# = :1
delete from tab$ where obj#=:1
delete from idl_ub1$ where obj#=:1 and part=:2
delete from idl_char$ where obj#=:1 and part=:2
delete from idl_ub2$ where obj#=:1 and part=:2
delete from idl_sb4$ where obj#=:1 and part=:2
delete from ncomp_dll$ where obj#=:1 returning dllname into :2
delete from idl_ub1$ where obj#=:1 and part=:2
delete from idl_char$ where obj#=:1 and part=:2
delete from idl_ub2$ where obj#=:1 and part=:2
delete from idl_sb4$ where obj#=:1 and part=:2
delete from ncomp_dll$ where obj#=:1 returning dllname into :2
delete from idl_ub1$ where obj#=:1 and part=:2
delete from idl_char$ where obj#=:1 and part=:2
delete from idl_ub2$ where obj#=:1 and part=:2
delete from idl_sb4$ where obj#=:1 and part=:2
delete from ncomp_dll$ where obj#=:1 returning dllname into :2
delete coltype$ where obj#=:1
delete from subcoltype$ where obj#=:1
delete ntab$ where obj#=:1
delete lob$ where obj#=:1
delete refcon$ where obj#=:1
delete from opqtype$ where obj#=:1
delete from cdef$ where obj#=:1
delete from objauth$ where obj#=:1
delete from obj$ where obj# = :1
update seg$ set type#=:4,blocks=:5,extents=:6,minexts=:7,maxexts=:8,extsize=:9,extpct=:10,user#=:11,iniexts=:12,lists=decode(:13, 65535, NULL, :13),groups=decode(:14, 65535, NULL, :14), cachehint=:15, hwmincr=:16, spare1=DECODE(:17,0,NULL,:17),scanhint=:18, bitmapranges=:19 where ts#=:1 and file#=:2 and block#=:3
delete from seg$ where ts#=:1 and file#=:2 and block#=:3
[root@orcl:/root]$
3、如果 ddl 操作执行失败又会如何呢?
Connected to:
Oracle Database 11g Enterprise Edition Release 11.2.0.4.0 - 64bit Production
With the Partitioning, OLAP, Data Mining and Real Application Testing options

select vs.name, ms.value
from v$mystat ms, v$sysstat vs where ms.statistic# = vs.statistic#
  3  and name = 'undo change vector size';

NAME								      VALUE
---------------------------------------------------------------- ----------
undo change vector size 						  0

SYS@orcl> 
SYS@orcl> 
SYS@orcl> oradebug setmypid;
Statement processed.
SYS@orcl> oradebug event 10046 trace name context forever,level 1; 
Statement processed.
SYS@orcl> drop table pandatb00;
drop table pandatb00
           *
ERROR at line 1:
ORA-00942: table or view does not exist


select vs.name, ms.value
from v$mystat ms, v$sysstat vs where ms.statistic# = vs.statistic#
  3  and name = 'undo change vector size';

NAME								      VALUE
---------------------------------------------------------------- ----------
undo change vector size 						112

同样产生了 undo,量较少

SYS@orcl> oradebug tracefile_name; 
/u01/app/oracle/diag/rdbms/orcl/orcl/trace/orcl_ora_10223.trc
SYS@orcl> 

[root@orcl:/root]$ cat /u01/app/oracle/diag/rdbms/orcl/orcl/trace/orcl_ora_10223.trc | egrep "insert|update|delete"
         'Need use delete_topo_geometry_layer() to deregister table '
   m_stmt:='insert into sdo_geor_ddl__table$$ values (1)';
   m_stmt:='insert into sdo_geor_ddl__table$$ values (2)';
insert into sdo_geor_ddl__table$$ values (2)

执行少量递归操作后,Oracle 发现所要 drop 的对象并不存在,将会 rollback 之前 的"部分"递归 dml 操作其实我们可以把 ddl 操作分解为以下步骤:

begin
  commit;
  --编译 ddl 
  begin
    --实现 ddl,包括一系列递归的数据字典维护操作及其他操作 commit;
  exception
    when others then
      rollback;
  end;
end;

ddl 操作无需也不允许手动 commit 或 rollback 参与,但这并不代表 ddl 操作不产生 undo。

参考:

图文结合带你搞定MySQL日志之Undo log(回滚日志)-腾讯云开发者社区-腾讯云


网站公告

今日签到

点亮在社区的每一天
去签到