Alle vet det, men ikke alle gjør det! Skalerbarhet ved BIND i IN-lister

Transkript

1

2 OUGN, Bergen Lasse Jenssen Alle vet det, men ikke alle gjør det! Skalerbarhet ved BIND i IN-lister

3 Trønder, men. Lasse Jenssen Oracle Informix MS SQL Server MySQL DBA Drift Applied Technologies AS Instruktør Oracle DBA kurs: 9i og 10g Konsulent Anvendte Systemer AS Oracle University SQL PL/SQL UTVIKLING PHP Java Perl

4 Hvordan vinner man en Olympisk medalje? Det hjelper ikke hvor god jobb smørerne har gjort, hvis ikke utøveren selv er i stand til å YTE! Men HUSK! Selv Phillip Boit kan vinne medaljer, bare ikke en olympisk medalje. Bind er en suksessfaktor for å oppnå skalerbarhet

5 Alle vet det, men samtidighet Library cache Latch free waits V$SQL Latches SQL Literaler select * from emp where emp_no=7569 BIND variabler select * from emp where emp_no=:no Soft Parsing Hard

6 Et lite eksempel select empno from emp; accept my_id prompt EMP_ID (def=7788): default 7788 declare my_sql varchar2(1000); my_emp emp%rowtype; my_dept dept%rowtype; begin my_sql := 'select * from emp where empno=' &my_id; execute immediate my_sql into my_emp; execute immediate 'select * from dept where deptno=:x' into my_dept using my_emp.deptno; dbms_output.put_line('fant: ' my_emp.ename ' fra avdeling ' my_emp.deptno ': ' my_dept.dname); end; / Script: no_bind.sql, no_bind_cache.sql

7 Et lite eksempel SQL> select sql_text from v$sql 2 > where (sql_text like '% from emp %' 3 > or sql_text like '% from dept %') 4 > and sql_text not like '%v$sql%' 5 > and sql_text not like '%declare%'; SQL_TEXT select * from emp where empno=7900 select * from emp where empno=7499 select * from dept where deptno=:x select * from emp where empno=7566 select * from emp where empno=7788 Script: no_bind.sql, no_bind_cache.sql

8 Bind i SQL*Plus SQL> variable my_emp number SQL> exec :my_emp := 7900; SQL> select * from emp where empno=:my_emp; SQL> variable ret varchar2(100) SQL> exec select sysdate into :ret from dual; SQL> print :ret RET :01:13

9 Hvorfor virker ikke dette? SQL> variable ret varchar2(100) SQL> select sysdate into :ret from dual; SQL> print :ret RET

10 Bind i PL/SQL I declare l_empno number := 7900; l_ret date; begin execute immediate 'select hiredate from emp where empno=:x' into l_ret using l_empno; dbms_output.put_line('hiredate: ' to_char(l_ret,'dd.mm.yyyy HH24:MI:SS'); end; /

11 Bind i PL/SQL II declare l_empno number := 7900; l_ret date; begin select hiredate into l_ret from emp where empno=l_empno; dbms_output.put_line('hiredate: ' to_char(l_ret,'dd.mm.yyyy HH24:MI:SS'); end; /

12 Bind i Java String msql = select * from emp where deptno=? and ename like? ; PreparedStatement ps = conn.preparestatement(msql); ps.setint(1, in_dept); Ps.setString(2, search_name) ResultSet rs = ps.executequery(); System.out.println( EmpNo Ename Deptno ); System.out.println( ); while (rs.next()){ } rs.close(); ps.close(); Det over er mye enklere enn dette String msql = select * from emp where + + deptno= + in_dept + and ename like + search_name + ;

13 OBS! BIND and datatyper SQL> desc LOG Navn Null? Type LOG_ID NOT NULL NUMBER(18) FILE_ID NUMBER(6) INST_ID NOT NULL VARCHAR2(11) CUST_ID VARCHAR2(20) ACC VARCHAR2(35) SRC NOT NULL VARCHAR2(20) SYSTEM_NAME NOT NULL VARCHAR2(20) USER_ID VARCHAR2(25) FUNCTION_NAME NOT NULL VARCHAR2(35) DATETIME NOT NULL DATE DESCRIPTION VARCHAR2(50)

14 BIND and datatyper SELECT * FROM LOG WHERE inst_id LIKE :b1 AND datetime >= :b2 AND datetime <= :b3 AND cust_id LIKE :b4; Spørring kjørt Java program (jdbc versjon ) Indeks : LOG(inst_id, cust_id, datetime) Spørring brukte ca 120 sekunder, ca fysiske IO Henter ca 30 rader

15 BIND and datatyper - Trace BINDS # : Bind#0 oacdty=01 mxl=32(16) mxlc=00 mal=00 scl=00 pre=00 value= 5799" Bind#1 oacdty=180 mxl=11(11) mxlc=00 mal=00 scl=00 pre=00 value= Bind#2 oacdty=180 mxl=11(11) mxlc=00 mal=00 scl=00 pre=00 value= Bind#3 oacdty=01 mxl=128(44) mxlc=00 mal=00 scl=00 pre=00 value= "

16 BIND and datatyper Forslag til hva som kan være galt? Og ikke minst hvorfor?

17

18 , men ikke alle gjør det! IN-lister where col in (14,16,21,24,27,38,165,900,3765)

19 OBS: IN-list uten BIND SQL> select substr(sql_text,1,50) sqltext, count(*) nr_sqls 2 from v$sql 3 group by substr(sql_text,1,50) 4 having count(*)>40 5* order by 2 SQLTEXT NR_SQLS select 42 Select 48 SELECT 50 select 51 select 59 select 64 Select 64 Select 73 SELECT 78 select 79 SELECT count(*) FROM KNT WHERE ID=:b1 AND KONTO_NR 167 SELECT KNT.* FROM KNT WHERE ID=:b1 AND KONTO_NR IN 167

20 Hva foregår i shared_pool (library cache)? SQL> select sql_text from v$sql where substr(sql_text,1,50)= 'SELECT * FROM WHERE KONTO_NR IN ('; SQL_TEXT from V$SQL SELECT * FROM WHERE KONTO_NR IN ('XXXXXXX9169','XXXXXX9178','XXXXXXX3912') AND ((TYPE = 'NO') OR (SUBSTR(PTYPE,1,2)='OP')) SELECT * FROM WHERE KONTO_NR IN ('XXXXXXX1009','XXXXXX2363','XXXXXXX2293', 'XXXXXX1119','XXXXXXX7233') AND ((TYPE = 'NO') OR (SUBSTR(PTYPE,1,2)='OP')) SELECT * FROM WHERE KONTO_NR IN ('XXXXXXX3883','XXXXXX8711','XXXXXXX9134', 'XXXXXXX1009','XXXXXX4512','XXXXXXX4528', 'XXXXXX1989','XXXXXXX7812') AND ((TYPE = 'NO') OR (SUBSTR(PTYPE,1,2)='OP')) SELECT * FROM WHERE KONTO_NR IN ('XXXXXXX9002') AND ((TYPE = 'NO') OR (SUBSTR(PTYPE,1,2)='OP')) SELECT * FROM WHERE KONTO_NR IN ('XXXXXXX9122','XXXXXX6234','XXXXXXX5642') AND ((TYPE = 'NO') OR (SUBSTR(PTYPE,1,2)='OP')) rader valgt

21 Hva foregår i shared_pool (library cache)? Hva skjer når lasten (samtidigheten) øker? Top 5 Timed Events ~~~~~~~~~~~~~~~~~~ % Total Event Waits Time (s) Ela Time db file sequential read 1,310,593 6, latch free 57,513 4, CPU time 1, db file scattered read 50, buffer busy waits 133, Problem: Koden bruker BIND bare delvis Warning: Denne applikasjonen vil ALDRI skalere

22 IN-lister where col in (14,16,21,24,27,38,165,900,3765) Vi BØR bruke BIND! Men vanskelig når Hvorfor funker ikke dette? SQL> variable txt varchar2(250) antallet i IN-listen varierer, og/eller er relativt høyt SQL> exec :txt := ' ''SYS'', ''SYSTEM'' ' SQL> select * 2 from all_users 3 where username in (:txt); no rows selected Problem

23 IN-lister where col in (:B1, :B2, :B3, :B4, :B5, :B6, :B7, :B8, :B9, :B10) - Ok for små avgrensede lister - Benyttes av div. API-er som generer SQL code - løser IKKE vårt generelle IN-liste problem Fra Oracle 8i: Funksjoner som returnerer en collection Da kan vi lage en collection datatype: SQL> create or replace type str2tbltype 2 as table of varchar2(4000); Løsning 1 Type created. Og så en funksjon

24 E T P O T E N S I E L T P R O B L E M? IN-lister where col in (select * from TABLE( cast( str2tbl(:txt) as str2tbltype )) C B O O t i m i z e r Her er funksjonen vi bruker over: SQL> create or replace function str2tbl ( p_str in varchar2, 2 p_delim in varchar2 default ',' ) return str2tbltype 3 as 4 l_str long default p_str p_delim; 5 l_n number; 6 l_data str2tbltype := str2tbltype(); 7 begin 8 loop 9 l_n := instr( l_str, p_delim ); 10 exit when (nvl(l_n,0) = 0); 11 l_data.extend; 12 l_data(l_data.count) := 13 ltrim(rtrim(substr(l_str,1,l_n-1))); 14 l_str := substr( l_str, l_n+1 ); 15 end loop; 18 return l_data; 19 end; 20 / Function created. /*+ cardinality(t 50 ) */ Løsning 2 Men vi ønsker ikke/vil ikke lage ekstra objekter Fra 9i slipper du også dette!

25 IN-lister with data ( ) select where col in (select * from data) Løsning 3 Da får vi: SQL> exec :txt := 'SYS, SYSTEM SQL> with data as ( 2 select 3 trim( substr (txt, 4 instr (txt, ',', 1, level ) + 1, 5 instr (txt, ',', 1, level+1) 6 - instr (txt, ',', 1, level) -1 ) ) 7 as token 8 from (select ',' :txt ',' txt from dual) 9 connect by level <= 10 length(:txt)-length(replace(:txt,',',''))+1 11 ) 12 select * from all_users 13 where username in (select * from data); TOKEN SYS SYSTEM Men dette blir for komplekst og tungvindt å skrive parameterisert view

26 IN-lister select where col in (select * from IN_LIST) Da trenger vi: SQL> create or replace context my_ctx 2 using my_ctx_procedure; Context created. SQL> create or replace procedure my_ctx_procedure ( p_str in varchar2) as 3 begin 4 dbms_session.set_context( 'my_ctx', 'txt', p_str ); 5 end; 6 / Procedure created. Og view-et. Løsning 4 Da kjører vi: SQL> exec my_ctx_procedure(:txt) SQL> select * from all_users 2 where username in 3 (select * from IN_LIST); SQL> create or replace view IN_LIST as 2 select 3 trim( substr (txt, instr (txt, ',', 1, level ) + 1, 4 instr (txt, ',', 1, level+1) 5 - instr (txt, ',', 1, level) -1 ) ) as token 6 from (select ',' sys_context('my_ctx','txt') 7 ',' txt from dual) 8 connect by level <= 9 length(sys_context('my_ctx','txt')) 10 -length(replace(sys_context('my_ctx','txt'),',',''))+1 14 / View created.

27 IN-lister Hibernate select where col in (:b1,:b2,:b3,:b4,:b5,:b6,:b7,:b8,osv); Bruker BIND variabler MEN o Vær obs på at antall varianter med ulikt antall verdier i INliste(ne) styrer hvor mange versjoner av SQL som ligger i library cache o Hvis flere IN-lister i samme SQL, kan dette antallet fort bli stort Dermed o Vurder om dette kan bli et skalerbarhetsproblem når du skriver SQL-er med IN-lister

28 Fordeler m/bind Vi har allerede sett: Ytelse Skalerbarhet Enklere kode Minne forbruk (cache) I tillegg: Sikrere kode (unngå SQL injection)

29 SQL Injection SQL> accept myname prompt "Enter username: " Enter username: DosNotMatter SQL> accept mypass prompt "Enter password: " Enter password: i_dont_know' or 'x' = 'x SQL> select count(*) old new 2 from user_table 3 where username = '&myname' 4 and password = '&mypass' 5 / 3: where username = '&myname' 3: where username = 'DosNotMatter' old 4: and password = '&mypass' COUNT(*) new 4: and password = 'i_dont_know' or 'x' = 'x'

30 SQL Injection Sikkerhetshull på grunn av SQL Injection vil forekomme hvis vi ikke har fokus på dette Over 63 % (av alle spurte utviklere) har ikke sjekket koden for mulige SQL injection (eller vet ikke om sjekket) Mitt råd: SQL Injection handler ene og alene om bruk av BIND! Derfor. ALDRI bruk sammenslåing (concatination) av brukerinput inn i SQL Gjennomfør Code Review med minst 5 personer som ikke tåler trynet ditt

31 MEN Skal vi alltid bruke Bind? - Datavarehus? - Hva hvis vi alltid spør etter samme verdi? For eksempel alle transaksjoner med gitt status.

32 OG Hva med histogrammer? - Statistikk med histogrammer kan være nyttig når data er skjevt fordelt - MEN Bind og histogrammer er logiske motsetninger

33 Men BIND_PEEKING _optim_peek_user_binds = true - Løser ikke dette problemet med bind og histogrammer? - Bind_peeking: Feature eller bug?

34 Noen hendige PL/SQL verktøy: RUNSTATS & MYSTATS pakkene

35

36 RunStats (PL/SQL) pakke Utviklet av Tom Kyte (som også står bak asktom.oracle.com) Utvidet av Adrian Billington ( Small-time benchmarking tool Lar oss sammenligne metoder (kode) og vise hvem som er best og dette er nødvendigvis IKKE det samme som at metoden er raskest også relatert til ressurs bruk - System statistikk - Latching aktivitet

37 RunStats (PL/SQL) installasjon Opprette UTIL bruker SQL> create user util identified by 'aha&26fdfj'; SQL> grant create session to util; SQL> grant create public synonym to util; SQL> grant create procedure to util; SQL> grant select any dictionary to util; -- Eller V$STATNAME, V$MYSTAT, V$LATCH Opprette RUNSTATS pakke SQL> conn util SQL> create or replace public synonym runstats for runstats_pkg; SQL> grant execute on runstats_pkg to public;

38 SQL> desc runstats PROCEDURE RS_MIDDLE PROCEDURE RS_PAUSE RunStats (PL/SQL) installasjon PROCEDURE RS_RESUME PROCEDURE RS_START PROCEDURE RS_STOP PROCEDURE RS_STOP Argumentnavn Type Inn/Ut Standard? P_DIFFERENCE_THRESHOLD NUMBER(38) IN P_INCLUDE_TIME_MODEL BOOLEAN IN DEFAULT PROCEDURE RS_STOP Argumentnavn Type Inn/Ut Standard? P_STATNAMES STATNAME_NTT IN P_INCLUDE_TIME_MODEL BOOLEAN IN DEFAULT PROCEDURE RS_STOP Argumentnavn Type Inn/Ut Standard? P_STATNAME_LIKE VARCHAR2 IN P_INCLUDE_TIME_MODEL BOOLEAN IN DEFAULT

39 RunStats (PL/SQL) demo Test prosedyre UTEN bind: create or replace procedure no_bind(i_max in number) as l_nr number; l_sql varchar2(100); begin for i in 1..i_max loop select tseq.nextval into l_nr from dual; l_sql:='insert into t1(id,n1) values (' l_nr ',' i ')'; execute immediate l_sql; end loop; end; /

40 RunStats (PL/SQL) demo Test prosedyre MED bind: create or replace procedure bind(i_max in number) as l_nr number; begin for i in 1..i_max loop select tseq.nextval into l_nr from dual; insert into t1(id,n1) values (l_nr,i); end loop; end; /

41 RunStats (PL/SQL) demo Test av prosedyrer UTEN og MED bind: set serveroutput on begin end; / runstats.rs_start; no_bind(1000); runstats.rs_middle; bind(1000); runstats.rs_stop(100); Snapshots av sesjons statistikk. NB! Info om latching er global! (men så lenge jeg er alene på systemet )

42 =============================================================================================== RunStats report : 29-JAN :48:13 =============================================================================================== Summary timings Type Name Run1 Run2 Diff TIMER cpu time (hsecs) TIMER elapsed time (hsecs) Comments: 1) Run2 was 73,7% quicker than Run1 2) Run2 used 73,7% less CPU time than Run Statistics report Type Name Run1 Run2 Diff LATCH cache buffers chains 11,831 11, STAT undo change vector size 79,308 79, STAT parse count (hard) 1, STAT enqueue releases 1, ,003 STAT recursive calls 8,406 7,403-1,003 STAT enqueue requests 1, ,005 STAT redo size 287, ,724-1,700 LATCH enqueues 2, ,005 LATCH enqueue hash chains 2, ,008 LATCH shared pool simulator 2, ,539 STAT cell physical IO interconnect bytes 16, ,384 STAT physical read bytes 16, ,384 STAT physical read total bytes 16, ,384 LATCH row cache objects 24, ,980 STAT session uga memory 523, ,760 31,856 LATCH shared pool 44, ,059

43 Latching report Type Name Run1 Run2 Diff LATCH total latches used 90,934 16,087-74,847 Comments: 1) Run2 used 82,3% fewer latches than Run Time model report Type Name Run1 Run2 Diff TIME sequence load elapsed time 6,948 6, TIME PL/SQL execution elapsed time 30,109 25,302-4,807 TIME hard parse elapsed time 173, ,888 TIME parse time elapsed 280,227 17, , About RunStats v2.01 by Adrian Billington ( - Based on the original RUNSTATS utility by Tom Kyte =============================================================================================== End of report =============================================================================================== PL/SQL-prosedyren ble fullf?rt.

44 RunStats (PL/SQL) demo Test av prosedyrer med ROLLBACK or TRUNCATE begin truncate table t1; runstats.rs_start; no_bind(1000); runstats.rs_pause; truncate table t1; runstats.rs_resume; bind(1000); runstats.rs_stop(1000); end; /

45 MyStats (PL/SQL) pakke Utviklet av Jonathan Lewis Utvidet av Adrian Billington ( Verktøy for Sesjons Statistikk Lar oss hente ut ressurs forbruk for en enhet med arbeid utført mellom to snapshot. designet for bruk I begrensende utvikler miljøer time model statistics mulig å hente ut spesifikk statistikk

46 MyStats (PL/SQL) installasjon Opprette UTIL bruker SQL> create user util identified by 'aha&26fdfj'; SQL> grant create session to util; SQL> grant create public synonym to util; SQL> grant create procedure to util; SQL> grant select any dictionary to util; -- Eller V$STATNAME, V$MYSTAT, V$LATCH Opprette MYSTATS pakke SQL> conn util SQL> create or replace public synonym mystats for mystats_pkg; SQL> grant execute on mystats_pkg to public;

47 SQL> desc mystats PROCEDURE MS_START PROCEDURE MS_STOP PROCEDURE MS_STOP MyStats DESCRIBE Argumentnavn Type Inn/Ut Standard? P_THRESHOLD NUMBER(38) IN PROCEDURE MS_STOP Argumentnavn Type Inn/Ut Standard? P_STATNAMES STATNAME_NTT IN PROCEDURE MS_STOP Argumentnavn Type Inn/Ut Standard? P_STATNAME_LIKE VARCHAR2 IN

48 MyStats demo set serveroutput on declare begin end; / l_cnt number; mystats.ms_start; select * from big_table where owner= PUBLIC and object_type= SYNONYM and created >= systimestamp-900 and created <= systimestamp; --mystats.ms_stop(100); mystats.ms_stop(mystats.statname_ntt('consistent gets', 'physical reads'));

49 ========================================================================================= MyStats report : 04-MAR :22:24 ========================================================================================= Summary Timings Type Statistic Name Value TIMER snapshot interval (seconds) 0.26 TIMER CPU time used (seconds) Statistics Report Type Statistic Name Value STAT physical reads 0 STAT consistent gets 4, About MyStats v2.01 by Adrian Billington ( - Based on the SNAP_MY_STATS utility by Jonathan Lewis ========================================================================================= End of report ========================================================================================= PL/SQL-prosedyren ble fullf?rt.

50 ========================================================================================= MyStats report : 04-MAR :31:47 ========================================================================================= Summary Timings Type Statistic Name Value TIMER snapshot interval (seconds) 0.25 TIMER CPU time used (seconds) Statistics Report Type Statistic Name Value LATCH simulator hash latch 294 TIME PL/SQL execution elapsed time 2,333 STAT no work - consistent read gets 4,691 STAT consistent gets 4,705 STAT consistent gets from cache 4,705 STAT consistent gets from cache (fastpath) 4,705 STAT session logical reads 4,705 LATCH cache buffers chains 9,411 STAT session uga memory 458,416 STAT session pga memory 786, About End of report ========================================================================================= PL/SQL-prosedyren ble fullf?rt.

51 Oppsummering Der det er hensiktsmessig o Bruk BIND variabler o Bruk LITERALER Gjelder også IN-liste spørringer Bind og histogrammer er motsetninger Bruk verktøy som f.eks. Runstats for å sammenligne alternative løsninger Spørsmål?

52 Kontakt Eller vi snakkes i baren!

53