source: lib/trace.c @ a6badc2

4.0.1-hotfixescachetimestampsdevelopdpdk-ndagetsilivegetfragoffhelplibtrace4ndag_formatpfringrc-4.0.1rc-4.0.2rc-4.0.3rc-4.0.4ringdecrementfixringperformanceringtimestampfixes
Last change on this file since a6badc2 was a6badc2, checked in by Perry Lorier <perry@…>, 16 years ago

Added PFLOG (obsd/fbsd) support for phil murray

  • Property mode set to 100644
File size: 53.2 KB
Line 
1/*
2 * This file is part of libtrace
3 *
4 * Copyright (c) 2004 The University of Waikato, Hamilton, New Zealand.
5 * Authors: Daniel Lawson
6 *          Perry Lorier
7 *         
8 * All rights reserved.
9 *
10 * This code has been developed by the University of Waikato WAND
11 * research group. For further information please see http://www.wand.net.nz/
12 *
13 * libtrace is free software; you can redistribute it and/or modify
14 * it under the terms of the GNU General Public License as published by
15 * the Free Software Foundation; either version 2 of the License, or
16 * (at your option) any later version.
17 *
18 * libtrace is distributed in the hope that it will be useful,
19 * but WITHOUT ANY WARRANTY; without even the implied warranty of
20 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
21 * GNU General Public License for more details.
22 *
23 * You should have received a copy of the GNU General Public License
24 * along with libtrace; if not, write to the Free Software
25 * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
26 *
27 * $Id$
28 *
29 */
30
31
32/** @file
33 *
34 * @brief Trace file processing library
35 *
36 * @author Daniel Lawson
37 * @author Perry Lorier
38 *
39 * @internal
40 */
41#define _GNU_SOURCE
42#include "common.h"
43#include "config.h"
44#include <assert.h>
45#include <errno.h>
46#include <fcntl.h>
47#include <netdb.h>
48#include <stdio.h>
49#include <stdlib.h>
50#include <string.h>
51#include <sys/stat.h>
52#include <sys/types.h>
53
54#ifdef HAVE_LIMITS_H
55#  include <limits.h>
56#endif
57
58#ifdef HAVE_SYS_LIMITS_H
59#  include <sys/limits.h>
60#endif
61
62#include <sys/socket.h>
63#include <sys/un.h>
64#include <sys/mman.h>
65#include <unistd.h>
66
67#ifdef HAVE_NET_IF_ARP_H
68#  include <net/if_arp.h>
69#endif
70
71#ifdef HAVE_NET_IF_H
72#  include <net/if.h>
73#endif
74
75#ifdef HAVE_NETINET_IN_H
76#  include <netinet/in.h>
77#endif
78
79#ifdef HAVE_NET_ETHERNET_H
80#  include <net/ethernet.h>
81#endif
82
83#ifdef HAVE_NETINET_IF_ETHER_H
84#  include <netinet/if_ether.h>
85#endif
86
87#include <time.h>
88#include <sys/ioctl.h>
89
90#ifdef HAVE_INTTYPES_H
91#  include <inttypes.h>
92#else
93#  error "Can't find inttypes.h - this needs to be fixed"
94#endif
95
96#ifdef HAVE_STDDEF_H
97#  include <stddef.h>
98#else
99# error "Can't find stddef.h - do you define ptrdiff_t elsewhere?"
100#endif
101
102#include "libtrace.h"
103#include "fifo.h"
104
105#if HAVE_PCAP_BPF_H
106#  include <pcap-bpf.h>
107#else
108#  ifdef HAVE_NET_BPF_H
109#    include <net/bpf.h>
110#  endif
111#endif
112
113#if HAVE_PCAP_H
114#  include <pcap.h>
115#  ifdef HAVE_PCAP_INT_H
116#    include <pcap-int.h>
117#  endif
118#endif
119
120#ifdef HAVE_ZLIB_H
121#  include <zlib.h>
122#endif
123
124
125#include "wag.h"
126
127#ifdef HAVE_DAG_API
128#  include "dagnew.h"
129#  include "dagapi.h"
130#else
131#  include "dagformat.h"
132#endif
133
134
135typedef enum {SOCKET, TRACE, STDIN, DEVICE, INTERFACE, RT } source_t;
136
137typedef enum {ERF, PCAP, PCAPINT, DAG, RTCLIENT, WAG, WAGINT } format_t;
138
139#if HAVE_BPF
140/** A type encapsulating a bpf filter
141 * This type covers the compiled bpf filter, as well as the original filter
142 * string
143 *
144 */
145struct libtrace_filter_t {
146        struct bpf_insn *filter;
147        char * filterstring;
148};
149#endif
150
151/** The information about traces that are open
152 * @internal
153 */
154struct libtrace_t {
155        format_t format;        /**< The format that this trace is in */
156        source_t sourcetype;    /**< The type (device,file, etc */
157        union {
158                /** Information about rtclients */
159                struct {
160                        char *hostname;
161                        short port;
162                } rt;
163                char *path;             /**< information for local sockets */
164                char *interface;        /**< intormation for reading of network
165                                             interfaces */
166        } conn_info;
167        /** Information about the current state of the input device */
168        union {
169                int fd;
170#if HAVE_ZLIB
171                gzFile *file;
172#else   
173                FILE *file;
174#endif
175#if HAVE_PCAP
176                pcap_t *pcap;
177#endif
178        } input;
179        struct fifo_t *fifo;   
180        struct {
181                void *buf; 
182                unsigned bottom;
183                unsigned top;
184                unsigned diff;
185                unsigned curr;
186                unsigned offset;
187        } dag;
188        struct {
189                void *buffer;
190                int size;
191        } packet;
192        double tdelta;
193        double trace_start_ts;
194        double real_start_ts;
195        double trace_last_ts;
196
197        double last_ts;
198        double start_ts;
199};
200
201struct trace_sll_header_t {
202        uint16_t pkttype;               /* packet type */
203        uint16_t hatype;                /* link-layer address type */
204        uint16_t halen;                 /* link-layer address length */
205        char addr[8];                   /* link-layer address */
206        uint16_t protocol;              /* protocol */
207};
208
209#ifndef PF_RULESET_NAME_SIZE
210#define PF_RULESET_NAME_SIZE 16
211#endif
212
213struct trace_pflog_header_t {
214        uint8_t    length;
215        sa_family_t   af;
216        uint8_t    action;
217        uint8_t    reason;
218        char       ifname[IFNAMSIZ];
219        char       ruleset[PF_RULESET_NAME_SIZE];
220        uint32_t   rulenr;
221        uint32_t   subrulenr;
222        uint8_t    dir;
223        uint8_t    pad[3];
224};
225
226#define RP_BUFSIZE 65536
227
228#define URI_PROTO_LINE 16
229static int init_trace(struct libtrace_t **libtrace, char *uri) {
230        char *scan = calloc(sizeof(char),URI_PROTO_LINE);
231        char *uridata = 0;                 
232        struct stat buf;
233       
234        // parse the URI to determine what sort of event we are dealing with
235       
236        // want snippet before the : to get the uri base type.
237
238        if((uridata = strchr(uri,':')) == NULL) {
239                // badly formed URI - needs a :
240                return 0;
241        }
242
243        if ((*uridata - *uri) > URI_PROTO_LINE) {
244                // badly formed URI - uri type is too long
245                return 0;
246        }
247        strncpy(scan,uri, (uridata - uri));
248
249        (*libtrace)->tdelta = 0.0;
250
251        if (!strncasecmp(scan,"erf",3)) {
252                (*libtrace)->format=ERF;
253#if HAVE_PCAP
254        } else if (!strncasecmp(scan,"pcapint",7)) {
255                (*libtrace)->format=PCAPINT;
256        } else if (!strncasecmp(scan,"pcap",4)) {
257                (*libtrace)->format=PCAP;
258#else
259        } else if (!strncasecmp(scan,"pcap",4)) { // also catches pcapint
260                fprintf(stderr,"This version of libtrace has been compiled without PCAP support\n");
261                return 0;
262#endif
263       
264#if HAVE_DAG
265        } else if (!strncasecmp(scan,"dag",3)) {
266                (*libtrace)->format=DAG;
267#else
268        } else if (!strncasecmp(scan,"dag",3)) {
269                fprintf(stderr,"This version of libtrace has been compiled without DAG support\n");
270                return 0;
271#endif
272        } else if (!strncasecmp(scan,"rtclient",7)) {
273                (*libtrace)->format=RTCLIENT;
274        } else if (!strncasecmp(scan,"wagint",6)) {
275                (*libtrace)->format=WAGINT;
276        } else if (!strncasecmp(scan,"wag",3)) {
277                (*libtrace)->format=WAG;
278        } else {
279                //badly formed URI
280                return 0;
281        }
282       
283        // push uridata past the delimiter
284        uridata++;
285       
286        // libtrace->format now contains the type of uri
287        // libtrace->uridata contains the appropriate data for this
288       
289        switch((*libtrace)->format) {
290#if HAVE_PCAP
291                case PCAPINT:
292#endif
293                case WAGINT:
294                        /* Can have uridata of the following format
295                         * eth0
296                         * etc
297                         */
298                        // We basically assume this is correct.
299                        (*libtrace)->sourcetype = INTERFACE;   
300                        (*libtrace)->conn_info.path = strdup(uridata);
301                        break;
302#if HAVE_PCAP
303                case PCAP:
304#endif
305                case ERF:
306                case WAG:
307                        /*
308                         * Can have uridata of the following format
309                         * /path/to/socket (probably not PCAP)
310                         * /path/to/file
311                         * /path/to/file.gz (not PCAP)
312                         * /dev/device (use PCAPINT)
313                         * -
314                         */
315                        if (!strncmp(uridata,"-",1)) {
316                                (*libtrace)->sourcetype = STDIN;
317                        } else {
318                                if (stat(uridata,&buf) == -1) {
319                                        perror("stat");
320                                        return 0;
321                                }
322                                if (S_ISSOCK(buf.st_mode)) {
323                                        (*libtrace)->sourcetype = SOCKET;
324                                } else if (S_ISCHR(buf.st_mode)) {
325                                        (*libtrace)->sourcetype = DEVICE;
326                                } else {
327                                        (*libtrace)->sourcetype = TRACE;
328                                }
329                                (*libtrace)->conn_info.path = strdup(uridata);
330                        }
331                        break;
332                case DAG:
333#if HAVE_DAG
334                        /*
335                         * Can have uridata of the following format:
336                         * /dev/device
337                         */
338                        if (stat(uridata,&buf) == -1) {
339                                perror("stat");
340                                return 0;
341                        }
342                        if (S_ISCHR(buf.st_mode)) {
343                                (*libtrace)->sourcetype = DEVICE;
344                        } else {
345                                fprintf(stderr,"%s isn't a valid char device, exiting\n",uridata);
346                                exit(1);
347                        }
348                        (*libtrace)->conn_info.path = strdup(uridata);
349#endif
350                        break;
351
352                case RTCLIENT:
353                        /*
354                         * Can have the uridata in the format
355                         * hostname
356                         * hostname:port
357                         */
358                        (*libtrace)->sourcetype = RT;
359                        if (strlen(uridata) == 0) {
360                                (*libtrace)->conn_info.rt.hostname = 
361                                        strdup("localhost");
362                                (*libtrace)->conn_info.rt.port = 
363                                        COLLECTOR_PORT;
364                                break;
365                        }
366                        if ((scan = strchr(uridata,':')) == NULL) {
367                                (*libtrace)->conn_info.rt.hostname = 
368                                        strdup(uridata);
369                                (*libtrace)->conn_info.rt.port = 
370                                        COLLECTOR_PORT;
371                        } else {
372                                (*libtrace)->conn_info.rt.hostname =
373                                        (char *)strndup(uridata,(scan - uridata));
374                                       
375                                (*libtrace)->conn_info.rt.port = 
376                                        atoi(++scan);                           
377                        }
378                        break;
379        }
380       
381
382        (*libtrace)->fifo = create_fifo(1048576);
383        assert( (*libtrace)->fifo);
384        //(*libtrace)->packet.buffer = 0;
385        //(*libtrace)->packet.size = 0;
386
387        return 1;
388}
389
390/** Create a trace file from a URI
391 *
392 * @returns opaque pointer to a libtrace_t
393 *
394 * Valid URI's are:
395 *  erf:/path/to/erf/file
396 *  erf:/path/to/erf/file.gz
397 *  erf:/path/to/rtclient/socket
398 *  erf:-                       (stdin)
399 *  pcapint:pcapinterface               (eg: pcapint:eth0)
400 *  pcap:/path/to/pcap/file
401 *  pcap:-
402 *  rtclient:hostname
403 *  rtclient:hostname:port
404 *  wag:-
405 *  wag:/path/to/wag/file
406 *  wag:/path/to/wag/file.gz
407 *  wag:/path/to/wag/socket
408 *  wagint:/dev/device
409 *
410 * URIs which have yet to be implemented are:
411 * dag:/dev/dagcard
412 * pcap:/path/to/pcap/socket
413 *
414 * If an error occured when attempting to open a trace, NULL is returned
415 * and an error is output to stdout.
416 */
417struct libtrace_t *trace_create(char *uri) {
418        struct libtrace_t *libtrace = malloc(sizeof(struct libtrace_t));
419        struct hostent *he;
420        struct sockaddr_in remote;
421        struct sockaddr_un unix_sock;
422#if HAVE_PCAP
423        char errbuf[PCAP_ERRBUF_SIZE];
424#endif
425
426        if(init_trace(&libtrace,uri) == 0) {
427                return 0;
428        }
429       
430        switch(libtrace->sourcetype) {
431                case RT:
432                        if ((he=gethostbyname(libtrace->conn_info.rt.hostname)) == NULL) { 
433                                perror("gethostbyname");
434                                return 0;
435                        } 
436                        if ((libtrace->input.fd = socket(AF_INET, SOCK_STREAM, 0)) == -1) {
437                                perror("socket");
438                                return 0;
439                        }
440
441                        remote.sin_family = AF_INET;   
442                        remote.sin_port = htons(libtrace->conn_info.rt.port);
443                        remote.sin_addr = *((struct in_addr *)he->h_addr);
444                        bzero(&(remote.sin_zero), 8);
445
446                        if (connect(libtrace->input.fd, (struct sockaddr *)&remote,
447                                                sizeof(struct sockaddr)) == -1) {
448                                perror("connect (inet)");
449                                return 0;
450                        }
451                        break;
452                case TRACE:
453#if HAVE_PCAP
454                        if (libtrace->format == PCAP) {
455                                if ((libtrace->input.pcap = pcap_open_offline(libtrace->conn_info.path, errbuf)) == NULL) {
456                                        fprintf(stderr,"%s\n",errbuf);
457                                        return 0;
458                                }
459                        } else {
460#else
461                        {
462#endif
463#if HAVE_ZLIB
464                                libtrace->input.file = gzopen(libtrace->conn_info.path, "r");
465#else
466                                libtrace->input.file = fopen(libtrace->conn_info.path, "r");
467#endif
468                        }
469                        break;
470                case STDIN:
471#if HAVE_PCAP
472                        if (libtrace->format == PCAP) {
473                                libtrace->input.pcap = pcap_open_offline("-",errbuf); 
474                        } else {
475#else
476                        {
477#endif
478#if HAVE_ZLIB
479                                libtrace->input.file = gzdopen(STDIN, "r");
480#else   
481                                libtrace->input.file = stdin;
482#endif
483                        }
484                        break;
485                case SOCKET:
486                        /* Pcap doesn't work */
487                        if (libtrace->format != PCAP) {
488                                if ((libtrace->input.fd = socket(AF_UNIX, SOCK_STREAM, 0)) == -1) {
489                                        perror("socket");
490                                        return 0;
491                                }
492                                unix_sock.sun_family = AF_UNIX;
493                                bzero(unix_sock.sun_path,108);
494                                snprintf(unix_sock.sun_path,108,"%s",libtrace->conn_info.path);
495
496                                if (connect(libtrace->input.fd, (struct sockaddr *)&unix_sock,
497                                                        sizeof(struct sockaddr)) == -1) {
498                                        perror("connect (unix)");
499                                        return 0;
500                                }
501                        }
502                        break;
503                case DEVICE:
504                case INTERFACE:
505                        switch (libtrace->format) {
506#if HAVE_PCAP
507                                case PCAPINT:
508                                case PCAP:
509                                        libtrace->input.pcap = pcap_open_live(
510                                                libtrace->conn_info.path,
511                                                4096,
512                                                1,
513                                                1,
514                                                errbuf);
515                                        break;
516#endif
517                                case WAGINT:
518                                case WAG:
519                                        libtrace->input.fd = open(
520                                                libtrace->conn_info.path,
521                                                O_RDONLY);
522                                        break;
523#if HAVE_DAG
524                                case DAG:
525                                        if((libtrace->input.fd = dag_open(libtrace->conn_info.path)) < 0) {
526                                                fprintf(stderr,"Cannot open DAG %s: %m\n", libtrace->conn_info.path,errno);
527                                                exit(0);
528                                        }
529                                        if((libtrace->dag.buf = dag_mmap(libtrace->input.fd)) == MAP_FAILED) {
530                                                fprintf(stderr,"Cannot mmap DAG %s: %m\n", libtrace->conn_info.path,errno);
531                                                exit(0);
532                                        }
533                                        if(dag_start(libtrace->input.fd) < 0) {
534                                                fprintf(stderr,"Cannot start DAG %s: %m\n", libtrace->conn_info.path,errno);
535                                                exit(0);
536                                        }
537                                        break;
538#endif
539                                default:
540                                        fprintf(stderr,"Unknown format trace, hoping I can just read\n");
541                                        break;
542                                       
543                        }
544                        break;
545                default:
546                        fprintf(stderr,"Unsupported source type for libtrace, terminating (%i)\n",libtrace->sourcetype);
547                        exit(0);
548               
549        }
550        return libtrace;
551}
552
553/** Close a trace file, freeing up any resources it may have been using
554 *
555 */
556void trace_destroy(struct libtrace_t *libtrace) {
557        assert(libtrace);
558#if HAVE_PCAP
559        if (libtrace->format == PCAP || libtrace->format == PCAPINT) {
560                pcap_close(libtrace->input.pcap);
561#else
562        if (0) {
563#endif
564        } else if (libtrace->sourcetype == SOCKET || libtrace->sourcetype == RT) {
565                close(libtrace->input.fd);
566#if HAVE_DAG
567        } else if (libtrace->format == DAG) {
568                dag_stop(libtrace->input.fd);
569#endif
570        } else {
571#if HAVE_ZLIB
572                gzclose(libtrace->input.file);
573#else   
574                fclose(libtrace->input.file);   
575#endif
576        }       
577        // need to free things!
578        destroy_fifo(libtrace->fifo);
579        free(libtrace);
580}
581
582static int trace_read(struct libtrace_t *libtrace, void *buffer, size_t len) {
583        int numbytes;
584        static short lctr = 0;
585        struct dag_record_t *recptr = 0;
586        int rlen;
587        assert(libtrace);
588        assert(len >= 0);
589
590        if (buffer == 0)
591                buffer = malloc(len);
592
593        while(1) {
594                switch(libtrace->sourcetype) {
595                        case SOCKET:
596                        case RT:
597
598#ifndef MSG_NOSIGNAL
599#define MSG_NOSIGNAL 0
600#endif
601                                // read from the network
602                                if ((numbytes=recv(libtrace->input.fd, 
603                                                                buffer, 
604                                                                len, 
605                                                                MSG_NOSIGNAL)) == -1) {
606                                        if (errno == EINTR) {
607                                                // ignore EINTR in case
608                                                // a caller is using signals
609                                                continue;
610                                        }
611                                        perror("recv");
612                                        return -1;
613                                }
614                                break;
615                        case DEVICE:
616                                switch(libtrace->format) {
617#if HAVE_DAG
618                                        case DAG:
619
620                                                libtrace->dag.bottom = libtrace->dag.top;
621                                                libtrace->dag.top = dag_offset(
622                                                                libtrace->input.fd,
623                                                                &(libtrace->dag.bottom),
624                                                                0);
625                                                libtrace->dag.diff = libtrace->dag.top -
626                                                        libtrace->dag.bottom;
627                                               
628                                                numbytes=libtrace->dag.diff;
629                                                libtrace->dag.offset = 0;
630                                               
631                                                break;
632#endif
633                                        default:
634                                                if ((numbytes=read(libtrace->input.fd, 
635                                                                buffer, 
636                                                                len)) == -1) {
637                                                perror("read");
638                                                return -1;
639                                                }
640                                }
641                                break;
642                        default:
643#if HAVE_ZLIB
644                                if ((numbytes=gzread(libtrace->input.file,
645                                                                buffer,
646                                                                len)) == -1) {
647                                        perror("gzread");
648                                        return -1;
649                                }
650#else
651                                if ((numbytes=fread(buffer,len,1,libtrace->input.file)) == 0 ) {
652                                        if(feof(libtrace->input.file)) {
653                                                return 0;
654                                        }
655                                        if(ferror(libtrace->input.file)) {
656                                                perror("fread");
657                                                return -1;
658                                        }
659                                        return 0;
660                                }
661#endif
662                }
663                break;
664        }
665        return numbytes;
666
667}
668
669#if HAVE_PCAP
670void trace_pcap_handler(u_char *user, const struct pcap_pkthdr *pcaphdr, const u_char *pcappkt) {
671        struct libtrace_packet_t *packet = (struct libtrace_packet_t *)user;   
672        void *buffer = packet->buffer;
673        int numbytes = 0;
674       
675        memcpy(buffer,pcaphdr,sizeof(struct pcap_pkthdr));
676        numbytes = pcaphdr->len;
677        memcpy(buffer + sizeof(struct pcap_pkthdr),pcappkt,numbytes);
678
679        packet->size = numbytes + sizeof(struct pcap_pkthdr);
680
681}
682#endif
683/** Read one packet from the trace into buffer
684 *
685 * @param libtrace      the libtrace opaque pointer
686 * @param packet        the packet opaque pointer
687 * @returns false if it failed to read a packet
688 *
689 */
690int trace_read_packet(struct libtrace_t *libtrace, struct libtrace_packet_t *packet) {
691        int numbytes;
692        int size;
693        char buf[RP_BUFSIZE];
694#if HAVE_PCAP
695        //struct pcap_pkthdr *pcaphdr = malloc(sizeof(struct pcap_pkthdr));
696        const u_char *pcappkt;
697        int pcapbytes = 0;
698#endif
699        dag_record_t *erfptr;
700        int read_required = 0;
701
702        void *buffer = 0;
703        if (!libtrace) {
704                fprintf(stderr,"Oi! You called trace_read_packet() with a NULL libtrace parameter!\n");
705        }
706        assert(libtrace);
707        assert(packet);
708     
709        /* Store the trace we are reading from into the packet opaque
710         * structure */
711        packet->trace = libtrace;
712
713        buffer = packet->buffer;
714#if HAVE_PCAP
715        /* PCAP gives us it's own per-packet interface. Let's use it */
716        if (libtrace->format == PCAP || libtrace->format == PCAPINT) {
717                /* pcap_next doesn't return enough information for us
718                 * newer libpcap has pcap_next_ex, which does, but we'd
719                 * really rather have it all the time. */
720               
721                //if ((pcappkt = pcap_next(libtrace->input.pcap, &pcaphdr)) == NULL) {
722                /*
723                if ((pcapbytes = pcap_next_ex(libtrace->input.pcap,
724                                                &pcaphdr,
725                                                &pcappkt)) < 0 ) {
726                */
727                /* Instead of pcap_next/pcap_next_ex, we do this ourselves
728                 * with a trivial callback function. This lets us
729                 * catch the same errors as pcap_next_ex, but removes
730                 * the requirement for libpcap >= 0.8.x
731                 */
732                while ((pcapbytes = pcap_dispatch(libtrace->input.pcap,
733                                                1, /* number of packets */
734                                                &trace_pcap_handler,
735                                                (u_char *)packet)) == 0);
736                       
737                if (pcapbytes < 0 ) {                   
738                        return -1;
739                }
740                return (packet->size - sizeof(struct pcap_pkthdr));
741                //memcpy(buffer,&pcaphdr,sizeof(struct pcap_pkthdr));
742                //numbytes = pcaphdr->len;
743                //memcpy(buffer + sizeof(struct pcap_pkthdr),pcappkt,numbytes);
744       
745                //packet->size = numbytes + sizeof(struct pcap_pkthdr);
746                //return numbytes;
747        } 
748#endif
749
750        /* If we're reading from an ERF input, it's an offline trace. We can make some assumptions */
751        if (libtrace->format == ERF) {
752                void *buffer2 = buffer;
753                int rlen;
754                // read in the trace header
755                if ((numbytes=gzread(libtrace->input.file,
756                                                buffer,
757                                                dag_record_size)) == -1) {
758                        perror("gzread");
759                        return -1;
760                }
761                if (numbytes == 0) {
762                        return 0;
763                }
764                rlen = ntohs(((dag_record_t *)buffer)->rlen);
765                size = rlen - dag_record_size;
766                assert(size < LIBTRACE_PACKET_BUFSIZE);
767                buffer2 = buffer +  dag_record_size;
768
769                // read in the rest of the packet
770                if ((numbytes=gzread(libtrace->input.file,
771                                                buffer2,
772                                                size)) == -1) {
773                        perror("gzread");
774                        return -1;
775                }
776                //if ((numbytes + dag_record_size) != rlen) {
777                //      printf("read %d wanted %d\n",numbytes +dag_record_size, rlen);
778                //}
779                packet->size = rlen;
780                       
781                return rlen;
782        }
783
784#if HAVE_DAG
785        if (libtrace->format == DAG) {
786                if (libtrace->dag.diff == 0) {
787                        if ((numbytes = trace_read(libtrace,buf,RP_BUFSIZE)) <= 0) 
788                                return numbytes;
789                }
790                // DAG always gives us whole packets.
791
792                erfptr = (dag_record_t *) ((void *)libtrace->dag.buf + (libtrace->dag.bottom + libtrace->dag.offset));
793                size = ntohs(erfptr->rlen);
794
795                if ( size  > LIBTRACE_PACKET_BUFSIZE) {
796                        printf("%d\n",size);
797                        assert( size < LIBTRACE_PACKET_BUFSIZE);
798                }
799
800                // have to copy it out of the memory hole at this stage:
801                memcpy(packet->buffer, erfptr, size);
802
803                packet->size = size;
804                libtrace->dag.offset += size;
805                libtrace->dag.diff -= size;
806               
807                assert(libtrace->dag.diff >= 0);
808                //assert(libtrace->dag.offset <= libtrace->dag.top);
809                return (size);
810               
811        }
812#endif
813        do {
814                if (fifo_out_available(libtrace->fifo) == 0 || read_required) {
815                        if ((numbytes = trace_read(libtrace,buf,RP_BUFSIZE))<=0){
816                                return numbytes; 
817                        }
818                        assert(libtrace->fifo);
819                        fifo_write(libtrace->fifo,buf,numbytes);
820
821                        read_required = 0;
822                }
823
824                switch (libtrace->format) {
825                        case RTCLIENT:
826                                // only do this if we're reading from the RT interface
827                                if (fifo_out_read(libtrace->fifo, &packet->status, sizeof(int)) == 0) {
828                                        read_required = 1;
829                                        continue;
830                                }
831
832                                fifo_out_update(libtrace->fifo,sizeof(int));
833
834                                /* FALL THRU */
835                        case ERF:
836                        //case DAG:
837                                // read in the erf header
838                                if ((numbytes = fifo_out_read(libtrace->fifo, buffer, sizeof(dag_record_t))) == 0) {
839                                        fifo_out_reset(libtrace->fifo);
840                                        read_required = 1;
841                                        continue;
842                                }
843
844                                size = ntohs(((dag_record_t *)buffer)->rlen);
845                                break;
846                        case WAG:
847                                if ((numbytes = fifo_out_read(libtrace->fifo,
848                                                                &size,
849                                                                sizeof(size))) 
850                                                                == 0) {
851                                        fifo_out_reset(libtrace->fifo);
852                                        read_required = 1;
853                                        continue;
854                                }
855                                size*=4;
856                                break;
857                        default:
858                                fprintf(stderr,"Unknown type in _read()\n");
859                                assert(0);
860                }
861
862                assert(size < LIBTRACE_PACKET_BUFSIZE);
863
864                // read in the full packet
865                if ((numbytes = fifo_out_read(libtrace->fifo, buffer, size)) == 0) {
866                        fifo_out_reset(libtrace->fifo);
867                        read_required = 1;
868                        continue;
869                }
870
871                // got in our whole packet, so...
872                fifo_out_update(libtrace->fifo,size);
873
874                if (libtrace->sourcetype == SOCKET || libtrace->sourcetype == RT) {
875                        fifo_ack_update(libtrace->fifo,size + sizeof(int));
876                } else {
877                        fifo_ack_update(libtrace->fifo,size);
878                }
879               
880                packet->size = numbytes;
881                return numbytes;
882
883        } while (1);
884}
885
886
887/** get a pointer to the link layer
888 * @param packet        a pointer to a libtrace_packet structure
889 *
890 * @returns a pointer to the link layer, or NULL if there is no link layer
891 * you should call trace_get_link_type() to find out what type of link layer this is
892 */
893void *trace_get_link(const struct libtrace_packet_t *packet) {
894        const void *ethptr = 0;
895        dag_record_t *erfptr = 0;
896        struct wag_event_t *event = (struct wag_event_t *)packet->buffer;
897        struct wag_data_event_t *data_event;
898       
899       
900        switch(packet->trace->format) {
901                case ERF:
902                case DAG:
903                case RTCLIENT:
904                        erfptr = (dag_record_t *)packet->buffer;
905                        if (erfptr->flags.rxerror == 1) {
906                                return NULL;
907                        }
908                        if (trace_get_link_type(packet)==TRACE_TYPE_ETH) 
909                                ethptr = ((uint8_t *)packet->buffer + 
910                                                dag_record_size + 2);
911                        else
912                                ethptr = ((uint8_t *)packet->buffer + 
913                                                dag_record_size + 2);
914                        break;
915#if HAVE_PCAP
916                case PCAPINT:
917                case PCAP:
918                        ethptr = (packet->buffer + sizeof(struct pcap_pkthdr));
919                        break;
920#endif
921                case WAGINT:
922                case WAG:
923                        switch (event->type) {
924                                case 0x0:
925                                        data_event = (void*)&(event->payload);
926                                        return data_event->data;
927                                default:
928                                        fprintf(stderr,"Unknown WAG Event (0x%08x)\n",event->type);
929                                        return NULL;
930                        }
931                       
932                default:
933                        fprintf(stderr,"Don't know this trace format\n");
934                        assert(0);
935        }
936        return (void *)ethptr;
937}
938
939/** get a pointer to the IP header (if any)
940 * @param packet        a pointer to a libtrace_packet structure
941 *
942 * @returns a pointer to the IP header, or NULL if there is not an IP packet
943 */
944struct libtrace_ip *trace_get_ip(const struct libtrace_packet_t *packet) {
945        struct libtrace_ip *ipptr = 0;
946
947        switch(trace_get_link_type(packet)) {
948                case TRACE_TYPE_80211:
949                        { 
950                               
951                                struct ieee_802_11_header *wifi = trace_get_link(packet);       
952                                if (!wifi) {
953                                        ipptr = NULL;
954                                        break;
955                                }
956
957                                // Data packet?
958                                if (wifi->type != 2) {
959                                        ipptr = NULL;
960                                }
961                                else {
962                                        struct ieee_802_11_payload *eth = (void*)wifi->data;
963                                        if (eth->type != 0x0008) {
964                                                ipptr=NULL;
965                                        } else {
966                                                ipptr=(void*)eth->data;
967                                        }
968                                }
969                        }
970                        break;
971                case TRACE_TYPE_ETH:
972                        {
973                                struct ether_header *eth = 
974                                        trace_get_link(packet);
975                                if (!eth) {
976                                        ipptr = NULL;
977                                        break;
978                                }
979                                if (ntohs(eth->ether_type)!=0x0800) {
980                                        ipptr = NULL;
981                                }
982                                else {
983                                        ipptr = ((void *)eth) + 14;
984                                }
985                                break;
986                        }
987                case TRACE_TYPE_NONE:
988                        ipptr = trace_get_link(packet);
989                        break;
990                case TRACE_TYPE_LINUX_SLL:
991                        {
992                                struct trace_sll_header_t *sll;
993
994                                sll = trace_get_link(packet);
995                                if (!sll) {
996                                        ipptr = NULL;
997                                        break;
998                                }
999                                if (ntohs(sll->protocol)!=0x0800) {
1000                                        ipptr = NULL;
1001                                }
1002                                else {
1003                                        ipptr = ((void*)sll)+sizeof(*sll);
1004                                }
1005                        }
1006                        break;
1007                case TRACE_TYPE_PFLOG:
1008                        {
1009                                struct trace_pflog_header_t *pflog;
1010                                pflog = trace_get_link(packet);
1011                                if (!pflog) {
1012                                        ipptr = NULL;
1013                                        break;
1014                                }
1015                                if (pflog->af != AF_INET) {
1016                                        ipptr = NULL;
1017                                } else {
1018                                        ipptr = ((void*)pflog)+sizeof(*pflog);
1019                                }
1020                        }
1021                        break;
1022                case TRACE_TYPE_ATM:
1023                        {
1024                                struct atm_rec *atm = 
1025                                        trace_get_link(packet);
1026                                // TODO: Find out what ATM does, and return
1027                                //       NULL for non IP data
1028                                //       Presumably it uses the normal stuff
1029                                if (!atm) {
1030                                        ipptr = NULL;
1031                                        break;
1032                                }
1033                                ipptr =  (void*)&atm->pload;
1034                                break;
1035                        }
1036                default:
1037                        fprintf(stderr,"Don't understand link layer type %i in trace_get_ip()\n",
1038                                trace_get_link_type(packet));
1039                        ipptr=NULL;
1040                        break;
1041        }
1042
1043        return ipptr;
1044}
1045
1046#define SW_IP_OFFMASK 0xff1f
1047
1048/** get a pointer to the TCP header (if any)
1049 * @param packet        a pointer to a libtrace_packet structure
1050 *
1051 * @returns a pointer to the TCP header, or NULL if there is not a TCP packet
1052 */
1053struct libtrace_tcp *trace_get_tcp(const struct libtrace_packet_t *packet) {
1054        struct libtrace_tcp *tcpptr = 0;
1055        struct libtrace_ip *ipptr = 0;
1056
1057        if(!(ipptr = trace_get_ip(packet))) {
1058                return 0;
1059        }
1060        if ((ipptr->ip_p == 6) && ((ipptr->ip_off & SW_IP_OFFMASK) == 0))  {
1061                tcpptr = (struct libtrace_tcp *)((ptrdiff_t)ipptr + (ipptr->ip_hl * 4));
1062        }
1063        return tcpptr;
1064}
1065
1066/** get a pointer to the TCP header (if any) given a pointer to the IP header
1067 * @param ip            The IP header
1068 * @param[out] skipped  An output variable of the number of bytes skipped
1069 *
1070 * @returns a pointer to the TCP header, or NULL if this is not a TCP packet
1071 *
1072 * Skipped can be NULL, in which case it will be ignored by the program.
1073 */
1074struct libtrace_tcp *get_tcp_from_ip(const struct libtrace_ip *ip, int *skipped)
1075{
1076#define SW_IP_OFFMASK 0xff1f
1077        struct libtrace_tcp *tcpptr = 0;
1078
1079        if ((ip->ip_p == 6) && ((ip->ip_off & SW_IP_OFFMASK) == 0))  {
1080                tcpptr = (struct libtrace_tcp *)((ptrdiff_t)ip+ (ip->ip_hl * 4));
1081        }
1082
1083        if (skipped)
1084                *skipped=(ip->ip_hl*4);
1085
1086        return tcpptr;
1087}
1088
1089/** get a pointer to the UDP header (if any)
1090 * @param packet        a pointer to a libtrace_packet structure
1091 *
1092 * @returns a pointer to the UDP header, or NULL if this is not a UDP packet
1093 */
1094struct libtrace_udp *trace_get_udp(const struct libtrace_packet_t *packet) {
1095        struct libtrace_udp *udpptr = 0;
1096        struct libtrace_ip *ipptr = 0;
1097       
1098        if(!(ipptr = trace_get_ip(packet))) {
1099                return 0;
1100        }
1101        if ((ipptr->ip_p == 17) && ((ipptr->ip_off & SW_IP_OFFMASK) == 0)) {
1102                udpptr = (struct libtrace_udp *)((ptrdiff_t)ipptr + (ipptr->ip_hl * 4));
1103        }
1104
1105        return udpptr;
1106}
1107
1108/** get a pointer to the UDP header (if any) given a pointer to the IP header
1109 * @param ip            The IP header
1110 * @param[out] skipped  An output variable of the number of bytes skipped
1111 *
1112 * @returns a pointer to the UDP header, or NULL if this is not a UDP packet
1113 *
1114 * Skipped can be NULL, in which case it will be ignored by the program.
1115 */
1116struct libtrace_udp *get_udp_from_ip(const struct libtrace_ip *ip, int *skipped)
1117{
1118        struct libtrace_udp *udpptr = 0;
1119
1120        if ((ip->ip_p == 6) && ((ip->ip_off & SW_IP_OFFMASK) == 0))  {
1121                udpptr = (struct libtrace_udp *)((ptrdiff_t)ip+ (ip->ip_hl * 4));
1122        }
1123
1124        if (skipped)
1125                *skipped=(ip->ip_hl*4);
1126
1127        return udpptr;
1128}
1129
1130
1131/** get a pointer to the ICMP header (if any)
1132 * @param packet        a pointer to a libtrace_packet structure
1133 *
1134 * @returns a pointer to the ICMP header, or NULL if this is not a ICMP packet
1135 */
1136struct libtrace_icmp *trace_get_icmp(const struct libtrace_packet_t *packet) {
1137        struct libtrace_icmp *icmpptr = 0;
1138        struct libtrace_ip *ipptr = 0;
1139       
1140        if(!(ipptr = trace_get_ip(packet))) {
1141                return 0;
1142        }
1143        if ((ipptr->ip_p == 1)&& ((ipptr->ip_off & SW_IP_OFFMASK) == 0 )){
1144                icmpptr = (struct libtrace_icmp *)((ptrdiff_t)ipptr + (ipptr->ip_hl * 4));
1145        }
1146        return icmpptr;
1147}
1148
1149/** get a pointer to the ICMP header (if any) given a pointer to the IP header
1150 * @param ip            The IP header
1151 * @param[out] skipped  An output variable of the number of bytes skipped
1152 *
1153 * @returns a pointer to the ICMP header, or NULL if this is not a ICMP packet
1154 *
1155 * Skipped can be NULL, in which case it will be ignored by the program.
1156 */
1157struct libtrace_icmp *get_icmp_from_ip(struct libtrace_ip *ip, int *skipped)
1158{
1159        struct libtrace_icmp *icmpptr = 0;
1160
1161        if ((ip->ip_p == 6) && ((ip->ip_off & SW_IP_OFFMASK) == 0))  {
1162                icmpptr = (struct libtrace_icmp *)((ptrdiff_t)ip+ (ip->ip_hl * 4));
1163        }
1164
1165        if (skipped)
1166                *skipped=(ip->ip_hl*4);
1167
1168        return icmpptr;
1169}
1170/** parse an ip or tcp option
1171 * @param[in,out] ptr   the pointer to the current option
1172 * @param[in,out] len   the length of the remaining buffer
1173 * @param[out] type     the type of the option
1174 * @param[out] optlen   the length of the option
1175 * @param[out] data     the data of the option
1176 *
1177 * @returns bool true if there is another option (and the fields are filled in)
1178 *               or false if this was the last option.
1179 *
1180 * This updates ptr to point to the next option after this one, and updates
1181 * len to be the number of bytes remaining in the options area.  Type is updated
1182 * to be the code of this option, and data points to the data of this option,
1183 * with optlen saying how many bytes there are.
1184 *
1185 * @note Beware of fragmented packets.
1186 * @author Perry Lorier
1187 */
1188int trace_get_next_option(unsigned char **ptr,int *len,
1189                        unsigned char *type,
1190                        unsigned char *optlen,
1191                        unsigned char **data)
1192{
1193        if (*len<=0)
1194                return 0;
1195        *type=**ptr;
1196        switch(*type) {
1197                case 0: /* End of options */
1198                        return 0;
1199                case 1: /* Pad */
1200                        (*ptr)++;
1201                        (*len)--;
1202                        return 1;
1203                default:
1204                        *optlen = *(*ptr+1);
1205                        if (*optlen<2)
1206                                return 0; // I have no idea wtf is going on
1207                                          // with these packets
1208                        (*len)-=*optlen;
1209                        (*data)=(*ptr+2);
1210                        (*ptr)+=*optlen;
1211                        if (*len<0)
1212                                return 0;
1213                        return 1;
1214        }
1215        assert(0);
1216}
1217
1218
1219/** Get the current time in DAG time format
1220 * @param packet        a pointer to a libtrace_packet structure
1221 * @returns a 64 bit timestamp in DAG ERF format (upper 32 bits are the seconds
1222 * past 1970-01-01, the lower 32bits are partial seconds)
1223 * @author Daniel Lawson
1224 */ 
1225uint64_t trace_get_erf_timestamp(const struct libtrace_packet_t *packet) {
1226        uint64_t timestamp = 0;
1227        dag_record_t *erfptr = 0;
1228        struct pcap_pkthdr *pcapptr = 0;
1229        struct wag_event_t *wagptr = 0;
1230        switch (packet->trace->format) {
1231                case DAG:
1232                case ERF:
1233                case RTCLIENT:
1234                        erfptr = (dag_record_t *)packet->buffer;
1235                        timestamp = erfptr->ts;
1236                        break;
1237#if HAVE_PCAP
1238                case PCAPINT:
1239                case PCAP:
1240                        pcapptr = (struct pcap_pkthdr *)packet->buffer;
1241                        timestamp = ((((uint64_t)pcapptr->ts.tv_sec) << 32) + \
1242                                (pcapptr->ts.tv_usec*UINT_MAX/1000000));
1243                        break;
1244#endif
1245                case WAGINT:
1246                case WAG:
1247                        wagptr = (struct wag_event_t *)packet->buffer;
1248                        timestamp = wagptr->timestamp_lo;
1249                        timestamp |= (uint64_t)wagptr->timestamp_hi<<32;
1250                        timestamp = ((timestamp%44000000)*(UINT_MAX/44000000))
1251                                  | ((timestamp/44000000)<<32);
1252                        break;
1253                default:
1254                        fprintf(stderr,"Unknown format in trace_get_erf_timestamp\n");
1255                        timestamp = 0;
1256        }
1257        return timestamp;
1258}
1259
1260/** Get the current time in struct timeval
1261 * @param packet        a pointer to a libtrace_packet structure
1262 *
1263 * @returns time that this packet was seen in a struct timeval
1264 * @author Daniel Lawson
1265 * @author Perry Lorier
1266 */ 
1267struct timeval trace_get_timeval(const struct libtrace_packet_t *packet) {
1268        struct timeval tv;
1269#if HAVE_PCAP
1270        struct pcap_pkthdr *pcapptr = 0;
1271#endif
1272        uint64_t ts;
1273        //uint32_t seconds;
1274        switch (packet->trace->format) {
1275#if HAVE_PCAP
1276                case PCAPINT:
1277                case PCAP:
1278                        pcapptr = (struct pcap_pkthdr *)packet->buffer;
1279                        // ick. FIXME
1280                        tv.tv_sec = pcapptr->ts.tv_sec;
1281                        tv.tv_usec = pcapptr->ts.tv_usec;
1282                        break;
1283#endif
1284                case WAGINT:
1285                case WAG:
1286                case DAG:
1287                case ERF:
1288                case RTCLIENT:
1289                default:
1290                        // FIXME: This isn't portable to big-endian machines
1291                        ts = trace_get_erf_timestamp(packet);
1292                        tv.tv_sec = ts >> 32;           
1293                        ts = (1000000 * (ts & 0xffffffffULL));
1294                        ts += (ts & 0x80000000ULL) << 1;
1295                        tv.tv_usec = ts >> 32;
1296                        if (tv.tv_usec >= 1000000) {
1297                                tv.tv_usec -= 1000000;
1298                                tv.tv_sec += 1;
1299                        }
1300                        break;
1301        }
1302        return tv;
1303}
1304
1305/** Get the current time in floating point seconds
1306 * @param packet        a pointer to a libtrace_packet structure
1307 * @returns time that this packet was seen in 64bit floating point seconds
1308 * @author Perry Lorier
1309 */ 
1310double trace_get_seconds(const struct libtrace_packet_t *packet) {
1311        uint64_t ts;
1312        ts = trace_get_erf_timestamp(packet);
1313        return (ts>>32) + ((ts & UINT_MAX)*1.0 / UINT_MAX);
1314}
1315
1316/** Get the size of the packet in the trace
1317 * @param packet the packet opaque pointer
1318 * @returns the size of the packet in the trace
1319 * @author Perry Lorier
1320 * @note Due to this being a header capture, or anonymisation, this may not
1321 * be the same size as the original packet.  See trace_get_wire_length() for the
1322 * original size of the packet.
1323 * @note This can (and often is) different for different packets in a trace!
1324 * @par
1325 *  This is sometimes called the "snaplen".
1326 */ 
1327int trace_get_capture_length(const struct libtrace_packet_t *packet) {
1328        dag_record_t *erfptr = 0;
1329#if HAVE_PCAP
1330        struct pcap_pkthdr *pcapptr = 0;
1331#endif
1332        struct wag_event_t *wag_event;
1333        switch (packet->trace->format) {
1334                case DAG:
1335                case ERF:
1336                case RTCLIENT:
1337                        erfptr = (dag_record_t *)packet->buffer;
1338                        return ntohs(erfptr->rlen);
1339#if HAVE_PCAP
1340                case PCAPINT:
1341                case PCAP:
1342                        pcapptr = (struct pcap_pkthdr *)packet->buffer;
1343                        //return ntohs(pcapptr->caplen);
1344                        return pcapptr->caplen;
1345#endif
1346                case WAGINT:
1347                case WAG:
1348                        wag_event = (struct wag_event_t *)packet->buffer;
1349                        switch(wag_event->type) {
1350                                case 0:
1351                                        return wag_event->length*4-(
1352                                                sizeof(struct wag_event_t)+
1353                                                sizeof(struct wag_data_event_t)
1354                                                );
1355                                default:
1356                                        assert(0);
1357                        }
1358                default:
1359                        assert(0);
1360        }
1361        return -1;
1362}
1363       
1364/** Get the size of the packet as it was seen on the wire.
1365 * @param packet        a pointer to a libtrace_packet structure
1366 *
1367 * @returns the size of the packet as it was on the wire.
1368 * @author Perry Lorier
1369 * @author Daniel Lawson
1370 * @note Due to the trace being a header capture, or anonymisation this may
1371 * not be the same as the Capture Len.
1372 */ 
1373int trace_get_wire_length(const struct libtrace_packet_t *packet){
1374        dag_record_t *erfptr = 0;
1375#if HAVE_PCAP
1376        struct pcap_pkthdr *pcapptr = 0;
1377#endif
1378        struct wag_event_t *wag_event = 0;
1379        switch (packet->trace->format) {
1380                case DAG:
1381                case ERF:
1382                case RTCLIENT:
1383                        erfptr = (dag_record_t *)packet->buffer;
1384                        return ntohs(erfptr->wlen);
1385                        break;
1386#if HAVE_PCAP
1387                case PCAPINT:
1388                case PCAP:
1389                        pcapptr = (struct pcap_pkthdr *)packet->buffer;
1390                        return ntohs(pcapptr->len);
1391                        break;
1392#endif
1393                case WAGINT:
1394                case WAG:
1395                        wag_event = (struct wag_event_t *)packet->buffer;
1396                        switch(wag_event->type) {
1397                                case 0:
1398                                        return ((struct wag_data_event_t *)(&wag_event->payload))->frame_length;
1399                                default:
1400                                        assert(0);
1401                        }
1402        }
1403        return -1;
1404
1405}
1406
1407/** Get the type of the link layer
1408 * @param packet        a pointer to a libtrace_packet structure
1409 * @returns libtrace_linktype_t
1410 * @author Perry Lorier
1411 * @author Daniel Lawson
1412 */
1413libtrace_linktype_t trace_get_link_type(const struct libtrace_packet_t *packet ) {
1414        dag_record_t *erfptr = 0;
1415#if HAVE_PCAP
1416        struct pcap_pkthdr *pcapptr = 0;
1417#endif
1418        int linktype = 0;
1419        switch (packet->trace->format) {
1420                case DAG:
1421                case ERF:
1422                case RTCLIENT:
1423                        erfptr = (dag_record_t *)packet->buffer;
1424                        switch (erfptr->type) {
1425                                case TYPE_ETH: return TRACE_TYPE_ETH;
1426                                case TYPE_ATM: return TRACE_TYPE_ATM;
1427                                default: assert(0);
1428                        }
1429                        return erfptr->type;
1430                       
1431                        break;
1432#if HAVE_PCAP
1433                case PCAPINT:
1434                case PCAP:
1435                        pcapptr = (struct pcap_pkthdr *)packet->buffer;
1436                        linktype = pcap_datalink(packet->trace->input.pcap);
1437                        switch (linktype) {
1438                                case DLT_NULL:
1439                                        return TRACE_TYPE_NONE;
1440                                case DLT_EN10MB:
1441                                        return TRACE_TYPE_ETH; 
1442                                case DLT_ATM_RFC1483:
1443                                        return TRACE_TYPE_ATM;
1444                                case DLT_IEEE802_11:
1445                                        return TRACE_TYPE_80211;
1446#ifdef DLT_LINUX_SLL
1447                                case DLT_LINUX_SLL:
1448                                        return TRACE_TYPE_LINUX_SLL;
1449#endif
1450#ifdef DLT_PFLOG
1451                                case DLT_PFLOG:
1452                                        return TRACE_TYPE_PFLOG;
1453#endif
1454                        }
1455                        break;
1456#endif
1457                case WAGINT:
1458                case WAG:
1459                        return TRACE_TYPE_80211;
1460        }
1461        return -1;
1462}
1463
1464/** Get the source MAC addres
1465 * @param packet        a pointer to a libtrace_packet structure
1466 * @returns a pointer to the source mac, (or NULL if there is no source MAC)
1467 * @author Perry Lorier
1468 */
1469uint8_t *trace_get_source_mac(const struct libtrace_packet_t *packet) {
1470        void *link = trace_get_link(packet);
1471        struct ieee_802_11_header *wifi = link;
1472        struct ether_header *ethptr = link;
1473        if (!link)
1474                return NULL;
1475        switch (trace_get_link_type(packet)) {
1476                case TRACE_TYPE_80211:
1477                        return (uint8_t*)&wifi->mac2;
1478                case TRACE_TYPE_ETH:
1479                        return (uint8_t*)&ethptr->ether_shost;
1480                default:
1481                        fprintf(stderr,"Not implemented\n");
1482                        assert(0);
1483        }
1484}
1485
1486/** Get the destination MAC addres
1487 * @param packet a libtrace_packet pointer
1488 * @returns a pointer to the destination mac, (or NULL if there is no
1489 * destination MAC)
1490 * @author Perry Lorier
1491 */
1492uint8_t *trace_get_destination_mac(const struct libtrace_packet_t *packet) {
1493        void *link = trace_get_link(packet);
1494        struct ieee_802_11_header *wifi = link;
1495        struct ether_header *ethptr = link;
1496        if (!link)
1497                return NULL;
1498        switch (trace_get_link_type(packet)) {
1499                case TRACE_TYPE_80211:
1500                        return (uint8_t*)&wifi->mac1;
1501                case TRACE_TYPE_ETH:
1502                        return (uint8_t*)&ethptr->ether_dhost;
1503                default:
1504                        fprintf(stderr,"Not implemented\n");
1505                        assert(0);
1506        }
1507}
1508
1509
1510/** process a libtrace event
1511 * @param trace the libtrace opaque pointer
1512 * @param packet the libtrace_packet opaque pointer
1513 * @returns
1514 *  TRACE_EVENT_IOWAIT  Waiting on I/O on fd
1515 *  TRACE_EVENT_SLEEP   Next event in seconds
1516 *  TRACE_EVENT_PACKET  Packet arrived in buffer with size size
1517 *  TRACE_EVENT_TERMINATE Trace terminated (perhaps with an error condition)
1518 * FIXME currently keeps a copy of the packet inside the trace pointer,
1519 * which in turn is stored inside the new packet object...
1520 * @author Perry Lorier
1521 */
1522struct libtrace_eventobj_t trace_event(struct libtrace_t *trace, 
1523                struct libtrace_packet_t *packet) {
1524        struct libtrace_eventobj_t event;
1525
1526        if (!trace) {
1527                fprintf(stderr,"You called trace_event() with a NULL trace object!\n");
1528        }
1529        assert(trace);
1530        assert(packet);
1531
1532        /* Store the trace we are reading from into the packet opaque
1533         * structure */
1534        packet->trace = trace;
1535
1536        /* Is there a packet ready? */
1537        switch (trace->sourcetype) {
1538#if HAVE_PCAP
1539                case INTERFACE:
1540                        {
1541                                int data;
1542                                event.fd = pcap_fileno(trace->input.pcap);
1543                                if(ioctl(event.fd,FIONREAD,&data)==-1){
1544                                        perror("ioctl(FIONREAD)");
1545                                }
1546                                if (data>0) {
1547                                        event.size = trace_read_packet(trace,packet);
1548                                        event.type = TRACE_EVENT_PACKET;
1549                                        return event;
1550                                }
1551                                event.type = TRACE_EVENT_IOWAIT;
1552                                return event;
1553                        }
1554#endif
1555                case SOCKET:
1556                case DEVICE:
1557                case RT:
1558                        {
1559                                int data;
1560                                event.fd = trace->input.fd;
1561                                if(ioctl(event.fd,FIONREAD,&data)==-1){
1562                                        perror("ioctl(FIONREAD)");
1563                                }
1564                                if (data>0) {
1565                                        event.size = trace_read_packet(trace,packet);
1566                                        event.type = TRACE_EVENT_PACKET;
1567                                        return event;
1568                                }
1569                                event.type = TRACE_EVENT_IOWAIT;
1570                                return event;
1571                        }
1572                case STDIN:
1573                case TRACE:
1574                        {
1575                                double ts;
1576                                double now;
1577                                struct timeval stv;
1578                                /* "Prime" the pump */
1579                                if (!trace->packet.buffer) {
1580                                        trace->packet.buffer = malloc(4096);
1581                                        trace->packet.size=
1582                                                trace_read_packet(trace,packet);
1583                                        event.size = trace->packet.size;
1584                                        if (trace->packet.size > 0 ) {
1585                                                memcpy(trace->packet.buffer,packet->buffer,trace->packet.size);
1586                                        } else {
1587                                                // return here, the test for event.size will sort out the error
1588                                                event.type = TRACE_EVENT_PACKET;
1589                                                return event;
1590                                        }
1591                                }
1592
1593                                ts=trace_get_seconds(packet);
1594                                if (trace->tdelta!=0) {
1595                                        // Get the adjusted current time
1596                                        gettimeofday(&stv, NULL);
1597                                        now = stv.tv_sec + ((double)stv.tv_usec / 1000000.0);
1598                                        now -= trace->tdelta; // adjust for trace delta
1599                                       
1600                                       
1601                                        // if the trace timestamp is still in the future,
1602                                        // return a SLEEP event, otherwise fire the packet
1603                                        if (ts > now) {
1604                                                event.seconds = ts - trace->trace_last_ts;
1605                                                event.type = TRACE_EVENT_SLEEP;
1606                                                return event;
1607                                        }
1608                                } else {
1609                                        gettimeofday(&stv, NULL);
1610                                        // work out the difference between the start of trace replay,
1611                                        // and the first packet in the trace
1612                                        trace->tdelta = stv.tv_sec + ((double)stv.tv_usec / 1000000.0);
1613                                        trace->tdelta -= ts;
1614
1615                                }
1616                               
1617                                        // This is the first packet, so just fire away.
1618                                packet->size = trace->packet.size;
1619                                memcpy(packet->buffer,trace->packet.buffer,trace->packet.size);
1620
1621                                free(trace->packet.buffer);
1622                                trace->packet.buffer = 0;
1623                                event.type = TRACE_EVENT_PACKET;
1624                               
1625                                trace->trace_last_ts = ts;
1626
1627                                return event;
1628                        }
1629                default:
1630                        assert(0);
1631        }
1632        assert(0);
1633}
1634
1635/** setup a BPF filter
1636 * @param filterstring a char * containing the bpf filter string
1637 * @returns opaque pointer pointer to a libtrace_filter_t object
1638 * @author Daniel Lawson
1639 */
1640struct libtrace_filter_t *trace_bpf_setfilter(const char *filterstring) {
1641#if HAVE_BPF
1642        struct libtrace_filter_t *filter = malloc(sizeof(struct libtrace_filter_t));
1643        filter->filterstring = strdup(filterstring);
1644        filter->filter = 0;
1645        return filter;
1646#else
1647        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1648        return 0;
1649#endif
1650}
1651
1652/** apply a BPF filter
1653 * @param filter the filter opaque pointer
1654 * @param packet the packet opaque pointer
1655 * @returns 0 if the filter fails, 1 if it succeeds
1656 * @author Daniel Lawson
1657 */
1658int trace_bpf_filter(struct libtrace_filter_t *filter,
1659                        const struct libtrace_packet_t *packet) {
1660#if HAVE_BPF
1661        void *linkptr = 0;
1662        int clen = 0;
1663        assert(filter);
1664        assert(packet);
1665        linkptr = trace_get_link(packet);
1666        if (!linkptr) {
1667                return 0;
1668        }
1669       
1670        clen = trace_get_capture_length(packet);
1671       
1672
1673        if (filter->filterstring && ! filter->filter) {
1674                pcap_t *pcap;
1675                struct bpf_program bpfprog;
1676
1677                switch (trace_get_link_type(packet)) {
1678                        case TRACE_TYPE_ETH:
1679                                pcap = (pcap_t *)pcap_open_dead(DLT_EN10MB, 1500);
1680                                break;
1681#ifdef DLT_LINUX_SLL
1682                        case TRACE_TYPE_LINUX_SLL:
1683                                pcap = pcap_open_dead(DLT_LINUX_SLL, 1500);
1684                                break;
1685#endif
1686#ifdef DLT_PFLOG
1687                        case TRACE_TYPE_PFLOG:
1688                                pcap = pcap_open_dead(DLT_PFLOG, 1500);
1689                                break;
1690#endif
1691                        default:
1692                                printf("only works for ETH and LINUX_SLL (ppp) at the moment\n");
1693                                assert(0);
1694                }               
1695
1696                // build filter
1697                if (pcap_compile( pcap, &bpfprog, filter->filterstring, 1, 0)) {
1698                        printf("bpf compilation error: %s\n", 
1699                                pcap_geterr(pcap));
1700                        assert(0);
1701                }
1702                pcap_close(pcap);
1703                filter->filter = bpfprog.bf_insns;     
1704        }
1705
1706        assert(filter->filter);
1707        return bpf_filter(filter->filter, linkptr, clen, clen);
1708#else
1709        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1710        return 0;
1711#endif
1712}
1713
1714/** Set the direction flag, if it has one
1715 * @param packet the packet opaque pointer
1716 * @param direction the new direction (0,1,2,3)
1717 * @returns a signed value containing the direction flag, or -1 if this is not supported
1718 * @author Daniel Lawson
1719 */
1720int8_t trace_set_direction(struct libtrace_packet_t *packet, int8_t direction) {
1721       
1722        dag_record_t *erfptr = 0;
1723        assert(packet);
1724
1725        switch(packet->trace->format) {
1726                case DAG:
1727                case ERF:
1728                case RTCLIENT:
1729                        erfptr = (dag_record_t *)packet->buffer;
1730                        erfptr->flags.iface = direction;
1731                        break;
1732                default:
1733                        direction = -1;
1734        }
1735       
1736        return direction;
1737       
1738       
1739}
1740
1741/** Get the direction flag, if it has one
1742 * @param packet a pointer to a libtrace_packet structure
1743 * @returns a signed value containing the direction flag, or -1 if this is not supported
1744 * The direction is defined as 0 for packets originating locally (ie, outbound)
1745 * and 1 for packets originating remotely (ie, inbound).
1746 * Other values are possible, which might be overloaded to mean special things
1747 * for a special trace.
1748 * @author Daniel Lawson
1749 */
1750int8_t trace_get_direction(const struct libtrace_packet_t *packet) {
1751       
1752        int8_t direction;
1753        dag_record_t *erfptr = 0;
1754        assert(packet);
1755        direction = -1;
1756
1757        switch(packet->trace->format) {
1758                case DAG:
1759                case ERF:
1760                case RTCLIENT:
1761                        erfptr = (dag_record_t *)packet->buffer;
1762                        direction = erfptr->flags.iface;
1763                        break;
1764                case PCAP:
1765                case PCAPINT:
1766                        switch (trace_get_link_type(packet)) {
1767                                case TRACE_TYPE_LINUX_SLL:
1768                                {
1769                                        struct trace_sll_header_t *sll;
1770                                        sll = trace_get_link(packet);
1771                                        if (!sll) {
1772                                                return -1;
1773                                        }
1774                                        /* 0 == LINUX_SLL_HOST */
1775                                        /* the Waikato Capture point defines "packets
1776                                         * originating locally" (ie, outbound), with a
1777                                         * direction of 0, and "packets destined locally"
1778                                         * (ie, inbound), with a direction of 1.
1779                                         * This is kind-of-opposite to LINUX_SLL.
1780                                         * We return consistent values here, however
1781                                         *
1782                                         * Note that in recent versions of pcap, you can
1783                                         * use "inbound" and "outbound" on ppp in linux
1784                                         */
1785                                        if (ntohs(sll->pkttype==0)) {
1786
1787                                                direction = 1;
1788                                        }
1789                                        else {
1790                                                direction = 0;
1791                                        }
1792                                        break;
1793                                }
1794                                case TRACE_TYPE_PFLOG:
1795                                {
1796                                        struct trace_pflog_header_t *pflog;
1797                                        pflog = trace_get_link(packet);
1798                                        if (!pflog) {
1799                                                return -1;
1800                                        }
1801                                        /* enum    { PF_IN=0, PF_OUT=1 }; */
1802                                        if (ntohs(pflog->dir==0)) {
1803
1804                                                direction = 1;
1805                                        }
1806                                        else {
1807                                                direction = 0;
1808                                        }
1809                                        break;
1810                                }
1811                                default:
1812                                        /* pass */
1813                                        break;
1814                        }
1815                default:
1816                        /* pass */
1817                        break;
1818        }
1819       
1820        return direction;
1821       
1822       
1823}
1824
1825struct ports_t {
1826        uint16_t src;
1827        uint16_t dst;
1828};
1829
1830/* Return the client port
1831 */
1832uint16_t trace_get_source_port(const struct libtrace_packet_t *packet)
1833{
1834        struct libtrace_ip *ip = trace_get_ip(packet);
1835        if (6 != ip->ip_p
1836          && 17 != ip->ip_p)
1837                return 0;
1838        if (0 != (ip->ip_off & SW_IP_OFFMASK))
1839                return 0;
1840
1841        struct ports_t *port;
1842        port = (struct ports_t *)((ptrdiff_t)ip + (ip->ip_hl * 4));
1843
1844        return htons(port->src);
1845}
1846
1847/* Same as get_source_port except use the destination port */
1848uint16_t trace_get_destination_port(const struct libtrace_packet_t *packet)
1849{
1850        struct libtrace_ip *ip = trace_get_ip(packet);
1851
1852        if (6 != ip->ip_p
1853          && 17 != ip->ip_p)
1854                return 0;
1855
1856        if (0 != (ip->ip_off & SW_IP_OFFMASK))
1857                return 0;
1858
1859        struct ports_t *port;
1860        port = (struct ports_t *)((ptrdiff_t)ip + (ip->ip_hl * 4));
1861
1862        return htons(port->dst);
1863}
1864
1865#define ROOT_SERVER(x) ((x) < 512)
1866#define ROOT_CLIENT(x) ((512 <= (x)) && ((x) < 1024))
1867#define NONROOT_SERVER(x) ((x) >= 5000)
1868#define NONROOT_CLIENT(x) ((1024 <= (x)) && ((x) < 5000))
1869#define DYNAMIC(x) ((49152 < (x)) && ((x) < 65535))
1870#define SERVER(x) ROOT_SERVER(x) || NONROOT_SERVER(x)
1871#define CLIENT(x) ROOT_CLIENT(x) || NONROOT_CLIENT(x)
1872
1873/* Attempt to deduce the 'server' port
1874 * @param protocol the IP protocol (eg, 6 or 17 for TCP or UDP)
1875 * @param source the TCP or UDP source port
1876 * @param dest the TCP or UDP destination port
1877 * @returns a hint as to which port is the server port
1878 * @author Daniel Lawson
1879 */
1880int8_t trace_get_server_port(uint8_t protocol, uint16_t source, uint16_t dest) {
1881        /*
1882         * * If the ports are equal, return DEST
1883         * * Check for well-known ports in the given protocol
1884         * * Root server ports: 0 - 511
1885         * * Root client ports: 512 - 1023
1886         * * non-root client ports: 1024 - 4999
1887         * * non-root server ports: 5000+
1888         * * Check for static ranges: 1024 - 49151
1889         * * Check for dynamic ranges: 49152 - 65535
1890         * * flip a coin.
1891         */
1892
1893        uint16_t server, client;
1894
1895        /* equal */
1896        if (source == client)
1897                return USE_DEST;
1898
1899        /* root server port, 0 - 511 */
1900        if (ROOT_SERVER(source) && ROOT_SERVER(dest)) {
1901                if (source < dest)
1902                        return USE_SOURCE;
1903                return USE_DEST;
1904        }
1905
1906        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1907                return USE_SOURCE;
1908        if (!ROOT_SERVER(source) && ROOT_SERVER(dest))
1909                return USE_DEST;
1910
1911        /* non-root server */
1912        if (NONROOT_SERVER(source) && NONROOT_SERVER(dest)) {
1913                if (source < dest)
1914                        return USE_SOURCE;
1915                return USE_DEST;
1916        }
1917        if (NONROOT_SERVER(source) && !NONROOT_SERVER(dest))
1918                return USE_SOURCE;
1919        if (!NONROOT_SERVER(source) && NONROOT_SERVER(dest))
1920                return USE_DEST;
1921
1922        /* root client */
1923        if (ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1924                if (source < dest)
1925                        return USE_SOURCE;
1926                return USE_DEST;
1927        }
1928        if (ROOT_CLIENT(source) && !ROOT_CLIENT(dest)) {
1929                /* prefer root-client over nonroot-client */
1930                if (NONROOT_CLIENT(dest))
1931                        return USE_SOURCE;
1932                return USE_DEST;
1933        }
1934        if (!ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1935                /* prefer root-client over nonroot-client */
1936                if (NONROOT_CLIENT(source))
1937                        return USE_DEST;
1938                return USE_SOURCE;
1939        }
1940       
1941        /* nonroot client */
1942        if (NONROOT_CLIENT(source) && NONROOT_CLIENT(dest)) {
1943                if (source < dest) 
1944                        return USE_SOURCE;
1945                return USE_DEST;
1946        }
1947        if (NONROOT_CLIENT(source) && !NONROOT_CLIENT(dest))
1948                return USE_DEST;
1949        if (!NONROOT_CLIENT(source) && NONROOT_CLIENT(dest))
1950                return USE_SOURCE;
1951
1952        /* dynamic range */
1953        if (DYNAMIC(source) && DYNAMIC(dest))
1954                if (source < dest)
1955                        return USE_SOURCE;
1956                return USE_DEST;
1957        if (DYNAMIC(source) && !DYNAMIC(dest))
1958                return USE_DEST;
1959        if (!DYNAMIC(source) && DYNAMIC(dest))
1960                return USE_SOURCE;
1961        /*
1962        if (SERVER(source) && CLIENT(dest))
1963                return USE_SOURCE;
1964       
1965        if (SERVER(dest) && CLIENT(source))
1966                return USE_DEST;
1967        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1968                return USE_SOURCE;
1969        if (ROOT_SERVER(dest) && !ROOT_SERVER(source))
1970                return USE_DEST;
1971        */
1972        // failing that test...
1973        if (source < dest) {
1974                return USE_SOURCE;
1975        } 
1976        return USE_DEST;
1977       
1978}
1979
1980/** Truncate the packet at the suggested length
1981 * @param packet        the packet opaque pointer
1982 * @param size          the new length of the packet
1983 * @returns the new length of the packet, or the original length of the
1984 * packet if unchanged
1985 * NOTE: len refers to the network-level payload of the packet, and not
1986 * any capture headers included as well. For example, to truncate a packet
1987 * after the IP header, set scan to sizeof(ethernet_header) + sizeof(ip_header)
1988 * @author Daniel Lawson
1989 */
1990size_t trace_truncate_packet(struct libtrace_packet_t *packet, size_t size) {
1991        dag_record_t *erfptr;
1992#if HAVE_PCAP
1993        struct pcap_pkthdr *pcaphdr;
1994#endif
1995
1996        assert(packet);
1997
1998        if (size > packet->size) {
1999                // can't make a packet larger
2000                return packet->size;
2001        }
2002        switch (packet->trace->format) {
2003#if HAVE_PCAP
2004                case PCAPINT:
2005                case PCAP:
2006                        pcaphdr = (struct pcap_pkthdr *)packet->buffer;
2007                        pcaphdr->caplen = size + sizeof(struct pcap_pkthdr);
2008                        packet->size = pcaphdr->caplen;
2009                        break;
2010#endif
2011                case ERF:
2012                case DAG:
2013                case RTCLIENT:
2014                        erfptr = (dag_record_t *)packet->buffer;
2015                        erfptr->rlen = ntohs(size + sizeof(dag_record_t));
2016                        packet->size = size + sizeof(dag_record_t);
2017                        break;
2018                case WAGINT:
2019                case WAG:
2020                        // don't know how to do this?
2021                        break;
2022        }
2023        return packet->size;
2024}
2025
Note: See TracBrowser for help on using the repository browser.