source: lib/trace.c @ db06c9d

4.0.1-hotfixescachetimestampsdevelopdpdk-ndagetsilivegetfragoffhelplibtrace4ndag_formatpfringrc-4.0.1rc-4.0.2rc-4.0.3rc-4.0.4ringdecrementfixringperformanceringtimestampfixes
Last change on this file since db06c9d was db06c9d, checked in by Daniel Lawson <dlawson@…>, 16 years ago

change way we open files to get around gzopen being broken
adding malloc and realloc substitution functions

  • Property mode set to 100644
File size: 53.7 KB
Line 
1/*
2 * This file is part of libtrace
3 *
4 * Copyright (c) 2004 The University of Waikato, Hamilton, New Zealand.
5 * Authors: Daniel Lawson
6 *          Perry Lorier
7 *         
8 * All rights reserved.
9 *
10 * This code has been developed by the University of Waikato WAND
11 * research group. For further information please see http://www.wand.net.nz/
12 *
13 * libtrace is free software; you can redistribute it and/or modify
14 * it under the terms of the GNU General Public License as published by
15 * the Free Software Foundation; either version 2 of the License, or
16 * (at your option) any later version.
17 *
18 * libtrace is distributed in the hope that it will be useful,
19 * but WITHOUT ANY WARRANTY; without even the implied warranty of
20 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
21 * GNU General Public License for more details.
22 *
23 * You should have received a copy of the GNU General Public License
24 * along with libtrace; if not, write to the Free Software
25 * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
26 *
27 * $Id$
28 *
29 */
30
31
32/** @file
33 *
34 * @brief Trace file processing library
35 *
36 * @author Daniel Lawson
37 * @author Perry Lorier
38 *
39 * @internal
40 */
41#define _GNU_SOURCE
42#include "common.h"
43#include "config.h"
44#include <assert.h>
45#include <errno.h>
46#include <fcntl.h>
47#include <netdb.h>
48#include <stdio.h>
49#include <stdlib.h>
50#include <string.h>
51#include <sys/stat.h>
52#include <sys/types.h>
53
54#ifdef HAVE_LIMITS_H
55#  include <limits.h>
56#endif
57
58#ifdef HAVE_SYS_LIMITS_H
59#  include <sys/limits.h>
60#endif
61
62#include <sys/socket.h>
63#include <sys/un.h>
64#include <sys/mman.h>
65#include <unistd.h>
66
67#ifdef HAVE_NET_IF_ARP_H
68#  include <net/if_arp.h>
69#endif
70
71#ifdef HAVE_NET_IF_H
72#  include <net/if.h>
73#endif
74
75#ifdef HAVE_NETINET_IN_H
76#  include <netinet/in.h>
77#endif
78
79#ifdef HAVE_NET_ETHERNET_H
80#  include <net/ethernet.h>
81#endif
82
83#ifdef HAVE_NETINET_IF_ETHER_H
84#  include <netinet/if_ether.h>
85#endif
86
87#include <time.h>
88#include <sys/ioctl.h>
89
90#ifdef HAVE_INTTYPES_H
91#  include <inttypes.h>
92#else
93#  error "Can't find inttypes.h - this needs to be fixed"
94#endif
95
96#ifdef HAVE_STDDEF_H
97#  include <stddef.h>
98#else
99# error "Can't find stddef.h - do you define ptrdiff_t elsewhere?"
100#endif
101
102#include "libtrace.h"
103#include "fifo.h"
104
105#if HAVE_PCAP_BPF_H
106#  include <pcap-bpf.h>
107#else
108#  ifdef HAVE_NET_BPF_H
109#    include <net/bpf.h>
110#  endif
111#endif
112
113#if HAVE_PCAP_H
114#  include <pcap.h>
115#  ifdef HAVE_PCAP_INT_H
116#    include <pcap-int.h>
117#  endif
118#endif
119
120#ifdef HAVE_ZLIB_H
121#  include <zlib.h>
122#endif
123
124
125#include "wag.h"
126
127#ifdef HAVE_DAG_API
128#  include "dagnew.h"
129#  include "dagapi.h"
130#else
131#  include "dagformat.h"
132#endif
133
134
135typedef enum {SOCKET, TRACE, STDIN, DEVICE, INTERFACE, RT } source_t;
136
137typedef enum {ERF, PCAP, PCAPINT, DAG, RTCLIENT, WAG, WAGINT } format_t;
138
139#if HAVE_BPF
140/** A type encapsulating a bpf filter
141 * This type covers the compiled bpf filter, as well as the original filter
142 * string
143 *
144 */
145struct libtrace_filter_t {
146        struct bpf_insn *filter;
147        char * filterstring;
148};
149#endif
150
151/** The information about traces that are open
152 * @internal
153 */
154struct libtrace_t {
155        format_t format;        /**< The format that this trace is in */
156        source_t sourcetype;    /**< The type (device,file, etc */
157        union {
158                /** Information about rtclients */
159                struct {
160                        char *hostname;
161                        short port;
162                } rt;
163                char *path;             /**< information for local sockets */
164                char *interface;        /**< intormation for reading of network
165                                             interfaces */
166        } conn_info;
167        /** Information about the current state of the input device */
168        union {
169                int fd;
170#if HAVE_ZLIB
171                gzFile *file;
172#else   
173                FILE *file;
174#endif
175#if HAVE_PCAP
176                pcap_t *pcap;
177#endif
178        } input;
179        struct fifo_t *fifo;   
180        struct {
181                void *buf; 
182                unsigned bottom;
183                unsigned top;
184                unsigned diff;
185                unsigned curr;
186                unsigned offset;
187        } dag;
188        struct {
189                void *buffer;
190                int size;
191        } packet;
192        double tdelta;
193        double trace_start_ts;
194        double real_start_ts;
195        double trace_last_ts;
196
197        double last_ts;
198        double start_ts;
199};
200
201struct trace_sll_header_t {
202        uint16_t pkttype;               /* packet type */
203        uint16_t hatype;                /* link-layer address type */
204        uint16_t halen;                 /* link-layer address length */
205        char addr[8];                   /* link-layer address */
206        uint16_t protocol;              /* protocol */
207};
208
209#ifndef PF_RULESET_NAME_SIZE
210#define PF_RULESET_NAME_SIZE 16
211#endif
212
213#ifndef IFNAMSIZ
214#define IFNAMSIZ 16
215#endif
216
217struct trace_pflog_header_t {
218        uint8_t    length;
219        sa_family_t   af;
220        uint8_t    action;
221        uint8_t    reason;
222        char       ifname[IFNAMSIZ];
223        char       ruleset[PF_RULESET_NAME_SIZE];
224        uint32_t   rulenr;
225        uint32_t   subrulenr;
226        uint8_t    dir;
227        uint8_t    pad[3];
228};
229
230#define RP_BUFSIZE 65536
231
232#define URI_PROTO_LINE 16
233static int init_trace(struct libtrace_t **libtrace, char *uri) {
234        char *scan = calloc(sizeof(char),URI_PROTO_LINE);
235        char *uridata = 0;                 
236        struct stat buf;
237       
238        // parse the URI to determine what sort of event we are dealing with
239       
240        // want snippet before the : to get the uri base type.
241
242        if((uridata = strchr(uri,':')) == NULL) {
243                // badly formed URI - needs a :
244                return 0;
245        }
246
247        if ((*uridata - *uri) > URI_PROTO_LINE) {
248                // badly formed URI - uri type is too long
249                return 0;
250        }
251        strncpy(scan,uri, (uridata - uri));
252
253        (*libtrace)->tdelta = 0.0;
254
255        if (!strncasecmp(scan,"erf",3)) {
256                (*libtrace)->format=ERF;
257#if HAVE_PCAP
258        } else if (!strncasecmp(scan,"pcapint",7)) {
259                (*libtrace)->format=PCAPINT;
260        } else if (!strncasecmp(scan,"pcap",4)) {
261                (*libtrace)->format=PCAP;
262#else
263        } else if (!strncasecmp(scan,"pcap",4)) { // also catches pcapint
264                fprintf(stderr,"This version of libtrace has been compiled without PCAP support\n");
265                return 0;
266#endif
267       
268#if HAVE_DAG
269        } else if (!strncasecmp(scan,"dag",3)) {
270                (*libtrace)->format=DAG;
271#else
272        } else if (!strncasecmp(scan,"dag",3)) {
273                fprintf(stderr,"This version of libtrace has been compiled without DAG support\n");
274                return 0;
275#endif
276        } else if (!strncasecmp(scan,"rtclient",7)) {
277                (*libtrace)->format=RTCLIENT;
278        } else if (!strncasecmp(scan,"wagint",6)) {
279        struct ports_t *port;
280                (*libtrace)->format=WAGINT;
281        } else if (!strncasecmp(scan,"wag",3)) {
282                (*libtrace)->format=WAG;
283        } else {
284                //badly formed URI
285                return 0;
286        }
287       
288        // push uridata past the delimiter
289        uridata++;
290       
291        // libtrace->format now contains the type of uri
292        // libtrace->uridata contains the appropriate data for this
293       
294        switch((*libtrace)->format) {
295#if HAVE_PCAP
296                case PCAPINT:
297#endif
298                case WAGINT:
299                        /* Can have uridata of the following format
300                         * eth0
301                         * etc
302                         */
303                        // We basically assume this is correct.
304                        (*libtrace)->sourcetype = INTERFACE;   
305                        (*libtrace)->conn_info.path = strdup(uridata);
306                        break;
307#if HAVE_PCAP
308                case PCAP:
309#endif
310                case ERF:
311                case WAG:
312                        /*
313                         * Can have uridata of the following format
314                         * /path/to/socket (probably not PCAP)
315                         * /path/to/file
316                         * /path/to/file.gz (not PCAP)
317                         * /dev/device (use PCAPINT)
318                         * -
319                         */
320                        if (!strncmp(uridata,"-",1)) {
321                                (*libtrace)->sourcetype = STDIN;
322                        } else {
323                                if (stat(uridata,&buf) == -1) {
324                                        perror("stat");
325                                        return 0;
326                                }
327                                if (S_ISSOCK(buf.st_mode)) {
328                                        (*libtrace)->sourcetype = SOCKET;
329                                } else if (S_ISCHR(buf.st_mode)) {
330                                        (*libtrace)->sourcetype = DEVICE;
331                                } else {
332                                        (*libtrace)->sourcetype = TRACE;
333                                }
334                                (*libtrace)->conn_info.path = strdup(uridata);
335                        }
336                        break;
337                case DAG:
338#if HAVE_DAG
339                        /*
340                         * Can have uridata of the following format:
341                         * /dev/device
342                         */
343                        if (stat(uridata,&buf) == -1) {
344                                perror("stat");
345                                return 0;
346                        }
347                        if (S_ISCHR(buf.st_mode)) {
348                                (*libtrace)->sourcetype = DEVICE;
349                        } else {
350                                fprintf(stderr,"%s isn't a valid char device, exiting\n",uridata);
351                                exit(1);
352                        }
353                        (*libtrace)->conn_info.path = strdup(uridata);
354#endif
355                        break;
356
357                case RTCLIENT:
358                        /*
359                         * Can have the uridata in the format
360                         * hostname
361                         * hostname:port
362                         */
363                        (*libtrace)->sourcetype = RT;
364                        if (strlen(uridata) == 0) {
365                                (*libtrace)->conn_info.rt.hostname = 
366                                        strdup("localhost");
367                                (*libtrace)->conn_info.rt.port = 
368                                        COLLECTOR_PORT;
369                                break;
370                        }
371                        if ((scan = strchr(uridata,':')) == NULL) {
372                                (*libtrace)->conn_info.rt.hostname = 
373                                        strdup(uridata);
374                                (*libtrace)->conn_info.rt.port = 
375                                        COLLECTOR_PORT;
376                        } else {
377                                (*libtrace)->conn_info.rt.hostname =
378                                        (char *)strndup(uridata,(scan - uridata));
379                                       
380                                (*libtrace)->conn_info.rt.port = 
381                                        atoi(++scan);                           
382                        }
383                        break;
384        }
385       
386
387        (*libtrace)->fifo = create_fifo(1048576);
388        assert( (*libtrace)->fifo);
389        //(*libtrace)->packet.buffer = 0;
390        //(*libtrace)->packet.size = 0;
391
392        return 1;
393}
394
395/** Create a trace file from a URI
396 *
397 * @returns opaque pointer to a libtrace_t
398 *
399 * Valid URI's are:
400 *  erf:/path/to/erf/file
401 *  erf:/path/to/erf/file.gz
402 *  erf:/path/to/rtclient/socket
403 *  erf:-                       (stdin)
404 *  pcapint:pcapinterface               (eg: pcapint:eth0)
405 *  pcap:/path/to/pcap/file
406 *  pcap:-
407 *  rtclient:hostname
408 *  rtclient:hostname:port
409 *  wag:-
410 *  wag:/path/to/wag/file
411 *  wag:/path/to/wag/file.gz
412 *  wag:/path/to/wag/socket
413 *  wagint:/dev/device
414 *
415 * URIs which have yet to be implemented are:
416 * dag:/dev/dagcard
417 * pcap:/path/to/pcap/socket
418 *
419 * If an error occured when attempting to open a trace, NULL is returned
420 * and an error is output to stdout.
421 */
422struct libtrace_t *trace_create(char *uri) {
423        struct libtrace_t *libtrace = malloc(sizeof(struct libtrace_t));
424        struct hostent *he;
425        struct sockaddr_in remote;
426        struct sockaddr_un unix_sock;
427#if HAVE_PCAP
428        char errbuf[PCAP_ERRBUF_SIZE];
429#endif
430
431        if(init_trace(&libtrace,uri) == 0) {
432                return 0;
433        }
434       
435        switch(libtrace->sourcetype) {
436                case RT:
437                        if ((he=gethostbyname(libtrace->conn_info.rt.hostname)) == NULL) { 
438                                perror("gethostbyname");
439                                return 0;
440                        } 
441                        if ((libtrace->input.fd = socket(AF_INET, SOCK_STREAM, 0)) == -1) {
442                                perror("socket");
443                                return 0;
444                        }
445
446                        remote.sin_family = AF_INET;   
447                        remote.sin_port = htons(libtrace->conn_info.rt.port);
448                        remote.sin_addr = *((struct in_addr *)he->h_addr);
449                        bzero(&(remote.sin_zero), 8);
450
451                        if (connect(libtrace->input.fd, (struct sockaddr *)&remote,
452                                                sizeof(struct sockaddr)) == -1) {
453                                perror("connect (inet)");
454                                return 0;
455                        }
456                        break;
457                case TRACE:
458#if HAVE_PCAP
459                        if (libtrace->format == PCAP) {
460                                if ((libtrace->input.pcap = pcap_open_offline(libtrace->conn_info.path, errbuf)) == NULL) {
461                                        fprintf(stderr,"%s\n",errbuf);
462                                        return 0;
463                                }
464                        } else {
465#else
466                        {
467#endif
468
469/* Catch undefined O_LARGEFILE on *BSD etc */
470#ifndef O_LARGEFILE
471#  define O_LARGEFILE 0
472#endif
473                               
474#if HAVE_ZLIB
475                                // using gzdopen means we can set O_LARGEFILE
476                                // ourselves. However, this way is messy and
477                                // we lose any error checking on "open"
478                                libtrace->input.file = gzdopen(open(libtrace->conn_info.path,O_LARGEFILE), "r");
479#else
480                                libtrace->input.file = fdopen(open(libtrace->conn_info.path,O_LARGEFILE), "r");
481#endif
482                        }
483                        break;
484                case STDIN:
485#if HAVE_PCAP
486                        if (libtrace->format == PCAP) {
487                                libtrace->input.pcap = pcap_open_offline("-",errbuf); 
488                        } else {
489#else
490                        {
491#endif
492#if HAVE_ZLIB
493                                libtrace->input.file = gzdopen(STDIN, "r");
494#else   
495                                libtrace->input.file = stdin;
496#endif
497                        }
498                        break;
499                case SOCKET:
500                        /* Pcap doesn't work */
501                        if (libtrace->format != PCAP) {
502                                if ((libtrace->input.fd = socket(AF_UNIX, SOCK_STREAM, 0)) == -1) {
503                                        perror("socket");
504                                        return 0;
505                                }
506                                unix_sock.sun_family = AF_UNIX;
507                                bzero(unix_sock.sun_path,108);
508                                snprintf(unix_sock.sun_path,108,"%s",libtrace->conn_info.path);
509
510                                if (connect(libtrace->input.fd, (struct sockaddr *)&unix_sock,
511                                                        sizeof(struct sockaddr)) == -1) {
512                                        perror("connect (unix)");
513                                        return 0;
514                                }
515                        }
516                        break;
517                case DEVICE:
518                case INTERFACE:
519                        switch (libtrace->format) {
520#if HAVE_PCAP
521                                case PCAPINT:
522                                case PCAP:
523                                        libtrace->input.pcap = pcap_open_live(
524                                                libtrace->conn_info.path,
525                                                4096,
526                                                1,
527                                                1,
528                                                errbuf);
529                                        break;
530#endif
531                                case WAGINT:
532                                case WAG:
533                                        libtrace->input.fd = open(
534                                                libtrace->conn_info.path,
535                                                O_RDONLY);
536                                        break;
537#if HAVE_DAG
538                                case DAG:
539                                        if((libtrace->input.fd = dag_open(libtrace->conn_info.path)) < 0) {
540                                                fprintf(stderr,"Cannot open DAG %s: %m\n", libtrace->conn_info.path,errno);
541                                                exit(0);
542                                        }
543                                        if((libtrace->dag.buf = dag_mmap(libtrace->input.fd)) == MAP_FAILED) {
544                                                fprintf(stderr,"Cannot mmap DAG %s: %m\n", libtrace->conn_info.path,errno);
545                                                exit(0);
546                                        }
547                                        if(dag_start(libtrace->input.fd) < 0) {
548                                                fprintf(stderr,"Cannot start DAG %s: %m\n", libtrace->conn_info.path,errno);
549                                                exit(0);
550                                        }
551                                        break;
552#endif
553                                default:
554                                        fprintf(stderr,"Unknown format trace, hoping I can just read\n");
555                                        break;
556                                       
557                        }
558                        break;
559                default:
560                        fprintf(stderr,"Unsupported source type for libtrace, terminating (%i)\n",libtrace->sourcetype);
561                        exit(0);
562               
563        }
564        return libtrace;
565}
566
567/** Close a trace file, freeing up any resources it may have been using
568 *
569 */
570void trace_destroy(struct libtrace_t *libtrace) {
571        assert(libtrace);
572#if HAVE_PCAP
573        if (libtrace->format == PCAP || libtrace->format == PCAPINT) {
574                pcap_close(libtrace->input.pcap);
575#else
576        if (0) {
577#endif
578        } else if (libtrace->sourcetype == SOCKET || libtrace->sourcetype == RT) {
579                close(libtrace->input.fd);
580#if HAVE_DAG
581        } else if (libtrace->format == DAG) {
582                dag_stop(libtrace->input.fd);
583#endif
584        } else {
585#if HAVE_ZLIB
586                gzclose(libtrace->input.file);
587#else   
588                fclose(libtrace->input.file);   
589#endif
590        }       
591        // need to free things!
592        destroy_fifo(libtrace->fifo);
593        free(libtrace);
594}
595
596static int trace_read(struct libtrace_t *libtrace, void *buffer, size_t len) {
597        int numbytes;
598        static short lctr = 0;
599        struct dag_record_t *recptr = 0;
600        int rlen;
601        assert(libtrace);
602        assert(len >= 0);
603
604        if (buffer == 0)
605                buffer = malloc(len);
606
607        while(1) {
608                switch(libtrace->sourcetype) {
609                        case SOCKET:
610                        case RT:
611
612#ifndef MSG_NOSIGNAL
613#define MSG_NOSIGNAL 0
614#endif
615                                // read from the network
616                                if ((numbytes=recv(libtrace->input.fd, 
617                                                                buffer, 
618                                                                len, 
619                                                                MSG_NOSIGNAL)) == -1) {
620                                        if (errno == EINTR) {
621                                                // ignore EINTR in case
622                                                // a caller is using signals
623                                                continue;
624                                        }
625                                        perror("recv");
626                                        return -1;
627                                }
628                                break;
629                        case DEVICE:
630                                switch(libtrace->format) {
631#if HAVE_DAG
632                                        case DAG:
633
634                                                libtrace->dag.bottom = libtrace->dag.top;
635                                                libtrace->dag.top = dag_offset(
636                                                                libtrace->input.fd,
637                                                                &(libtrace->dag.bottom),
638                                                                0);
639                                                libtrace->dag.diff = libtrace->dag.top -
640                                                        libtrace->dag.bottom;
641                                               
642                                                numbytes=libtrace->dag.diff;
643                                                libtrace->dag.offset = 0;
644                                               
645                                                break;
646#endif
647                                        default:
648                                                if ((numbytes=read(libtrace->input.fd, 
649                                                                buffer, 
650                                                                len)) == -1) {
651                                                perror("read");
652                                                return -1;
653                                                }
654                                }
655                                break;
656                        default:
657#if HAVE_ZLIB
658                                if ((numbytes=gzread(libtrace->input.file,
659                                                                buffer,
660                                                                len)) == -1) {
661                                        perror("gzread");
662                                        return -1;
663                                }
664#else
665                                if ((numbytes=fread(buffer,len,1,libtrace->input.file)) == 0 ) {
666                                        if(feof(libtrace->input.file)) {
667                                                return 0;
668                                        }
669                                        if(ferror(libtrace->input.file)) {
670                                                perror("fread");
671                                                return -1;
672                                        }
673                                        return 0;
674                                }
675#endif
676                }
677                break;
678        }
679        return numbytes;
680
681}
682
683#if HAVE_PCAP
684void trace_pcap_handler(u_char *user, const struct pcap_pkthdr *pcaphdr, const u_char *pcappkt) {
685        struct libtrace_packet_t *packet = (struct libtrace_packet_t *)user;   
686        void *buffer = packet->buffer;
687        int numbytes = 0;
688       
689        memcpy(buffer,pcaphdr,sizeof(struct pcap_pkthdr));
690        numbytes = pcaphdr->len;
691        memcpy(buffer + sizeof(struct pcap_pkthdr),pcappkt,numbytes);
692
693        packet->size = numbytes + sizeof(struct pcap_pkthdr);
694
695}
696#endif
697/** Read one packet from the trace into buffer
698 *
699 * @param libtrace      the libtrace opaque pointer
700 * @param packet        the packet opaque pointer
701 * @returns false if it failed to read a packet
702 *
703 */
704int trace_read_packet(struct libtrace_t *libtrace, struct libtrace_packet_t *packet) {
705        int numbytes;
706        int size;
707        char buf[RP_BUFSIZE];
708#if HAVE_PCAP
709        //struct pcap_pkthdr *pcaphdr = malloc(sizeof(struct pcap_pkthdr));
710        const u_char *pcappkt;
711        int pcapbytes = 0;
712#endif
713        dag_record_t *erfptr;
714        int read_required = 0;
715
716        void *buffer = 0;
717        if (!libtrace) {
718                fprintf(stderr,"Oi! You called trace_read_packet() with a NULL libtrace parameter!\n");
719        }
720        assert(libtrace);
721        assert(packet);
722     
723        /* Store the trace we are reading from into the packet opaque
724         * structure */
725        packet->trace = libtrace;
726
727        buffer = packet->buffer;
728#if HAVE_PCAP
729        /* PCAP gives us it's own per-packet interface. Let's use it */
730        if (libtrace->format == PCAP || libtrace->format == PCAPINT) {
731                /* pcap_next doesn't return enough information for us
732                 * newer libpcap has pcap_next_ex, which does, but we'd
733                 * really rather have it all the time. */
734               
735                //if ((pcappkt = pcap_next(libtrace->input.pcap, &pcaphdr)) == NULL) {
736                /*
737                if ((pcapbytes = pcap_next_ex(libtrace->input.pcap,
738                                                &pcaphdr,
739                                                &pcappkt)) < 0 ) {
740                */
741                /* Instead of pcap_next/pcap_next_ex, we do this ourselves
742                 * with a trivial callback function. This lets us
743                 * catch the same errors as pcap_next_ex, but removes
744                 * the requirement for libpcap >= 0.8.x
745                 */
746                while ((pcapbytes = pcap_dispatch(libtrace->input.pcap,
747                                                1, /* number of packets */
748                                                &trace_pcap_handler,
749                                                (u_char *)packet)) == 0);
750                       
751                if (pcapbytes < 0 ) {                   
752                        return -1;
753                }
754                return (packet->size - sizeof(struct pcap_pkthdr));
755                //memcpy(buffer,&pcaphdr,sizeof(struct pcap_pkthdr));
756                //numbytes = pcaphdr->len;
757                //memcpy(buffer + sizeof(struct pcap_pkthdr),pcappkt,numbytes);
758       
759                //packet->size = numbytes + sizeof(struct pcap_pkthdr);
760                //return numbytes;
761        } 
762#endif
763
764        /* If we're reading from an ERF input, it's an offline trace. We can make some assumptions */
765        if (libtrace->format == ERF) {
766                void *buffer2 = buffer;
767                int rlen;
768                // read in the trace header
769                if ((numbytes=gzread(libtrace->input.file,
770                                                buffer,
771                                                dag_record_size)) == -1) {
772                        perror("gzread");
773                        return -1;
774                }
775                if (numbytes == 0) {
776                        return 0;
777                }
778                rlen = ntohs(((dag_record_t *)buffer)->rlen);
779                size = rlen - dag_record_size;
780                assert(size < LIBTRACE_PACKET_BUFSIZE);
781                buffer2 = buffer +  dag_record_size;
782
783                // read in the rest of the packet
784                if ((numbytes=gzread(libtrace->input.file,
785                                                buffer2,
786                                                size)) == -1) {
787                        perror("gzread");
788                        return -1;
789                }
790                //if ((numbytes + dag_record_size) != rlen) {
791                //      printf("read %d wanted %d\n",numbytes +dag_record_size, rlen);
792                //}
793                packet->size = rlen;
794                       
795                return rlen;
796        }
797
798#if HAVE_DAG
799        if (libtrace->format == DAG) {
800                if (libtrace->dag.diff == 0) {
801                        if ((numbytes = trace_read(libtrace,buf,RP_BUFSIZE)) <= 0) 
802                                return numbytes;
803                }
804                // DAG always gives us whole packets.
805
806                erfptr = (dag_record_t *) ((void *)libtrace->dag.buf + (libtrace->dag.bottom + libtrace->dag.offset));
807                size = ntohs(erfptr->rlen);
808
809                if ( size  > LIBTRACE_PACKET_BUFSIZE) {
810                        printf("%d\n",size);
811                        assert( size < LIBTRACE_PACKET_BUFSIZE);
812                }
813
814                // have to copy it out of the memory hole at this stage:
815                memcpy(packet->buffer, erfptr, size);
816
817                packet->size = size;
818                libtrace->dag.offset += size;
819                libtrace->dag.diff -= size;
820               
821                assert(libtrace->dag.diff >= 0);
822                //assert(libtrace->dag.offset <= libtrace->dag.top);
823                return (size);
824               
825        }
826#endif
827        do {
828                if (fifo_out_available(libtrace->fifo) == 0 || read_required) {
829                        if ((numbytes = trace_read(libtrace,buf,RP_BUFSIZE))<=0){
830                                return numbytes; 
831                        }
832                        assert(libtrace->fifo);
833                        fifo_write(libtrace->fifo,buf,numbytes);
834
835                        read_required = 0;
836                }
837
838                switch (libtrace->format) {
839                        case RTCLIENT:
840                                // only do this if we're reading from the RT interface
841                                if (fifo_out_read(libtrace->fifo, &packet->status, sizeof(int)) == 0) {
842                                        read_required = 1;
843                                        continue;
844                                }
845
846                                fifo_out_update(libtrace->fifo,sizeof(int));
847
848                                /* FALL THRU */
849                        case ERF:
850                        //case DAG:
851                                // read in the erf header
852                                if ((numbytes = fifo_out_read(libtrace->fifo, buffer, sizeof(dag_record_t))) == 0) {
853                                        fifo_out_reset(libtrace->fifo);
854                                        read_required = 1;
855                                        continue;
856                                }
857
858                                size = ntohs(((dag_record_t *)buffer)->rlen);
859                                break;
860                        case WAG:
861                                if ((numbytes = fifo_out_read(libtrace->fifo,
862                                                                &size,
863                                                                sizeof(size))) 
864                                                                == 0) {
865                                        fifo_out_reset(libtrace->fifo);
866                                        read_required = 1;
867                                        continue;
868                                }
869                                size*=4;
870                                break;
871                        default:
872                                fprintf(stderr,"Unknown type in _read()\n");
873                                assert(0);
874                }
875
876                assert(size < LIBTRACE_PACKET_BUFSIZE);
877
878                // read in the full packet
879                if ((numbytes = fifo_out_read(libtrace->fifo, buffer, size)) == 0) {
880                        fifo_out_reset(libtrace->fifo);
881                        read_required = 1;
882                        continue;
883                }
884
885                // got in our whole packet, so...
886                fifo_out_update(libtrace->fifo,size);
887
888                if (libtrace->sourcetype == SOCKET || libtrace->sourcetype == RT) {
889                        fifo_ack_update(libtrace->fifo,size + sizeof(int));
890                } else {
891                        fifo_ack_update(libtrace->fifo,size);
892                }
893               
894                packet->size = numbytes;
895                return numbytes;
896
897        } while (1);
898}
899
900
901/** get a pointer to the link layer
902 * @param packet        a pointer to a libtrace_packet structure
903 *
904 * @returns a pointer to the link layer, or NULL if there is no link layer
905 * you should call trace_get_link_type() to find out what type of link layer this is
906 */
907void *trace_get_link(const struct libtrace_packet_t *packet) {
908        const void *ethptr = 0;
909        dag_record_t *erfptr = 0;
910        struct wag_event_t *event = (struct wag_event_t *)packet->buffer;
911        struct wag_data_event_t *data_event;
912       
913       
914        switch(packet->trace->format) {
915                case ERF:
916                case DAG:
917                case RTCLIENT:
918                        erfptr = (dag_record_t *)packet->buffer;
919                        if (erfptr->flags.rxerror == 1) {
920                                return NULL;
921                        }
922                        if (trace_get_link_type(packet)==TRACE_TYPE_ETH) 
923                                ethptr = ((uint8_t *)packet->buffer + 
924                                                dag_record_size + 2);
925                        else
926                                ethptr = ((uint8_t *)packet->buffer + 
927                                                dag_record_size + 2);
928                        break;
929#if HAVE_PCAP
930                case PCAPINT:
931                case PCAP:
932                        ethptr = (packet->buffer + sizeof(struct pcap_pkthdr));
933                        break;
934#endif
935                case WAGINT:
936                case WAG:
937                        switch (event->type) {
938                                case 0x0:
939                                        data_event = (void*)&(event->payload);
940                                        return data_event->data;
941                                default:
942                                        fprintf(stderr,"Unknown WAG Event (0x%08x)\n",event->type);
943                                        return NULL;
944                        }
945                       
946                default:
947                        fprintf(stderr,"Don't know this trace format\n");
948                        assert(0);
949        }
950        return (void *)ethptr;
951}
952
953/** get a pointer to the IP header (if any)
954 * @param packet        a pointer to a libtrace_packet structure
955 *
956 * @returns a pointer to the IP header, or NULL if there is not an IP packet
957 */
958struct libtrace_ip *trace_get_ip(const struct libtrace_packet_t *packet) {
959        struct libtrace_ip *ipptr = 0;
960
961        switch(trace_get_link_type(packet)) {
962                case TRACE_TYPE_80211:
963                        { 
964                               
965                                struct ieee_802_11_header *wifi = trace_get_link(packet);       
966                                if (!wifi) {
967                                        ipptr = NULL;
968                                        break;
969                                }
970
971                                // Data packet?
972                                if (wifi->type != 2) {
973                                        ipptr = NULL;
974                                }
975                                else {
976                                        struct ieee_802_11_payload *eth = (void*)wifi->data;
977                                        if (eth->type != 0x0008) {
978                                                ipptr=NULL;
979                                        } else {
980                                                ipptr=(void*)eth->data;
981                                        }
982                                }
983                        }
984                        break;
985                case TRACE_TYPE_ETH:
986                        {
987                                struct ether_header *eth = 
988                                        trace_get_link(packet);
989                                if (!eth) {
990                                        ipptr = NULL;
991                                        break;
992                                }
993                                if (ntohs(eth->ether_type)!=0x0800) {
994                                        ipptr = NULL;
995                                }
996                                else {
997                                        ipptr = ((void *)eth) + 14;
998                                }
999                                break;
1000                        }
1001                case TRACE_TYPE_NONE:
1002                        ipptr = trace_get_link(packet);
1003                        break;
1004                case TRACE_TYPE_LINUX_SLL:
1005                        {
1006                                struct trace_sll_header_t *sll;
1007
1008                                sll = trace_get_link(packet);
1009                                if (!sll) {
1010                                        ipptr = NULL;
1011                                        break;
1012                                }
1013                                if (ntohs(sll->protocol)!=0x0800) {
1014                                        ipptr = NULL;
1015                                }
1016                                else {
1017                                        ipptr = ((void*)sll)+sizeof(*sll);
1018                                }
1019                        }
1020                        break;
1021                case TRACE_TYPE_PFLOG:
1022                        {
1023                                struct trace_pflog_header_t *pflog;
1024                                pflog = trace_get_link(packet);
1025                                if (!pflog) {
1026                                        ipptr = NULL;
1027                                        break;
1028                                }
1029                                if (pflog->af != AF_INET) {
1030                                        ipptr = NULL;
1031                                } else {
1032                                        ipptr = ((void*)pflog)+sizeof(*pflog);
1033                                }
1034                        }
1035                        break;
1036                case TRACE_TYPE_ATM:
1037                        {
1038                                struct atm_rec *atm = 
1039                                        trace_get_link(packet);
1040                                // TODO: Find out what ATM does, and return
1041                                //       NULL for non IP data
1042                                //       Presumably it uses the normal stuff
1043                                if (!atm) {
1044                                        ipptr = NULL;
1045                                        break;
1046                                }
1047                                ipptr =  (void*)&atm->pload;
1048                                break;
1049                        }
1050                default:
1051                        fprintf(stderr,"Don't understand link layer type %i in trace_get_ip()\n",
1052                                trace_get_link_type(packet));
1053                        ipptr=NULL;
1054                        break;
1055        }
1056
1057        return ipptr;
1058}
1059
1060#define SW_IP_OFFMASK 0xff1f
1061
1062/** get a pointer to the TCP header (if any)
1063 * @param packet        a pointer to a libtrace_packet structure
1064 *
1065 * @returns a pointer to the TCP header, or NULL if there is not a TCP packet
1066 */
1067struct libtrace_tcp *trace_get_tcp(const struct libtrace_packet_t *packet) {
1068        struct libtrace_tcp *tcpptr = 0;
1069        struct libtrace_ip *ipptr = 0;
1070
1071        if(!(ipptr = trace_get_ip(packet))) {
1072                return 0;
1073        }
1074        if ((ipptr->ip_p == 6) && ((ipptr->ip_off & SW_IP_OFFMASK) == 0))  {
1075                tcpptr = (struct libtrace_tcp *)((ptrdiff_t)ipptr + (ipptr->ip_hl * 4));
1076        }
1077        return tcpptr;
1078}
1079
1080/** get a pointer to the TCP header (if any) given a pointer to the IP header
1081 * @param ip            The IP header
1082 * @param[out] skipped  An output variable of the number of bytes skipped
1083 *
1084 * @returns a pointer to the TCP header, or NULL if this is not a TCP packet
1085 *
1086 * Skipped can be NULL, in which case it will be ignored by the program.
1087 */
1088struct libtrace_tcp *get_tcp_from_ip(const struct libtrace_ip *ip, int *skipped)
1089{
1090#define SW_IP_OFFMASK 0xff1f
1091        struct libtrace_tcp *tcpptr = 0;
1092
1093        if ((ip->ip_p == 6) && ((ip->ip_off & SW_IP_OFFMASK) == 0))  {
1094                tcpptr = (struct libtrace_tcp *)((ptrdiff_t)ip+ (ip->ip_hl * 4));
1095        }
1096
1097        if (skipped)
1098                *skipped=(ip->ip_hl*4);
1099
1100        return tcpptr;
1101}
1102
1103/** get a pointer to the UDP header (if any)
1104 * @param packet        a pointer to a libtrace_packet structure
1105 *
1106 * @returns a pointer to the UDP header, or NULL if this is not a UDP packet
1107 */
1108struct libtrace_udp *trace_get_udp(const struct libtrace_packet_t *packet) {
1109        struct libtrace_udp *udpptr = 0;
1110        struct libtrace_ip *ipptr = 0;
1111       
1112        if(!(ipptr = trace_get_ip(packet))) {
1113                return 0;
1114        }
1115        if ((ipptr->ip_p == 17) && ((ipptr->ip_off & SW_IP_OFFMASK) == 0)) {
1116                udpptr = (struct libtrace_udp *)((ptrdiff_t)ipptr + (ipptr->ip_hl * 4));
1117        }
1118
1119        return udpptr;
1120}
1121
1122/** get a pointer to the UDP header (if any) given a pointer to the IP header
1123 * @param ip            The IP header
1124 * @param[out] skipped  An output variable of the number of bytes skipped
1125 *
1126 * @returns a pointer to the UDP header, or NULL if this is not a UDP packet
1127 *
1128 * Skipped can be NULL, in which case it will be ignored by the program.
1129 */
1130struct libtrace_udp *get_udp_from_ip(const struct libtrace_ip *ip, int *skipped)
1131{
1132        struct libtrace_udp *udpptr = 0;
1133
1134        if ((ip->ip_p == 6) && ((ip->ip_off & SW_IP_OFFMASK) == 0))  {
1135                udpptr = (struct libtrace_udp *)((ptrdiff_t)ip+ (ip->ip_hl * 4));
1136        }
1137
1138        if (skipped)
1139                *skipped=(ip->ip_hl*4);
1140
1141        return udpptr;
1142}
1143
1144
1145/** get a pointer to the ICMP header (if any)
1146 * @param packet        a pointer to a libtrace_packet structure
1147 *
1148 * @returns a pointer to the ICMP header, or NULL if this is not a ICMP packet
1149 */
1150struct libtrace_icmp *trace_get_icmp(const struct libtrace_packet_t *packet) {
1151        struct libtrace_icmp *icmpptr = 0;
1152        struct libtrace_ip *ipptr = 0;
1153       
1154        if(!(ipptr = trace_get_ip(packet))) {
1155                return 0;
1156        }
1157        if ((ipptr->ip_p == 1)&& ((ipptr->ip_off & SW_IP_OFFMASK) == 0 )){
1158                icmpptr = (struct libtrace_icmp *)((ptrdiff_t)ipptr + (ipptr->ip_hl * 4));
1159        }
1160        return icmpptr;
1161}
1162
1163/** get a pointer to the ICMP header (if any) given a pointer to the IP header
1164 * @param ip            The IP header
1165 * @param[out] skipped  An output variable of the number of bytes skipped
1166 *
1167 * @returns a pointer to the ICMP header, or NULL if this is not a ICMP packet
1168 *
1169 * Skipped can be NULL, in which case it will be ignored by the program.
1170 */
1171struct libtrace_icmp *get_icmp_from_ip(struct libtrace_ip *ip, int *skipped)
1172{
1173        struct libtrace_icmp *icmpptr = 0;
1174
1175        if ((ip->ip_p == 6) && ((ip->ip_off & SW_IP_OFFMASK) == 0))  {
1176                icmpptr = (struct libtrace_icmp *)((ptrdiff_t)ip+ (ip->ip_hl * 4));
1177        }
1178
1179        if (skipped)
1180                *skipped=(ip->ip_hl*4);
1181
1182        return icmpptr;
1183}
1184/** parse an ip or tcp option
1185 * @param[in,out] ptr   the pointer to the current option
1186 * @param[in,out] len   the length of the remaining buffer
1187 * @param[out] type     the type of the option
1188 * @param[out] optlen   the length of the option
1189 * @param[out] data     the data of the option
1190 *
1191 * @returns bool true if there is another option (and the fields are filled in)
1192 *               or false if this was the last option.
1193 *
1194 * This updates ptr to point to the next option after this one, and updates
1195 * len to be the number of bytes remaining in the options area.  Type is updated
1196 * to be the code of this option, and data points to the data of this option,
1197 * with optlen saying how many bytes there are.
1198 *
1199 * @note Beware of fragmented packets.
1200 * @author Perry Lorier
1201 */
1202int trace_get_next_option(unsigned char **ptr,int *len,
1203                        unsigned char *type,
1204                        unsigned char *optlen,
1205                        unsigned char **data)
1206{
1207        if (*len<=0)
1208                return 0;
1209        *type=**ptr;
1210        switch(*type) {
1211                case 0: /* End of options */
1212                        return 0;
1213                case 1: /* Pad */
1214                        (*ptr)++;
1215                        (*len)--;
1216                        return 1;
1217                default:
1218                        *optlen = *(*ptr+1);
1219                        if (*optlen<2)
1220                                return 0; // I have no idea wtf is going on
1221                                          // with these packets
1222                        (*len)-=*optlen;
1223                        (*data)=(*ptr+2);
1224                        (*ptr)+=*optlen;
1225                        if (*len<0)
1226                                return 0;
1227                        return 1;
1228        }
1229        assert(0);
1230}
1231
1232
1233/** Get the current time in DAG time format
1234 * @param packet        a pointer to a libtrace_packet structure
1235 * @returns a 64 bit timestamp in DAG ERF format (upper 32 bits are the seconds
1236 * past 1970-01-01, the lower 32bits are partial seconds)
1237 * @author Daniel Lawson
1238 */ 
1239uint64_t trace_get_erf_timestamp(const struct libtrace_packet_t *packet) {
1240        uint64_t timestamp = 0;
1241        dag_record_t *erfptr = 0;
1242        struct pcap_pkthdr *pcapptr = 0;
1243        struct wag_event_t *wagptr = 0;
1244        switch (packet->trace->format) {
1245                case DAG:
1246                case ERF:
1247                case RTCLIENT:
1248                        erfptr = (dag_record_t *)packet->buffer;
1249                        timestamp = erfptr->ts;
1250                        break;
1251#if HAVE_PCAP
1252                case PCAPINT:
1253                case PCAP:
1254                        pcapptr = (struct pcap_pkthdr *)packet->buffer;
1255                        timestamp = ((((uint64_t)pcapptr->ts.tv_sec) << 32) + \
1256                                (((uint64_t)pcapptr->ts.tv_usec*UINT_MAX)/1000000));
1257                        break;
1258#endif
1259                case WAGINT:
1260                case WAG:
1261                        wagptr = (struct wag_event_t *)packet->buffer;
1262                        timestamp = wagptr->timestamp_lo;
1263                        timestamp |= (uint64_t)wagptr->timestamp_hi<<32;
1264                        timestamp = ((timestamp%44000000)*(UINT_MAX/44000000))
1265                                  | ((timestamp/44000000)<<32);
1266                        break;
1267                default:
1268                        fprintf(stderr,"Unknown format in trace_get_erf_timestamp\n");
1269                        timestamp = 0;
1270        }
1271        return timestamp;
1272}
1273
1274/** Get the current time in struct timeval
1275 * @param packet        a pointer to a libtrace_packet structure
1276 *
1277 * @returns time that this packet was seen in a struct timeval
1278 * @author Daniel Lawson
1279 * @author Perry Lorier
1280 */ 
1281struct timeval trace_get_timeval(const struct libtrace_packet_t *packet) {
1282        struct timeval tv;
1283#if HAVE_PCAP
1284        struct pcap_pkthdr *pcapptr = 0;
1285#endif
1286        uint64_t ts;
1287        //uint32_t seconds;
1288        switch (packet->trace->format) {
1289#if HAVE_PCAP
1290                case PCAPINT:
1291                case PCAP:
1292                        pcapptr = (struct pcap_pkthdr *)packet->buffer;
1293                        // ick. FIXME
1294                        tv = pcapptr->ts;
1295                        break;
1296#endif
1297                case WAGINT:
1298                case WAG:
1299                case DAG:
1300                case ERF:
1301                case RTCLIENT:
1302                default:
1303                        // FIXME: This isn't portable to big-endian machines
1304                        ts = trace_get_erf_timestamp(packet);
1305#if __BYTE_ORDER == __BIG_ENDIAN
1306                        tv.tv_sec = ts & 0xFFFFFFFF;
1307#elif __BYTE_ORDER == __LITTLE_ENDIAN
1308                        tv.tv_sec = ts >> 32;
1309#else
1310#error "What on earth are you running this on?"
1311#endif
1312                        ts = (1000000 * (ts & 0xffffffffULL));
1313                        ts += (ts & 0x80000000ULL) << 1;
1314                        tv.tv_usec = ts >> 32;
1315                        if (tv.tv_usec >= 1000000) {
1316                                tv.tv_usec -= 1000000;
1317                                tv.tv_sec += 1;
1318                        }
1319                        break;
1320        }
1321        return tv;
1322}
1323
1324/** Get the current time in floating point seconds
1325 * @param packet        a pointer to a libtrace_packet structure
1326 * @returns time that this packet was seen in 64bit floating point seconds
1327 * @author Perry Lorier
1328 */ 
1329double trace_get_seconds(const struct libtrace_packet_t *packet) {
1330        uint64_t ts;
1331        ts = trace_get_erf_timestamp(packet);
1332        return (ts>>32) + ((ts & UINT_MAX)*1.0 / UINT_MAX);
1333}
1334
1335/** Get the size of the packet in the trace
1336 * @param packet the packet opaque pointer
1337 * @returns the size of the packet in the trace
1338 * @author Perry Lorier
1339 * @note Due to this being a header capture, or anonymisation, this may not
1340 * be the same size as the original packet.  See trace_get_wire_length() for the
1341 * original size of the packet.
1342 * @note This can (and often is) different for different packets in a trace!
1343 * @par
1344 *  This is sometimes called the "snaplen".
1345 */ 
1346int trace_get_capture_length(const struct libtrace_packet_t *packet) {
1347        dag_record_t *erfptr = 0;
1348#if HAVE_PCAP
1349        struct pcap_pkthdr *pcapptr = 0;
1350#endif
1351        struct wag_event_t *wag_event;
1352        switch (packet->trace->format) {
1353                case DAG:
1354                case ERF:
1355                case RTCLIENT:
1356                        erfptr = (dag_record_t *)packet->buffer;
1357                        return ntohs(erfptr->rlen);
1358#if HAVE_PCAP
1359                case PCAPINT:
1360                case PCAP:
1361                        pcapptr = (struct pcap_pkthdr *)packet->buffer;
1362                        //return ntohs(pcapptr->caplen);
1363                        return pcapptr->caplen;
1364#endif
1365                case WAGINT:
1366                case WAG:
1367                        wag_event = (struct wag_event_t *)packet->buffer;
1368                        switch(wag_event->type) {
1369                                case 0:
1370                                        return wag_event->length*4-(
1371                                                sizeof(struct wag_event_t)+
1372                                                sizeof(struct wag_data_event_t)
1373                                                );
1374                                default:
1375                                        assert(0);
1376                        }
1377                default:
1378                        assert(0);
1379        }
1380        return -1;
1381}
1382       
1383/** Get the size of the packet as it was seen on the wire.
1384 * @param packet        a pointer to a libtrace_packet structure
1385 *
1386 * @returns the size of the packet as it was on the wire.
1387 * @author Perry Lorier
1388 * @author Daniel Lawson
1389 * @note Due to the trace being a header capture, or anonymisation this may
1390 * not be the same as the Capture Len.
1391 */ 
1392int trace_get_wire_length(const struct libtrace_packet_t *packet){
1393        dag_record_t *erfptr = 0;
1394#if HAVE_PCAP
1395        struct pcap_pkthdr *pcapptr = 0;
1396#endif
1397        struct wag_event_t *wag_event = 0;
1398        switch (packet->trace->format) {
1399                case DAG:
1400                case ERF:
1401                case RTCLIENT:
1402                        erfptr = (dag_record_t *)packet->buffer;
1403                        return ntohs(erfptr->wlen);
1404                        break;
1405#if HAVE_PCAP
1406                case PCAPINT:
1407                case PCAP:
1408                        pcapptr = (struct pcap_pkthdr *)packet->buffer;
1409                        return ntohs(pcapptr->len);
1410                        break;
1411#endif
1412                case WAGINT:
1413                case WAG:
1414                        wag_event = (struct wag_event_t *)packet->buffer;
1415                        switch(wag_event->type) {
1416                                case 0:
1417                                        return ((struct wag_data_event_t *)(&wag_event->payload))->frame_length;
1418                                default:
1419                                        assert(0);
1420                        }
1421        }
1422        return -1;
1423
1424}
1425
1426/** Get the type of the link layer
1427 * @param packet        a pointer to a libtrace_packet structure
1428 * @returns libtrace_linktype_t
1429 * @author Perry Lorier
1430 * @author Daniel Lawson
1431 */
1432libtrace_linktype_t trace_get_link_type(const struct libtrace_packet_t *packet ) {
1433        dag_record_t *erfptr = 0;
1434#if HAVE_PCAP
1435        struct pcap_pkthdr *pcapptr = 0;
1436#endif
1437        int linktype = 0;
1438        switch (packet->trace->format) {
1439                case DAG:
1440                case ERF:
1441                case RTCLIENT:
1442                        erfptr = (dag_record_t *)packet->buffer;
1443                        switch (erfptr->type) {
1444                                case TYPE_ETH: return TRACE_TYPE_ETH;
1445                                case TYPE_ATM: return TRACE_TYPE_ATM;
1446                                default: assert(0);
1447                        }
1448                        return erfptr->type;
1449                       
1450                        break;
1451#if HAVE_PCAP
1452                case PCAPINT:
1453                case PCAP:
1454                        pcapptr = (struct pcap_pkthdr *)packet->buffer;
1455                        linktype = pcap_datalink(packet->trace->input.pcap);
1456                        switch (linktype) {
1457                                case DLT_NULL:
1458                                        return TRACE_TYPE_NONE;
1459                                case DLT_EN10MB:
1460                                        return TRACE_TYPE_ETH; 
1461                                case DLT_ATM_RFC1483:
1462                                        return TRACE_TYPE_ATM;
1463                                case DLT_IEEE802_11:
1464                                        return TRACE_TYPE_80211;
1465#ifdef DLT_LINUX_SLL
1466                                case DLT_LINUX_SLL:
1467                                        return TRACE_TYPE_LINUX_SLL;
1468#endif
1469#ifdef DLT_PFLOG
1470                                case DLT_PFLOG:
1471                                        return TRACE_TYPE_PFLOG;
1472#endif
1473                        }
1474                        break;
1475#endif
1476                case WAGINT:
1477                case WAG:
1478                        return TRACE_TYPE_80211;
1479        }
1480        return -1;
1481}
1482
1483/** Get the source MAC addres
1484 * @param packet        a pointer to a libtrace_packet structure
1485 * @returns a pointer to the source mac, (or NULL if there is no source MAC)
1486 * @author Perry Lorier
1487 */
1488uint8_t *trace_get_source_mac(const struct libtrace_packet_t *packet) {
1489        void *link = trace_get_link(packet);
1490        struct ieee_802_11_header *wifi = link;
1491        struct ether_header *ethptr = link;
1492        if (!link)
1493                return NULL;
1494        switch (trace_get_link_type(packet)) {
1495                case TRACE_TYPE_80211:
1496                        return (uint8_t*)&wifi->mac2;
1497                case TRACE_TYPE_ETH:
1498                        return (uint8_t*)&ethptr->ether_shost;
1499                default:
1500                        fprintf(stderr,"Not implemented\n");
1501                        assert(0);
1502        }
1503}
1504
1505/** Get the destination MAC addres
1506 * @param packet a libtrace_packet pointer
1507 * @returns a pointer to the destination mac, (or NULL if there is no
1508 * destination MAC)
1509 * @author Perry Lorier
1510 */
1511uint8_t *trace_get_destination_mac(const struct libtrace_packet_t *packet) {
1512        void *link = trace_get_link(packet);
1513        struct ieee_802_11_header *wifi = link;
1514        struct ether_header *ethptr = link;
1515        if (!link)
1516                return NULL;
1517        switch (trace_get_link_type(packet)) {
1518                case TRACE_TYPE_80211:
1519                        return (uint8_t*)&wifi->mac1;
1520                case TRACE_TYPE_ETH:
1521                        return (uint8_t*)&ethptr->ether_dhost;
1522                default:
1523                        fprintf(stderr,"Not implemented\n");
1524                        assert(0);
1525        }
1526}
1527
1528
1529/** process a libtrace event
1530 * @param trace the libtrace opaque pointer
1531 * @param packet the libtrace_packet opaque pointer
1532 * @returns
1533 *  TRACE_EVENT_IOWAIT  Waiting on I/O on fd
1534 *  TRACE_EVENT_SLEEP   Next event in seconds
1535 *  TRACE_EVENT_PACKET  Packet arrived in buffer with size size
1536 *  TRACE_EVENT_TERMINATE Trace terminated (perhaps with an error condition)
1537 * FIXME currently keeps a copy of the packet inside the trace pointer,
1538 * which in turn is stored inside the new packet object...
1539 * @author Perry Lorier
1540 */
1541struct libtrace_eventobj_t trace_event(struct libtrace_t *trace, 
1542                struct libtrace_packet_t *packet) {
1543        struct libtrace_eventobj_t event;
1544
1545        if (!trace) {
1546                fprintf(stderr,"You called trace_event() with a NULL trace object!\n");
1547        }
1548        assert(trace);
1549        assert(packet);
1550
1551        /* Store the trace we are reading from into the packet opaque
1552         * structure */
1553        packet->trace = trace;
1554
1555        /* Is there a packet ready? */
1556        switch (trace->sourcetype) {
1557#if HAVE_PCAP
1558                case INTERFACE:
1559                        {
1560                                int data;
1561                                event.fd = pcap_fileno(trace->input.pcap);
1562                                if(ioctl(event.fd,FIONREAD,&data)==-1){
1563                                        perror("ioctl(FIONREAD)");
1564                                }
1565                                if (data>0) {
1566                                        event.size = trace_read_packet(trace,packet);
1567                                        event.type = TRACE_EVENT_PACKET;
1568                                        return event;
1569                                }
1570                                event.type = TRACE_EVENT_IOWAIT;
1571                                return event;
1572                        }
1573#endif
1574                case SOCKET:
1575                case DEVICE:
1576                case RT:
1577                        {
1578                                int data;
1579                                event.fd = trace->input.fd;
1580                                if(ioctl(event.fd,FIONREAD,&data)==-1){
1581                                        perror("ioctl(FIONREAD)");
1582                                }
1583                                if (data>0) {
1584                                        event.size = trace_read_packet(trace,packet);
1585                                        event.type = TRACE_EVENT_PACKET;
1586                                        return event;
1587                                }
1588                                event.type = TRACE_EVENT_IOWAIT;
1589                                return event;
1590                        }
1591                case STDIN:
1592                case TRACE:
1593                        {
1594                                double ts;
1595                                double now;
1596                                struct timeval stv;
1597                                /* "Prime" the pump */
1598                                if (!trace->packet.buffer) {
1599                                        trace->packet.buffer = malloc(4096);
1600                                        trace->packet.size=
1601                                                trace_read_packet(trace,packet);
1602                                        event.size = trace->packet.size;
1603                                        if (trace->packet.size > 0 ) {
1604                                                memcpy(trace->packet.buffer,packet->buffer,trace->packet.size);
1605                                        } else {
1606                                                // return here, the test for event.size will sort out the error
1607                                                event.type = TRACE_EVENT_PACKET;
1608                                                return event;
1609                                        }
1610                                }
1611
1612                                ts=trace_get_seconds(packet);
1613                                if (trace->tdelta!=0) {
1614                                        // Get the adjusted current time
1615                                        gettimeofday(&stv, NULL);
1616                                        now = stv.tv_sec + ((double)stv.tv_usec / 1000000.0);
1617                                        now -= trace->tdelta; // adjust for trace delta
1618                                       
1619                                       
1620                                        // if the trace timestamp is still in the future,
1621                                        // return a SLEEP event, otherwise fire the packet
1622                                        if (ts > now) {
1623                                                event.seconds = ts - trace->trace_last_ts;
1624                                                event.type = TRACE_EVENT_SLEEP;
1625                                                return event;
1626                                        }
1627                                } else {
1628                                        gettimeofday(&stv, NULL);
1629                                        // work out the difference between the start of trace replay,
1630                                        // and the first packet in the trace
1631                                        trace->tdelta = stv.tv_sec + ((double)stv.tv_usec / 1000000.0);
1632                                        trace->tdelta -= ts;
1633
1634                                }
1635                               
1636                                        // This is the first packet, so just fire away.
1637                                packet->size = trace->packet.size;
1638                                memcpy(packet->buffer,trace->packet.buffer,trace->packet.size);
1639
1640                                free(trace->packet.buffer);
1641                                trace->packet.buffer = 0;
1642                                event.type = TRACE_EVENT_PACKET;
1643                               
1644                                trace->trace_last_ts = ts;
1645
1646                                return event;
1647                        }
1648                default:
1649                        assert(0);
1650        }
1651        assert(0);
1652}
1653
1654/** setup a BPF filter
1655 * @param filterstring a char * containing the bpf filter string
1656 * @returns opaque pointer pointer to a libtrace_filter_t object
1657 * @author Daniel Lawson
1658 */
1659struct libtrace_filter_t *trace_bpf_setfilter(const char *filterstring) {
1660#if HAVE_BPF
1661        struct libtrace_filter_t *filter = malloc(sizeof(struct libtrace_filter_t));
1662        filter->filterstring = strdup(filterstring);
1663        filter->filter = 0;
1664        return filter;
1665#else
1666        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1667        return 0;
1668#endif
1669}
1670
1671/** apply a BPF filter
1672 * @param filter the filter opaque pointer
1673 * @param packet the packet opaque pointer
1674 * @returns 0 if the filter fails, 1 if it succeeds
1675 * @author Daniel Lawson
1676 */
1677int trace_bpf_filter(struct libtrace_filter_t *filter,
1678                        const struct libtrace_packet_t *packet) {
1679#if HAVE_BPF
1680        void *linkptr = 0;
1681        int clen = 0;
1682        assert(filter);
1683        assert(packet);
1684        linkptr = trace_get_link(packet);
1685        if (!linkptr) {
1686                return 0;
1687        }
1688       
1689        clen = trace_get_capture_length(packet);
1690       
1691
1692        if (filter->filterstring && ! filter->filter) {
1693                pcap_t *pcap;
1694                struct bpf_program bpfprog;
1695
1696                switch (trace_get_link_type(packet)) {
1697                        case TRACE_TYPE_ETH:
1698                                pcap = (pcap_t *)pcap_open_dead(DLT_EN10MB, 1500);
1699                                break;
1700#ifdef DLT_LINUX_SLL
1701                        case TRACE_TYPE_LINUX_SLL:
1702                                pcap = (pcap_t *)pcap_open_dead(DLT_LINUX_SLL, 1500);
1703                                break;
1704#endif
1705#ifdef DLT_PFLOG
1706                        case TRACE_TYPE_PFLOG:
1707                                pcap = (pcap_t *)pcap_open_dead(DLT_PFLOG, 1500);
1708                                break;
1709#endif
1710                        default:
1711                                printf("only works for ETH and LINUX_SLL (ppp) at the moment\n");
1712                                assert(0);
1713                }               
1714
1715                // build filter
1716                if (pcap_compile( pcap, &bpfprog, filter->filterstring, 1, 0)) {
1717                        printf("bpf compilation error: %s: %s\n", 
1718                                pcap_geterr(pcap),filter->filterstring);
1719                        assert(0);
1720                }
1721                pcap_close(pcap);
1722                filter->filter = bpfprog.bf_insns;     
1723        }
1724
1725        assert(filter->filter);
1726        return bpf_filter(filter->filter, linkptr, clen, clen);
1727#else
1728        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1729        return 0;
1730#endif
1731}
1732
1733/** Set the direction flag, if it has one
1734 * @param packet the packet opaque pointer
1735 * @param direction the new direction (0,1,2,3)
1736 * @returns a signed value containing the direction flag, or -1 if this is not supported
1737 * @author Daniel Lawson
1738 */
1739int8_t trace_set_direction(struct libtrace_packet_t *packet, int8_t direction) {
1740       
1741        dag_record_t *erfptr = 0;
1742        assert(packet);
1743
1744        switch(packet->trace->format) {
1745                case DAG:
1746                case ERF:
1747                case RTCLIENT:
1748                        erfptr = (dag_record_t *)packet->buffer;
1749                        erfptr->flags.iface = direction;
1750                        break;
1751                default:
1752                        direction = -1;
1753        }
1754       
1755        return direction;
1756       
1757       
1758}
1759
1760/** Get the direction flag, if it has one
1761 * @param packet a pointer to a libtrace_packet structure
1762 * @returns a signed value containing the direction flag, or -1 if this is not supported
1763 * The direction is defined as 0 for packets originating locally (ie, outbound)
1764 * and 1 for packets originating remotely (ie, inbound).
1765 * Other values are possible, which might be overloaded to mean special things
1766 * for a special trace.
1767 * @author Daniel Lawson
1768 */
1769int8_t trace_get_direction(const struct libtrace_packet_t *packet) {
1770       
1771        int8_t direction;
1772        dag_record_t *erfptr = 0;
1773        assert(packet);
1774        direction = -1;
1775
1776        switch(packet->trace->format) {
1777                case DAG:
1778                case ERF:
1779                case RTCLIENT:
1780                        erfptr = (dag_record_t *)packet->buffer;
1781                        direction = erfptr->flags.iface;
1782                        break;
1783                case PCAP:
1784                case PCAPINT:
1785                        switch (trace_get_link_type(packet)) {
1786                                case TRACE_TYPE_LINUX_SLL:
1787                                {
1788                                        struct trace_sll_header_t *sll;
1789                                        sll = trace_get_link(packet);
1790                                        if (!sll) {
1791                                                return -1;
1792                                        }
1793                                        /* 0 == LINUX_SLL_HOST */
1794                                        /* the Waikato Capture point defines "packets
1795                                         * originating locally" (ie, outbound), with a
1796                                         * direction of 0, and "packets destined locally"
1797                                         * (ie, inbound), with a direction of 1.
1798                                         * This is kind-of-opposite to LINUX_SLL.
1799                                         * We return consistent values here, however
1800                                         *
1801                                         * Note that in recent versions of pcap, you can
1802                                         * use "inbound" and "outbound" on ppp in linux
1803                                         */
1804                                        if (ntohs(sll->pkttype==0)) {
1805
1806                                                direction = 1;
1807                                        }
1808                                        else {
1809                                                direction = 0;
1810                                        }
1811                                        break;
1812                                }
1813                                case TRACE_TYPE_PFLOG:
1814                                {
1815                                        struct trace_pflog_header_t *pflog;
1816                                        pflog = trace_get_link(packet);
1817                                        if (!pflog) {
1818                                                return -1;
1819                                        }
1820                                        /* enum    { PF_IN=0, PF_OUT=1 }; */
1821                                        if (ntohs(pflog->dir==0)) {
1822
1823                                                direction = 1;
1824                                        }
1825                                        else {
1826                                                direction = 0;
1827                                        }
1828                                        break;
1829                                }
1830                                default:
1831                                        /* pass */
1832                                        break;
1833                        }
1834                default:
1835                        /* pass */
1836                        break;
1837        }
1838       
1839        return direction;
1840       
1841       
1842}
1843
1844struct ports_t {
1845        uint16_t src;
1846        uint16_t dst;
1847};
1848
1849/* Return the client port
1850 */
1851uint16_t trace_get_source_port(const struct libtrace_packet_t *packet)
1852{
1853        struct libtrace_ip *ip = trace_get_ip(packet);
1854        struct ports_t *port;
1855        if (6 != ip->ip_p
1856          && 17 != ip->ip_p)
1857                return 0;
1858        if (0 != (ip->ip_off & SW_IP_OFFMASK))
1859                return 0;
1860
1861        port = (struct ports_t *)((ptrdiff_t)ip + (ip->ip_hl * 4));
1862
1863        return htons(port->src);
1864}
1865
1866/* Same as get_source_port except use the destination port */
1867uint16_t trace_get_destination_port(const struct libtrace_packet_t *packet)
1868{
1869        struct libtrace_ip *ip = trace_get_ip(packet);
1870        struct ports_t *port;
1871
1872        if (6 != ip->ip_p
1873          && 17 != ip->ip_p)
1874                return 0;
1875
1876        if (0 != (ip->ip_off & SW_IP_OFFMASK))
1877                return 0;
1878
1879        port = (struct ports_t *)((ptrdiff_t)ip + (ip->ip_hl * 4));
1880
1881        return htons(port->dst);
1882}
1883
1884#define ROOT_SERVER(x) ((x) < 512)
1885#define ROOT_CLIENT(x) ((512 <= (x)) && ((x) < 1024))
1886#define NONROOT_SERVER(x) ((x) >= 5000)
1887#define NONROOT_CLIENT(x) ((1024 <= (x)) && ((x) < 5000))
1888#define DYNAMIC(x) ((49152 < (x)) && ((x) < 65535))
1889#define SERVER(x) ROOT_SERVER(x) || NONROOT_SERVER(x)
1890#define CLIENT(x) ROOT_CLIENT(x) || NONROOT_CLIENT(x)
1891
1892/* Attempt to deduce the 'server' port
1893 * @param protocol the IP protocol (eg, 6 or 17 for TCP or UDP)
1894 * @param source the TCP or UDP source port
1895 * @param dest the TCP or UDP destination port
1896 * @returns a hint as to which port is the server port
1897 * @author Daniel Lawson
1898 */
1899int8_t trace_get_server_port(uint8_t protocol, uint16_t source, uint16_t dest) {
1900        /*
1901         * * If the ports are equal, return DEST
1902         * * Check for well-known ports in the given protocol
1903         * * Root server ports: 0 - 511
1904         * * Root client ports: 512 - 1023
1905         * * non-root client ports: 1024 - 4999
1906         * * non-root server ports: 5000+
1907         * * Check for static ranges: 1024 - 49151
1908         * * Check for dynamic ranges: 49152 - 65535
1909         * * flip a coin.
1910         */
1911
1912        uint16_t server, client;
1913
1914        /* equal */
1915        if (source == client)
1916                return USE_DEST;
1917
1918        /* root server port, 0 - 511 */
1919        if (ROOT_SERVER(source) && ROOT_SERVER(dest)) {
1920                if (source < dest)
1921                        return USE_SOURCE;
1922                return USE_DEST;
1923        }
1924
1925        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1926                return USE_SOURCE;
1927        if (!ROOT_SERVER(source) && ROOT_SERVER(dest))
1928                return USE_DEST;
1929
1930        /* non-root server */
1931        if (NONROOT_SERVER(source) && NONROOT_SERVER(dest)) {
1932                if (source < dest)
1933                        return USE_SOURCE;
1934                return USE_DEST;
1935        }
1936        if (NONROOT_SERVER(source) && !NONROOT_SERVER(dest))
1937                return USE_SOURCE;
1938        if (!NONROOT_SERVER(source) && NONROOT_SERVER(dest))
1939                return USE_DEST;
1940
1941        /* root client */
1942        if (ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1943                if (source < dest)
1944                        return USE_SOURCE;
1945                return USE_DEST;
1946        }
1947        if (ROOT_CLIENT(source) && !ROOT_CLIENT(dest)) {
1948                /* prefer root-client over nonroot-client */
1949                if (NONROOT_CLIENT(dest))
1950                        return USE_SOURCE;
1951                return USE_DEST;
1952        }
1953        if (!ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1954                /* prefer root-client over nonroot-client */
1955                if (NONROOT_CLIENT(source))
1956                        return USE_DEST;
1957                return USE_SOURCE;
1958        }
1959       
1960        /* nonroot client */
1961        if (NONROOT_CLIENT(source) && NONROOT_CLIENT(dest)) {
1962                if (source < dest) 
1963                        return USE_SOURCE;
1964                return USE_DEST;
1965        }
1966        if (NONROOT_CLIENT(source) && !NONROOT_CLIENT(dest))
1967                return USE_DEST;
1968        if (!NONROOT_CLIENT(source) && NONROOT_CLIENT(dest))
1969                return USE_SOURCE;
1970
1971        /* dynamic range */
1972        if (DYNAMIC(source) && DYNAMIC(dest))
1973                if (source < dest)
1974                        return USE_SOURCE;
1975                return USE_DEST;
1976        if (DYNAMIC(source) && !DYNAMIC(dest))
1977                return USE_DEST;
1978        if (!DYNAMIC(source) && DYNAMIC(dest))
1979                return USE_SOURCE;
1980        /*
1981        if (SERVER(source) && CLIENT(dest))
1982                return USE_SOURCE;
1983       
1984        if (SERVER(dest) && CLIENT(source))
1985                return USE_DEST;
1986        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1987                return USE_SOURCE;
1988        if (ROOT_SERVER(dest) && !ROOT_SERVER(source))
1989                return USE_DEST;
1990        */
1991        // failing that test...
1992        if (source < dest) {
1993                return USE_SOURCE;
1994        } 
1995        return USE_DEST;
1996       
1997}
1998
1999/** Truncate the packet at the suggested length
2000 * @param packet        the packet opaque pointer
2001 * @param size          the new length of the packet
2002 * @returns the new length of the packet, or the original length of the
2003 * packet if unchanged
2004 * NOTE: len refers to the network-level payload of the packet, and not
2005 * any capture headers included as well. For example, to truncate a packet
2006 * after the IP header, set scan to sizeof(ethernet_header) + sizeof(ip_header)
2007 * @author Daniel Lawson
2008 */
2009size_t trace_truncate_packet(struct libtrace_packet_t *packet, size_t size) {
2010        dag_record_t *erfptr;
2011#if HAVE_PCAP
2012        struct pcap_pkthdr *pcaphdr;
2013#endif
2014
2015        assert(packet);
2016
2017        if (size > packet->size) {
2018                // can't make a packet larger
2019                return packet->size;
2020        }
2021        switch (packet->trace->format) {
2022#if HAVE_PCAP
2023                case PCAPINT:
2024                case PCAP:
2025                        pcaphdr = (struct pcap_pkthdr *)packet->buffer;
2026                        pcaphdr->caplen = size + sizeof(struct pcap_pkthdr);
2027                        packet->size = pcaphdr->caplen;
2028                        break;
2029#endif
2030                case ERF:
2031                case DAG:
2032                case RTCLIENT:
2033                        erfptr = (dag_record_t *)packet->buffer;
2034                        erfptr->rlen = ntohs(size + sizeof(dag_record_t));
2035                        packet->size = size + sizeof(dag_record_t);
2036                        break;
2037                case WAGINT:
2038                case WAG:
2039                        // don't know how to do this?
2040                        break;
2041        }
2042        return packet->size;
2043}
2044
Note: See TracBrowser for help on using the repository browser.