source: lib/trace.c @ a3dc71c

4.0.1-hotfixescachetimestampsdevelopdpdk-ndagetsilivegetfragoffhelplibtrace4ndag_formatpfringrc-4.0.1rc-4.0.2rc-4.0.3rc-4.0.4ringdecrementfixringperformanceringtimestampfixes
Last change on this file since a3dc71c was a3dc71c, checked in by Daniel Lawson <dlawson@…>, 16 years ago

use gzdopen() on a previuosly open()ed file, with O_LARGEFILE

  • Property mode set to 100644
File size: 53.6 KB
Line 
1/*
2 * This file is part of libtrace
3 *
4 * Copyright (c) 2004 The University of Waikato, Hamilton, New Zealand.
5 * Authors: Daniel Lawson
6 *          Perry Lorier
7 *         
8 * All rights reserved.
9 *
10 * This code has been developed by the University of Waikato WAND
11 * research group. For further information please see http://www.wand.net.nz/
12 *
13 * libtrace is free software; you can redistribute it and/or modify
14 * it under the terms of the GNU General Public License as published by
15 * the Free Software Foundation; either version 2 of the License, or
16 * (at your option) any later version.
17 *
18 * libtrace is distributed in the hope that it will be useful,
19 * but WITHOUT ANY WARRANTY; without even the implied warranty of
20 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
21 * GNU General Public License for more details.
22 *
23 * You should have received a copy of the GNU General Public License
24 * along with libtrace; if not, write to the Free Software
25 * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
26 *
27 * $Id$
28 *
29 */
30
31
32/** @file
33 *
34 * @brief Trace file processing library
35 *
36 * @author Daniel Lawson
37 * @author Perry Lorier
38 *
39 * @internal
40 */
41#define _GNU_SOURCE
42#include "common.h"
43#include "config.h"
44#include <assert.h>
45#include <errno.h>
46#include <fcntl.h>
47#include <netdb.h>
48#include <stdio.h>
49#include <stdlib.h>
50#include <string.h>
51#include <sys/stat.h>
52#include <sys/types.h>
53
54#ifdef HAVE_LIMITS_H
55#  include <limits.h>
56#endif
57
58#ifdef HAVE_SYS_LIMITS_H
59#  include <sys/limits.h>
60#endif
61
62#include <sys/socket.h>
63#include <sys/un.h>
64#include <sys/mman.h>
65#include <unistd.h>
66
67#ifdef HAVE_NET_IF_ARP_H
68#  include <net/if_arp.h>
69#endif
70
71#ifdef HAVE_NET_IF_H
72#  include <net/if.h>
73#endif
74
75#ifdef HAVE_NETINET_IN_H
76#  include <netinet/in.h>
77#endif
78
79#ifdef HAVE_NET_ETHERNET_H
80#  include <net/ethernet.h>
81#endif
82
83#ifdef HAVE_NETINET_IF_ETHER_H
84#  include <netinet/if_ether.h>
85#endif
86
87#include <time.h>
88#include <sys/ioctl.h>
89
90#ifdef HAVE_INTTYPES_H
91#  include <inttypes.h>
92#else
93#  error "Can't find inttypes.h - this needs to be fixed"
94#endif
95
96#ifdef HAVE_STDDEF_H
97#  include <stddef.h>
98#else
99# error "Can't find stddef.h - do you define ptrdiff_t elsewhere?"
100#endif
101
102#include "libtrace.h"
103#include "fifo.h"
104
105#if HAVE_PCAP_BPF_H
106#  include <pcap-bpf.h>
107#else
108#  ifdef HAVE_NET_BPF_H
109#    include <net/bpf.h>
110#  endif
111#endif
112
113#if HAVE_PCAP_H
114#  include <pcap.h>
115#  ifdef HAVE_PCAP_INT_H
116#    include <pcap-int.h>
117#  endif
118#endif
119
120#ifdef HAVE_ZLIB_H
121#  include <zlib.h>
122#endif
123
124
125#include "wag.h"
126
127#ifdef HAVE_DAG_API
128#  include "dagnew.h"
129#  include "dagapi.h"
130#else
131#  include "dagformat.h"
132#endif
133
134
135typedef enum {SOCKET, TRACE, STDIN, DEVICE, INTERFACE, RT } source_t;
136
137typedef enum {ERF, PCAP, PCAPINT, DAG, RTCLIENT, WAG, WAGINT } format_t;
138
139#if HAVE_BPF
140/** A type encapsulating a bpf filter
141 * This type covers the compiled bpf filter, as well as the original filter
142 * string
143 *
144 */
145struct libtrace_filter_t {
146        struct bpf_insn *filter;
147        char * filterstring;
148};
149#endif
150
151/** The information about traces that are open
152 * @internal
153 */
154struct libtrace_t {
155        format_t format;        /**< The format that this trace is in */
156        source_t sourcetype;    /**< The type (device,file, etc */
157        union {
158                /** Information about rtclients */
159                struct {
160                        char *hostname;
161                        short port;
162                } rt;
163                char *path;             /**< information for local sockets */
164                char *interface;        /**< intormation for reading of network
165                                             interfaces */
166        } conn_info;
167        /** Information about the current state of the input device */
168        union {
169                int fd;
170#if HAVE_ZLIB
171                gzFile *file;
172#else   
173                FILE *file;
174#endif
175#if HAVE_PCAP
176                pcap_t *pcap;
177#endif
178        } input;
179        struct fifo_t *fifo;   
180        struct {
181                void *buf; 
182                unsigned bottom;
183                unsigned top;
184                unsigned diff;
185                unsigned curr;
186                unsigned offset;
187        } dag;
188        struct {
189                void *buffer;
190                int size;
191        } packet;
192        double tdelta;
193        double trace_start_ts;
194        double real_start_ts;
195        double trace_last_ts;
196
197        double last_ts;
198        double start_ts;
199};
200
201struct trace_sll_header_t {
202        uint16_t pkttype;               /* packet type */
203        uint16_t hatype;                /* link-layer address type */
204        uint16_t halen;                 /* link-layer address length */
205        char addr[8];                   /* link-layer address */
206        uint16_t protocol;              /* protocol */
207};
208
209#ifndef PF_RULESET_NAME_SIZE
210#define PF_RULESET_NAME_SIZE 16
211#endif
212
213#ifndef IFNAMSIZ
214#define IFNAMSIZ 16
215#endif
216
217struct trace_pflog_header_t {
218        uint8_t    length;
219        sa_family_t   af;
220        uint8_t    action;
221        uint8_t    reason;
222        char       ifname[IFNAMSIZ];
223        char       ruleset[PF_RULESET_NAME_SIZE];
224        uint32_t   rulenr;
225        uint32_t   subrulenr;
226        uint8_t    dir;
227        uint8_t    pad[3];
228};
229
230#define RP_BUFSIZE 65536
231
232#define URI_PROTO_LINE 16
233static int init_trace(struct libtrace_t **libtrace, char *uri) {
234        char *scan = calloc(sizeof(char),URI_PROTO_LINE);
235        char *uridata = 0;                 
236        struct stat buf;
237       
238        // parse the URI to determine what sort of event we are dealing with
239       
240        // want snippet before the : to get the uri base type.
241
242        if((uridata = strchr(uri,':')) == NULL) {
243                // badly formed URI - needs a :
244                return 0;
245        }
246
247        if ((*uridata - *uri) > URI_PROTO_LINE) {
248                // badly formed URI - uri type is too long
249                return 0;
250        }
251        strncpy(scan,uri, (uridata - uri));
252
253        (*libtrace)->tdelta = 0.0;
254
255        if (!strncasecmp(scan,"erf",3)) {
256                (*libtrace)->format=ERF;
257#if HAVE_PCAP
258        } else if (!strncasecmp(scan,"pcapint",7)) {
259                (*libtrace)->format=PCAPINT;
260        } else if (!strncasecmp(scan,"pcap",4)) {
261                (*libtrace)->format=PCAP;
262#else
263        } else if (!strncasecmp(scan,"pcap",4)) { // also catches pcapint
264                fprintf(stderr,"This version of libtrace has been compiled without PCAP support\n");
265                return 0;
266#endif
267       
268#if HAVE_DAG
269        } else if (!strncasecmp(scan,"dag",3)) {
270                (*libtrace)->format=DAG;
271#else
272        } else if (!strncasecmp(scan,"dag",3)) {
273                fprintf(stderr,"This version of libtrace has been compiled without DAG support\n");
274                return 0;
275#endif
276        } else if (!strncasecmp(scan,"rtclient",7)) {
277                (*libtrace)->format=RTCLIENT;
278        } else if (!strncasecmp(scan,"wagint",6)) {
279        struct ports_t *port;
280                (*libtrace)->format=WAGINT;
281        } else if (!strncasecmp(scan,"wag",3)) {
282                (*libtrace)->format=WAG;
283        } else {
284                //badly formed URI
285                return 0;
286        }
287       
288        // push uridata past the delimiter
289        uridata++;
290       
291        // libtrace->format now contains the type of uri
292        // libtrace->uridata contains the appropriate data for this
293       
294        switch((*libtrace)->format) {
295#if HAVE_PCAP
296                case PCAPINT:
297#endif
298                case WAGINT:
299                        /* Can have uridata of the following format
300                         * eth0
301                         * etc
302                         */
303                        // We basically assume this is correct.
304                        (*libtrace)->sourcetype = INTERFACE;   
305                        (*libtrace)->conn_info.path = strdup(uridata);
306                        break;
307#if HAVE_PCAP
308                case PCAP:
309#endif
310                case ERF:
311                case WAG:
312                        /*
313                         * Can have uridata of the following format
314                         * /path/to/socket (probably not PCAP)
315                         * /path/to/file
316                         * /path/to/file.gz (not PCAP)
317                         * /dev/device (use PCAPINT)
318                         * -
319                         */
320                        if (!strncmp(uridata,"-",1)) {
321                                (*libtrace)->sourcetype = STDIN;
322                        } else {
323                                if (stat(uridata,&buf) == -1) {
324                                        perror("stat");
325                                        return 0;
326                                }
327                                if (S_ISSOCK(buf.st_mode)) {
328                                        (*libtrace)->sourcetype = SOCKET;
329                                } else if (S_ISCHR(buf.st_mode)) {
330                                        (*libtrace)->sourcetype = DEVICE;
331                                } else {
332                                        (*libtrace)->sourcetype = TRACE;
333                                }
334                                (*libtrace)->conn_info.path = strdup(uridata);
335                        }
336                        break;
337                case DAG:
338#if HAVE_DAG
339                        /*
340                         * Can have uridata of the following format:
341                         * /dev/device
342                         */
343                        if (stat(uridata,&buf) == -1) {
344                                perror("stat");
345                                return 0;
346                        }
347                        if (S_ISCHR(buf.st_mode)) {
348                                (*libtrace)->sourcetype = DEVICE;
349                        } else {
350                                fprintf(stderr,"%s isn't a valid char device, exiting\n",uridata);
351                                exit(1);
352                        }
353                        (*libtrace)->conn_info.path = strdup(uridata);
354#endif
355                        break;
356
357                case RTCLIENT:
358                        /*
359                         * Can have the uridata in the format
360                         * hostname
361                         * hostname:port
362                         */
363                        (*libtrace)->sourcetype = RT;
364                        if (strlen(uridata) == 0) {
365                                (*libtrace)->conn_info.rt.hostname = 
366                                        strdup("localhost");
367                                (*libtrace)->conn_info.rt.port = 
368                                        COLLECTOR_PORT;
369                                break;
370                        }
371                        if ((scan = strchr(uridata,':')) == NULL) {
372                                (*libtrace)->conn_info.rt.hostname = 
373                                        strdup(uridata);
374                                (*libtrace)->conn_info.rt.port = 
375                                        COLLECTOR_PORT;
376                        } else {
377                                (*libtrace)->conn_info.rt.hostname =
378                                        (char *)strndup(uridata,(scan - uridata));
379                                       
380                                (*libtrace)->conn_info.rt.port = 
381                                        atoi(++scan);                           
382                        }
383                        break;
384        }
385       
386
387        (*libtrace)->fifo = create_fifo(1048576);
388        assert( (*libtrace)->fifo);
389        //(*libtrace)->packet.buffer = 0;
390        //(*libtrace)->packet.size = 0;
391
392        return 1;
393}
394
395/** Create a trace file from a URI
396 *
397 * @returns opaque pointer to a libtrace_t
398 *
399 * Valid URI's are:
400 *  erf:/path/to/erf/file
401 *  erf:/path/to/erf/file.gz
402 *  erf:/path/to/rtclient/socket
403 *  erf:-                       (stdin)
404 *  pcapint:pcapinterface               (eg: pcapint:eth0)
405 *  pcap:/path/to/pcap/file
406 *  pcap:-
407 *  rtclient:hostname
408 *  rtclient:hostname:port
409 *  wag:-
410 *  wag:/path/to/wag/file
411 *  wag:/path/to/wag/file.gz
412 *  wag:/path/to/wag/socket
413 *  wagint:/dev/device
414 *
415 * URIs which have yet to be implemented are:
416 * dag:/dev/dagcard
417 * pcap:/path/to/pcap/socket
418 *
419 * If an error occured when attempting to open a trace, NULL is returned
420 * and an error is output to stdout.
421 */
422struct libtrace_t *trace_create(char *uri) {
423        struct libtrace_t *libtrace = malloc(sizeof(struct libtrace_t));
424        struct hostent *he;
425        struct sockaddr_in remote;
426        struct sockaddr_un unix_sock;
427#if HAVE_PCAP
428        char errbuf[PCAP_ERRBUF_SIZE];
429#endif
430
431        if(init_trace(&libtrace,uri) == 0) {
432                return 0;
433        }
434       
435        switch(libtrace->sourcetype) {
436                case RT:
437                        if ((he=gethostbyname(libtrace->conn_info.rt.hostname)) == NULL) { 
438                                perror("gethostbyname");
439                                return 0;
440                        } 
441                        if ((libtrace->input.fd = socket(AF_INET, SOCK_STREAM, 0)) == -1) {
442                                perror("socket");
443                                return 0;
444                        }
445
446                        remote.sin_family = AF_INET;   
447                        remote.sin_port = htons(libtrace->conn_info.rt.port);
448                        remote.sin_addr = *((struct in_addr *)he->h_addr);
449                        bzero(&(remote.sin_zero), 8);
450
451                        if (connect(libtrace->input.fd, (struct sockaddr *)&remote,
452                                                sizeof(struct sockaddr)) == -1) {
453                                perror("connect (inet)");
454                                return 0;
455                        }
456                        break;
457                case TRACE:
458#if HAVE_PCAP
459                        if (libtrace->format == PCAP) {
460                                if ((libtrace->input.pcap = pcap_open_offline(libtrace->conn_info.path, errbuf)) == NULL) {
461                                        fprintf(stderr,"%s\n",errbuf);
462                                        return 0;
463                                }
464                        } else {
465#else
466                        {
467#endif
468#if HAVE_ZLIB
469                                // using gzdopen means we can set O_LARGEFILE
470                                // ourselves. However, this way is messy and
471                                // we lose any error checking on "open"
472                                libtrace->input.file = gzdopen(open(libtrace->conn_info.path,O_LARGEFILE), "r");
473#else
474                                libtrace->input.file = fopen(libtrace->conn_info.path, "r");
475#endif
476                        }
477                        break;
478                case STDIN:
479#if HAVE_PCAP
480                        if (libtrace->format == PCAP) {
481                                libtrace->input.pcap = pcap_open_offline("-",errbuf); 
482                        } else {
483#else
484                        {
485#endif
486#if HAVE_ZLIB
487                                libtrace->input.file = gzdopen(STDIN, "r");
488#else   
489                                libtrace->input.file = stdin;
490#endif
491                        }
492                        break;
493                case SOCKET:
494                        /* Pcap doesn't work */
495                        if (libtrace->format != PCAP) {
496                                if ((libtrace->input.fd = socket(AF_UNIX, SOCK_STREAM, 0)) == -1) {
497                                        perror("socket");
498                                        return 0;
499                                }
500                                unix_sock.sun_family = AF_UNIX;
501                                bzero(unix_sock.sun_path,108);
502                                snprintf(unix_sock.sun_path,108,"%s",libtrace->conn_info.path);
503
504                                if (connect(libtrace->input.fd, (struct sockaddr *)&unix_sock,
505                                                        sizeof(struct sockaddr)) == -1) {
506                                        perror("connect (unix)");
507                                        return 0;
508                                }
509                        }
510                        break;
511                case DEVICE:
512                case INTERFACE:
513                        switch (libtrace->format) {
514#if HAVE_PCAP
515                                case PCAPINT:
516                                case PCAP:
517                                        libtrace->input.pcap = pcap_open_live(
518                                                libtrace->conn_info.path,
519                                                4096,
520                                                1,
521                                                1,
522                                                errbuf);
523                                        break;
524#endif
525                                case WAGINT:
526                                case WAG:
527                                        libtrace->input.fd = open(
528                                                libtrace->conn_info.path,
529                                                O_RDONLY);
530                                        break;
531#if HAVE_DAG
532                                case DAG:
533                                        if((libtrace->input.fd = dag_open(libtrace->conn_info.path)) < 0) {
534                                                fprintf(stderr,"Cannot open DAG %s: %m\n", libtrace->conn_info.path,errno);
535                                                exit(0);
536                                        }
537                                        if((libtrace->dag.buf = dag_mmap(libtrace->input.fd)) == MAP_FAILED) {
538                                                fprintf(stderr,"Cannot mmap DAG %s: %m\n", libtrace->conn_info.path,errno);
539                                                exit(0);
540                                        }
541                                        if(dag_start(libtrace->input.fd) < 0) {
542                                                fprintf(stderr,"Cannot start DAG %s: %m\n", libtrace->conn_info.path,errno);
543                                                exit(0);
544                                        }
545                                        break;
546#endif
547                                default:
548                                        fprintf(stderr,"Unknown format trace, hoping I can just read\n");
549                                        break;
550                                       
551                        }
552                        break;
553                default:
554                        fprintf(stderr,"Unsupported source type for libtrace, terminating (%i)\n",libtrace->sourcetype);
555                        exit(0);
556               
557        }
558        return libtrace;
559}
560
561/** Close a trace file, freeing up any resources it may have been using
562 *
563 */
564void trace_destroy(struct libtrace_t *libtrace) {
565        assert(libtrace);
566#if HAVE_PCAP
567        if (libtrace->format == PCAP || libtrace->format == PCAPINT) {
568                pcap_close(libtrace->input.pcap);
569#else
570        if (0) {
571#endif
572        } else if (libtrace->sourcetype == SOCKET || libtrace->sourcetype == RT) {
573                close(libtrace->input.fd);
574#if HAVE_DAG
575        } else if (libtrace->format == DAG) {
576                dag_stop(libtrace->input.fd);
577#endif
578        } else {
579#if HAVE_ZLIB
580                gzclose(libtrace->input.file);
581#else   
582                fclose(libtrace->input.file);   
583#endif
584        }       
585        // need to free things!
586        destroy_fifo(libtrace->fifo);
587        free(libtrace);
588}
589
590static int trace_read(struct libtrace_t *libtrace, void *buffer, size_t len) {
591        int numbytes;
592        static short lctr = 0;
593        struct dag_record_t *recptr = 0;
594        int rlen;
595        assert(libtrace);
596        assert(len >= 0);
597
598        if (buffer == 0)
599                buffer = malloc(len);
600
601        while(1) {
602                switch(libtrace->sourcetype) {
603                        case SOCKET:
604                        case RT:
605
606#ifndef MSG_NOSIGNAL
607#define MSG_NOSIGNAL 0
608#endif
609                                // read from the network
610                                if ((numbytes=recv(libtrace->input.fd, 
611                                                                buffer, 
612                                                                len, 
613                                                                MSG_NOSIGNAL)) == -1) {
614                                        if (errno == EINTR) {
615                                                // ignore EINTR in case
616                                                // a caller is using signals
617                                                continue;
618                                        }
619                                        perror("recv");
620                                        return -1;
621                                }
622                                break;
623                        case DEVICE:
624                                switch(libtrace->format) {
625#if HAVE_DAG
626                                        case DAG:
627
628                                                libtrace->dag.bottom = libtrace->dag.top;
629                                                libtrace->dag.top = dag_offset(
630                                                                libtrace->input.fd,
631                                                                &(libtrace->dag.bottom),
632                                                                0);
633                                                libtrace->dag.diff = libtrace->dag.top -
634                                                        libtrace->dag.bottom;
635                                               
636                                                numbytes=libtrace->dag.diff;
637                                                libtrace->dag.offset = 0;
638                                               
639                                                break;
640#endif
641                                        default:
642                                                if ((numbytes=read(libtrace->input.fd, 
643                                                                buffer, 
644                                                                len)) == -1) {
645                                                perror("read");
646                                                return -1;
647                                                }
648                                }
649                                break;
650                        default:
651#if HAVE_ZLIB
652                                if ((numbytes=gzread(libtrace->input.file,
653                                                                buffer,
654                                                                len)) == -1) {
655                                        perror("gzread");
656                                        return -1;
657                                }
658#else
659                                if ((numbytes=fread(buffer,len,1,libtrace->input.file)) == 0 ) {
660                                        if(feof(libtrace->input.file)) {
661                                                return 0;
662                                        }
663                                        if(ferror(libtrace->input.file)) {
664                                                perror("fread");
665                                                return -1;
666                                        }
667                                        return 0;
668                                }
669#endif
670                }
671                break;
672        }
673        return numbytes;
674
675}
676
677#if HAVE_PCAP
678void trace_pcap_handler(u_char *user, const struct pcap_pkthdr *pcaphdr, const u_char *pcappkt) {
679        struct libtrace_packet_t *packet = (struct libtrace_packet_t *)user;   
680        void *buffer = packet->buffer;
681        int numbytes = 0;
682       
683        memcpy(buffer,pcaphdr,sizeof(struct pcap_pkthdr));
684        numbytes = pcaphdr->len;
685        memcpy(buffer + sizeof(struct pcap_pkthdr),pcappkt,numbytes);
686
687        packet->size = numbytes + sizeof(struct pcap_pkthdr);
688
689}
690#endif
691/** Read one packet from the trace into buffer
692 *
693 * @param libtrace      the libtrace opaque pointer
694 * @param packet        the packet opaque pointer
695 * @returns false if it failed to read a packet
696 *
697 */
698int trace_read_packet(struct libtrace_t *libtrace, struct libtrace_packet_t *packet) {
699        int numbytes;
700        int size;
701        char buf[RP_BUFSIZE];
702#if HAVE_PCAP
703        //struct pcap_pkthdr *pcaphdr = malloc(sizeof(struct pcap_pkthdr));
704        const u_char *pcappkt;
705        int pcapbytes = 0;
706#endif
707        dag_record_t *erfptr;
708        int read_required = 0;
709
710        void *buffer = 0;
711        if (!libtrace) {
712                fprintf(stderr,"Oi! You called trace_read_packet() with a NULL libtrace parameter!\n");
713        }
714        assert(libtrace);
715        assert(packet);
716     
717        /* Store the trace we are reading from into the packet opaque
718         * structure */
719        packet->trace = libtrace;
720
721        buffer = packet->buffer;
722#if HAVE_PCAP
723        /* PCAP gives us it's own per-packet interface. Let's use it */
724        if (libtrace->format == PCAP || libtrace->format == PCAPINT) {
725                /* pcap_next doesn't return enough information for us
726                 * newer libpcap has pcap_next_ex, which does, but we'd
727                 * really rather have it all the time. */
728               
729                //if ((pcappkt = pcap_next(libtrace->input.pcap, &pcaphdr)) == NULL) {
730                /*
731                if ((pcapbytes = pcap_next_ex(libtrace->input.pcap,
732                                                &pcaphdr,
733                                                &pcappkt)) < 0 ) {
734                */
735                /* Instead of pcap_next/pcap_next_ex, we do this ourselves
736                 * with a trivial callback function. This lets us
737                 * catch the same errors as pcap_next_ex, but removes
738                 * the requirement for libpcap >= 0.8.x
739                 */
740                while ((pcapbytes = pcap_dispatch(libtrace->input.pcap,
741                                                1, /* number of packets */
742                                                &trace_pcap_handler,
743                                                (u_char *)packet)) == 0);
744                       
745                if (pcapbytes < 0 ) {                   
746                        return -1;
747                }
748                return (packet->size - sizeof(struct pcap_pkthdr));
749                //memcpy(buffer,&pcaphdr,sizeof(struct pcap_pkthdr));
750                //numbytes = pcaphdr->len;
751                //memcpy(buffer + sizeof(struct pcap_pkthdr),pcappkt,numbytes);
752       
753                //packet->size = numbytes + sizeof(struct pcap_pkthdr);
754                //return numbytes;
755        } 
756#endif
757
758        /* If we're reading from an ERF input, it's an offline trace. We can make some assumptions */
759        if (libtrace->format == ERF) {
760                void *buffer2 = buffer;
761                int rlen;
762                // read in the trace header
763                if ((numbytes=gzread(libtrace->input.file,
764                                                buffer,
765                                                dag_record_size)) == -1) {
766                        perror("gzread");
767                        return -1;
768                }
769                if (numbytes == 0) {
770                        return 0;
771                }
772                rlen = ntohs(((dag_record_t *)buffer)->rlen);
773                size = rlen - dag_record_size;
774                assert(size < LIBTRACE_PACKET_BUFSIZE);
775                buffer2 = buffer +  dag_record_size;
776
777                // read in the rest of the packet
778                if ((numbytes=gzread(libtrace->input.file,
779                                                buffer2,
780                                                size)) == -1) {
781                        perror("gzread");
782                        return -1;
783                }
784                //if ((numbytes + dag_record_size) != rlen) {
785                //      printf("read %d wanted %d\n",numbytes +dag_record_size, rlen);
786                //}
787                packet->size = rlen;
788                       
789                return rlen;
790        }
791
792#if HAVE_DAG
793        if (libtrace->format == DAG) {
794                if (libtrace->dag.diff == 0) {
795                        if ((numbytes = trace_read(libtrace,buf,RP_BUFSIZE)) <= 0) 
796                                return numbytes;
797                }
798                // DAG always gives us whole packets.
799
800                erfptr = (dag_record_t *) ((void *)libtrace->dag.buf + (libtrace->dag.bottom + libtrace->dag.offset));
801                size = ntohs(erfptr->rlen);
802
803                if ( size  > LIBTRACE_PACKET_BUFSIZE) {
804                        printf("%d\n",size);
805                        assert( size < LIBTRACE_PACKET_BUFSIZE);
806                }
807
808                // have to copy it out of the memory hole at this stage:
809                memcpy(packet->buffer, erfptr, size);
810
811                packet->size = size;
812                libtrace->dag.offset += size;
813                libtrace->dag.diff -= size;
814               
815                assert(libtrace->dag.diff >= 0);
816                //assert(libtrace->dag.offset <= libtrace->dag.top);
817                return (size);
818               
819        }
820#endif
821        do {
822                if (fifo_out_available(libtrace->fifo) == 0 || read_required) {
823                        if ((numbytes = trace_read(libtrace,buf,RP_BUFSIZE))<=0){
824                                return numbytes; 
825                        }
826                        assert(libtrace->fifo);
827                        fifo_write(libtrace->fifo,buf,numbytes);
828
829                        read_required = 0;
830                }
831
832                switch (libtrace->format) {
833                        case RTCLIENT:
834                                // only do this if we're reading from the RT interface
835                                if (fifo_out_read(libtrace->fifo, &packet->status, sizeof(int)) == 0) {
836                                        read_required = 1;
837                                        continue;
838                                }
839
840                                fifo_out_update(libtrace->fifo,sizeof(int));
841
842                                /* FALL THRU */
843                        case ERF:
844                        //case DAG:
845                                // read in the erf header
846                                if ((numbytes = fifo_out_read(libtrace->fifo, buffer, sizeof(dag_record_t))) == 0) {
847                                        fifo_out_reset(libtrace->fifo);
848                                        read_required = 1;
849                                        continue;
850                                }
851
852                                size = ntohs(((dag_record_t *)buffer)->rlen);
853                                break;
854                        case WAG:
855                                if ((numbytes = fifo_out_read(libtrace->fifo,
856                                                                &size,
857                                                                sizeof(size))) 
858                                                                == 0) {
859                                        fifo_out_reset(libtrace->fifo);
860                                        read_required = 1;
861                                        continue;
862                                }
863                                size*=4;
864                                break;
865                        default:
866                                fprintf(stderr,"Unknown type in _read()\n");
867                                assert(0);
868                }
869
870                assert(size < LIBTRACE_PACKET_BUFSIZE);
871
872                // read in the full packet
873                if ((numbytes = fifo_out_read(libtrace->fifo, buffer, size)) == 0) {
874                        fifo_out_reset(libtrace->fifo);
875                        read_required = 1;
876                        continue;
877                }
878
879                // got in our whole packet, so...
880                fifo_out_update(libtrace->fifo,size);
881
882                if (libtrace->sourcetype == SOCKET || libtrace->sourcetype == RT) {
883                        fifo_ack_update(libtrace->fifo,size + sizeof(int));
884                } else {
885                        fifo_ack_update(libtrace->fifo,size);
886                }
887               
888                packet->size = numbytes;
889                return numbytes;
890
891        } while (1);
892}
893
894
895/** get a pointer to the link layer
896 * @param packet        a pointer to a libtrace_packet structure
897 *
898 * @returns a pointer to the link layer, or NULL if there is no link layer
899 * you should call trace_get_link_type() to find out what type of link layer this is
900 */
901void *trace_get_link(const struct libtrace_packet_t *packet) {
902        const void *ethptr = 0;
903        dag_record_t *erfptr = 0;
904        struct wag_event_t *event = (struct wag_event_t *)packet->buffer;
905        struct wag_data_event_t *data_event;
906       
907       
908        switch(packet->trace->format) {
909                case ERF:
910                case DAG:
911                case RTCLIENT:
912                        erfptr = (dag_record_t *)packet->buffer;
913                        if (erfptr->flags.rxerror == 1) {
914                                return NULL;
915                        }
916                        if (trace_get_link_type(packet)==TRACE_TYPE_ETH) 
917                                ethptr = ((uint8_t *)packet->buffer + 
918                                                dag_record_size + 2);
919                        else
920                                ethptr = ((uint8_t *)packet->buffer + 
921                                                dag_record_size + 2);
922                        break;
923#if HAVE_PCAP
924                case PCAPINT:
925                case PCAP:
926                        ethptr = (packet->buffer + sizeof(struct pcap_pkthdr));
927                        break;
928#endif
929                case WAGINT:
930                case WAG:
931                        switch (event->type) {
932                                case 0x0:
933                                        data_event = (void*)&(event->payload);
934                                        return data_event->data;
935                                default:
936                                        fprintf(stderr,"Unknown WAG Event (0x%08x)\n",event->type);
937                                        return NULL;
938                        }
939                       
940                default:
941                        fprintf(stderr,"Don't know this trace format\n");
942                        assert(0);
943        }
944        return (void *)ethptr;
945}
946
947/** get a pointer to the IP header (if any)
948 * @param packet        a pointer to a libtrace_packet structure
949 *
950 * @returns a pointer to the IP header, or NULL if there is not an IP packet
951 */
952struct libtrace_ip *trace_get_ip(const struct libtrace_packet_t *packet) {
953        struct libtrace_ip *ipptr = 0;
954
955        switch(trace_get_link_type(packet)) {
956                case TRACE_TYPE_80211:
957                        { 
958                               
959                                struct ieee_802_11_header *wifi = trace_get_link(packet);       
960                                if (!wifi) {
961                                        ipptr = NULL;
962                                        break;
963                                }
964
965                                // Data packet?
966                                if (wifi->type != 2) {
967                                        ipptr = NULL;
968                                }
969                                else {
970                                        struct ieee_802_11_payload *eth = (void*)wifi->data;
971                                        if (eth->type != 0x0008) {
972                                                ipptr=NULL;
973                                        } else {
974                                                ipptr=(void*)eth->data;
975                                        }
976                                }
977                        }
978                        break;
979                case TRACE_TYPE_ETH:
980                        {
981                                struct ether_header *eth = 
982                                        trace_get_link(packet);
983                                if (!eth) {
984                                        ipptr = NULL;
985                                        break;
986                                }
987                                if (ntohs(eth->ether_type)!=0x0800) {
988                                        ipptr = NULL;
989                                }
990                                else {
991                                        ipptr = ((void *)eth) + 14;
992                                }
993                                break;
994                        }
995                case TRACE_TYPE_NONE:
996                        ipptr = trace_get_link(packet);
997                        break;
998                case TRACE_TYPE_LINUX_SLL:
999                        {
1000                                struct trace_sll_header_t *sll;
1001
1002                                sll = trace_get_link(packet);
1003                                if (!sll) {
1004                                        ipptr = NULL;
1005                                        break;
1006                                }
1007                                if (ntohs(sll->protocol)!=0x0800) {
1008                                        ipptr = NULL;
1009                                }
1010                                else {
1011                                        ipptr = ((void*)sll)+sizeof(*sll);
1012                                }
1013                        }
1014                        break;
1015                case TRACE_TYPE_PFLOG:
1016                        {
1017                                struct trace_pflog_header_t *pflog;
1018                                pflog = trace_get_link(packet);
1019                                if (!pflog) {
1020                                        ipptr = NULL;
1021                                        break;
1022                                }
1023                                if (pflog->af != AF_INET) {
1024                                        ipptr = NULL;
1025                                } else {
1026                                        ipptr = ((void*)pflog)+sizeof(*pflog);
1027                                }
1028                        }
1029                        break;
1030                case TRACE_TYPE_ATM:
1031                        {
1032                                struct atm_rec *atm = 
1033                                        trace_get_link(packet);
1034                                // TODO: Find out what ATM does, and return
1035                                //       NULL for non IP data
1036                                //       Presumably it uses the normal stuff
1037                                if (!atm) {
1038                                        ipptr = NULL;
1039                                        break;
1040                                }
1041                                ipptr =  (void*)&atm->pload;
1042                                break;
1043                        }
1044                default:
1045                        fprintf(stderr,"Don't understand link layer type %i in trace_get_ip()\n",
1046                                trace_get_link_type(packet));
1047                        ipptr=NULL;
1048                        break;
1049        }
1050
1051        return ipptr;
1052}
1053
1054#define SW_IP_OFFMASK 0xff1f
1055
1056/** get a pointer to the TCP header (if any)
1057 * @param packet        a pointer to a libtrace_packet structure
1058 *
1059 * @returns a pointer to the TCP header, or NULL if there is not a TCP packet
1060 */
1061struct libtrace_tcp *trace_get_tcp(const struct libtrace_packet_t *packet) {
1062        struct libtrace_tcp *tcpptr = 0;
1063        struct libtrace_ip *ipptr = 0;
1064
1065        if(!(ipptr = trace_get_ip(packet))) {
1066                return 0;
1067        }
1068        if ((ipptr->ip_p == 6) && ((ipptr->ip_off & SW_IP_OFFMASK) == 0))  {
1069                tcpptr = (struct libtrace_tcp *)((ptrdiff_t)ipptr + (ipptr->ip_hl * 4));
1070        }
1071        return tcpptr;
1072}
1073
1074/** get a pointer to the TCP header (if any) given a pointer to the IP header
1075 * @param ip            The IP header
1076 * @param[out] skipped  An output variable of the number of bytes skipped
1077 *
1078 * @returns a pointer to the TCP header, or NULL if this is not a TCP packet
1079 *
1080 * Skipped can be NULL, in which case it will be ignored by the program.
1081 */
1082struct libtrace_tcp *get_tcp_from_ip(const struct libtrace_ip *ip, int *skipped)
1083{
1084#define SW_IP_OFFMASK 0xff1f
1085        struct libtrace_tcp *tcpptr = 0;
1086
1087        if ((ip->ip_p == 6) && ((ip->ip_off & SW_IP_OFFMASK) == 0))  {
1088                tcpptr = (struct libtrace_tcp *)((ptrdiff_t)ip+ (ip->ip_hl * 4));
1089        }
1090
1091        if (skipped)
1092                *skipped=(ip->ip_hl*4);
1093
1094        return tcpptr;
1095}
1096
1097/** get a pointer to the UDP header (if any)
1098 * @param packet        a pointer to a libtrace_packet structure
1099 *
1100 * @returns a pointer to the UDP header, or NULL if this is not a UDP packet
1101 */
1102struct libtrace_udp *trace_get_udp(const struct libtrace_packet_t *packet) {
1103        struct libtrace_udp *udpptr = 0;
1104        struct libtrace_ip *ipptr = 0;
1105       
1106        if(!(ipptr = trace_get_ip(packet))) {
1107                return 0;
1108        }
1109        if ((ipptr->ip_p == 17) && ((ipptr->ip_off & SW_IP_OFFMASK) == 0)) {
1110                udpptr = (struct libtrace_udp *)((ptrdiff_t)ipptr + (ipptr->ip_hl * 4));
1111        }
1112
1113        return udpptr;
1114}
1115
1116/** get a pointer to the UDP header (if any) given a pointer to the IP header
1117 * @param ip            The IP header
1118 * @param[out] skipped  An output variable of the number of bytes skipped
1119 *
1120 * @returns a pointer to the UDP header, or NULL if this is not a UDP packet
1121 *
1122 * Skipped can be NULL, in which case it will be ignored by the program.
1123 */
1124struct libtrace_udp *get_udp_from_ip(const struct libtrace_ip *ip, int *skipped)
1125{
1126        struct libtrace_udp *udpptr = 0;
1127
1128        if ((ip->ip_p == 6) && ((ip->ip_off & SW_IP_OFFMASK) == 0))  {
1129                udpptr = (struct libtrace_udp *)((ptrdiff_t)ip+ (ip->ip_hl * 4));
1130        }
1131
1132        if (skipped)
1133                *skipped=(ip->ip_hl*4);
1134
1135        return udpptr;
1136}
1137
1138
1139/** get a pointer to the ICMP header (if any)
1140 * @param packet        a pointer to a libtrace_packet structure
1141 *
1142 * @returns a pointer to the ICMP header, or NULL if this is not a ICMP packet
1143 */
1144struct libtrace_icmp *trace_get_icmp(const struct libtrace_packet_t *packet) {
1145        struct libtrace_icmp *icmpptr = 0;
1146        struct libtrace_ip *ipptr = 0;
1147       
1148        if(!(ipptr = trace_get_ip(packet))) {
1149                return 0;
1150        }
1151        if ((ipptr->ip_p == 1)&& ((ipptr->ip_off & SW_IP_OFFMASK) == 0 )){
1152                icmpptr = (struct libtrace_icmp *)((ptrdiff_t)ipptr + (ipptr->ip_hl * 4));
1153        }
1154        return icmpptr;
1155}
1156
1157/** get a pointer to the ICMP header (if any) given a pointer to the IP header
1158 * @param ip            The IP header
1159 * @param[out] skipped  An output variable of the number of bytes skipped
1160 *
1161 * @returns a pointer to the ICMP header, or NULL if this is not a ICMP packet
1162 *
1163 * Skipped can be NULL, in which case it will be ignored by the program.
1164 */
1165struct libtrace_icmp *get_icmp_from_ip(struct libtrace_ip *ip, int *skipped)
1166{
1167        struct libtrace_icmp *icmpptr = 0;
1168
1169        if ((ip->ip_p == 6) && ((ip->ip_off & SW_IP_OFFMASK) == 0))  {
1170                icmpptr = (struct libtrace_icmp *)((ptrdiff_t)ip+ (ip->ip_hl * 4));
1171        }
1172
1173        if (skipped)
1174                *skipped=(ip->ip_hl*4);
1175
1176        return icmpptr;
1177}
1178/** parse an ip or tcp option
1179 * @param[in,out] ptr   the pointer to the current option
1180 * @param[in,out] len   the length of the remaining buffer
1181 * @param[out] type     the type of the option
1182 * @param[out] optlen   the length of the option
1183 * @param[out] data     the data of the option
1184 *
1185 * @returns bool true if there is another option (and the fields are filled in)
1186 *               or false if this was the last option.
1187 *
1188 * This updates ptr to point to the next option after this one, and updates
1189 * len to be the number of bytes remaining in the options area.  Type is updated
1190 * to be the code of this option, and data points to the data of this option,
1191 * with optlen saying how many bytes there are.
1192 *
1193 * @note Beware of fragmented packets.
1194 * @author Perry Lorier
1195 */
1196int trace_get_next_option(unsigned char **ptr,int *len,
1197                        unsigned char *type,
1198                        unsigned char *optlen,
1199                        unsigned char **data)
1200{
1201        if (*len<=0)
1202                return 0;
1203        *type=**ptr;
1204        switch(*type) {
1205                case 0: /* End of options */
1206                        return 0;
1207                case 1: /* Pad */
1208                        (*ptr)++;
1209                        (*len)--;
1210                        return 1;
1211                default:
1212                        *optlen = *(*ptr+1);
1213                        if (*optlen<2)
1214                                return 0; // I have no idea wtf is going on
1215                                          // with these packets
1216                        (*len)-=*optlen;
1217                        (*data)=(*ptr+2);
1218                        (*ptr)+=*optlen;
1219                        if (*len<0)
1220                                return 0;
1221                        return 1;
1222        }
1223        assert(0);
1224}
1225
1226
1227/** Get the current time in DAG time format
1228 * @param packet        a pointer to a libtrace_packet structure
1229 * @returns a 64 bit timestamp in DAG ERF format (upper 32 bits are the seconds
1230 * past 1970-01-01, the lower 32bits are partial seconds)
1231 * @author Daniel Lawson
1232 */ 
1233uint64_t trace_get_erf_timestamp(const struct libtrace_packet_t *packet) {
1234        uint64_t timestamp = 0;
1235        dag_record_t *erfptr = 0;
1236        struct pcap_pkthdr *pcapptr = 0;
1237        struct wag_event_t *wagptr = 0;
1238        switch (packet->trace->format) {
1239                case DAG:
1240                case ERF:
1241                case RTCLIENT:
1242                        erfptr = (dag_record_t *)packet->buffer;
1243                        timestamp = erfptr->ts;
1244                        break;
1245#if HAVE_PCAP
1246                case PCAPINT:
1247                case PCAP:
1248                        pcapptr = (struct pcap_pkthdr *)packet->buffer;
1249                        timestamp = ((((uint64_t)pcapptr->ts.tv_sec) << 32) + \
1250                                (((uint64_t)pcapptr->ts.tv_usec*UINT_MAX)/1000000));
1251                        break;
1252#endif
1253                case WAGINT:
1254                case WAG:
1255                        wagptr = (struct wag_event_t *)packet->buffer;
1256                        timestamp = wagptr->timestamp_lo;
1257                        timestamp |= (uint64_t)wagptr->timestamp_hi<<32;
1258                        timestamp = ((timestamp%44000000)*(UINT_MAX/44000000))
1259                                  | ((timestamp/44000000)<<32);
1260                        break;
1261                default:
1262                        fprintf(stderr,"Unknown format in trace_get_erf_timestamp\n");
1263                        timestamp = 0;
1264        }
1265        return timestamp;
1266}
1267
1268/** Get the current time in struct timeval
1269 * @param packet        a pointer to a libtrace_packet structure
1270 *
1271 * @returns time that this packet was seen in a struct timeval
1272 * @author Daniel Lawson
1273 * @author Perry Lorier
1274 */ 
1275struct timeval trace_get_timeval(const struct libtrace_packet_t *packet) {
1276        struct timeval tv;
1277#if HAVE_PCAP
1278        struct pcap_pkthdr *pcapptr = 0;
1279#endif
1280        uint64_t ts;
1281        //uint32_t seconds;
1282        switch (packet->trace->format) {
1283#if HAVE_PCAP
1284                case PCAPINT:
1285                case PCAP:
1286                        pcapptr = (struct pcap_pkthdr *)packet->buffer;
1287                        // ick. FIXME
1288                        tv = pcapptr->ts;
1289                        break;
1290#endif
1291                case WAGINT:
1292                case WAG:
1293                case DAG:
1294                case ERF:
1295                case RTCLIENT:
1296                default:
1297                        // FIXME: This isn't portable to big-endian machines
1298                        ts = trace_get_erf_timestamp(packet);
1299#if __BYTE_ORDER == __BIG_ENDIAN
1300                        tv.tv_sec = ts & 0xFFFFFFFF;
1301#elif __BYTE_ORDER == __LITTLE_ENDIAN
1302                        tv.tv_sec = ts >> 32;
1303#else
1304#error "What on earth are you running this on?"
1305#endif
1306                        ts = (1000000 * (ts & 0xffffffffULL));
1307                        ts += (ts & 0x80000000ULL) << 1;
1308                        tv.tv_usec = ts >> 32;
1309                        if (tv.tv_usec >= 1000000) {
1310                                tv.tv_usec -= 1000000;
1311                                tv.tv_sec += 1;
1312                        }
1313                        break;
1314        }
1315        return tv;
1316}
1317
1318/** Get the current time in floating point seconds
1319 * @param packet        a pointer to a libtrace_packet structure
1320 * @returns time that this packet was seen in 64bit floating point seconds
1321 * @author Perry Lorier
1322 */ 
1323double trace_get_seconds(const struct libtrace_packet_t *packet) {
1324        uint64_t ts;
1325        ts = trace_get_erf_timestamp(packet);
1326        return (ts>>32) + ((ts & UINT_MAX)*1.0 / UINT_MAX);
1327}
1328
1329/** Get the size of the packet in the trace
1330 * @param packet the packet opaque pointer
1331 * @returns the size of the packet in the trace
1332 * @author Perry Lorier
1333 * @note Due to this being a header capture, or anonymisation, this may not
1334 * be the same size as the original packet.  See trace_get_wire_length() for the
1335 * original size of the packet.
1336 * @note This can (and often is) different for different packets in a trace!
1337 * @par
1338 *  This is sometimes called the "snaplen".
1339 */ 
1340int trace_get_capture_length(const struct libtrace_packet_t *packet) {
1341        dag_record_t *erfptr = 0;
1342#if HAVE_PCAP
1343        struct pcap_pkthdr *pcapptr = 0;
1344#endif
1345        struct wag_event_t *wag_event;
1346        switch (packet->trace->format) {
1347                case DAG:
1348                case ERF:
1349                case RTCLIENT:
1350                        erfptr = (dag_record_t *)packet->buffer;
1351                        return ntohs(erfptr->rlen);
1352#if HAVE_PCAP
1353                case PCAPINT:
1354                case PCAP:
1355                        pcapptr = (struct pcap_pkthdr *)packet->buffer;
1356                        //return ntohs(pcapptr->caplen);
1357                        return pcapptr->caplen;
1358#endif
1359                case WAGINT:
1360                case WAG:
1361                        wag_event = (struct wag_event_t *)packet->buffer;
1362                        switch(wag_event->type) {
1363                                case 0:
1364                                        return wag_event->length*4-(
1365                                                sizeof(struct wag_event_t)+
1366                                                sizeof(struct wag_data_event_t)
1367                                                );
1368                                default:
1369                                        assert(0);
1370                        }
1371                default:
1372                        assert(0);
1373        }
1374        return -1;
1375}
1376       
1377/** Get the size of the packet as it was seen on the wire.
1378 * @param packet        a pointer to a libtrace_packet structure
1379 *
1380 * @returns the size of the packet as it was on the wire.
1381 * @author Perry Lorier
1382 * @author Daniel Lawson
1383 * @note Due to the trace being a header capture, or anonymisation this may
1384 * not be the same as the Capture Len.
1385 */ 
1386int trace_get_wire_length(const struct libtrace_packet_t *packet){
1387        dag_record_t *erfptr = 0;
1388#if HAVE_PCAP
1389        struct pcap_pkthdr *pcapptr = 0;
1390#endif
1391        struct wag_event_t *wag_event = 0;
1392        switch (packet->trace->format) {
1393                case DAG:
1394                case ERF:
1395                case RTCLIENT:
1396                        erfptr = (dag_record_t *)packet->buffer;
1397                        return ntohs(erfptr->wlen);
1398                        break;
1399#if HAVE_PCAP
1400                case PCAPINT:
1401                case PCAP:
1402                        pcapptr = (struct pcap_pkthdr *)packet->buffer;
1403                        return ntohs(pcapptr->len);
1404                        break;
1405#endif
1406                case WAGINT:
1407                case WAG:
1408                        wag_event = (struct wag_event_t *)packet->buffer;
1409                        switch(wag_event->type) {
1410                                case 0:
1411                                        return ((struct wag_data_event_t *)(&wag_event->payload))->frame_length;
1412                                default:
1413                                        assert(0);
1414                        }
1415        }
1416        return -1;
1417
1418}
1419
1420/** Get the type of the link layer
1421 * @param packet        a pointer to a libtrace_packet structure
1422 * @returns libtrace_linktype_t
1423 * @author Perry Lorier
1424 * @author Daniel Lawson
1425 */
1426libtrace_linktype_t trace_get_link_type(const struct libtrace_packet_t *packet ) {
1427        dag_record_t *erfptr = 0;
1428#if HAVE_PCAP
1429        struct pcap_pkthdr *pcapptr = 0;
1430#endif
1431        int linktype = 0;
1432        switch (packet->trace->format) {
1433                case DAG:
1434                case ERF:
1435                case RTCLIENT:
1436                        erfptr = (dag_record_t *)packet->buffer;
1437                        switch (erfptr->type) {
1438                                case TYPE_ETH: return TRACE_TYPE_ETH;
1439                                case TYPE_ATM: return TRACE_TYPE_ATM;
1440                                default: assert(0);
1441                        }
1442                        return erfptr->type;
1443                       
1444                        break;
1445#if HAVE_PCAP
1446                case PCAPINT:
1447                case PCAP:
1448                        pcapptr = (struct pcap_pkthdr *)packet->buffer;
1449                        linktype = pcap_datalink(packet->trace->input.pcap);
1450                        switch (linktype) {
1451                                case DLT_NULL:
1452                                        return TRACE_TYPE_NONE;
1453                                case DLT_EN10MB:
1454                                        return TRACE_TYPE_ETH; 
1455                                case DLT_ATM_RFC1483:
1456                                        return TRACE_TYPE_ATM;
1457                                case DLT_IEEE802_11:
1458                                        return TRACE_TYPE_80211;
1459#ifdef DLT_LINUX_SLL
1460                                case DLT_LINUX_SLL:
1461                                        return TRACE_TYPE_LINUX_SLL;
1462#endif
1463#ifdef DLT_PFLOG
1464                                case DLT_PFLOG:
1465                                        return TRACE_TYPE_PFLOG;
1466#endif
1467                        }
1468                        break;
1469#endif
1470                case WAGINT:
1471                case WAG:
1472                        return TRACE_TYPE_80211;
1473        }
1474        return -1;
1475}
1476
1477/** Get the source MAC addres
1478 * @param packet        a pointer to a libtrace_packet structure
1479 * @returns a pointer to the source mac, (or NULL if there is no source MAC)
1480 * @author Perry Lorier
1481 */
1482uint8_t *trace_get_source_mac(const struct libtrace_packet_t *packet) {
1483        void *link = trace_get_link(packet);
1484        struct ieee_802_11_header *wifi = link;
1485        struct ether_header *ethptr = link;
1486        if (!link)
1487                return NULL;
1488        switch (trace_get_link_type(packet)) {
1489                case TRACE_TYPE_80211:
1490                        return (uint8_t*)&wifi->mac2;
1491                case TRACE_TYPE_ETH:
1492                        return (uint8_t*)&ethptr->ether_shost;
1493                default:
1494                        fprintf(stderr,"Not implemented\n");
1495                        assert(0);
1496        }
1497}
1498
1499/** Get the destination MAC addres
1500 * @param packet a libtrace_packet pointer
1501 * @returns a pointer to the destination mac, (or NULL if there is no
1502 * destination MAC)
1503 * @author Perry Lorier
1504 */
1505uint8_t *trace_get_destination_mac(const struct libtrace_packet_t *packet) {
1506        void *link = trace_get_link(packet);
1507        struct ieee_802_11_header *wifi = link;
1508        struct ether_header *ethptr = link;
1509        if (!link)
1510                return NULL;
1511        switch (trace_get_link_type(packet)) {
1512                case TRACE_TYPE_80211:
1513                        return (uint8_t*)&wifi->mac1;
1514                case TRACE_TYPE_ETH:
1515                        return (uint8_t*)&ethptr->ether_dhost;
1516                default:
1517                        fprintf(stderr,"Not implemented\n");
1518                        assert(0);
1519        }
1520}
1521
1522
1523/** process a libtrace event
1524 * @param trace the libtrace opaque pointer
1525 * @param packet the libtrace_packet opaque pointer
1526 * @returns
1527 *  TRACE_EVENT_IOWAIT  Waiting on I/O on fd
1528 *  TRACE_EVENT_SLEEP   Next event in seconds
1529 *  TRACE_EVENT_PACKET  Packet arrived in buffer with size size
1530 *  TRACE_EVENT_TERMINATE Trace terminated (perhaps with an error condition)
1531 * FIXME currently keeps a copy of the packet inside the trace pointer,
1532 * which in turn is stored inside the new packet object...
1533 * @author Perry Lorier
1534 */
1535struct libtrace_eventobj_t trace_event(struct libtrace_t *trace, 
1536                struct libtrace_packet_t *packet) {
1537        struct libtrace_eventobj_t event;
1538
1539        if (!trace) {
1540                fprintf(stderr,"You called trace_event() with a NULL trace object!\n");
1541        }
1542        assert(trace);
1543        assert(packet);
1544
1545        /* Store the trace we are reading from into the packet opaque
1546         * structure */
1547        packet->trace = trace;
1548
1549        /* Is there a packet ready? */
1550        switch (trace->sourcetype) {
1551#if HAVE_PCAP
1552                case INTERFACE:
1553                        {
1554                                int data;
1555                                event.fd = pcap_fileno(trace->input.pcap);
1556                                if(ioctl(event.fd,FIONREAD,&data)==-1){
1557                                        perror("ioctl(FIONREAD)");
1558                                }
1559                                if (data>0) {
1560                                        event.size = trace_read_packet(trace,packet);
1561                                        event.type = TRACE_EVENT_PACKET;
1562                                        return event;
1563                                }
1564                                event.type = TRACE_EVENT_IOWAIT;
1565                                return event;
1566                        }
1567#endif
1568                case SOCKET:
1569                case DEVICE:
1570                case RT:
1571                        {
1572                                int data;
1573                                event.fd = trace->input.fd;
1574                                if(ioctl(event.fd,FIONREAD,&data)==-1){
1575                                        perror("ioctl(FIONREAD)");
1576                                }
1577                                if (data>0) {
1578                                        event.size = trace_read_packet(trace,packet);
1579                                        event.type = TRACE_EVENT_PACKET;
1580                                        return event;
1581                                }
1582                                event.type = TRACE_EVENT_IOWAIT;
1583                                return event;
1584                        }
1585                case STDIN:
1586                case TRACE:
1587                        {
1588                                double ts;
1589                                double now;
1590                                struct timeval stv;
1591                                /* "Prime" the pump */
1592                                if (!trace->packet.buffer) {
1593                                        trace->packet.buffer = malloc(4096);
1594                                        trace->packet.size=
1595                                                trace_read_packet(trace,packet);
1596                                        event.size = trace->packet.size;
1597                                        if (trace->packet.size > 0 ) {
1598                                                memcpy(trace->packet.buffer,packet->buffer,trace->packet.size);
1599                                        } else {
1600                                                // return here, the test for event.size will sort out the error
1601                                                event.type = TRACE_EVENT_PACKET;
1602                                                return event;
1603                                        }
1604                                }
1605
1606                                ts=trace_get_seconds(packet);
1607                                if (trace->tdelta!=0) {
1608                                        // Get the adjusted current time
1609                                        gettimeofday(&stv, NULL);
1610                                        now = stv.tv_sec + ((double)stv.tv_usec / 1000000.0);
1611                                        now -= trace->tdelta; // adjust for trace delta
1612                                       
1613                                       
1614                                        // if the trace timestamp is still in the future,
1615                                        // return a SLEEP event, otherwise fire the packet
1616                                        if (ts > now) {
1617                                                event.seconds = ts - trace->trace_last_ts;
1618                                                event.type = TRACE_EVENT_SLEEP;
1619                                                return event;
1620                                        }
1621                                } else {
1622                                        gettimeofday(&stv, NULL);
1623                                        // work out the difference between the start of trace replay,
1624                                        // and the first packet in the trace
1625                                        trace->tdelta = stv.tv_sec + ((double)stv.tv_usec / 1000000.0);
1626                                        trace->tdelta -= ts;
1627
1628                                }
1629                               
1630                                        // This is the first packet, so just fire away.
1631                                packet->size = trace->packet.size;
1632                                memcpy(packet->buffer,trace->packet.buffer,trace->packet.size);
1633
1634                                free(trace->packet.buffer);
1635                                trace->packet.buffer = 0;
1636                                event.type = TRACE_EVENT_PACKET;
1637                               
1638                                trace->trace_last_ts = ts;
1639
1640                                return event;
1641                        }
1642                default:
1643                        assert(0);
1644        }
1645        assert(0);
1646}
1647
1648/** setup a BPF filter
1649 * @param filterstring a char * containing the bpf filter string
1650 * @returns opaque pointer pointer to a libtrace_filter_t object
1651 * @author Daniel Lawson
1652 */
1653struct libtrace_filter_t *trace_bpf_setfilter(const char *filterstring) {
1654#if HAVE_BPF
1655        struct libtrace_filter_t *filter = malloc(sizeof(struct libtrace_filter_t));
1656        filter->filterstring = strdup(filterstring);
1657        filter->filter = 0;
1658        return filter;
1659#else
1660        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1661        return 0;
1662#endif
1663}
1664
1665/** apply a BPF filter
1666 * @param filter the filter opaque pointer
1667 * @param packet the packet opaque pointer
1668 * @returns 0 if the filter fails, 1 if it succeeds
1669 * @author Daniel Lawson
1670 */
1671int trace_bpf_filter(struct libtrace_filter_t *filter,
1672                        const struct libtrace_packet_t *packet) {
1673#if HAVE_BPF
1674        void *linkptr = 0;
1675        int clen = 0;
1676        assert(filter);
1677        assert(packet);
1678        linkptr = trace_get_link(packet);
1679        if (!linkptr) {
1680                return 0;
1681        }
1682       
1683        clen = trace_get_capture_length(packet);
1684       
1685
1686        if (filter->filterstring && ! filter->filter) {
1687                pcap_t *pcap;
1688                struct bpf_program bpfprog;
1689
1690                switch (trace_get_link_type(packet)) {
1691                        case TRACE_TYPE_ETH:
1692                                pcap = (pcap_t *)pcap_open_dead(DLT_EN10MB, 1500);
1693                                break;
1694#ifdef DLT_LINUX_SLL
1695                        case TRACE_TYPE_LINUX_SLL:
1696                                pcap = (pcap_t *)pcap_open_dead(DLT_LINUX_SLL, 1500);
1697                                break;
1698#endif
1699#ifdef DLT_PFLOG
1700                        case TRACE_TYPE_PFLOG:
1701                                pcap = (pcap_t *)pcap_open_dead(DLT_PFLOG, 1500);
1702                                break;
1703#endif
1704                        default:
1705                                printf("only works for ETH and LINUX_SLL (ppp) at the moment\n");
1706                                assert(0);
1707                }               
1708
1709                // build filter
1710                if (pcap_compile( pcap, &bpfprog, filter->filterstring, 1, 0)) {
1711                        printf("bpf compilation error: %s: %s\n", 
1712                                pcap_geterr(pcap),filter->filterstring);
1713                        assert(0);
1714                }
1715                pcap_close(pcap);
1716                filter->filter = bpfprog.bf_insns;     
1717        }
1718
1719        assert(filter->filter);
1720        return bpf_filter(filter->filter, linkptr, clen, clen);
1721#else
1722        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1723        return 0;
1724#endif
1725}
1726
1727/** Set the direction flag, if it has one
1728 * @param packet the packet opaque pointer
1729 * @param direction the new direction (0,1,2,3)
1730 * @returns a signed value containing the direction flag, or -1 if this is not supported
1731 * @author Daniel Lawson
1732 */
1733int8_t trace_set_direction(struct libtrace_packet_t *packet, int8_t direction) {
1734       
1735        dag_record_t *erfptr = 0;
1736        assert(packet);
1737
1738        switch(packet->trace->format) {
1739                case DAG:
1740                case ERF:
1741                case RTCLIENT:
1742                        erfptr = (dag_record_t *)packet->buffer;
1743                        erfptr->flags.iface = direction;
1744                        break;
1745                default:
1746                        direction = -1;
1747        }
1748       
1749        return direction;
1750       
1751       
1752}
1753
1754/** Get the direction flag, if it has one
1755 * @param packet a pointer to a libtrace_packet structure
1756 * @returns a signed value containing the direction flag, or -1 if this is not supported
1757 * The direction is defined as 0 for packets originating locally (ie, outbound)
1758 * and 1 for packets originating remotely (ie, inbound).
1759 * Other values are possible, which might be overloaded to mean special things
1760 * for a special trace.
1761 * @author Daniel Lawson
1762 */
1763int8_t trace_get_direction(const struct libtrace_packet_t *packet) {
1764       
1765        int8_t direction;
1766        dag_record_t *erfptr = 0;
1767        assert(packet);
1768        direction = -1;
1769
1770        switch(packet->trace->format) {
1771                case DAG:
1772                case ERF:
1773                case RTCLIENT:
1774                        erfptr = (dag_record_t *)packet->buffer;
1775                        direction = erfptr->flags.iface;
1776                        break;
1777                case PCAP:
1778                case PCAPINT:
1779                        switch (trace_get_link_type(packet)) {
1780                                case TRACE_TYPE_LINUX_SLL:
1781                                {
1782                                        struct trace_sll_header_t *sll;
1783                                        sll = trace_get_link(packet);
1784                                        if (!sll) {
1785                                                return -1;
1786                                        }
1787                                        /* 0 == LINUX_SLL_HOST */
1788                                        /* the Waikato Capture point defines "packets
1789                                         * originating locally" (ie, outbound), with a
1790                                         * direction of 0, and "packets destined locally"
1791                                         * (ie, inbound), with a direction of 1.
1792                                         * This is kind-of-opposite to LINUX_SLL.
1793                                         * We return consistent values here, however
1794                                         *
1795                                         * Note that in recent versions of pcap, you can
1796                                         * use "inbound" and "outbound" on ppp in linux
1797                                         */
1798                                        if (ntohs(sll->pkttype==0)) {
1799
1800                                                direction = 1;
1801                                        }
1802                                        else {
1803                                                direction = 0;
1804                                        }
1805                                        break;
1806                                }
1807                                case TRACE_TYPE_PFLOG:
1808                                {
1809                                        struct trace_pflog_header_t *pflog;
1810                                        pflog = trace_get_link(packet);
1811                                        if (!pflog) {
1812                                                return -1;
1813                                        }
1814                                        /* enum    { PF_IN=0, PF_OUT=1 }; */
1815                                        if (ntohs(pflog->dir==0)) {
1816
1817                                                direction = 1;
1818                                        }
1819                                        else {
1820                                                direction = 0;
1821                                        }
1822                                        break;
1823                                }
1824                                default:
1825                                        /* pass */
1826                                        break;
1827                        }
1828                default:
1829                        /* pass */
1830                        break;
1831        }
1832       
1833        return direction;
1834       
1835       
1836}
1837
1838struct ports_t {
1839        uint16_t src;
1840        uint16_t dst;
1841};
1842
1843/* Return the client port
1844 */
1845uint16_t trace_get_source_port(const struct libtrace_packet_t *packet)
1846{
1847        struct libtrace_ip *ip = trace_get_ip(packet);
1848        struct ports_t *port;
1849        if (6 != ip->ip_p
1850          && 17 != ip->ip_p)
1851                return 0;
1852        if (0 != (ip->ip_off & SW_IP_OFFMASK))
1853                return 0;
1854
1855        port = (struct ports_t *)((ptrdiff_t)ip + (ip->ip_hl * 4));
1856
1857        return htons(port->src);
1858}
1859
1860/* Same as get_source_port except use the destination port */
1861uint16_t trace_get_destination_port(const struct libtrace_packet_t *packet)
1862{
1863        struct libtrace_ip *ip = trace_get_ip(packet);
1864        struct ports_t *port;
1865
1866        if (6 != ip->ip_p
1867          && 17 != ip->ip_p)
1868                return 0;
1869
1870        if (0 != (ip->ip_off & SW_IP_OFFMASK))
1871                return 0;
1872
1873        port = (struct ports_t *)((ptrdiff_t)ip + (ip->ip_hl * 4));
1874
1875        return htons(port->dst);
1876}
1877
1878#define ROOT_SERVER(x) ((x) < 512)
1879#define ROOT_CLIENT(x) ((512 <= (x)) && ((x) < 1024))
1880#define NONROOT_SERVER(x) ((x) >= 5000)
1881#define NONROOT_CLIENT(x) ((1024 <= (x)) && ((x) < 5000))
1882#define DYNAMIC(x) ((49152 < (x)) && ((x) < 65535))
1883#define SERVER(x) ROOT_SERVER(x) || NONROOT_SERVER(x)
1884#define CLIENT(x) ROOT_CLIENT(x) || NONROOT_CLIENT(x)
1885
1886/* Attempt to deduce the 'server' port
1887 * @param protocol the IP protocol (eg, 6 or 17 for TCP or UDP)
1888 * @param source the TCP or UDP source port
1889 * @param dest the TCP or UDP destination port
1890 * @returns a hint as to which port is the server port
1891 * @author Daniel Lawson
1892 */
1893int8_t trace_get_server_port(uint8_t protocol, uint16_t source, uint16_t dest) {
1894        /*
1895         * * If the ports are equal, return DEST
1896         * * Check for well-known ports in the given protocol
1897         * * Root server ports: 0 - 511
1898         * * Root client ports: 512 - 1023
1899         * * non-root client ports: 1024 - 4999
1900         * * non-root server ports: 5000+
1901         * * Check for static ranges: 1024 - 49151
1902         * * Check for dynamic ranges: 49152 - 65535
1903         * * flip a coin.
1904         */
1905
1906        uint16_t server, client;
1907
1908        /* equal */
1909        if (source == client)
1910                return USE_DEST;
1911
1912        /* root server port, 0 - 511 */
1913        if (ROOT_SERVER(source) && ROOT_SERVER(dest)) {
1914                if (source < dest)
1915                        return USE_SOURCE;
1916                return USE_DEST;
1917        }
1918
1919        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1920                return USE_SOURCE;
1921        if (!ROOT_SERVER(source) && ROOT_SERVER(dest))
1922                return USE_DEST;
1923
1924        /* non-root server */
1925        if (NONROOT_SERVER(source) && NONROOT_SERVER(dest)) {
1926                if (source < dest)
1927                        return USE_SOURCE;
1928                return USE_DEST;
1929        }
1930        if (NONROOT_SERVER(source) && !NONROOT_SERVER(dest))
1931                return USE_SOURCE;
1932        if (!NONROOT_SERVER(source) && NONROOT_SERVER(dest))
1933                return USE_DEST;
1934
1935        /* root client */
1936        if (ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1937                if (source < dest)
1938                        return USE_SOURCE;
1939                return USE_DEST;
1940        }
1941        if (ROOT_CLIENT(source) && !ROOT_CLIENT(dest)) {
1942                /* prefer root-client over nonroot-client */
1943                if (NONROOT_CLIENT(dest))
1944                        return USE_SOURCE;
1945                return USE_DEST;
1946        }
1947        if (!ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1948                /* prefer root-client over nonroot-client */
1949                if (NONROOT_CLIENT(source))
1950                        return USE_DEST;
1951                return USE_SOURCE;
1952        }
1953       
1954        /* nonroot client */
1955        if (NONROOT_CLIENT(source) && NONROOT_CLIENT(dest)) {
1956                if (source < dest) 
1957                        return USE_SOURCE;
1958                return USE_DEST;
1959        }
1960        if (NONROOT_CLIENT(source) && !NONROOT_CLIENT(dest))
1961                return USE_DEST;
1962        if (!NONROOT_CLIENT(source) && NONROOT_CLIENT(dest))
1963                return USE_SOURCE;
1964
1965        /* dynamic range */
1966        if (DYNAMIC(source) && DYNAMIC(dest))
1967                if (source < dest)
1968                        return USE_SOURCE;
1969                return USE_DEST;
1970        if (DYNAMIC(source) && !DYNAMIC(dest))
1971                return USE_DEST;
1972        if (!DYNAMIC(source) && DYNAMIC(dest))
1973                return USE_SOURCE;
1974        /*
1975        if (SERVER(source) && CLIENT(dest))
1976                return USE_SOURCE;
1977       
1978        if (SERVER(dest) && CLIENT(source))
1979                return USE_DEST;
1980        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1981                return USE_SOURCE;
1982        if (ROOT_SERVER(dest) && !ROOT_SERVER(source))
1983                return USE_DEST;
1984        */
1985        // failing that test...
1986        if (source < dest) {
1987                return USE_SOURCE;
1988        } 
1989        return USE_DEST;
1990       
1991}
1992
1993/** Truncate the packet at the suggested length
1994 * @param packet        the packet opaque pointer
1995 * @param size          the new length of the packet
1996 * @returns the new length of the packet, or the original length of the
1997 * packet if unchanged
1998 * NOTE: len refers to the network-level payload of the packet, and not
1999 * any capture headers included as well. For example, to truncate a packet
2000 * after the IP header, set scan to sizeof(ethernet_header) + sizeof(ip_header)
2001 * @author Daniel Lawson
2002 */
2003size_t trace_truncate_packet(struct libtrace_packet_t *packet, size_t size) {
2004        dag_record_t *erfptr;
2005#if HAVE_PCAP
2006        struct pcap_pkthdr *pcaphdr;
2007#endif
2008
2009        assert(packet);
2010
2011        if (size > packet->size) {
2012                // can't make a packet larger
2013                return packet->size;
2014        }
2015        switch (packet->trace->format) {
2016#if HAVE_PCAP
2017                case PCAPINT:
2018                case PCAP:
2019                        pcaphdr = (struct pcap_pkthdr *)packet->buffer;
2020                        pcaphdr->caplen = size + sizeof(struct pcap_pkthdr);
2021                        packet->size = pcaphdr->caplen;
2022                        break;
2023#endif
2024                case ERF:
2025                case DAG:
2026                case RTCLIENT:
2027                        erfptr = (dag_record_t *)packet->buffer;
2028                        erfptr->rlen = ntohs(size + sizeof(dag_record_t));
2029                        packet->size = size + sizeof(dag_record_t);
2030                        break;
2031                case WAGINT:
2032                case WAG:
2033                        // don't know how to do this?
2034                        break;
2035        }
2036        return packet->size;
2037}
2038
Note: See TracBrowser for help on using the repository browser.