source: lib/format_pcapfile.c @ 15e9390

4.0.1-hotfixescachetimestampsdevelopdpdk-ndagetsilivegetfragoffhelplibtrace4ndag_formatpfringrc-4.0.1rc-4.0.2rc-4.0.3rc-4.0.4ringdecrementfixringperformanceringtimestampfixes
Last change on this file since 15e9390 was 15e9390, checked in by Perry Lorier <perry@…>, 11 years ago

Rearrange struct fields to get better packing on 64bit machines.

  • Property mode set to 100644
File size: 16.1 KB
Line 
1/*
2 * This file is part of libtrace
3 *
4 * Copyright (c) 2007,2008 The University of Waikato, Hamilton, New Zealand.
5 * Authors: Daniel Lawson
6 *          Perry Lorier
7 *         
8 * All rights reserved.
9 *
10 * This code has been developed by the University of Waikato WAND
11 * research group. For further information please see http://www.wand.net.nz/
12 *
13 * libtrace is free software; you can redistribute it and/or modify
14 * it under the terms of the GNU General Public License as published by
15 * the Free Software Foundation; either version 2 of the License, or
16 * (at your option) any later version.
17 *
18 * libtrace is distributed in the hope that it will be useful,
19 * but WITHOUT ANY WARRANTY; without even the implied warranty of
20 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
21 * GNU General Public License for more details.
22 *
23 * You should have received a copy of the GNU General Public License
24 * along with libtrace; if not, write to the Free Software
25 * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
26 *
27 * $Id$
28 *
29 */
30
31#include "common.h"
32#include "config.h"
33#include "libtrace.h"
34#include "libtrace_int.h"
35#include "format_helper.h"
36
37#include <sys/stat.h>
38#include <assert.h>
39#include <stdio.h>
40#include <stdlib.h>
41#include <string.h>
42#include <errno.h>
43#include <fcntl.h>
44#include <stdbool.h>
45
46#define DATA(x) ((struct pcapfile_format_data_t*)((x)->format_data))
47#define DATAOUT(x) ((struct pcapfile_format_data_out_t*)((x)->format_data))
48#define IN_OPTIONS DATA(libtrace)->options
49
50typedef struct pcapfile_header_t {
51                uint32_t magic_number;   /* magic number */
52                uint16_t version_major;  /* major version number */
53                uint16_t version_minor;  /* minor version number */
54                int32_t  thiszone;       /* GMT to local correction */
55                uint32_t sigfigs;        /* timestamp accuracy */
56                uint32_t snaplen;        /* aka "wirelen" */
57                uint32_t network;        /* data link type */
58} pcapfile_header_t; 
59
60struct pcapfile_format_data_t {
61        struct {
62                int real_time;
63        } options;
64        pcapfile_header_t header;
65        bool started;
66};
67
68struct pcapfile_format_data_out_t {
69        iow_t *file;
70        int level;
71        int flag;
72
73};
74
75static int pcapfile_probe_magic(io_t *io)
76{
77        pcapfile_header_t header;
78        int len;
79        len = wandio_peek(io, &header, sizeof(header));
80        /* Is this long enough? */
81        if (len < (int)sizeof(header)) {
82                return 0;
83        }
84        /* Pcap magic? */
85        if (header.magic_number == 0xa1b2c3d4 || header.magic_number == 0xd4c3b2a1) {
86                return 1;
87        }
88        /* Nope, not pcap */
89        return 0;
90}
91
92static int pcapfile_init_input(libtrace_t *libtrace) {
93        libtrace->format_data = malloc(sizeof(struct pcapfile_format_data_t));
94
95        if (libtrace->format_data == NULL) {
96                trace_set_err(libtrace,ENOMEM,"Out of memory");
97                return -1;
98        }
99
100        IN_OPTIONS.real_time = 0;
101        DATA(libtrace)->started = false;
102        return 0;
103}
104
105static int pcapfile_init_output(libtrace_out_t *libtrace) {
106        libtrace->format_data = 
107                malloc(sizeof(struct pcapfile_format_data_out_t));
108
109        DATAOUT(libtrace)->file=NULL;
110        DATAOUT(libtrace)->level=0;
111        DATAOUT(libtrace)->flag=O_CREAT|O_WRONLY;
112
113        return 0;
114}
115
116static uint16_t swaps(libtrace_t *libtrace, uint16_t num)
117{
118        /* to deal with open_dead traces that might try and use this
119         * if we don't have any per trace data, assume host byte order
120         */
121        if (!DATA(libtrace))
122                return num;
123        if (DATA(libtrace)->header.magic_number == 0xd4c3b2a1)
124                return byteswap16(num);
125
126        return num;
127}
128
129static uint32_t swapl(libtrace_t *libtrace, uint32_t num)
130{
131        /* to deal with open_dead traces that might try and use this
132         * if we don't have any per trace data, assume host byte order
133         */
134        if (!DATA(libtrace))
135                return num;
136        if (DATA(libtrace)->header.magic_number == 0xd4c3b2a1)
137                return byteswap32(num);
138
139        return num;
140}
141
142
143static int pcapfile_start_input(libtrace_t *libtrace) 
144{
145        int err;
146
147        if (!libtrace->io) {
148                libtrace->io=trace_open_file(libtrace);
149                DATA(libtrace)->started=false;
150        }
151
152        if (!DATA(libtrace)->started) {
153
154                if (!libtrace->io)
155                        return -1;
156
157                err=wandio_read(libtrace->io,
158                                &DATA(libtrace)->header,
159                                sizeof(DATA(libtrace)->header));
160
161                if (err<1)
162                        return -1;
163               
164                if (swapl(libtrace,DATA(libtrace)->header.magic_number) != 0xa1b2c3d4) {
165                        trace_set_err(libtrace,TRACE_ERR_INIT_FAILED,"Not a pcap tracefile\n");
166                        return -1; /* Not a pcap file */
167                }
168
169                if (swaps(libtrace,DATA(libtrace)->header.version_major)!=2
170                        && swaps(libtrace,DATA(libtrace)->header.version_minor)!=4) {
171                        trace_set_err(libtrace,TRACE_ERR_INIT_FAILED,"Unknown pcap tracefile version %d.%d\n",
172                                        swaps(libtrace,
173                                                DATA(libtrace)->header.version_major),
174                                        swaps(libtrace,
175                                                DATA(libtrace)->header.version_minor));
176                        return -1;
177                }
178
179        }
180
181        return 0;
182}
183
184static int pcapfile_start_output(libtrace_out_t *libtrace UNUSED)
185{
186        return 0;
187}
188
189static int pcapfile_config_input(libtrace_t *libtrace,
190                trace_option_t option,
191                void *data)
192{
193        switch(option) {
194                case TRACE_OPTION_EVENT_REALTIME:
195                        IN_OPTIONS.real_time = *(int *)data;
196                        return 0;
197                case TRACE_OPTION_META_FREQ:
198                case TRACE_OPTION_SNAPLEN:
199                case TRACE_OPTION_PROMISC:
200                case TRACE_OPTION_FILTER:
201                        /* all these are either unsupported or handled
202                         * by trace_config */
203                        break;
204        }
205       
206        trace_set_err(libtrace,TRACE_ERR_UNKNOWN_OPTION,
207                        "Unknown option %i", option);
208        return -1;
209}
210
211static int pcapfile_fin_input(libtrace_t *libtrace) 
212{
213        if (libtrace->io)
214                wandio_destroy(libtrace->io);
215        free(libtrace->format_data);
216        return 0; /* success */
217}
218
219static int pcapfile_fin_output(libtrace_out_t *libtrace)
220{
221        if (DATAOUT(libtrace)->file)
222                wandio_wdestroy(DATAOUT(libtrace)->file);
223        free(libtrace->format_data);
224        libtrace->format_data=NULL;
225        return 0; /* success */
226}
227
228static int pcapfile_config_output(libtrace_out_t *libtrace,
229                trace_option_output_t option,
230                void *value)
231{
232        switch (option) {
233                case TRACE_OPTION_OUTPUT_COMPRESS:
234                        DATAOUT(libtrace)->level = *(int*)value;
235                        return 0;
236                case TRACE_OPTION_OUTPUT_FILEFLAGS:
237                        DATAOUT(libtrace)->flag = *(int*)value;
238                        return 0;
239                default:
240                        /* Unknown option */
241                        trace_set_err_out(libtrace,TRACE_ERR_UNKNOWN_OPTION,
242                                        "Unknown option");
243                        return -1;
244        }
245        return -1;
246}
247
248static int pcapfile_prepare_packet(libtrace_t *libtrace, 
249                libtrace_packet_t *packet, void *buffer, 
250                libtrace_rt_types_t rt_type, uint32_t flags) {
251
252        if (packet->buffer != buffer && 
253                        packet->buf_control == TRACE_CTRL_PACKET) {
254                free(packet->buffer);
255        }
256
257        if ((flags & TRACE_PREP_OWN_BUFFER) == TRACE_PREP_OWN_BUFFER) {
258                packet->buf_control = TRACE_CTRL_PACKET;
259        } else
260                packet->buf_control = TRACE_CTRL_EXTERNAL;
261       
262       
263        packet->buffer = buffer;
264        packet->header = buffer;
265        packet->payload = (char*)packet->buffer
266                + sizeof(libtrace_pcapfile_pkt_hdr_t);
267        packet->type = rt_type; 
268
269        if (libtrace->format_data == NULL) {
270                if (pcapfile_init_input(libtrace))
271                        return -1;
272        }
273       
274        return 0;
275}
276
277static int pcapfile_read_packet(libtrace_t *libtrace, libtrace_packet_t *packet)
278{
279        int err;
280        uint32_t flags = 0;
281       
282        assert(libtrace->format_data);
283
284        packet->type = pcap_linktype_to_rt(swapl(libtrace,
285                                DATA(libtrace)->header.network));
286
287        if (!packet->buffer || packet->buf_control == TRACE_CTRL_EXTERNAL) {
288                packet->buffer = malloc((size_t)LIBTRACE_PACKET_BUFSIZE);
289        }
290
291        flags |= TRACE_PREP_OWN_BUFFER;
292       
293        err=wandio_read(libtrace->io,
294                        packet->buffer,
295                        sizeof(libtrace_pcapfile_pkt_hdr_t));
296
297        if (err<0) {
298                trace_set_err(libtrace,errno,"reading packet");
299                return -1;
300        }
301        if (err==0) {
302                /* EOF */
303                return 0;
304        }
305       
306        assert(swapl(libtrace,((libtrace_pcapfile_pkt_hdr_t*)packet->buffer)->caplen)<LIBTRACE_PACKET_BUFSIZE);
307
308
309        err=wandio_read(libtrace->io,
310                        (char*)packet->buffer+sizeof(libtrace_pcapfile_pkt_hdr_t),
311                        (size_t)swapl(libtrace,((libtrace_pcapfile_pkt_hdr_t*)packet->buffer)->caplen)
312                        );
313
314       
315        if (err<0) {
316                trace_set_err(libtrace,errno,"reading packet");
317                return -1;
318        }
319        if (err==0) {
320                return 0;
321        }
322
323        if (pcapfile_prepare_packet(libtrace, packet, packet->buffer,
324                                packet->type, flags)) {
325                return -1;
326        }
327       
328        return sizeof(libtrace_pcapfile_pkt_hdr_t)
329                +swapl(libtrace,((libtrace_pcapfile_pkt_hdr_t*)packet->buffer)->caplen);
330}
331
332static int pcapfile_write_packet(libtrace_out_t *out,
333                libtrace_packet_t *packet)
334{
335        struct libtrace_pcapfile_pkt_hdr_t hdr;
336        struct timeval tv = trace_get_timeval(packet);
337        int numbytes;
338        int ret;
339        void *ptr;
340        uint32_t remaining;
341        libtrace_linktype_t linktype;
342
343        ptr = trace_get_packet_buffer(packet,&linktype,&remaining);
344       
345        /* Silently discard RT metadata packets and packets with an
346         * unknown linktype. */
347        if (linktype == TRACE_TYPE_METADATA || linktype == ~0U) {
348                return 0;
349        }
350
351        /* If this packet cannot be converted to a pcap linktype then
352         * pop off the top header until it can be converted
353         */
354        while (libtrace_to_pcap_linktype(linktype)==~0U) {
355                if (!demote_packet(packet)) {
356                        trace_set_err_out(out, 
357                                TRACE_ERR_NO_CONVERSION,
358                                "pcap does not support this format");
359                        return -1;
360                }
361
362                ptr = trace_get_packet_buffer(packet,&linktype,&remaining);
363        }
364
365
366        /* Now we know the link type write out a header if we've not done
367         * so already
368         */
369        if (!DATAOUT(out)->file) {
370                struct pcapfile_header_t pcaphdr;
371
372                DATAOUT(out)->file=trace_open_file_out(out,
373                                DATAOUT(out)->level,
374                                DATAOUT(out)->flag);
375                if (!DATAOUT(out)->file)
376                        return -1;
377
378                pcaphdr.magic_number = 0xa1b2c3d4;
379                pcaphdr.version_major = 2;
380                pcaphdr.version_minor = 4;
381                pcaphdr.thiszone = 0;
382                pcaphdr.sigfigs = 0;
383                pcaphdr.snaplen = 65536;
384                pcaphdr.network = 
385                        libtrace_to_pcap_linktype(linktype);
386
387                wandio_wwrite(DATAOUT(out)->file, 
388                                &pcaphdr, sizeof(pcaphdr));
389        }
390
391        hdr.ts_sec = tv.tv_sec;
392        hdr.ts_usec = tv.tv_usec;
393        hdr.caplen = trace_get_capture_length(packet);
394        assert(hdr.caplen < LIBTRACE_PACKET_BUFSIZE);
395        /* PCAP doesn't include the FCS, we do */
396        if (linktype==TRACE_TYPE_ETH)
397                if (trace_get_wire_length(packet) >= 4) {
398                        hdr.wirelen = trace_get_wire_length(packet)-4;
399                }
400                else {
401                        hdr.wirelen = 0;
402                }
403        else
404                hdr.wirelen = trace_get_wire_length(packet);
405
406        assert(hdr.wirelen < LIBTRACE_PACKET_BUFSIZE);
407
408
409        numbytes=wandio_wwrite(DATAOUT(out)->file,
410                        &hdr, sizeof(hdr));
411
412        if (numbytes!=sizeof(hdr)) 
413                return -1;
414
415        ret=wandio_wwrite(DATAOUT(out)->file,
416                        ptr,
417                        remaining);
418
419        if (ret!=(int)remaining)
420                return -1;
421
422        return numbytes+ret;
423}
424
425static libtrace_linktype_t pcapfile_get_link_type(
426                const libtrace_packet_t *packet) 
427{
428#if 0
429        return pcap_linktype_to_libtrace(
430                        swapl(packet->trace,
431                                DATA(packet->trace)->header.network
432                             )
433                        );
434#endif
435        return pcap_linktype_to_libtrace(rt_to_pcap_linktype(packet->type));
436}
437
438static libtrace_direction_t pcapfile_get_direction(const libtrace_packet_t *packet) 
439{
440        libtrace_direction_t direction  = -1;
441        switch(pcapfile_get_link_type(packet)) {
442                case TRACE_TYPE_LINUX_SLL:
443                {
444                        libtrace_sll_header_t *sll;
445                        libtrace_linktype_t linktype;
446
447                        sll = (libtrace_sll_header_t*)trace_get_packet_buffer(
448                                        packet,
449                                        &linktype,
450                                        NULL);
451                        if (!sll) {
452                                trace_set_err(packet->trace,
453                                        TRACE_ERR_BAD_PACKET,
454                                                "Bad or missing packet");
455                                return -1;
456                        }
457                        /* 0 == LINUX_SLL_HOST */
458                        /* the Waikato Capture point defines "packets
459                         * originating locally" (ie, outbound), with a
460                         * direction of 0, and "packets destined locally"
461                         * (ie, inbound), with a direction of 1.
462                         * This is kind-of-opposite to LINUX_SLL.
463                         * We return consistent values here, however
464                         *
465                         * Note that in recent versions of pcap, you can
466                         * use "inbound" and "outbound" on ppp in linux
467                         */
468                        if (ntohs(sll->pkttype == 0)) {
469                                direction = TRACE_DIR_INCOMING;
470                        } else {
471                                direction = TRACE_DIR_OUTGOING;
472                        }
473                        break;
474
475                }
476                case TRACE_TYPE_PFLOG:
477                {
478                        libtrace_pflog_header_t *pflog;
479                        libtrace_linktype_t linktype;
480
481                        pflog=(libtrace_pflog_header_t*)trace_get_packet_buffer(
482                                        packet,&linktype,NULL);
483                        if (!pflog) {
484                                trace_set_err(packet->trace,
485                                                TRACE_ERR_BAD_PACKET,
486                                                "Bad or missing packet");
487                                return -1;
488                        }
489                        /* enum    { PF_IN=0, PF_OUT=1 }; */
490                        if (ntohs(pflog->dir==0)) {
491
492                                direction = TRACE_DIR_INCOMING;
493                        }
494                        else {
495                                direction = TRACE_DIR_OUTGOING;
496                        }
497                        break;
498                }
499                default:
500                        break;
501        }       
502        return direction;
503}
504
505
506static struct timeval pcapfile_get_timeval(
507                const libtrace_packet_t *packet) 
508{
509        libtrace_pcapfile_pkt_hdr_t *hdr =
510                (libtrace_pcapfile_pkt_hdr_t*)packet->header;
511        struct timeval ts;
512        ts.tv_sec = swapl(packet->trace,hdr->ts_sec);
513        ts.tv_usec = swapl(packet->trace,hdr->ts_usec);
514        return ts;
515}
516
517
518static int pcapfile_get_capture_length(const libtrace_packet_t *packet) {
519        libtrace_pcapfile_pkt_hdr_t *pcapptr
520                = (libtrace_pcapfile_pkt_hdr_t *)packet->header;
521
522        return swapl(packet->trace,pcapptr->caplen);
523}
524
525static int pcapfile_get_wire_length(const libtrace_packet_t *packet) {
526        libtrace_pcapfile_pkt_hdr_t *pcapptr
527                = (libtrace_pcapfile_pkt_hdr_t *)packet->header;
528        if (packet->type==pcap_linktype_to_rt(TRACE_DLT_EN10MB))
529                /* Include the missing FCS */
530                return swapl(packet->trace,pcapptr->wirelen)+4; 
531        else if (packet->type==pcap_linktype_to_rt(TRACE_DLT_IEEE802_11_RADIO)){
532                /* If the packet is Radiotap and the flags field indicates
533                 * that the FCS is not included in the 802.11 frame, then
534                 * we need to add 4 to the wire-length to account for it.
535                 */
536                uint8_t flags;
537                void *link;
538                libtrace_linktype_t linktype;
539                link = trace_get_packet_buffer(packet, &linktype, NULL);
540                trace_get_wireless_flags(link, linktype, &flags);
541                if ((flags & TRACE_RADIOTAP_F_FCS) == 0)
542                        return swapl(packet->trace,pcapptr->wirelen)+4;
543        }
544        return swapl(packet->trace,pcapptr->wirelen);
545}
546
547static int pcapfile_get_framing_length(const libtrace_packet_t *packet UNUSED) {
548        return sizeof(libtrace_pcapfile_pkt_hdr_t);
549}
550
551static size_t pcapfile_set_capture_length(libtrace_packet_t *packet,size_t size) {
552        libtrace_pcapfile_pkt_hdr_t *pcapptr = 0;
553        assert(packet);
554        if (size > trace_get_capture_length(packet)) {
555                /* can't make a packet larger */
556                return trace_get_capture_length(packet);
557        }
558        /* Reset the cached capture length */
559        packet->capture_length = -1;
560        pcapptr = (libtrace_pcapfile_pkt_hdr_t *)packet->header;
561        pcapptr->caplen = swapl(packet->trace,(uint32_t)size);
562        return trace_get_capture_length(packet);
563}
564
565static struct libtrace_eventobj_t pcapfile_event(libtrace_t *libtrace, libtrace_packet_t *packet) {
566       
567        libtrace_eventobj_t event = {0,0,0.0,0};
568       
569        if (IN_OPTIONS.real_time) {
570                event.size = pcapfile_read_packet(libtrace, packet);
571                if (event.size < 1)
572                        event.type = TRACE_EVENT_TERMINATE;
573                else
574                        event.type = TRACE_EVENT_PACKET;
575                return event;
576        } else {
577                return trace_event_trace(libtrace, packet);
578        }
579}
580
581static void pcapfile_help(void) {
582        printf("pcapfile format module: $Revision$\n");
583        printf("Supported input URIs:\n");
584        printf("\tpcapfile:/path/to/file\n");
585        printf("\tpcapfile:/path/to/file.gz\n");
586        printf("\n");
587        printf("\te.g.: pcapfile:/tmp/trace.pcap\n");
588        printf("\n");
589}
590
591static struct libtrace_format_t pcapfile = {
592        "pcapfile",
593        "$Id$",
594        TRACE_FORMAT_PCAPFILE,
595        NULL,                           /* probe filename */
596        pcapfile_probe_magic,           /* probe magic */
597        pcapfile_init_input,            /* init_input */
598        pcapfile_config_input,          /* config_input */
599        pcapfile_start_input,           /* start_input */
600        NULL,                           /* pause_input */
601        pcapfile_init_output,           /* init_output */
602        pcapfile_config_output,         /* config_output */
603        pcapfile_start_output,          /* start_output */
604        pcapfile_fin_input,             /* fin_input */
605        pcapfile_fin_output,            /* fin_output */
606        pcapfile_read_packet,           /* read_packet */
607        pcapfile_prepare_packet,        /* prepare_packet */
608        NULL,                           /* fin_packet */
609        pcapfile_write_packet,          /* write_packet */
610        pcapfile_get_link_type,         /* get_link_type */
611        pcapfile_get_direction,         /* get_direction */
612        NULL,                           /* set_direction */
613        NULL,                           /* get_erf_timestamp */
614        pcapfile_get_timeval,           /* get_timeval */
615        NULL,                           /* get_timespec */
616        NULL,                           /* get_seconds */
617        NULL,                           /* seek_erf */
618        NULL,                           /* seek_timeval */
619        NULL,                           /* seek_seconds */
620        pcapfile_get_capture_length,    /* get_capture_length */
621        pcapfile_get_wire_length,       /* get_wire_length */
622        pcapfile_get_framing_length,    /* get_framing_length */
623        pcapfile_set_capture_length,    /* set_capture_length */
624        NULL,                           /* get_received_packets */
625        NULL,                           /* get_filtered_packets */
626        NULL,                           /* get_dropped_packets */
627        NULL,                           /* get_captured_packets */
628        NULL,                           /* get_fd */
629        pcapfile_event,         /* trace_event */
630        pcapfile_help,                  /* help */
631        NULL                            /* next pointer */
632};
633
634
635void pcapfile_constructor(void) {
636        register_format(&pcapfile);
637}
638
639
Note: See TracBrowser for help on using the repository browser.