source: lib/format_dag25.c @ d97778c

4.0.1-hotfixescachetimestampsdevelopdpdk-ndagetsilivelibtrace4ndag_formatpfringrc-4.0.1rc-4.0.2rc-4.0.3rc-4.0.4ringdecrementfixringperformanceringtimestampfixes
Last change on this file since d97778c was d97778c, checked in by Dan Collins <dan@…>, 6 years ago

Code style fixes.

There are a couple of dubious lines in there that someone else might
like to change. Also, formatting relies on 8 space tabs which could be
improved by tabbing to the save level and spacing to line up with the
previous line when trying to break a function call across multiple lines.

  • Property mode set to 100644
File size: 46.4 KB
Line 
1/*
2 * This file is part of libtrace
3 *
4 * Copyright (c) 2007,2008,2009,2010 The University of Waikato, Hamilton,
5 * New Zealand.
6 *
7 * Authors: Daniel Lawson
8 *          Perry Lorier
9 *          Shane Alcock
10 *         
11 * All rights reserved.
12 *
13 * This code has been developed by the University of Waikato WAND
14 * research group. For further information please see http://www.wand.net.nz/
15 *
16 * libtrace is free software; you can redistribute it and/or modify
17 * it under the terms of the GNU General Public License as published by
18 * the Free Software Foundation; either version 2 of the License, or
19 * (at your option) any later version.
20 *
21 * libtrace is distributed in the hope that it will be useful,
22 * but WITHOUT ANY WARRANTY; without even the implied warranty of
23 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
24 * GNU General Public License for more details.
25 *
26 * You should have received a copy of the GNU General Public License
27 * along with libtrace; if not, write to the Free Software
28 * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
29 *
30 * $Id$
31 *
32 */
33
34#define _GNU_SOURCE
35
36#include "config.h"
37#include "common.h"
38#include "libtrace.h"
39#include "libtrace_int.h"
40#include "format_helper.h"
41#include "format_erf.h"
42
43#include <assert.h>
44#include <errno.h>
45#include <fcntl.h>
46#include <stdio.h>
47#include <string.h>
48#include <stdlib.h>
49#include <sys/stat.h>
50
51#include <sys/mman.h>
52/* XXX: Windows doesn't have pthreads, but this code doesn't compile under
53 * Windows anyway so we'll worry about this more later :] */
54#include <pthread.h>
55
56
57#ifdef WIN32
58#  include <io.h>
59#  include <share.h>
60#  define PATH_MAX _MAX_PATH
61#  define snprintf sprintf_s
62#else
63#  include <netdb.h>
64#  ifndef PATH_MAX
65#       define PATH_MAX 4096
66#  endif
67#  include <sys/ioctl.h>
68#endif
69
70/* This format deals with DAG cards that are using drivers from the 2.5 version
71 * onwards, including 3.X.
72 *
73 * DAG is a LIVE capture format.
74 *
75 * This format does support writing, provided the DAG card that you are using
76 * has transmit (Tx) support. Additionally, packets read using this format
77 * are in the ERF format, so can easily be written as ERF traces without
78 * losing any data.
79 */
80
81
82#define DATA(x) ((struct dag_format_data_t *)x->format_data)
83#define DATA_OUT(x) ((struct dag_format_data_out_t *)x->format_data)
84#define PERPKT_DATA(x) ((struct dag_per_thread_t *)(x->format_data))
85
86#define FORMAT_DATA DATA(libtrace)
87#define FORMAT_DATA_OUT DATA_OUT(libtrace)
88
89#define DUCK FORMAT_DATA->duck
90static struct libtrace_format_t dag;
91
92/* A DAG device - a DAG device can support multiple streams (and therefore
93 * multiple input traces) so each trace needs to refer to a device */
94struct dag_dev_t {
95        char * dev_name;                /* Device name */
96        int fd;                         /* File descriptor */
97        uint16_t ref_count;             /* Number of input / output traces
98                                           that are using this device */
99        struct dag_dev_t *prev;         /* Pointer to the previous device in
100                                           the device list */
101        struct dag_dev_t *next;         /* Pointer to the next device in the
102                                           device list */
103};
104
105/* "Global" data that is stored for each DAG output trace */
106struct dag_format_data_out_t {
107        /* The DAG device being used for writing */
108        struct dag_dev_t *device;
109        /* The DAG stream that is being written on */
110        unsigned int dagstream;
111        /* Boolean flag indicating whether the stream is currently attached */
112        int stream_attached;
113        /* The amount of data waiting to be transmitted, in bytes */
114        uint64_t waiting;
115        /* A buffer to hold the data to be transmittted */
116        uint8_t *txbuffer;
117};
118
119/* Data that is stored for each libtrace_thread_t */
120struct dag_per_thread_t {
121        /* DAG device */
122        struct dag_dev_t *device;
123        /* Stream number */
124        uint16_t stream;
125        /* Pointer to the last unread byte in the DAG memory */
126        uint8_t *top;
127        /* Pointer to the first unread byte in the DAG memory */
128        uint8_t *bottom;
129        /* Amount of data processed from the bottom pointer */
130        uint32_t processed;
131        /* Number of packets seen by the thread */
132        uint64_t pkt_count;
133        /* Drop count for this particular thread */
134        uint64_t drops;
135};
136
137/* "Global" data that is stored for each DAG input trace */
138struct dag_format_data_t {
139        /* Data required for regular DUCK reporting */
140        struct {
141                /* Timestamp of the last DUCK report */
142                uint32_t last_duck;
143                /* The number of seconds between each DUCK report */
144                uint32_t duck_freq;
145                /* Timestamp of the last packet read from the DAG card */
146                uint32_t last_pkt;
147                /* Dummy trace to ensure DUCK packets are dealt with using the
148                 * DUCK format functions */
149                libtrace_t *dummy_duck;
150        } duck;
151
152        /* The DAG device that we are reading from */
153        struct dag_dev_t *device;
154        /* The DAG stream that we are reading from */
155        unsigned int dagstream;
156        /* Boolean flag indicating whether the stream is currently attached */
157        int stream_attached;
158        /* Pointer to the first unread byte in the DAG memory hole */
159        uint8_t *bottom;
160        /* Pointer to the last unread byte in the DAG memory hole */
161        uint8_t *top;
162        /* The amount of data processed thus far from the bottom pointer */
163        uint32_t processed;
164        /* The number of packets that have been dropped */
165        uint64_t drops;
166        /* When running in parallel mode this is malloc'd with an
167         * array of thread structures. Most of the stuff above doesn't
168         * get used in parallel mode. */
169        struct dag_per_thread_t *per_thread;
170
171        uint8_t seeninterface[4];
172};
173
174/* To be thread-safe, we're going to need a mutex for operating on the list
175 * of DAG devices */
176pthread_mutex_t open_dag_mutex;
177
178/* The list of DAG devices that have been opened by libtrace.
179 *
180 * We can only open each DAG device once, but we might want to read from
181 * multiple streams. Therefore, we need to maintain a list of devices that we
182 * have opened (with ref counts!) so that we don't try to open a device too
183 * many times or close a device that we're still using */
184struct dag_dev_t *open_dags = NULL;
185
186/* Returns the amount of padding between the ERF header and the start of the
187 * captured packet data */
188static int dag_get_padding(const libtrace_packet_t *packet)
189{
190        /* ERF Ethernet records have a 2 byte padding before the packet itself
191         * so that the IP header is aligned on a 32 bit boundary.
192         */
193        if (packet->trace->format->type==TRACE_FORMAT_ERF) {
194                dag_record_t *erfptr = (dag_record_t *)packet->header;
195                switch(erfptr->type) {
196                        case TYPE_ETH:
197                        case TYPE_DSM_COLOR_ETH:
198                                return 2;
199                        default:                return 0;
200                }
201        }
202        else {
203                switch(trace_get_link_type(packet)) {
204                        case TRACE_TYPE_ETH:    return 2;
205                        default:                return 0;
206                }
207        }
208}
209
210/* Attempts to determine if the given filename refers to a DAG device */
211static int dag_probe_filename(const char *filename)
212{
213        struct stat statbuf;
214        /* Can we stat the file? */
215        if (stat(filename, &statbuf) != 0) {
216                return 0;
217        }
218        /* Is it a character device? */
219        if (!S_ISCHR(statbuf.st_mode)) {
220                return 0;
221        }
222        /* Yeah, it's probably us. */
223        return 1;
224}
225
226/* Initialises the DAG output data structure */
227static void dag_init_format_out_data(libtrace_out_t *libtrace)
228{
229        libtrace->format_data = (struct dag_format_data_out_t *)
230                malloc(sizeof(struct dag_format_data_out_t));
231        // no DUCK on output
232        FORMAT_DATA_OUT->stream_attached = 0;
233        FORMAT_DATA_OUT->device = NULL;
234        FORMAT_DATA_OUT->dagstream = 0;
235        FORMAT_DATA_OUT->waiting = 0;
236
237}
238
239/* Initialises the DAG input data structure */
240static void dag_init_format_data(libtrace_t *libtrace)
241{
242        libtrace->format_data = (struct dag_format_data_t *)
243                malloc(sizeof(struct dag_format_data_t));
244        DUCK.last_duck = 0;
245        DUCK.duck_freq = 0;
246        DUCK.last_pkt = 0;
247        DUCK.dummy_duck = NULL;
248        FORMAT_DATA->stream_attached = 0;
249        FORMAT_DATA->drops = 0;
250        FORMAT_DATA->device = NULL;
251        FORMAT_DATA->dagstream = 0;
252        FORMAT_DATA->processed = 0;
253        FORMAT_DATA->bottom = NULL;
254        FORMAT_DATA->top = NULL;
255        memset(FORMAT_DATA->seeninterface, 0,
256               sizeof(FORMAT_DATA->seeninterface));
257}
258
259/* Determines if there is already an entry for the given DAG device in the
260 * device list and increments the reference count for that device, if found.
261 *
262 * NOTE: This function assumes the open_dag_mutex is held by the caller */
263static struct dag_dev_t *dag_find_open_device(char *dev_name)
264{
265        struct dag_dev_t *dag_dev;
266
267        dag_dev = open_dags;
268
269        /* XXX: Not exactly zippy, but how often are we going to be dealing
270         * with multiple dag cards? */
271        while (dag_dev != NULL) {
272                if (strcmp(dag_dev->dev_name, dev_name) == 0) {
273                        dag_dev->ref_count ++;
274                        return dag_dev;
275                }
276                dag_dev = dag_dev->next;
277        }
278        return NULL;
279}
280
281/* Closes a DAG device and removes it from the device list.
282 *
283 * Attempting to close a DAG device that has a non-zero reference count will
284 * cause an assertion failure!
285 *
286 * NOTE: This function assumes the open_dag_mutex is held by the caller */
287static void dag_close_device(struct dag_dev_t *dev)
288{
289        /* Need to remove from the device list */
290        assert(dev->ref_count == 0);
291
292        if (dev->prev == NULL) {
293                open_dags = dev->next;
294                if (dev->next)
295                        dev->next->prev = NULL;
296        } else {
297                dev->prev->next = dev->next;
298                if (dev->next)
299                        dev->next->prev = dev->prev;
300        }
301
302        dag_close(dev->fd);
303        if (dev->dev_name)
304                free(dev->dev_name);
305        free(dev);
306}
307
308
309/* Opens a new DAG device for writing and adds it to the DAG device list
310 *
311 * NOTE: this function should only be called when opening a DAG device for
312 * writing - there is little practical difference between this and the
313 * function below that covers the reading case, but we need the output trace
314 * object to report errors properly so the two functions take slightly
315 * different arguments. This is really lame and there should be a much better
316 * way of doing this.
317 *
318 * NOTE: This function assumes the open_dag_mutex is held by the caller
319 */
320static struct dag_dev_t *dag_open_output_device(libtrace_out_t *libtrace,
321                                                char *dev_name)
322{
323        struct stat buf;
324        int fd;
325        struct dag_dev_t *new_dev;
326
327        /* Make sure the device exists */
328        if (stat(dev_name, &buf) == -1) {
329                trace_set_err_out(libtrace,errno,"stat(%s)",dev_name);
330                return NULL;
331        }
332
333        /* Make sure it is the appropriate type of device */
334        if (S_ISCHR(buf.st_mode)) {
335                /* Try opening the DAG device */
336                if((fd = dag_open(dev_name)) < 0) {
337                        trace_set_err_out(libtrace,errno,"Cannot open DAG %s",
338                                        dev_name);
339                        return NULL;
340                }
341        } else {
342                trace_set_err_out(libtrace,errno,"Not a valid dag device: %s",
343                                dev_name);
344                return NULL;
345        }
346
347        /* Add the device to our device list - it is just a doubly linked
348         * list with no inherent ordering; just tack the new one on the front
349         */
350        new_dev = (struct dag_dev_t *)malloc(sizeof(struct dag_dev_t));
351        new_dev->fd = fd;
352        new_dev->dev_name = dev_name;
353        new_dev->ref_count = 1;
354
355        new_dev->prev = NULL;
356        new_dev->next = open_dags;
357        if (open_dags)
358                open_dags->prev = new_dev;
359
360        open_dags = new_dev;
361
362        return new_dev;
363}
364
365/* Opens a new DAG device for reading and adds it to the DAG device list
366 *
367 * NOTE: this function should only be called when opening a DAG device for
368 * reading - there is little practical difference between this and the
369 * function above that covers the writing case, but we need the input trace
370 * object to report errors properly so the two functions take slightly
371 * different arguments. This is really lame and there should be a much better
372 * way of doing this.
373 *
374 * NOTE: This function assumes the open_dag_mutex is held by the caller */
375static struct dag_dev_t *dag_open_device(libtrace_t *libtrace, char *dev_name) {
376        struct stat buf;
377        int fd;
378        struct dag_dev_t *new_dev;
379
380        /* Make sure the device exists */
381        if (stat(dev_name, &buf) == -1) {
382                trace_set_err(libtrace,errno,"stat(%s)",dev_name);
383                return NULL;
384        }
385
386        /* Make sure it is the appropriate type of device */
387        if (S_ISCHR(buf.st_mode)) {
388                /* Try opening the DAG device */
389                if((fd = dag_open(dev_name)) < 0) {
390                        trace_set_err(libtrace,errno,"Cannot open DAG %s",
391                                      dev_name);
392                        return NULL;
393                }
394        } else {
395                trace_set_err(libtrace,errno,"Not a valid dag device: %s",
396                              dev_name);
397                return NULL;
398        }
399
400        /* Add the device to our device list - it is just a doubly linked
401         * list with no inherent ordering; just tack the new one on the front
402         */
403        new_dev = (struct dag_dev_t *)malloc(sizeof(struct dag_dev_t));
404        new_dev->fd = fd;
405        new_dev->dev_name = dev_name;
406        new_dev->ref_count = 1;
407
408        new_dev->prev = NULL;
409        new_dev->next = open_dags;
410        if (open_dags)
411                open_dags->prev = new_dev;
412
413        open_dags = new_dev;
414
415        return new_dev;
416}
417
418/* Creates and initialises a DAG output trace */
419static int dag_init_output(libtrace_out_t *libtrace)
420{
421        char *dag_dev_name = NULL;
422        char *scan = NULL;
423        struct dag_dev_t *dag_device = NULL;
424        int stream = 1;
425
426        /* XXX I don't know if this is important or not, but this function
427         * isn't present in all of the driver releases that this code is
428         * supposed to support! */
429        /*
430        unsigned long wake_time;
431        dagutil_sleep_get_wake_time(&wake_time,0);
432        */
433
434        dag_init_format_out_data(libtrace);
435        /* Grab the mutex while we're likely to be messing with the device
436         * list */
437        pthread_mutex_lock(&open_dag_mutex);
438
439        /* Specific streams are signified using a comma in the libtrace URI,
440         * e.g. dag:/dev/dag0,1 refers to stream 1 on the dag0 device.
441         *
442         * If no stream is specified, we will write using stream 1 */
443        if ((scan = strchr(libtrace->uridata,',')) == NULL) {
444                dag_dev_name = strdup(libtrace->uridata);
445        } else {
446                dag_dev_name = (char *)strndup(libtrace->uridata,
447                                (size_t)(scan - libtrace->uridata));
448                stream = atoi(++scan);
449        }
450        FORMAT_DATA_OUT->dagstream = stream;
451
452        /* See if our DAG device is already open */
453        dag_device = dag_find_open_device(dag_dev_name);
454
455        if (dag_device == NULL) {
456                /* Device not yet opened - open it ourselves */
457                dag_device = dag_open_output_device(libtrace, dag_dev_name);
458        } else {
459                /* Otherwise, just use the existing one */
460                free(dag_dev_name);
461                dag_dev_name = NULL;
462        }
463
464        /* Make sure we have successfully opened a DAG device */
465        if (dag_device == NULL) {
466                if (dag_dev_name) {
467                        free(dag_dev_name);
468                }
469                pthread_mutex_unlock(&open_dag_mutex);
470                return -1;
471        }
472
473        FORMAT_DATA_OUT->device = dag_device;
474        pthread_mutex_unlock(&open_dag_mutex);
475        return 0;
476}
477
478/* Creates and initialises a DAG input trace */
479static int dag_init_input(libtrace_t *libtrace) {
480        char *dag_dev_name = NULL;
481        char *scan = NULL;
482        int stream = 0, thread_count = 1;
483        struct dag_dev_t *dag_device = NULL;
484
485        dag_init_format_data(libtrace);
486        /* Grab the mutex while we're likely to be messing with the device
487         * list */
488        pthread_mutex_lock(&open_dag_mutex);
489
490
491        /* DAG cards support multiple streams. In a single threaded capture,
492         * these are specified using a comma in the libtrace URI,
493         * e.g. dag:/dev/dag0,2 refers to stream 2 on the dag0 device.
494         *
495         * If no stream is specified, we will read from stream 0 with
496         * one thread
497         */
498        if ((scan = strchr(libtrace->uridata, ',')) == NULL) {
499                dag_dev_name = strdup(libtrace->uridata);
500        } else {
501                dag_dev_name = (char *)strndup(libtrace->uridata,
502                                               (size_t)(scan -
503                                                        libtrace->uridata));
504                stream = atoi(++scan);
505        }
506
507        FORMAT_DATA->dagstream = stream;
508
509        /* See if our DAG device is already open */
510        dag_device = dag_find_open_device(dag_dev_name);
511
512        if (dag_device == NULL) {
513                /* Device not yet opened - open it ourselves */
514                dag_device = dag_open_device(libtrace, dag_dev_name);
515        } else {
516                /* Otherwise, just use the existing one */
517                free(dag_dev_name);
518                dag_dev_name = NULL;
519        }
520
521        /* Make sure we have successfully opened a DAG device */
522        if (dag_device == NULL) {
523                if (dag_dev_name)
524                        free(dag_dev_name);
525                dag_dev_name = NULL;
526                pthread_mutex_unlock(&open_dag_mutex);
527                return -1;
528        }
529
530        FORMAT_DATA->device = dag_device;
531
532        /* See Config_Status_API_Programming_Guide.pdf from the Endace
533           Dag Documentation */
534        /* Check kBooleanAttributeActive is true -- no point capturing
535         * on an interface that's disabled
536         *
537         * The symptom of the port being disabled is that libtrace
538         * will appear to hang. */
539        /* Check kBooleanAttributeFault is false */
540        /* Check kBooleanAttributeLocalFault is false */
541        /* Check kBooleanAttributeLock is true ? */
542        /* Check kBooleanAttributePeerLink ? */
543
544        /* Set kBooleanAttributePromisc/kBooleanPromiscuousMode based
545           on libtrace promisc attribute?*/
546        /* Set kUint32AttributeSnapLength to the snaplength */
547
548        pthread_mutex_unlock(&open_dag_mutex);
549        return 0;
550}
551
552/* Configures a DAG input trace */
553static int dag_config_input(libtrace_t *libtrace, trace_option_t option,
554                            void *data)
555{
556        char conf_str[4096];
557        switch(option) {
558        case TRACE_OPTION_META_FREQ:
559                /* This option is used to specify the frequency of DUCK
560                 * updates */
561                DUCK.duck_freq = *(int *)data;
562                return 0;
563        case TRACE_OPTION_SNAPLEN:
564                /* Tell the card our new snap length */
565                snprintf(conf_str, 4096, "varlen slen=%i", *(int *)data);
566                if (dag_configure(FORMAT_DATA->device->fd,
567                                  conf_str) != 0) {
568                        trace_set_err(libtrace, errno, "Failed to configure "
569                                      "snaplen on DAG card: %s",
570                                      libtrace->uridata);
571                        return -1;
572                }
573                return 0;
574        case TRACE_OPTION_PROMISC:
575                /* DAG already operates in a promisc fashion */
576                return -1;
577        case TRACE_OPTION_FILTER:
578                /* We don't yet support pushing filters into DAG
579                 * cards */
580                return -1;
581        case TRACE_OPTION_EVENT_REALTIME:
582                /* Live capture is always going to be realtime */
583                return -1;
584        }
585        return -1;
586}
587
588/* Starts a DAG output trace */
589static int dag_start_output(libtrace_out_t *libtrace)
590{
591        struct timeval zero, nopoll;
592
593        zero.tv_sec = 0;
594        zero.tv_usec = 0;
595        nopoll = zero;
596
597        /* Attach and start the DAG stream */
598        if (dag_attach_stream(FORMAT_DATA_OUT->device->fd,
599                        FORMAT_DATA_OUT->dagstream, 0, 4 * 1024 * 1024) < 0) {
600                trace_set_err_out(libtrace, errno, "Cannot attach DAG stream");
601                return -1;
602        }
603
604        if (dag_start_stream(FORMAT_DATA_OUT->device->fd,
605                        FORMAT_DATA_OUT->dagstream) < 0) {
606                trace_set_err_out(libtrace, errno, "Cannot start DAG stream");
607                return -1;
608        }
609        FORMAT_DATA_OUT->stream_attached = 1;
610
611        /* We don't want the dag card to do any sleeping */
612        dag_set_stream_poll(FORMAT_DATA_OUT->device->fd,
613                        FORMAT_DATA_OUT->dagstream, 0, &zero,
614                        &nopoll);
615
616        return 0;
617}
618
619/* Starts a DAG input trace */
620static int dag_start_input(libtrace_t *libtrace)
621{
622        struct timeval zero, nopoll;
623        uint8_t *top, *bottom, *starttop;
624        uint64_t diff = 0;
625        top = bottom = NULL;
626
627        zero.tv_sec = 0;
628        zero.tv_usec = 10000;
629        nopoll = zero;
630
631        /* Attach and start the DAG stream */
632        if (dag_attach_stream(FORMAT_DATA->device->fd,
633                              FORMAT_DATA->dagstream, 0, 0) < 0) {
634                trace_set_err(libtrace, errno, "Cannot attach DAG stream");
635                return -1;
636        }
637
638        if (dag_start_stream(FORMAT_DATA->device->fd,
639                             FORMAT_DATA->dagstream) < 0) {
640                trace_set_err(libtrace, errno, "Cannot start DAG stream");
641                return -1;
642        }
643        FORMAT_DATA->stream_attached = 1;
644
645        /* We don't want the dag card to do any sleeping */
646        dag_set_stream_poll(FORMAT_DATA->device->fd,
647                            FORMAT_DATA->dagstream, 0, &zero,
648                            &nopoll);
649
650        starttop = dag_advance_stream(FORMAT_DATA->device->fd,
651                                      FORMAT_DATA->dagstream,
652                                      &bottom);
653
654        /* Should probably flush the memory hole now */
655        while (starttop - bottom > 0) {
656                bottom += (starttop - bottom);
657                top = dag_advance_stream(FORMAT_DATA->device->fd,
658                                         FORMAT_DATA->dagstream,
659                                         &bottom);
660        }
661        FORMAT_DATA->top = top;
662        FORMAT_DATA->bottom = bottom;
663        FORMAT_DATA->processed = 0;
664        FORMAT_DATA->drops = 0;
665
666        return 0;
667}
668
669/* Pauses a DAG output trace */
670static int dag_pause_output(libtrace_out_t *libtrace)
671{
672        /* Stop and detach the stream */
673        if (dag_stop_stream(FORMAT_DATA_OUT->device->fd,
674                            FORMAT_DATA_OUT->dagstream) < 0) {
675                trace_set_err_out(libtrace, errno, "Could not stop DAG stream");
676                return -1;
677        }
678        if (dag_detach_stream(FORMAT_DATA_OUT->device->fd,
679                              FORMAT_DATA_OUT->dagstream) < 0) {
680                trace_set_err_out(libtrace, errno,
681                                  "Could not detach DAG stream");
682                return -1;
683        }
684        FORMAT_DATA_OUT->stream_attached = 0;
685        return 0;
686}
687
688/* Pauses a DAG input trace */
689static int dag_pause_input(libtrace_t *libtrace)
690{
691        /* Stop and detach the stream */
692        if (dag_stop_stream(FORMAT_DATA->device->fd,
693                            FORMAT_DATA->dagstream) < 0) {
694                trace_set_err(libtrace, errno, "Could not stop DAG stream");
695                return -1;
696        }
697        if (dag_detach_stream(FORMAT_DATA->device->fd,
698                              FORMAT_DATA->dagstream) < 0) {
699                trace_set_err(libtrace, errno, "Could not detach DAG stream");
700                return -1;
701        }
702        FORMAT_DATA->stream_attached = 0;
703        return 0;
704}
705
706/* Closes a DAG input trace */
707static int dag_fin_input(libtrace_t *libtrace)
708{
709        /* Need the lock, since we're going to be handling the device list */
710        pthread_mutex_lock(&open_dag_mutex);
711
712        /* Detach the stream if we are not paused */
713        if (FORMAT_DATA->stream_attached)
714                dag_pause_input(libtrace);
715        FORMAT_DATA->device->ref_count --;
716
717        /* Close the DAG device if there are no more references to it */
718        if (FORMAT_DATA->device->ref_count == 0)
719                dag_close_device(FORMAT_DATA->device);
720        if (DUCK.dummy_duck)
721                trace_destroy_dead(DUCK.dummy_duck);
722        free(libtrace->format_data);
723        pthread_mutex_unlock(&open_dag_mutex);
724        return 0; /* success */
725}
726
727/* Closes a DAG output trace */
728static int dag_fin_output(libtrace_out_t *libtrace)
729{
730
731        /* Commit any outstanding traffic in the txbuffer */
732        if (FORMAT_DATA_OUT->waiting) {
733                dag_tx_stream_commit_bytes(FORMAT_DATA_OUT->device->fd,
734                                           FORMAT_DATA_OUT->dagstream,
735                                           FORMAT_DATA_OUT->waiting );
736        }
737
738        /* Wait until the buffer is nearly clear before exiting the program,
739         * as we will lose packets otherwise */
740        dag_tx_get_stream_space
741                (FORMAT_DATA_OUT->device->fd,
742                 FORMAT_DATA_OUT->dagstream,
743                 dag_get_stream_buffer_size(FORMAT_DATA_OUT->device->fd,
744                                            FORMAT_DATA_OUT->dagstream) - 8);
745
746        /* Need the lock, since we're going to be handling the device list */
747        pthread_mutex_lock(&open_dag_mutex);
748
749        /* Detach the stream if we are not paused */
750        if (FORMAT_DATA_OUT->stream_attached)
751                dag_pause_output(libtrace);
752        FORMAT_DATA_OUT->device->ref_count --;
753
754        /* Close the DAG device if there are no more references to it */
755        if (FORMAT_DATA_OUT->device->ref_count == 0)
756                dag_close_device(FORMAT_DATA_OUT->device);
757        free(libtrace->format_data);
758        pthread_mutex_unlock(&open_dag_mutex);
759        return 0; /* success */
760}
761
762/* Extracts DUCK information from the DAG card and produces a DUCK packet */
763static int dag_get_duckinfo(libtrace_t *libtrace, libtrace_packet_t *packet)
764{
765        /* Allocate memory for the DUCK data */
766        if (packet->buf_control == TRACE_CTRL_EXTERNAL ||
767            !packet->buffer) {
768                packet->buffer = malloc(LIBTRACE_PACKET_BUFSIZE);
769                packet->buf_control = TRACE_CTRL_PACKET;
770                if (!packet->buffer) {
771                        trace_set_err(libtrace, errno,
772                                      "Cannot allocate packet buffer");
773                        return -1;
774                }
775        }
776
777        /* DUCK doesn't have a format header */
778        packet->header = 0;
779        packet->payload = packet->buffer;
780
781        /* No need to check if we can get DUCK or not - we're modern
782         * enough so just grab the DUCK info */
783        if ((ioctl(FORMAT_DATA->device->fd, DAGIOCDUCK,
784                   (duckinf_t *)packet->payload) < 0)) {
785                trace_set_err(libtrace, errno, "Error using DAGIOCDUCK");
786                return -1;
787        }
788
789        packet->type = TRACE_RT_DUCK_2_5;
790
791        /* Set the packet's tracce to point at a DUCK trace, so that the
792         * DUCK format functions will be called on the packet rather than the
793         * DAG ones */
794        if (!DUCK.dummy_duck)
795                DUCK.dummy_duck = trace_create_dead("rt:localhost:3434");
796        packet->trace = DUCK.dummy_duck;
797        return sizeof(duckinf_t);
798}
799
800/* Determines the amount of data available to read from the DAG card */
801static int dag_available(libtrace_t *libtrace)
802{
803        uint32_t diff = FORMAT_DATA->top - FORMAT_DATA->bottom;
804
805        /* If we've processed more than 4MB of data since we last called
806         * dag_advance_stream, then we should call it again to allow the
807         * space occupied by that 4MB to be released */
808        if (diff >= dag_record_size && FORMAT_DATA->processed < 4 * 1024 * 1024)
809                return diff;
810
811        /* Update the top and bottom pointers */
812        FORMAT_DATA->top = dag_advance_stream(FORMAT_DATA->device->fd,
813                                              FORMAT_DATA->dagstream,
814                                              &(FORMAT_DATA->bottom));
815
816        if (FORMAT_DATA->top == NULL) {
817                trace_set_err(libtrace, errno, "dag_advance_stream failed!");
818                return -1;
819        }
820        FORMAT_DATA->processed = 0;
821        diff = FORMAT_DATA->top - FORMAT_DATA->bottom;
822        return diff;
823}
824
825/* Returns a pointer to the start of the next complete ERF record */
826static dag_record_t *dag_get_record(libtrace_t *libtrace)
827{
828        dag_record_t *erfptr = NULL;
829        uint16_t size;
830
831        erfptr = (dag_record_t *)FORMAT_DATA->bottom;
832        if (!erfptr)
833                return NULL;
834
835        size = ntohs(erfptr->rlen);
836        assert( size >= dag_record_size );
837
838        /* Make certain we have the full packet available */
839        if (size > (FORMAT_DATA->top - FORMAT_DATA->bottom))
840                return NULL;
841
842        FORMAT_DATA->bottom += size;
843        FORMAT_DATA->processed += size;
844        return erfptr;
845}
846
847/* Converts a buffer containing a recently read DAG packet record into a
848 * libtrace packet */
849static int dag_prepare_packet(libtrace_t *libtrace, libtrace_packet_t *packet,
850                              void *buffer, libtrace_rt_types_t rt_type,
851                              uint32_t flags)
852{
853        dag_record_t *erfptr;
854        libtrace_thread_t *t;
855
856        /* If the packet previously owned a buffer that is not the buffer
857         * that contains the new packet data, we're going to need to free the
858         * old one to avoid memory leaks */
859        if (packet->buffer != buffer &&
860                        packet->buf_control == TRACE_CTRL_PACKET) {
861                free(packet->buffer);
862        }
863
864        /* Set the buffer owner appropriately */
865        if ((flags & TRACE_PREP_OWN_BUFFER) == TRACE_PREP_OWN_BUFFER) {
866                packet->buf_control = TRACE_CTRL_PACKET;
867        } else
868                packet->buf_control = TRACE_CTRL_EXTERNAL;
869
870        /* Update the packet pointers and type appropriately */
871        erfptr = (dag_record_t *)buffer;
872        packet->buffer = erfptr;
873        packet->header = erfptr;
874        packet->type = rt_type;
875
876        if (erfptr->flags.rxerror == 1) {
877                /* rxerror means the payload is corrupt - drop the payload
878                 * by tweaking rlen */
879                packet->payload = NULL;
880                erfptr->rlen = htons(erf_get_framing_length(packet));
881        } else {
882                packet->payload = (char*)packet->buffer
883                        + erf_get_framing_length(packet);
884        }
885
886        if (libtrace->format_data == NULL) {
887                dag_init_format_data(libtrace);
888        }
889
890        /* Update the dropped packets counter */
891        /* No loss counter for DSM coloured records - have to use some
892         * other API */
893        if (erfptr->type == TYPE_DSM_COLOR_ETH) {
894                /* TODO */
895        } else {
896                /* Use the ERF loss counter */
897                if (DATA(libtrace)->per_thread) {
898                        t = get_thread_table(libtrace);
899                        PERPKT_DATA(t)->drops += ntohs(erfptr->lctr);
900                } else {
901                        if (FORMAT_DATA->seeninterface[erfptr->flags.iface]
902                            == 0) {
903                                FORMAT_DATA->seeninterface[erfptr->flags.iface]
904                                        = 1;
905                        } else {
906                                FORMAT_DATA->drops += ntohs(erfptr->lctr);
907                        }
908                }
909        }
910
911        return 0;
912}
913
914/*
915 * dag_write_packet() at this stage attempts to improve tx performance
916 * by delaying sending a dag_tx_stream_commit_bytes() until a threshold
917 * has been met. I observed approximately 270% performance increase
918 * through this relatively naive tweak. No optimisation of buffer sizes
919 * was attempted.
920 */
921
922/* Pushes an ERF record onto the transmit stream */
923static int dag_dump_packet(libtrace_out_t *libtrace,
924                           dag_record_t *erfptr, unsigned int pad,
925                           void *buffer)
926{
927        int size;
928
929        /*
930         * If we've got 0 bytes waiting in the txqueue, assume that we
931         * haven't requested any space yet, and request some, storing
932         * the pointer at FORMAT_DATA_OUT->txbuffer.
933         *
934         * The amount to request is slightly magical at the moment - it's
935         * 16Mebibytes + 128 kibibytes to ensure that we can copy a packet into
936         * the buffer and handle overruns.
937         */
938        if (FORMAT_DATA_OUT->waiting == 0) {
939                FORMAT_DATA_OUT->txbuffer =
940                        dag_tx_get_stream_space(FORMAT_DATA_OUT->device->fd,
941                                                FORMAT_DATA_OUT->dagstream,
942                                                16908288);
943        }
944
945        /*
946         * Copy the header separately to the body, as we can't guarantee they
947         * are in contiguous memory
948         */
949        memcpy(FORMAT_DATA_OUT->txbuffer + FORMAT_DATA_OUT->waiting, erfptr,
950               (dag_record_size + pad));
951        FORMAT_DATA_OUT->waiting += (dag_record_size + pad);
952
953        /*
954         * Copy our incoming packet into the outgoing buffer, and increment
955         * our waiting count
956         */
957        size = ntohs(erfptr->rlen)-(dag_record_size + pad);
958        memcpy(FORMAT_DATA_OUT->txbuffer + FORMAT_DATA_OUT->waiting, buffer,
959               size);
960        FORMAT_DATA_OUT->waiting += size;
961
962        /*
963         * If our output buffer has more than 16 Mebibytes in it, commit those
964         * bytes and reset the waiting count to 0.
965         * Note: dag_fin_output will also call dag_tx_stream_commit_bytes() in
966         * case there is still data in the buffer at program exit.
967         */
968        if (FORMAT_DATA_OUT->waiting >= 16*1024*1024) {
969                FORMAT_DATA_OUT->txbuffer =
970                        dag_tx_stream_commit_bytes(FORMAT_DATA_OUT->device->fd,
971                                                   FORMAT_DATA_OUT->dagstream,
972                                                   FORMAT_DATA_OUT->waiting);
973                FORMAT_DATA_OUT->waiting = 0;
974        }
975
976        return size + pad + dag_record_size;
977}
978
979/* Attempts to determine a suitable ERF type for a given packet. Returns true
980 * if one is found, false otherwise */
981static bool find_compatible_linktype(libtrace_out_t *libtrace,
982                                     libtrace_packet_t *packet, char *type)
983{
984        /* Keep trying to simplify the packet until we can find
985         * something we can do with it */
986
987        do {
988                *type = libtrace_to_erf_type(trace_get_link_type(packet));
989
990                /* Success */
991                if (*type != (char)-1)
992                        return true;
993
994                if (!demote_packet(packet)) {
995                        trace_set_err_out(libtrace,
996                                          TRACE_ERR_NO_CONVERSION,
997                                          "No erf type for packet (%i)",
998                                          trace_get_link_type(packet));
999                        return false;
1000                }
1001
1002        } while(1);
1003
1004        return true;
1005}
1006
1007/* Writes a packet to the provided DAG output trace */
1008static int dag_write_packet(libtrace_out_t *libtrace, libtrace_packet_t *packet)
1009{
1010        /* This is heavily borrowed from erf_write_packet(). Yes, CnP
1011         * coding sucks, sorry about that.
1012         */
1013        unsigned int pad = 0;
1014        int numbytes;
1015        void *payload = packet->payload;
1016        dag_record_t *header = (dag_record_t *)packet->header;
1017        char erf_type = 0;
1018
1019        if(!packet->header) {
1020                /* No header, probably an RT packet. Lifted from
1021                 * erf_write_packet(). */
1022                return -1;
1023        }
1024
1025        if (trace_get_link_type(packet) == TRACE_TYPE_NONDATA)
1026                return 0;
1027
1028        pad = dag_get_padding(packet);
1029
1030        /*
1031         * If the payload is null, adjust the rlen. Discussion of this is
1032         * attached to erf_write_packet()
1033         */
1034        if (payload == NULL) {
1035                header->rlen = htons(dag_record_size + pad);
1036        }
1037
1038        if (packet->type == TRACE_RT_DATA_ERF) {
1039                numbytes = dag_dump_packet(libtrace, header, pad, payload);
1040        } else {
1041                /* Build up a new packet header from the existing header */
1042
1043                /* Simplify the packet first - if we can't do this, break
1044                 * early */
1045                if (!find_compatible_linktype(libtrace,packet,&erf_type))
1046                        return -1;
1047
1048                dag_record_t erfhdr;
1049
1050                erfhdr.ts = bswap_host_to_le64(trace_get_erf_timestamp(packet));
1051                payload=packet->payload;
1052                pad = dag_get_padding(packet);
1053
1054                /* Flags. Can't do this */
1055                memset(&erfhdr.flags,1,sizeof(erfhdr.flags));
1056                if (trace_get_direction(packet)!=(int)~0U)
1057                        erfhdr.flags.iface = trace_get_direction(packet);
1058
1059                erfhdr.type = erf_type;
1060
1061                /* Packet length (rlen includes format overhead) */
1062                assert(trace_get_capture_length(packet) > 0
1063                       && trace_get_capture_length(packet) <= 65536);
1064                assert(erf_get_framing_length(packet) > 0
1065                       && trace_get_framing_length(packet) <= 65536);
1066                assert(trace_get_capture_length(packet) +
1067                       erf_get_framing_length(packet) > 0
1068                       && trace_get_capture_length(packet) +
1069                       erf_get_framing_length(packet) <= 65536);
1070
1071                erfhdr.rlen = htons(trace_get_capture_length(packet)
1072                                    + erf_get_framing_length(packet));
1073
1074
1075                /* Loss counter. Can't do this */
1076                erfhdr.lctr = 0;
1077                /* Wire length, does not include padding! */
1078                erfhdr.wlen = htons(trace_get_wire_length(packet));
1079
1080                /* Write it out */
1081                numbytes = dag_dump_packet(libtrace, &erfhdr, pad, payload);
1082        }
1083
1084        return numbytes;
1085}
1086
1087/* Reads the next available packet from a DAG card, in a BLOCKING fashion
1088 *
1089 * If DUCK reporting is enabled, the packet returned may be a DUCK update
1090 */
1091static int dag_read_packet(libtrace_t *libtrace, libtrace_packet_t *packet)
1092{
1093        int size = 0;
1094        struct timeval tv;
1095        dag_record_t *erfptr = NULL;
1096        int numbytes = 0;
1097        uint32_t flags = 0;
1098        struct timeval maxwait;
1099        struct timeval pollwait;
1100
1101        pollwait.tv_sec = 0;
1102        pollwait.tv_usec = 10000;
1103        maxwait.tv_sec = 0;
1104        maxwait.tv_usec = 250000;
1105
1106        /* Check if we're due for a DUCK report */
1107        if (DUCK.last_pkt - DUCK.last_duck > DUCK.duck_freq &&
1108            DUCK.duck_freq != 0) {
1109                size = dag_get_duckinfo(libtrace, packet);
1110                DUCK.last_duck = DUCK.last_pkt;
1111                if (size != 0) {
1112                        return size;
1113                }
1114                /* No DUCK support, so don't waste our time anymore */
1115                DUCK.duck_freq = 0;
1116        }
1117
1118        /* Don't let anyone try to free our DAG memory hole! */
1119        flags |= TRACE_PREP_DO_NOT_OWN_BUFFER;
1120
1121        /* If the packet buffer is currently owned by libtrace, free it so
1122         * that we can set the packet to point into the DAG memory hole */
1123        if (packet->buf_control == TRACE_CTRL_PACKET) {
1124                free(packet->buffer);
1125                packet->buffer = 0;
1126        }
1127
1128        if (dag_set_stream_poll(FORMAT_DATA->device->fd, FORMAT_DATA->dagstream,
1129                                sizeof(dag_record_t), &maxwait,
1130                                &pollwait) == -1) {
1131                trace_set_err(libtrace, errno, "dag_set_stream_poll");
1132                return -1;
1133        }
1134
1135
1136        /* Grab a full ERF record */
1137        do {
1138                numbytes = dag_available(libtrace);
1139                if (numbytes < 0)
1140                        return numbytes;
1141                if (numbytes < dag_record_size) {
1142                        if (libtrace_halt)
1143                                return 0;
1144                        /* Block until we see a packet */
1145                        continue;
1146                }
1147                erfptr = dag_get_record(libtrace);
1148        } while (erfptr == NULL);
1149
1150        /* Prepare the libtrace packet */
1151        if (dag_prepare_packet(libtrace, packet, erfptr, TRACE_RT_DATA_ERF,
1152                               flags))
1153                return -1;
1154
1155        /* Update the DUCK timer */
1156        tv = trace_get_timeval(packet);
1157        DUCK.last_pkt = tv.tv_sec;
1158
1159        return packet->payload ? htons(erfptr->rlen) :
1160                erf_get_framing_length(packet);
1161}
1162
1163/* Attempts to read a packet from a DAG card in a NON-BLOCKING fashion. If a
1164 * packet is available, we will return a packet event. Otherwise we will
1165 * return a SLEEP event (as we cannot select on the DAG file descriptor).
1166 */
1167static libtrace_eventobj_t trace_event_dag(libtrace_t *libtrace,
1168                                           libtrace_packet_t *packet)
1169{
1170        libtrace_eventobj_t event = {0,0,0.0,0};
1171        dag_record_t *erfptr = NULL;
1172        int numbytes;
1173        uint32_t flags = 0;
1174        struct timeval minwait;
1175
1176        minwait.tv_sec = 0;
1177        minwait.tv_usec = 10000;
1178
1179        if (dag_set_stream_poll(FORMAT_DATA->device->fd,
1180                                FORMAT_DATA->dagstream, 0, &minwait,
1181                                &minwait) == -1) {
1182                trace_set_err(libtrace, errno, "dag_set_stream_poll");
1183                event.type = TRACE_EVENT_TERMINATE;
1184                return event;
1185        }
1186
1187        do {
1188                erfptr = NULL;
1189                numbytes = 0;
1190
1191                /* Need to call dag_available so that the top pointer will get
1192                 * updated, otherwise we'll never see any data! */
1193                numbytes = dag_available(libtrace);
1194
1195                /* May as well not bother calling dag_get_record if
1196                 * dag_available suggests that there's no data */
1197                if (numbytes != 0)
1198                        erfptr = dag_get_record(libtrace);
1199                if (erfptr == NULL) {
1200                        /* No packet available - sleep for a very short time */
1201                        if (libtrace_halt) {
1202                                event.type = TRACE_EVENT_TERMINATE;
1203                        } else {
1204                                event.type = TRACE_EVENT_SLEEP;
1205                                event.seconds = 0.0001;
1206                        }
1207                        break;
1208                }
1209                if (dag_prepare_packet(libtrace, packet, erfptr,
1210                                       TRACE_RT_DATA_ERF, flags)) {
1211                        event.type = TRACE_EVENT_TERMINATE;
1212                        break;
1213                }
1214
1215
1216                event.size = trace_get_capture_length(packet) +
1217                        trace_get_framing_length(packet);
1218
1219                /* XXX trace_read_packet() normally applies the following
1220                 * config options for us, but this function is called via
1221                 * trace_event() so we have to do it ourselves */
1222
1223                if (libtrace->filter) {
1224                        int filtret = trace_apply_filter(libtrace->filter,
1225                                                         packet);
1226                        if (filtret == -1) {
1227                                trace_set_err(libtrace, TRACE_ERR_BAD_FILTER,
1228                                              "Bad BPF Filter");
1229                                event.type = TRACE_EVENT_TERMINATE;
1230                                break;
1231                        }
1232
1233                        if (filtret == 0) {
1234                                /* This packet isn't useful so we want to
1235                                 * immediately see if there is another suitable
1236                                 * one - we definitely DO NOT want to return
1237                                 * a sleep event in this case, like we used to
1238                                 * do! */
1239                                libtrace->filtered_packets ++;
1240                                trace_clear_cache(packet);
1241                                continue;
1242                        }
1243
1244                        event.type = TRACE_EVENT_PACKET;
1245                } else {
1246                        event.type = TRACE_EVENT_PACKET;
1247                }
1248
1249                if (libtrace->snaplen > 0) {
1250                        trace_set_capture_length(packet, libtrace->snaplen);
1251                }
1252                libtrace->accepted_packets ++;
1253                break;
1254        } while(1);
1255
1256        return event;
1257}
1258
1259/* Gets the number of dropped packets */
1260static uint64_t dag_get_dropped_packets(libtrace_t *trace)
1261{
1262        uint64_t sum = 0;
1263        int i, tot;
1264
1265        if (trace->format_data == NULL)
1266                return (uint64_t) - 1;
1267
1268        if (DATA(trace)->per_thread) {
1269                tot = trace->perpkt_thread_count;
1270
1271                for (i = 0; i < tot; i++) {
1272                        printf("t%d: drops %" PRIu64 "\n",
1273                               DATA(trace)->per_thread[i].drops);
1274                        sum += DATA(trace)->per_thread[i].drops;
1275                }
1276        }
1277
1278        sum += DATA(trace)->drops;
1279
1280        return sum;
1281}
1282
1283/* Prints some semi-useful help text about the DAG format module */
1284static void dag_help(void) {
1285        printf("dag format module: $Revision: 1755 $\n");
1286        printf("Supported input URIs:\n");
1287        printf("\tdag:/dev/dagn\n");
1288        printf("\n");
1289        printf("\te.g.: dag:/dev/dag0\n");
1290        printf("\n");
1291        printf("Supported output URIs:\n");
1292        printf("\tnone\n");
1293        printf("\n");
1294}
1295
1296static int dag_pstart_input(libtrace_t *libtrace)
1297{
1298        char *scan, *tok;
1299        uint16_t stream_count = 0, max_streams;
1300        /* We keep our own pointer to per_thread as the system will free
1301         * up FORMAT_DATA without freeing this if something goes wrong */
1302        struct dag_per_thread_t *per_thread = NULL;
1303        int iserror = 0;
1304
1305        /* Check we aren't trying to create more threads than the DAG card can
1306         * handle */
1307        max_streams = dag_rx_get_stream_count(FORMAT_DATA->device->fd);
1308        if (libtrace->perpkt_thread_count > max_streams) {
1309                trace_set_err(libtrace, TRACE_ERR_BAD_FORMAT,
1310                              "trying to create too many threads (max is %u)",
1311                              max_streams);
1312                iserror = 1;
1313                goto cleanup;
1314        }
1315
1316        /* Create the thread structures */
1317        per_thread = calloc(libtrace->perpkt_thread_count,
1318                            sizeof(struct dag_per_thread_t));
1319        FORMAT_DATA->per_thread = per_thread;
1320
1321        /* Get the stream names from the uri */
1322        if ((scan = strchr(libtrace->uridata, ',')) == NULL) {
1323                trace_set_err(libtrace, TRACE_ERR_BAD_FORMAT,
1324                              "format uri doesn't specify the DAG streams");
1325                iserror = 1;
1326                goto cleanup;
1327        }
1328
1329        scan++;
1330
1331        tok = strtok(scan, ",");
1332        while (tok != NULL) {
1333                /* Ensure we haven't specified too many streams */
1334                if (stream_count >= libtrace->perpkt_thread_count) {
1335                        trace_set_err(libtrace, TRACE_ERR_BAD_FORMAT,
1336                                      "format uri specifies too many streams. "
1337                                      "Max is %u", max_streams);
1338                        iserror = 1;
1339                        goto cleanup;
1340                }
1341
1342                /* Save the stream details */
1343                per_thread[stream_count].device = FORMAT_DATA->device;
1344                per_thread[stream_count++].stream = (uint16_t)atoi(tok);
1345
1346                tok = strtok(NULL, ",");
1347        }
1348
1349 cleanup:
1350        if (iserror) {
1351                /* Free the per_thread memory */
1352                free(per_thread);
1353                return -1;
1354        } else {
1355                return 0;
1356        }
1357}
1358
1359
1360
1361/* TODO: Fold this into dag_available */
1362static int dag_pavailable(libtrace_t *libtrace, libtrace_thread_t *t)
1363{
1364        uint32_t diff = PERPKT_DATA(t)->top - PERPKT_DATA(t)->bottom;
1365
1366        /* If we've processed more than 4MB of data since we last called
1367         * dag_advance_stream, then we should call it again to allow the
1368         * space occupied by that 4MB to be released */
1369        if (diff >= dag_record_size && PERPKT_DATA(t)->processed <
1370            4*1024*1024)
1371                return diff;
1372
1373        /* Update top and bottom pointers */
1374        PERPKT_DATA(t)->top = dag_advance_stream(PERPKT_DATA(t)->device->fd,
1375                                                 PERPKT_DATA(t)->stream,
1376                                                 &(PERPKT_DATA(t)->bottom));
1377
1378        if (PERPKT_DATA(t)->top == NULL) {
1379                trace_set_err(libtrace, errno, "dag_advance_stream failed!");
1380                return -1;
1381        }
1382
1383        PERPKT_DATA(t)->processed = 0;
1384        diff = PERPKT_DATA(t)->top - PERPKT_DATA(t)->bottom;
1385        return diff;
1386}
1387
1388/* TODO: Fold this into dag_get_record */
1389static dag_record_t *dag_pget_record(libtrace_t *libtrace,
1390                                     libtrace_thread_t *t)
1391{
1392        dag_record_t *erfptr = NULL;
1393        uint16_t size;
1394
1395        erfptr = (dag_record_t *)PERPKT_DATA(t)->bottom;
1396        if (!erfptr)
1397                return NULL;
1398
1399        /* Ensure we have a whole record */
1400        size = ntohs(erfptr->rlen);
1401        assert(size >= dag_record_size);
1402        if (size > (PERPKT_DATA(t)->top - PERPKT_DATA(t)->bottom))
1403                return NULL;
1404
1405        /* Advance the buffer pointers */
1406        PERPKT_DATA(t)->bottom += size;
1407        PERPKT_DATA(t)->processed += size;
1408
1409        return erfptr;
1410}
1411
1412static int dag_pread_packet(libtrace_t *libtrace, libtrace_thread_t *t,
1413                            libtrace_packet_t *packet)
1414{
1415        dag_record_t *erfptr = NULL;
1416        int numbytes = 0;
1417        uint32_t flags = 0;
1418        struct timeval maxwait, pollwait;
1419
1420        pollwait.tv_sec = 0;
1421        pollwait.tv_usec = 10000;
1422        maxwait.tv_sec = 0;
1423        maxwait.tv_usec = 250000;
1424
1425        /* TODO: Support DUCK reporting */
1426
1427        /* Don't let anyone try to free our DAG memory hole! */
1428        flags |= TRACE_PREP_DO_NOT_OWN_BUFFER;
1429
1430        /* If the packet buffer is currently owned by libtrace, free it so
1431         * that we can set the packet to point into the DAG memory hole */
1432        if (packet->buf_control == TRACE_CTRL_PACKET) {
1433                free(packet->buffer);
1434                packet->buffer = 0;
1435        }
1436
1437        /* Configure DAG card stream polling */
1438        if (dag_set_stream_poll(PERPKT_DATA(t)->device->fd,
1439                                PERPKT_DATA(t)->stream, sizeof(dag_record_t),
1440                                &maxwait, &pollwait) < 0) {
1441                trace_set_err(libtrace, errno, "dag_set_stream_poll");
1442                return -1;
1443        }
1444
1445        /* Grab an ERF record */
1446        do {
1447                numbytes = dag_pavailable(libtrace, t);
1448                if (numbytes < 0)
1449                        return numbytes;
1450                if (numbytes < dag_record_size) {
1451                        if (libtrace_halt)
1452                                return 0;
1453
1454                        /* Check message queue to see if we should
1455                         * abort early */
1456                        if (libtrace_message_queue_count(&t->messages) > 0)
1457                                return -2;
1458
1459                        /* Keep trying until we see a packet */
1460                        continue;
1461                }
1462
1463                erfptr = dag_pget_record(libtrace, t);
1464        } while (erfptr == NULL);
1465
1466        /* Prepare the libtrace packet */
1467        if (dag_prepare_packet(libtrace, packet, erfptr, TRACE_RT_DATA_ERF,
1468                               flags))
1469                return -1;
1470
1471        PERPKT_DATA(t)->pkt_count++;
1472
1473        return packet->payload ? htons(erfptr->rlen) :
1474                erf_get_framing_length(packet);
1475}
1476
1477static int dag_ppause_input(libtrace_t *libtrace)
1478{
1479        int i, tot = libtrace->perpkt_thread_count;
1480        struct dag_per_thread_t *t_data;
1481
1482        /* Stop and detach all the streams */
1483        printf("Stopping and detaching all streams\n");
1484        for (i = 0; i < tot; i++) {
1485                t_data = &FORMAT_DATA->per_thread[i];
1486
1487                if (dag_stop_stream(t_data->device->fd,
1488                                    t_data->stream) < 0) {
1489                        trace_set_err(libtrace, errno,
1490                                      "can't stop DAG stream #%u",
1491                                      t_data->stream);
1492                        return -1;
1493                }
1494
1495                if (dag_detach_stream(t_data->device->fd,
1496                                      t_data->stream) < 0) {
1497                        trace_set_err(libtrace, errno,
1498                                      "can't detach DAG stream #%u",
1499                                      t_data->stream);
1500                        return -1;
1501                }
1502        }
1503
1504        /* Free up the per_thread array */
1505        free(FORMAT_DATA->per_thread);
1506        FORMAT_DATA->per_thread = NULL;
1507
1508        return 0;
1509}
1510
1511static int dag_pconfig_input(libtrace_t *libtrace,
1512                             trace_parallel_option_t option, void *value)
1513{
1514        /* We don't support any of these! Normally you configure the DAG card
1515         * externally. */
1516        switch(option) {
1517        case TRACE_OPTION_SET_HASHER:
1518        case TRACE_OPTION_SET_PERPKT_THREAD_COUNT:
1519        case TRACE_OPTION_TRACETIME:
1520        case TRACE_OPTION_TICK_INTERVAL:
1521        case TRACE_OPTION_GET_CONFIG:
1522        case TRACE_OPTION_SET_CONFIG:
1523                return -1;
1524        }
1525        /* We don't provide a default option to ensure that future options will
1526         * generate a compiler warning. */
1527
1528        return -1;
1529}
1530
1531static int dag_pregister_thread(libtrace_t *libtrace, libtrace_thread_t *t,
1532                                bool reader)
1533{
1534        /* XXX: This function gets run sequentially for all
1535         * threads. Should investigate making it parallel as draining the
1536         * memory could be needlessly time consuming.
1537         */
1538        uint8_t *top, *bottom;
1539        /* XXX: Investigate this type, as I would assume the value
1540         * could be larger than 255 */
1541        uint8_t diff = 0;
1542        struct timeval zero, nopoll;
1543
1544        top = bottom = NULL;
1545
1546        /* Minimum delay is 10mS */
1547        zero.tv_sec = 0;
1548        zero.tv_usec = 10000;
1549        nopoll = zero;
1550
1551        if (reader) {
1552                if (t->type == THREAD_PERPKT) {
1553                        /* Pass the per thread data to the thread */
1554                        t->format_data =
1555                                &FORMAT_DATA->per_thread[t->perpkt_num];
1556
1557                        /* Attach and start the DAG stream */
1558                        printf("t%u: starting and attaching stream #%u\n",
1559                               t->perpkt_num, PERPKT_DATA(t)->stream);
1560                        if (dag_attach_stream(PERPKT_DATA(t)->device->fd,
1561                                              PERPKT_DATA(t)->stream, 0,
1562                                              0) < 0) {
1563                                trace_set_err(libtrace, errno,
1564                                              "can't attach DAG stream #%u",
1565                                              PERPKT_DATA(t)->stream);
1566                                return -1;
1567                        }
1568                        if (dag_start_stream(PERPKT_DATA(t)->device->fd,
1569                                             PERPKT_DATA(t)->stream) < 0) {
1570                                trace_set_err(libtrace, errno,
1571                                              "can't start DAG stream #%u",
1572                                              PERPKT_DATA(t)->stream);
1573                                return -1;
1574                        }
1575
1576                        /* Ensure that dag_advance_stream will return without blocking */
1577                        if(dag_set_stream_poll(PERPKT_DATA(t)->device->fd,
1578                                               PERPKT_DATA(t)->stream, 0, &zero,
1579                                               &nopoll) < 0) {
1580                                trace_set_err(libtrace, errno,
1581                                              "dag_set_stream_poll failed!");
1582                                return -1;
1583                        }
1584
1585                        /* Clear all the data from the memory hole */
1586                        do {
1587                                top = dag_advance_stream(PERPKT_DATA(t)->
1588                                                         device->fd,
1589                                                         PERPKT_DATA(t)->stream,
1590                                                         &bottom);
1591
1592                                assert(top && bottom);
1593                                diff = top - bottom;
1594                                bottom -= diff;
1595                        } while (diff != 0);
1596
1597                        PERPKT_DATA(t)->top = NULL;
1598                        PERPKT_DATA(t)->bottom = NULL;
1599                        PERPKT_DATA(t)->pkt_count = 0;
1600                        PERPKT_DATA(t)->drops = 0;
1601                } else {
1602                        /* TODO: Figure out why we need this */
1603                        t->format_data = &FORMAT_DATA->per_thread[0];
1604                }
1605        }
1606
1607        fprintf(stderr, "t%u: registered thread\n", t->perpkt_num);
1608
1609        return 0;
1610}
1611
1612static struct libtrace_format_t dag = {
1613        "dag",
1614        "$Id$",
1615        TRACE_FORMAT_ERF,
1616        dag_probe_filename,             /* probe filename */
1617        NULL,                           /* probe magic */
1618        dag_init_input,                 /* init_input */
1619        dag_config_input,               /* config_input */
1620        dag_start_input,                /* start_input */
1621        dag_pause_input,                /* pause_input */
1622        dag_init_output,                /* init_output */
1623        NULL,                           /* config_output */
1624        dag_start_output,               /* start_output */
1625        dag_fin_input,                  /* fin_input */
1626        dag_fin_output,                 /* fin_output */
1627        dag_read_packet,                /* read_packet */
1628        dag_prepare_packet,             /* prepare_packet */
1629        NULL,                           /* fin_packet */
1630        dag_write_packet,               /* write_packet */
1631        erf_get_link_type,              /* get_link_type */
1632        erf_get_direction,              /* get_direction */
1633        erf_set_direction,              /* set_direction */
1634        erf_get_erf_timestamp,          /* get_erf_timestamp */
1635        NULL,                           /* get_timeval */
1636        NULL,                           /* get_seconds */
1637        NULL,                           /* get_timespec */
1638        NULL,                           /* seek_erf */
1639        NULL,                           /* seek_timeval */
1640        NULL,                           /* seek_seconds */
1641        erf_get_capture_length,         /* get_capture_length */
1642        erf_get_wire_length,            /* get_wire_length */
1643        erf_get_framing_length,         /* get_framing_length */
1644        erf_set_capture_length,         /* set_capture_length */
1645        NULL,                           /* get_received_packets */
1646        NULL,                           /* get_filtered_packets */
1647        dag_get_dropped_packets,        /* get_dropped_packets */
1648        NULL,                           /* get_captured_packets */
1649        NULL,                           /* get_fd */
1650        trace_event_dag,                /* trace_event */
1651        dag_help,                       /* help */
1652        NULL,                            /* next pointer */
1653                {true, 0}, /* live packet capture, thread limit TBD */
1654                dag_pstart_input,
1655                dag_pread_packet,
1656                dag_ppause_input,
1657                NULL,
1658                dag_pconfig_input,
1659                dag_pregister_thread,
1660                NULL
1661};
1662
1663void dag_constructor(void)
1664{
1665        register_format(&dag);
1666}
Note: See TracBrowser for help on using the repository browser.