last works on Event Service ...
This commit is contained in:
@@ -1,5 +1,3 @@
|
|||||||
using System.Collections.Generic;
|
|
||||||
using RabbitMQ.Client;
|
|
||||||
using xEventService.Constants;
|
using xEventService.Constants;
|
||||||
using xEventService.Models;
|
using xEventService.Models;
|
||||||
|
|
||||||
|
|||||||
@@ -7,13 +7,16 @@ namespace xEventService.Constants
|
|||||||
/// </summary>
|
/// </summary>
|
||||||
public enum XEventBroker
|
public enum XEventBroker
|
||||||
{
|
{
|
||||||
[StringValue("None")]
|
[StringValue(XEventServiceConstants.None)]
|
||||||
None,
|
None,
|
||||||
|
|
||||||
[StringValue("XKafka")]
|
[StringValue(XEventServiceConstants.XKafka)]
|
||||||
XKafka,
|
XKafka,
|
||||||
|
|
||||||
[StringValue("XRabbitMQ")]
|
[StringValue(XEventServiceConstants.XZeroMQ)]
|
||||||
XRabbitMQ
|
XZeroMQ,
|
||||||
|
|
||||||
|
[StringValue(XEventServiceConstants.XRabbitMQ)]
|
||||||
|
XRabbitMQ,
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
@@ -11,6 +11,14 @@ namespace xEventService.Constants
|
|||||||
public const string XDefaultTopic = "XSaherelm";
|
public const string XDefaultTopic = "XSaherelm";
|
||||||
public const string XDefaultConsumerGroup = "XSaherElmGroup";
|
public const string XDefaultConsumerGroup = "XSaherElmGroup";
|
||||||
|
|
||||||
|
//
|
||||||
|
public const string None = "None";
|
||||||
|
public const string XKafka = "XKafka";
|
||||||
|
public const string PubSub = "PubSub";
|
||||||
|
public const string XZeroMQ = "XZeroMQ";
|
||||||
|
public const string PushPull = "PushPull";
|
||||||
|
public const string XRabbitMQ = "XRabbitMQ";
|
||||||
|
|
||||||
//
|
//
|
||||||
public const string XWildcard = "*";
|
public const string XWildcard = "*";
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -0,0 +1,16 @@
|
|||||||
|
using xExceptions.Attributes;
|
||||||
|
|
||||||
|
namespace xEventService.Constants
|
||||||
|
{
|
||||||
|
public enum XZeroMQPattern
|
||||||
|
{
|
||||||
|
[StringValue(XEventServiceConstants.None)]
|
||||||
|
None,
|
||||||
|
|
||||||
|
[StringValue(XEventServiceConstants.PubSub)]
|
||||||
|
PubSub,
|
||||||
|
|
||||||
|
[StringValue(XEventServiceConstants.PushPull)]
|
||||||
|
PushPull
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -71,7 +71,7 @@ namespace xEventService.Extensions
|
|||||||
var result =
|
var result =
|
||||||
!source.IsNullOrDefault() &&
|
!source.IsNullOrDefault() &&
|
||||||
!source.Exchange.IsNullOrEmpty() &&
|
!source.Exchange.IsNullOrEmpty() &&
|
||||||
!source.ExchangeType.IsValid();
|
source.ExchangeType.IsValid();
|
||||||
|
|
||||||
//
|
//
|
||||||
return result;
|
return result;
|
||||||
@@ -111,6 +111,36 @@ namespace xEventService.Extensions
|
|||||||
return result;
|
return result;
|
||||||
}
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// Validate ZeroMQ Pattern ...
|
||||||
|
/// </summary>
|
||||||
|
/// <param name="source"></param>
|
||||||
|
/// <returns></returns>
|
||||||
|
public static bool IsValid(this XZeroMQPattern source)
|
||||||
|
{
|
||||||
|
//
|
||||||
|
var result = source != XZeroMQPattern.None;
|
||||||
|
|
||||||
|
//
|
||||||
|
return result;
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// Validate ZeroMQ Options ...
|
||||||
|
/// </summary>
|
||||||
|
/// <param name="source"></param>
|
||||||
|
/// <returns></returns>
|
||||||
|
public static bool IsValid(this XZeroMQOptions source)
|
||||||
|
{
|
||||||
|
//
|
||||||
|
var result =
|
||||||
|
!source.IsNullOrDefault() &&
|
||||||
|
source.Pattern.IsValid();
|
||||||
|
|
||||||
|
//
|
||||||
|
return result;
|
||||||
|
}
|
||||||
|
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// Validate an Array is Wildcard passed or not ...
|
/// Validate an Array is Wildcard passed or not ...
|
||||||
/// </summary>
|
/// </summary>
|
||||||
@@ -145,6 +175,101 @@ namespace xEventService.Extensions
|
|||||||
return result;
|
return result;
|
||||||
}
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// Validate Sender ...
|
||||||
|
/// </summary>
|
||||||
|
/// <param name="source"></param>
|
||||||
|
/// <param name="allowedSenders"></param>
|
||||||
|
/// <returns></returns>
|
||||||
|
public static bool IsValidSender(
|
||||||
|
this XEventMessage source,
|
||||||
|
string[] allowedSenders
|
||||||
|
)
|
||||||
|
{
|
||||||
|
//
|
||||||
|
// Validate Source and Collection ...
|
||||||
|
var result =
|
||||||
|
source.IsValid() &&
|
||||||
|
allowedSenders
|
||||||
|
.IsAllowedCollection();
|
||||||
|
if (!result)
|
||||||
|
{
|
||||||
|
return result;
|
||||||
|
}
|
||||||
|
|
||||||
|
//
|
||||||
|
// Validate Sender ...
|
||||||
|
result =
|
||||||
|
allowedSenders.IsAllowedWildcard() ||
|
||||||
|
allowedSenders.Any(x =>
|
||||||
|
x.Equals(
|
||||||
|
source.Sender,
|
||||||
|
System.StringComparison.InvariantCultureIgnoreCase));
|
||||||
|
|
||||||
|
//
|
||||||
|
return result;
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// Validate Action ...
|
||||||
|
/// </summary>
|
||||||
|
/// <param name="source"></param>
|
||||||
|
/// <param name="allowedActions"></param>
|
||||||
|
/// <returns></returns>
|
||||||
|
public static bool IsValidAction(
|
||||||
|
this XEventMessage source,
|
||||||
|
string[] allowedActions
|
||||||
|
)
|
||||||
|
{
|
||||||
|
//
|
||||||
|
// Validate Source and Collection ...
|
||||||
|
var result =
|
||||||
|
source.IsValid() &&
|
||||||
|
allowedActions
|
||||||
|
.IsAllowedCollection();
|
||||||
|
if (!result)
|
||||||
|
{
|
||||||
|
return result;
|
||||||
|
}
|
||||||
|
|
||||||
|
//
|
||||||
|
// Validate Action ...
|
||||||
|
result =
|
||||||
|
allowedActions.IsAllowedWildcard() ||
|
||||||
|
allowedActions.Any(x =>
|
||||||
|
x.Equals(
|
||||||
|
source.Action,
|
||||||
|
System.StringComparison.InvariantCultureIgnoreCase));
|
||||||
|
|
||||||
|
//
|
||||||
|
return result;
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// Completely Validate a Message, based on providing:
|
||||||
|
/// - Allowed Actions
|
||||||
|
/// - Allowed Senders
|
||||||
|
/// </summary>
|
||||||
|
/// <param name="source"></param>
|
||||||
|
/// <param name="allowedSenders"></param>
|
||||||
|
/// <param name="allowedActions"></param>
|
||||||
|
/// <returns></returns>
|
||||||
|
public static bool IsValid(
|
||||||
|
this XEventMessage source,
|
||||||
|
string[] allowedSenders,
|
||||||
|
string[] allowedActions
|
||||||
|
)
|
||||||
|
{
|
||||||
|
//
|
||||||
|
var result =
|
||||||
|
source.IsValid() &&
|
||||||
|
source.IsValidAction(allowedActions) &&
|
||||||
|
source.IsValidSender(allowedSenders);
|
||||||
|
|
||||||
|
//
|
||||||
|
return result;
|
||||||
|
}
|
||||||
|
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// Parse Url and Extract Host address ...
|
/// Parse Url and Extract Host address ...
|
||||||
/// </summary>
|
/// </summary>
|
||||||
|
|||||||
@@ -1,38 +1,8 @@
|
|||||||
using System;
|
|
||||||
using System.Threading;
|
|
||||||
using System.Threading.Tasks;
|
|
||||||
using xEventService.Constants;
|
|
||||||
using xEventService.Models;
|
|
||||||
|
|
||||||
namespace xEventService.Interfaces
|
namespace xEventService.Interfaces
|
||||||
{
|
{
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// a Service for Produce Kafka Messages ...
|
/// a Service for Produce Kafka Messages ...
|
||||||
/// </summary>
|
/// </summary>
|
||||||
public interface IXKafkaProducerService : IDisposable
|
public interface IXKafkaProducerService : IXProducerServiceBase
|
||||||
{
|
{ }
|
||||||
/// <summary>
|
|
||||||
/// Sending Message ...
|
|
||||||
/// </summary>
|
|
||||||
/// <param name="request">an Instance of <see cref="XEventRequest"/> to Provides Kafka Messaging requirement ...</param>
|
|
||||||
/// <param name="cancellationToken"></param>
|
|
||||||
/// <returns></returns>
|
|
||||||
Task<bool> SendMessageAsync(
|
|
||||||
XEventRequest request,
|
|
||||||
CancellationToken cancellationToken = default
|
|
||||||
);
|
|
||||||
|
|
||||||
/// <summary>
|
|
||||||
/// Sending a Message ...
|
|
||||||
/// </summary>
|
|
||||||
/// <param name="message">an Instance of <see cref="XEventMessage"/> to Provides Kafka Messaging requirement ...</param>
|
|
||||||
/// <param name="topic">Topic for Sending Message ...</param>
|
|
||||||
/// <param name="cancellationToken"></param>
|
|
||||||
/// <returns></returns>
|
|
||||||
Task<bool> SendMessageAsync(
|
|
||||||
XEventMessage message,
|
|
||||||
string topic = XEventServiceConstants.XDefaultTopic,
|
|
||||||
CancellationToken cancellationToken = default
|
|
||||||
);
|
|
||||||
}
|
|
||||||
}
|
}
|
||||||
@@ -0,0 +1,35 @@
|
|||||||
|
using System;
|
||||||
|
using System.Threading;
|
||||||
|
using System.Threading.Tasks;
|
||||||
|
using xEventService.Constants;
|
||||||
|
using xEventService.Models;
|
||||||
|
|
||||||
|
namespace xEventService.Interfaces
|
||||||
|
{
|
||||||
|
public interface IXProducerServiceBase : IDisposable
|
||||||
|
{
|
||||||
|
/// <summary>
|
||||||
|
/// Sending Message ...
|
||||||
|
/// </summary>
|
||||||
|
/// <param name="request">an Instance of <see cref="XEventRequest"/> to Provides Kafka Messaging requirement ...</param>
|
||||||
|
/// <param name="cancellationToken"></param>
|
||||||
|
/// <returns></returns>
|
||||||
|
Task<bool> SendMessageAsync(
|
||||||
|
XEventRequest request,
|
||||||
|
CancellationToken cancellationToken = default
|
||||||
|
);
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// Sending a Message ...
|
||||||
|
/// </summary>
|
||||||
|
/// <param name="message">an Instance of <see cref="XEventMessage"/> to Provides Kafka Messaging requirement ...</param>
|
||||||
|
/// <param name="topic">Topic for Sending Message ...</param>
|
||||||
|
/// <param name="cancellationToken"></param>
|
||||||
|
/// <returns></returns>
|
||||||
|
Task<bool> SendMessageAsync(
|
||||||
|
XEventMessage message,
|
||||||
|
string topic = XEventServiceConstants.XDefaultTopic,
|
||||||
|
CancellationToken cancellationToken = default
|
||||||
|
);
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -8,22 +8,8 @@ namespace xEventService.Interfaces
|
|||||||
/// <summary>
|
/// <summary>
|
||||||
/// RabbitMQ Producer Service Implementation ...
|
/// RabbitMQ Producer Service Implementation ...
|
||||||
/// </summary>
|
/// </summary>
|
||||||
public interface IXRabbitMQProducerService : IDisposable
|
public interface IXRabbitMQProducerService : IXProducerServiceBase
|
||||||
{
|
{
|
||||||
/// <summary>
|
|
||||||
/// Sending Message with Full Request Descriptor ...
|
|
||||||
/// </summary>
|
|
||||||
/// <param name="request">
|
|
||||||
/// an Instance of <see cref="XEventRequest"/>.
|
|
||||||
/// Topic is used as Exchange Name ...
|
|
||||||
/// </param>
|
|
||||||
/// <param name="cancellationToken"></param>
|
|
||||||
/// <returns></returns>
|
|
||||||
Task<bool> SendMessageAsync(
|
|
||||||
XEventRequest request,
|
|
||||||
CancellationToken cancellationToken = default
|
|
||||||
);
|
|
||||||
|
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// Sending a Message to Default Exchange ...
|
/// Sending a Message to Default Exchange ...
|
||||||
/// </summary>
|
/// </summary>
|
||||||
|
|||||||
@@ -0,0 +1,7 @@
|
|||||||
|
namespace xEventService.Interfaces
|
||||||
|
{
|
||||||
|
public interface IXZeroMQProducerService : IXProducerServiceBase
|
||||||
|
{
|
||||||
|
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -1,4 +1,3 @@
|
|||||||
using RabbitMQ.Client;
|
|
||||||
using xEventService.Constants;
|
using xEventService.Constants;
|
||||||
|
|
||||||
namespace xEventService.Models
|
namespace xEventService.Models
|
||||||
|
|||||||
@@ -0,0 +1,28 @@
|
|||||||
|
using xEventService.Constants;
|
||||||
|
|
||||||
|
namespace xEventService.Models
|
||||||
|
{
|
||||||
|
public class XZeroMQOptions
|
||||||
|
{
|
||||||
|
/// <summary>
|
||||||
|
/// Socket Pattern (PubSub, PushPull) ...
|
||||||
|
/// </summary>
|
||||||
|
public XZeroMQPattern Pattern { get; set; } = XZeroMQPattern.PubSub;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// Bind or Connect ...
|
||||||
|
/// True for Server (Bind), False for Client (Connect) ...
|
||||||
|
/// </summary>
|
||||||
|
public bool IsServer { get; set; } = false;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// High Water Mark for Sending ...
|
||||||
|
/// </summary>
|
||||||
|
public int SendHighWaterMark { get; set; } = 1000;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// High Water Mark for Receiving ...
|
||||||
|
/// </summary>
|
||||||
|
public int ReceiveHighWaterMark { get; set; } = 1000;
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,68 @@
|
|||||||
|
using System;
|
||||||
|
using Microsoft.Extensions.Logging;
|
||||||
|
using xCommons.Extensions;
|
||||||
|
using xCommons.Providers;
|
||||||
|
using xEventService.Configuration;
|
||||||
|
using xEventService.Constants;
|
||||||
|
using xEventService.Extensions;
|
||||||
|
using xExceptions.Constants;
|
||||||
|
|
||||||
|
namespace xEventService.Providers
|
||||||
|
{
|
||||||
|
/// <summary>
|
||||||
|
/// Base Event Consumer Service ...
|
||||||
|
/// </summary>
|
||||||
|
public abstract class XBaseEventConsumerBackgroundService : XResumableBackgroundService
|
||||||
|
{
|
||||||
|
/// <summary>
|
||||||
|
/// Consumed Topic Messages ...
|
||||||
|
/// </summary>
|
||||||
|
protected readonly string topic;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// Allowed Senders ...
|
||||||
|
/// </summary>
|
||||||
|
public readonly string[] allowedSenders;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// Allowed Actions ...
|
||||||
|
/// </summary>
|
||||||
|
public readonly string[] allowedActions;
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// Configuration ...
|
||||||
|
/// </summary>
|
||||||
|
protected readonly XEventServiceConfiguration configuration;
|
||||||
|
|
||||||
|
protected XBaseEventConsumerBackgroundService(
|
||||||
|
string[] allowedActions,
|
||||||
|
string[] allowedSenders,
|
||||||
|
IServiceProvider serviceProvider,
|
||||||
|
XEventServiceConfiguration configuration,
|
||||||
|
ILogger<XResumableBackgroundService> logger,
|
||||||
|
string topic = XEventServiceConstants.XDefaultTopic
|
||||||
|
) : base(
|
||||||
|
logger: logger,
|
||||||
|
serviceProvider: serviceProvider
|
||||||
|
)
|
||||||
|
{
|
||||||
|
//
|
||||||
|
// Validate Actions ...
|
||||||
|
if (!allowedActions
|
||||||
|
.IsAllowedCollection() ||
|
||||||
|
!allowedSenders
|
||||||
|
.IsAllowedCollection() ||
|
||||||
|
!configuration.IsValid()
|
||||||
|
)
|
||||||
|
{
|
||||||
|
XException.InvalidArgs.Throw();
|
||||||
|
}
|
||||||
|
|
||||||
|
//
|
||||||
|
this.topic = topic;
|
||||||
|
this.configuration = configuration;
|
||||||
|
this.allowedActions = allowedActions;
|
||||||
|
this.allowedSenders = allowedSenders;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -2,12 +2,10 @@ using System;
|
|||||||
using System.Threading;
|
using System.Threading;
|
||||||
using System.Threading.Tasks;
|
using System.Threading.Tasks;
|
||||||
using Confluent.Kafka;
|
using Confluent.Kafka;
|
||||||
using Microsoft.Extensions.Hosting;
|
|
||||||
using Microsoft.Extensions.Logging;
|
using Microsoft.Extensions.Logging;
|
||||||
using xCommons.Extensions;
|
using xCommons.Extensions;
|
||||||
using xEventService.Configuration;
|
using xEventService.Configuration;
|
||||||
using xEventService.Constants;
|
using xEventService.Constants;
|
||||||
using xEventService.Extensions;
|
|
||||||
using xExceptions.Constants;
|
using xExceptions.Constants;
|
||||||
|
|
||||||
namespace xEventService.Providers
|
namespace xEventService.Providers
|
||||||
@@ -15,67 +13,35 @@ namespace xEventService.Providers
|
|||||||
/// <summary>
|
/// <summary>
|
||||||
/// an Abstract Kafka Consumer Service ...
|
/// an Abstract Kafka Consumer Service ...
|
||||||
/// </summary>
|
/// </summary>
|
||||||
public abstract class XKafkaConsumerServiceBase : BackgroundService
|
public abstract class XKafkaConsumerServiceBase : XBaseEventConsumerBackgroundService
|
||||||
{
|
{
|
||||||
/// <summary>
|
|
||||||
/// Consumed Topic Messages ...
|
|
||||||
/// </summary>
|
|
||||||
protected readonly string topic;
|
|
||||||
|
|
||||||
/// <summary>
|
|
||||||
/// Check is Paused ...
|
|
||||||
/// </summary>
|
|
||||||
private bool paused = false;
|
|
||||||
|
|
||||||
/// <summary>
|
|
||||||
/// Allowed Senders ...
|
|
||||||
/// </summary>
|
|
||||||
public readonly string[] allowedSenders;
|
|
||||||
|
|
||||||
/// <summary>
|
|
||||||
/// Allowed Actions ...
|
|
||||||
/// </summary>
|
|
||||||
public readonly string[] allowedActions;
|
|
||||||
|
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// Kafka Consumer Class ...
|
/// Kafka Consumer Class ...
|
||||||
/// </summary>
|
/// </summary>
|
||||||
protected readonly IConsumer<Ignore, string> consumer;
|
protected readonly IConsumer<Ignore, string> consumer;
|
||||||
|
|
||||||
protected readonly XEventServiceConfiguration configuration;
|
|
||||||
|
|
||||||
protected readonly ILogger<XKafkaConsumerServiceBase> logger;
|
|
||||||
|
|
||||||
protected XKafkaConsumerServiceBase(
|
protected XKafkaConsumerServiceBase(
|
||||||
string[] allowedActions,
|
string[] allowedActions,
|
||||||
string[] allowedSenders,
|
string[] allowedSenders,
|
||||||
|
IServiceProvider serviceProvider,
|
||||||
XEventServiceConfiguration configuration,
|
XEventServiceConfiguration configuration,
|
||||||
ILogger<XKafkaConsumerServiceBase> logger,
|
ILogger<XKafkaConsumerServiceBase> logger,
|
||||||
string topic = XEventServiceConstants.XDefaultTopic
|
string topic = XEventServiceConstants.XDefaultTopic
|
||||||
|
) : base(
|
||||||
|
topic: topic,
|
||||||
|
logger: logger,
|
||||||
|
configuration: configuration,
|
||||||
|
allowedActions: allowedActions,
|
||||||
|
allowedSenders: allowedSenders,
|
||||||
|
serviceProvider: serviceProvider
|
||||||
)
|
)
|
||||||
{
|
{
|
||||||
//
|
//
|
||||||
this.topic = topic;
|
// Validating Configuration ...
|
||||||
this.logger = logger;
|
if (configuration.Broker != XEventBroker.XKafka)
|
||||||
this.configuration = configuration;
|
|
||||||
|
|
||||||
//
|
|
||||||
// Validate Actions ...
|
|
||||||
if (!allowedActions
|
|
||||||
.IsAllowedCollection())
|
|
||||||
{
|
{
|
||||||
XException.InvalidArgs.Throw();
|
XException.InvalidConfiguration.Throw();
|
||||||
}
|
}
|
||||||
this.allowedActions = [.. allowedActions];
|
|
||||||
|
|
||||||
//
|
|
||||||
// Validate Senders ...
|
|
||||||
if (!allowedSenders
|
|
||||||
.IsAllowedCollection())
|
|
||||||
{
|
|
||||||
XException.InvalidArgs.Throw();
|
|
||||||
}
|
|
||||||
this.allowedSenders = [.. allowedSenders];
|
|
||||||
|
|
||||||
//
|
//
|
||||||
// Prepare Kafka Consumer Configuration ...
|
// Prepare Kafka Consumer Configuration ...
|
||||||
@@ -89,45 +55,6 @@ namespace xEventService.Providers
|
|||||||
consumer = new ConsumerBuilder<Ignore, string>(config).Build();
|
consumer = new ConsumerBuilder<Ignore, string>(config).Build();
|
||||||
}
|
}
|
||||||
|
|
||||||
|
|
||||||
/// <summary>
|
|
||||||
/// Pause Consuming ...
|
|
||||||
/// </summary>
|
|
||||||
/// <returns></returns>
|
|
||||||
public bool Pause()
|
|
||||||
{
|
|
||||||
//
|
|
||||||
var result = !paused;
|
|
||||||
if (!result)
|
|
||||||
{
|
|
||||||
return result;
|
|
||||||
}
|
|
||||||
|
|
||||||
//
|
|
||||||
paused = true;
|
|
||||||
result = paused;
|
|
||||||
return result;
|
|
||||||
}
|
|
||||||
|
|
||||||
/// <summary>
|
|
||||||
/// Resume Consuming ...
|
|
||||||
/// </summary>
|
|
||||||
/// <returns></returns>
|
|
||||||
public bool Resume()
|
|
||||||
{
|
|
||||||
//
|
|
||||||
var result = paused;
|
|
||||||
if (!result)
|
|
||||||
{
|
|
||||||
return result;
|
|
||||||
}
|
|
||||||
|
|
||||||
//
|
|
||||||
paused = false;
|
|
||||||
result = !paused;
|
|
||||||
return result;
|
|
||||||
}
|
|
||||||
|
|
||||||
/// <summary>
|
/// <summary>
|
||||||
/// Default Action Execution for Background Services ...
|
/// Default Action Execution for Background Services ...
|
||||||
/// </summary>
|
/// </summary>
|
||||||
@@ -142,90 +69,36 @@ namespace xEventService.Providers
|
|||||||
await Task.Yield();
|
await Task.Yield();
|
||||||
using var cts = new CancellationTokenSource();
|
using var cts = new CancellationTokenSource();
|
||||||
|
|
||||||
|
//
|
||||||
// Subscribe to Topic ...
|
// Subscribe to Topic ...
|
||||||
consumer.Subscribe(topic);
|
consumer.Subscribe(topic);
|
||||||
|
|
||||||
|
//
|
||||||
// Consuming ...
|
// Consuming ...
|
||||||
while (!cancellationToken.IsCancellationRequested)
|
while (!cancellationToken.IsCancellationRequested)
|
||||||
{
|
{
|
||||||
try
|
try
|
||||||
{
|
{
|
||||||
|
//
|
||||||
// Consuming Topic ...
|
// Consuming Topic ...
|
||||||
await consumer.Consume(async (consumeResult, cancellationToken) =>
|
var consumeResult = consumer.Consume(cancellationToken);
|
||||||
|
if (!consumeResult.IsNullOrDefault() &&
|
||||||
|
!consumeResult.Message.IsNullOrDefault()
|
||||||
|
)
|
||||||
{
|
{
|
||||||
// Check Pausing ...
|
//
|
||||||
if (!paused)
|
await DoWorkAsync(
|
||||||
{
|
payload: consumeResult.Message,
|
||||||
// Logging Message Recieved ...
|
cancellationToken: cancellationToken
|
||||||
if (enableLogging)
|
|
||||||
{
|
|
||||||
// Encrypt Message ...
|
|
||||||
var expirationOffset = DateTimeOffset.UtcNow
|
|
||||||
.AddMinutes(encryptionLifetimeInMinute);
|
|
||||||
var encryptedMessage = cryptographyService.Encrypt(
|
|
||||||
text: consumeResult?.Message.Value ?? string.Empty,
|
|
||||||
expirationOffset: expirationOffset
|
|
||||||
);
|
|
||||||
logger
|
|
||||||
.LogInformation(
|
|
||||||
"Consume Recieved Message from Kafka Topic: {Topic}, Offset: {Offset}, Partition: {Partition}, Message: {Message}",
|
|
||||||
topic,
|
|
||||||
consumeResult?.Offset,
|
|
||||||
consumeResult?.Partition,
|
|
||||||
encryptedMessage
|
|
||||||
);
|
);
|
||||||
}
|
}
|
||||||
|
}
|
||||||
// Produce Message Model ...
|
catch (ConsumeException)
|
||||||
var model = consumeResult
|
|
||||||
.FillConsumeResult()
|
|
||||||
?? throw RpkKafkaExceptionHelper
|
|
||||||
.GetInvalidKafkaConsumeResultException();
|
|
||||||
|
|
||||||
// Check Sender and Actions Owning ...
|
|
||||||
var isOwned = model.IsOwned(
|
|
||||||
allowedActions,
|
|
||||||
allowedSenders
|
|
||||||
);
|
|
||||||
if (isOwned)
|
|
||||||
{
|
{
|
||||||
// Notify Extended Classes for Consume Message ...
|
|
||||||
await ConsumeAsync(
|
|
||||||
model,
|
|
||||||
cancellationToken
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
// Commit Offset after Consuming ...
|
|
||||||
consumer?.Commit(consumeResult);
|
|
||||||
}
|
|
||||||
},
|
|
||||||
cts.Token);
|
|
||||||
}
|
|
||||||
catch (ConsumeException ex)
|
|
||||||
{
|
|
||||||
// Log Exception ...
|
|
||||||
if (enableLogging)
|
|
||||||
{
|
|
||||||
logger.LogError(
|
|
||||||
ex,
|
|
||||||
"Kafka Message Consume Failed: {Error}",
|
|
||||||
ex.Error.Reason
|
|
||||||
);
|
|
||||||
}
|
|
||||||
await Task.Delay(1000, cancellationToken);
|
await Task.Delay(1000, cancellationToken);
|
||||||
}
|
}
|
||||||
catch (Exception ex)
|
catch (Exception)
|
||||||
{
|
{
|
||||||
// Log Exception ...
|
|
||||||
if (enableLogging)
|
|
||||||
{
|
|
||||||
logger.LogError(
|
|
||||||
ex,
|
|
||||||
"Exception: {Exc}",
|
|
||||||
ex.Message
|
|
||||||
);
|
|
||||||
}
|
|
||||||
await Task.Delay(1000, cancellationToken);
|
await Task.Delay(1000, cancellationToken);
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -115,7 +115,7 @@ namespace xEventService.Providers
|
|||||||
);
|
);
|
||||||
|
|
||||||
//
|
//
|
||||||
result = true;
|
result = !response.IsNullOrDefault();
|
||||||
}
|
}
|
||||||
catch
|
catch
|
||||||
{
|
{
|
||||||
|
|||||||
@@ -1,13 +1,15 @@
|
|||||||
using System;
|
using System;
|
||||||
using System.Collections.Generic;
|
using System.Text;
|
||||||
using System.Linq;
|
using System.Threading;
|
||||||
using System.Threading.Tasks;
|
using System.Threading.Tasks;
|
||||||
using Microsoft.Extensions.Hosting;
|
|
||||||
using Microsoft.Extensions.Logging;
|
using Microsoft.Extensions.Logging;
|
||||||
using RabbitMQ.Client;
|
using RabbitMQ.Client;
|
||||||
|
using RabbitMQ.Client.Events;
|
||||||
using xCommons.Extensions;
|
using xCommons.Extensions;
|
||||||
using xEventService.Configuration;
|
using xEventService.Configuration;
|
||||||
|
using xEventService.Constants;
|
||||||
using xEventService.Extensions;
|
using xEventService.Extensions;
|
||||||
|
using xEventService.Models;
|
||||||
using xExceptions.Constants;
|
using xExceptions.Constants;
|
||||||
|
|
||||||
namespace xEventService.Providers
|
namespace xEventService.Providers
|
||||||
@@ -15,36 +17,233 @@ namespace xEventService.Providers
|
|||||||
/// <summary>
|
/// <summary>
|
||||||
/// an Abstract Kafka Consumer Service ...
|
/// an Abstract Kafka Consumer Service ...
|
||||||
/// </summary>
|
/// </summary>
|
||||||
public class XRabbitMQConsumerServiceBase : BackgroundService
|
public abstract class XRabbitMQConsumerServiceBase : XBaseEventConsumerBackgroundService
|
||||||
{
|
{
|
||||||
protected readonly IModel channel;
|
protected IModel channel;
|
||||||
protected readonly IConnection connection;
|
protected IConnection connection;
|
||||||
protected readonly XEventServiceConfiguration configuration;
|
protected AsyncEventingBasicConsumer consumer;
|
||||||
protected readonly ILogger<XRabbitMQConsumerServiceBase> logger;
|
|
||||||
|
|
||||||
public XRabbitMQConsumerServiceBase(
|
protected XRabbitMQConsumerServiceBase(
|
||||||
|
string[] allowedActions,
|
||||||
|
string[] allowedSenders,
|
||||||
|
IServiceProvider serviceProvider,
|
||||||
XEventServiceConfiguration configuration,
|
XEventServiceConfiguration configuration,
|
||||||
ILogger<XRabbitMQConsumerServiceBase> logger
|
ILogger<XRabbitMQConsumerServiceBase> logger,
|
||||||
|
string topic = XEventServiceConstants.XDefaultTopic
|
||||||
|
) : base(
|
||||||
|
topic: topic,
|
||||||
|
logger: logger,
|
||||||
|
configuration: configuration,
|
||||||
|
allowedActions: allowedActions,
|
||||||
|
allowedSenders: allowedSenders,
|
||||||
|
serviceProvider: serviceProvider
|
||||||
)
|
)
|
||||||
{
|
{
|
||||||
//
|
//
|
||||||
this.logger = logger;
|
// Validating Configuration ...
|
||||||
this.configuration = configuration;
|
if (!configuration.RabbitMQ.IsValid() ||
|
||||||
|
configuration.Broker != XEventBroker.XRabbitMQ
|
||||||
//
|
|
||||||
// Validate ...
|
|
||||||
if (!configuration.IsValid() ||
|
|
||||||
!configuration.RabbitMQ.IsValid() ||
|
|
||||||
configuration.Broker != Constants.XEventBroker.XRabbitMQ
|
|
||||||
)
|
)
|
||||||
{
|
{
|
||||||
XException.InvalidConfiguration.Throw();
|
XException.InvalidConfiguration.Throw();
|
||||||
}
|
}
|
||||||
|
|
||||||
|
//
|
||||||
|
SetupConnection();
|
||||||
|
DeclareTopology();
|
||||||
|
consumer = new AsyncEventingBasicConsumer(channel);
|
||||||
}
|
}
|
||||||
|
|
||||||
public abstract Task HandleMessageAsync(
|
/// <summary>
|
||||||
XEventMessage message,
|
/// Default Action Execution for Background Services ...
|
||||||
|
/// </summary>
|
||||||
|
/// <param name="cancellationToken"></param>
|
||||||
|
/// <returns></returns>
|
||||||
|
protected override async Task ExecuteAsync(
|
||||||
CancellationToken cancellationToken = default
|
CancellationToken cancellationToken = default
|
||||||
|
)
|
||||||
|
{
|
||||||
|
//
|
||||||
|
// For Fix Blocking Synchronous ...
|
||||||
|
await Task.Yield();
|
||||||
|
using var cts = new CancellationTokenSource();
|
||||||
|
|
||||||
|
//
|
||||||
|
// Subscribe to Topic ...
|
||||||
|
consumer.Received += async (model, ea) =>
|
||||||
|
{
|
||||||
|
//
|
||||||
|
try
|
||||||
|
{
|
||||||
|
//
|
||||||
|
var body = ea.Body.ToArray();
|
||||||
|
var json = Encoding.UTF8.GetString(body);
|
||||||
|
var message = json.FromJSON<XEventMessage>();
|
||||||
|
if (!message.IsNullOrDefault())
|
||||||
|
{
|
||||||
|
//
|
||||||
|
await DoWorkAsync(
|
||||||
|
payload: message,
|
||||||
|
cancellationToken: cancellationToken
|
||||||
);
|
);
|
||||||
}
|
}
|
||||||
|
|
||||||
|
//
|
||||||
|
if (configuration.RabbitMQ.ManualAck)
|
||||||
|
{
|
||||||
|
//
|
||||||
|
channel.BasicAck(
|
||||||
|
multiple: false,
|
||||||
|
deliveryTag: ea.DeliveryTag
|
||||||
|
);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
catch
|
||||||
|
{
|
||||||
|
//
|
||||||
|
if (configuration.RabbitMQ.ManualAck)
|
||||||
|
{
|
||||||
|
//
|
||||||
|
channel.BasicNack(
|
||||||
|
requeue: true,
|
||||||
|
multiple: false,
|
||||||
|
deliveryTag: ea.DeliveryTag
|
||||||
|
);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
};
|
||||||
|
|
||||||
|
//
|
||||||
|
consumer.Shutdown += (model, ea) =>
|
||||||
|
{
|
||||||
|
return Task.CompletedTask;
|
||||||
|
};
|
||||||
|
|
||||||
|
//
|
||||||
|
channel.BasicQos(
|
||||||
|
prefetchSize: 0,
|
||||||
|
global: false,
|
||||||
|
prefetchCount: configuration.RabbitMQ.PrefetchCount
|
||||||
|
);
|
||||||
|
|
||||||
|
//
|
||||||
|
channel.BasicConsume(
|
||||||
|
queue: GetQueueName(),
|
||||||
|
consumer: consumer,
|
||||||
|
autoAck: !configuration.RabbitMQ.ManualAck
|
||||||
|
);
|
||||||
|
|
||||||
|
//
|
||||||
|
while (!cancellationToken.IsCancellationRequested)
|
||||||
|
{
|
||||||
|
await Task.Delay(1000, cancellationToken);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// Overriding Stop Action ...
|
||||||
|
/// </summary>
|
||||||
|
/// <param name="cancellationToken"></param>
|
||||||
|
/// <returns></returns>
|
||||||
|
public override async Task StopAsync(CancellationToken cancellationToken)
|
||||||
|
{
|
||||||
|
//
|
||||||
|
channel.Close();
|
||||||
|
channel.Dispose();
|
||||||
|
connection.Close();
|
||||||
|
connection.Dispose();
|
||||||
|
|
||||||
|
//
|
||||||
|
await base.StopAsync(cancellationToken);
|
||||||
|
}
|
||||||
|
|
||||||
|
/// <summary>
|
||||||
|
/// Dispose Implementation ...
|
||||||
|
/// </summary>
|
||||||
|
public override void Dispose()
|
||||||
|
{
|
||||||
|
//
|
||||||
|
channel.Dispose();
|
||||||
|
connection.Dispose();
|
||||||
|
GC.SuppressFinalize(this);
|
||||||
|
base.Dispose();
|
||||||
|
}
|
||||||
|
|
||||||
|
//
|
||||||
|
#region Private ...
|
||||||
|
private string GetQueueName()
|
||||||
|
{
|
||||||
|
//
|
||||||
|
var result = string.Empty;
|
||||||
|
if (!configuration.RabbitMQ.Queue.IsNullOrEmpty())
|
||||||
|
{
|
||||||
|
result = configuration.RabbitMQ.Queue;
|
||||||
|
}
|
||||||
|
|
||||||
|
//
|
||||||
|
if (result.IsNullOrEmpty())
|
||||||
|
{
|
||||||
|
//
|
||||||
|
var digits = Guid.NewGuid().ToString().GetDigits();
|
||||||
|
result = $"{configuration.RabbitMQ.Exchange}[{digits}]";
|
||||||
|
}
|
||||||
|
|
||||||
|
//
|
||||||
|
return result;
|
||||||
|
}
|
||||||
|
|
||||||
|
private void SetupConnection()
|
||||||
|
{
|
||||||
|
var factory = new ConnectionFactory
|
||||||
|
{
|
||||||
|
DispatchConsumersAsync = true,
|
||||||
|
Port = configuration.GetRabbitMQPort(),
|
||||||
|
HostName = configuration.GetRabbitMQHost(),
|
||||||
|
UserName = configuration.RabbitMQ.Username,
|
||||||
|
Password = configuration.RabbitMQ.Password,
|
||||||
|
NetworkRecoveryInterval = TimeSpan.FromSeconds(
|
||||||
|
configuration.RabbitMQ.NetworkRecoveryIntervalSeconds
|
||||||
|
),
|
||||||
|
VirtualHost = configuration.RabbitMQ.VirtualHost,
|
||||||
|
AutomaticRecoveryEnabled = configuration.RabbitMQ.AutomaticRecoveryEnabled,
|
||||||
|
};
|
||||||
|
|
||||||
|
//
|
||||||
|
connection = factory.CreateConnection();
|
||||||
|
channel = connection.CreateModel();
|
||||||
|
}
|
||||||
|
|
||||||
|
private void DeclareTopology()
|
||||||
|
{
|
||||||
|
//
|
||||||
|
channel.ExchangeDeclare(
|
||||||
|
arguments: null,
|
||||||
|
exchange: configuration.RabbitMQ.Exchange,
|
||||||
|
durable: configuration.RabbitMQ.ExchangeDurable,
|
||||||
|
autoDelete: configuration.RabbitMQ.ExchangeAutoDelete,
|
||||||
|
type: configuration.RabbitMQ.ExchangeType.GetStringValue()
|
||||||
|
);
|
||||||
|
|
||||||
|
//
|
||||||
|
var queueName = GetQueueName();
|
||||||
|
|
||||||
|
//
|
||||||
|
channel.QueueDeclare(
|
||||||
|
arguments: null,
|
||||||
|
queue: queueName,
|
||||||
|
durable: configuration.RabbitMQ.QueueDurable,
|
||||||
|
exclusive: configuration.RabbitMQ.QueueExclusive,
|
||||||
|
autoDelete: configuration.RabbitMQ.QueueAutoDelete
|
||||||
|
);
|
||||||
|
|
||||||
|
//
|
||||||
|
channel.QueueBind(
|
||||||
|
arguments: null,
|
||||||
|
queue: queueName,
|
||||||
|
exchange: configuration.RabbitMQ.Exchange,
|
||||||
|
routingKey: configuration.RabbitMQ.RoutingKey
|
||||||
|
);
|
||||||
|
}
|
||||||
|
#endregion
|
||||||
|
}
|
||||||
}
|
}
|
||||||
@@ -231,7 +231,7 @@ namespace xEventService.Providers
|
|||||||
/// <summary>
|
/// <summary>
|
||||||
/// Ensure Connection Established ...
|
/// Ensure Connection Established ...
|
||||||
/// </summary>
|
/// </summary>
|
||||||
public async Task<bool> EnsureConnectionAsync()
|
private async Task<bool> EnsureConnectionAsync()
|
||||||
{
|
{
|
||||||
//
|
//
|
||||||
try
|
try
|
||||||
@@ -289,9 +289,6 @@ namespace xEventService.Providers
|
|||||||
type: configuration.RabbitMQ.ExchangeType.GetStringValue()
|
type: configuration.RabbitMQ.ExchangeType.GetStringValue()
|
||||||
);
|
);
|
||||||
}
|
}
|
||||||
|
|
||||||
//
|
|
||||||
await Task.CompletedTask;
|
|
||||||
}
|
}
|
||||||
#endregion
|
#endregion
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -20,8 +20,7 @@
|
|||||||
|
|
||||||
<!-- Icon Handling -->
|
<!-- Icon Handling -->
|
||||||
<ItemGroup>
|
<ItemGroup>
|
||||||
<None Include="../../Documents/Resources/Images/favicon.png" Link="icon.png" Pack="true"
|
<None Include="../../Documents/Resources/Images/favicon.png" Link="icon.png" Pack="true" PackagePath="\icon.png" />
|
||||||
PackagePath="\icon.png" />
|
|
||||||
</ItemGroup>
|
</ItemGroup>
|
||||||
|
|
||||||
<!-- Local Modules -->
|
<!-- Local Modules -->
|
||||||
@@ -35,6 +34,7 @@
|
|||||||
|
|
||||||
<!-- Dependencies -->
|
<!-- Dependencies -->
|
||||||
<ItemGroup>
|
<ItemGroup>
|
||||||
|
<PackageReference Include="NetMQ" Version="4.0.4.3" />
|
||||||
<PackageReference Include="RabbitMQ.Client" Version="6.2.2" />
|
<PackageReference Include="RabbitMQ.Client" Version="6.2.2" />
|
||||||
<PackageReference Include="Confluent.Kafka" Version="2.14.2" />
|
<PackageReference Include="Confluent.Kafka" Version="2.14.2" />
|
||||||
</ItemGroup>
|
</ItemGroup>
|
||||||
|
|||||||
Reference in New Issue
Block a user