Virtual Environment for Python Workspace – Part 3/3 – venv

In the earlier two posts of this series, I discussed about virtualenv  and conda  and their usage along with some examples. I this post I am going to introduce you guys with another package and environment manager called venv  which comes with standard Python3.X by default. So, nothing to worry about its installation.

Virtual Environment for Python Workspace – Part 1/3 – virtualenv
Virtual Environment for Python Workspace – Part 2/3 – conda

Creating an Environment
For example, If you have Python3.X installed in your system and you can run it’s REPL by issuing python3 in the terminal, then you can create a virtual environment based on this Python version by issuing the following command:

This will create the myvenv  directory if it doesn’t exist, and also create directories inside it containing a copy of the Python interpreter, the standard library, and various supporting files. By the way, you got the idea of using different versions of Python to use its venv  module for creating different environments, right? Just find out an exact Python 3.X (I showed how, in earlier posts) and use its binary/executable in the command <active python> -m venv <environment name> .

Activating the Environment
Its similar to the previous two workarounds and again simple as below. I assumed you are inside the newly created myvenv  directory.

Managing Packages with pip
As venv  is native with Python, you can use pip  for installing packages in your virtual environment which will pull down packages from Python’s official package repository, PyPI. For example, to install our very favorite package numpy , use the following command,

Also, for sure you can use commands like pip search <packagename> , pip list in each newly created virtual environment.

Did you know, you can use pip show <packagename>  to see detail of an installed package in an active environment?

Sharing Environment
In the earlier post, I have discussed why and how you can share your environment made using  conda  with others. If you are using venv  or virtualenv  then you can export an environment’s state/configuration to a file, issuing the following command,

Here, the file name requirements.txt , that contains environment’s package information could be anything. But people have been using this name conventionally for a long time.

So, after exporting the environment information, you can share this file to any one who can install exact same packages in his newly created virtual environment by using the following command:

By the way, sharing environment in this way is similar if you use virtualenv

Resources
https://docs.python.org/3/tutorial/venv.html

Do you love Watching than Reading? Subscribe & Get Connected with my YouTube channel for Video version of all my Blog posts.

Virtual Environment for Python Workspace – Part 2/3 – conda

Hope you already got the idea behind the necessity of virtual environment in Python ecosystem in my previous post. So, in this post I will directly go into the detail of conda  and its usage.

What is conda?
Just like virtualenv , this is also a package, dependency & environment management tool. Unlike virtualenv , conda  can work not only with Python but also with R, Javascript, Ruby, Lua, Scala etc. But, we will only focus on Python ecosystem for the sake of this series.

There are some significant benefits of conda  over virtualenv . For example – in its default configuration, conda  can install and manage thousand of packages at repo.continuum.io that are built, reviewed and maintained by Anaconda. Also, conda  can be combined with Continous Integration tools for better test & deployment.

How to install conda?
The easiest way to get conda  is to install miniconda . Yes, its sounds like Anaconda. But we don’t need to install that big fat ready-made environment. Rather we can install miniconda  that will come with conda  as package manager and its dependencies and the Python. By the way,

You do not need to uninstall other Python installations or packages in order to use conda. Even if you already have a system Python, another Python installation from a source such as the macOS Homebrew package manager and globally installed packages from pip such as pandas and NumPy, you do not need to uninstall, remove, or change any of them before using conda.

So, just download miniconda  from here and install in your system. You can choose either Python 2.X or Python 3.X version (I prefer to install miniconda  of Python 3.X version). We will talk about that very soon. The installer will add the  conda  installation of Python to your PATH environment variable. To verify that conda  is installed successfully, issue the following command.

Creating Virtual Environment
Before creating an environment, please keep in mind that, there are two variants of the installer: Miniconda is Python 2.X based and Miniconda3 is Python 3.X based. Note that the choice of which Miniconda is installed only affects the root environment. Regardless of which version of Miniconda you install, you can still install both Python 2.x and Python 3.x based environments.

Suppose you installed Python 3.X version of Miniconda and then if you issue the following command to create an environment,

the environment will be created based on Python 3.X version. On the other hand if you issue the following command, it will create a virtual environment based on Python 2.X.

Anyway, for now, forget about the mypy2env . Let’s activate the myenv  environment and start using that.

Activating an Environment 
To activate the new environment, run the appropriate command for your operating system:

  • Linux and macOS: source activate myenv
  • Windows: activate myenv

As my miniconda  version was of Python 3.X version and I created the environment myenv  with default Python, so this environment is based on Python 3.X. We can also check that by activating and running the Python REPL in it, maybe. Just check out the following Terminal activity and hope you will get it 🙂

Type exit()  in the above REPL to quit it and simply get back to the environment.

Deactivating an Environment 

Deactivating an environment is as simple as issuing the following command,

So, the above command will deactivate the myenv  environment. Oh, by the way, before deactivating, let’s check which packages are installed in this new virtual environment by the following command:

Want to install packages in this virtual environment for your next project?

Managing Packages in an Environment
If you want to install packages using the conda  package manager then it can be done simply by conda install <packagename> . For example, let’s install the package beautifulsoup4  in the environment myenv :

A good thing about conda  package manager is that, if you don’t find a package using conda install  then you can look into Anaconda.org which is another product of the same vendor of miniconda and Anaconda. For example, to install the package bottleneck , you can issue the following command:

Keep in mind that, you have to search for the desired package in the Anaconda.org site and there you will get the appropriate installation command for conda .

pip in conda
If you don’t find a package in conda or in Anaconda.org, then still you can install the package inside this conda  virtual environment by pip . Using pip  will download and install the package from Python’s official package repository PyPI . For example, let’s install numpy  in this virtual environment by the following command:

Now, let’s check the packages that are installed so far in the environment by the following command again:

which will show something like following:

In the above output, we can see that both beautifulsoup4  & numpy  exist together, though we installed beautifulsoup4  using conda  from their repository and numpy  from PyPI using pip .

Removing an Environment
Before removing any environment, you need to see all existing conda environments, right? For that, simply issue the following command which will show you all the existing virtual environments made by conda:

Lets, remove the mypy2env  which we don’t want to use.

Sharing Environment to Other
Say, you have prepared a very good Python environment with all the necessary packages installed in it and made sure that the environment is working fine for your project/app. Now, you want to share this ready-made environment with your friend who is struggling to prepare such an environment where he wants to work on the same Python project/app. Yes, you can do that by simply exporting your environment configuration in a file and sharing that file with your friend.

First, you need to activate the environment you want to share. Then, to export our myenv  environment’s configuration, issue the following command:

So, the shareable file is called environment.yml  and want to see whats in this file? It should contain something like following:

Pretty self-explanatory, right? Now, you can share this file to your friend and if your friend wants to prepare such a ready-made virtual environment, then he needs to install conda  first and the issue the following command:

conda is the package manager. Anaconda is a set of about a hundred packages including conda, numpy, scipy, ipython notebook, and so on.

Did you know, Once you have Miniconda, you can easily install Anaconda into it with conda install anaconda ?

Resources
https://conda.io/docs/user-guide/getting-started.html

Do you love Watching than Reading? Subscribe & Get Connected with my YouTube channel for Video version of all my Blog posts.

Virtual Environment for Python Workspace – Part 1/3 – virtualenv

If you are planning to work or have been working in Python stack for web development, machine learning, data analysis etc. then you must have already come through the term “virtual environment”. In this article I will try to explain what it is, why its needed and how to acheive this workaround in three different ways. I will give you a basic overview of creating and managing Python virtual environment with virtualenv , venv  and conda  (with miniconda). So, lets start.

What is Python virtual environment and why it’s needed?
Suppose, you have only one computer for development or even a single VPS for deployment. Obviously you will not develop a single application in your whole life, right? As a software developer you will have to develop bunch of tools, modules, softwares, scripts in your entire lifecycle. Let’s not go that much deeper for now 😛

Assume that, you are developing an application which needs version 1.0 of a certain library/package and so far its working nice based on its dependency(s). Here by dependency, I mean that specific library/package. What if, you start developing another app or got responsibility to contribute in an ongoing application and fortunately you found that, this app also uses that exact same library/package you already have installed in your system; and unfortunately you also found that it works only for a different version of that so called library? So, its quite normal that, an application can depend on different packages of different versions and there is nothing wrong with this situation. Even, different app can depend of different versions of Python (interpreter), seems fair, right?

Here comes the necessity of app specific dependency management. This dependency is not only on library or packages but also could on Python versions. Another important issue arises while developing in Python stack is, the chance of messing up your system’s native Python installation. Every *Nix like operating system comes with Python pre-installed. You already know that 🙂 Even, recent distributions are coming with two or more versions of Python pre-installed (You can access those different REPL by issuing commands like python  or python3  in the terminal).

But why so? Because, it could be happened that, some OS specific tools or programs use Python 2.X for their own needs. On the other hand users can expect to have an updated version of Python in that system for their custom development. Now, if you install all your required libraries and packages in global package (in site-packages  directory if specifically said) scope, then very soon it will be a mess up. What you could do is to install needed packages to the location where Python 3.X resides. Still that above mentioned situation could be raised where you may need different versions of libraries for different developing apps.

So, need for having isolated Python environments is so casual. If we can make different Python environments; based on different versions of Python and install very specific libraries and packages in it, then everything will be more organized and loosely coupled with the native system. virtualenv  is such a package that helps you to make unlimited number of virtual environments and configure them according to your various needs. It creates an environment that has its own installation directories, that doesn’t even share libraries with other virtualenv  environments (and optionally doesn’t access the globally installed libraries either).

Installing virtualenv
To install globally with pip (if you have pip 1.3 or greater installed globally), issue the following command in your terminal:

Creating New Virtual Environment(s)
To create a virtual enviornment named myenvironment  for example, issue the following command in the terminal:

As soon as the above environment is created, several directories and files are also created inside the myenvironment  folder. You will see directory like myenvironment/bin where the python interpreter or executeable for this specific environment is placed. Directories like myenvironment/lib & myenvironment/include  contains supporting libraries for this python environment. Thus, for obvious reason – packages that will be installed in this new environment will live under myenvironment/lib/pythonX.X/site-packages/ directory. Its worth mentioning that, with each new virtual environment creation, it automatically installs the pip , wheel  & setuptools  package.

Activating a Virtual Environment
If you are inside the environment directory which means inside the myenvironment  folder as per this example, then issuing the following command will activate the virtual environment:

The activate script will also modify your shell prompt to indicate which environment is currently active. If you see the following terminal activity then you will understand what I am talking about.

In the above logs, first I created the virtual environment. Then while creating the environment, pip , wheel , & setuptools  are also being installed in the new environment. After that, I issued command to activate the environment and it prepended the environment name infront of the command prompt which indicates that the shell has been updated to use the new python environment from now on.

As this environment is now active, why not check what packages are installed and ready to use in this brand new fresh python environment? For that, issue the following command:

Which will output something like below,

Which clearly shows that we have only three packages installed in this new environment. By the way, would you like to check which pip  it is? I mean is this pip  belong to this environment or its something else? Check that by:

and you will see something like following,

that clearly shows that, its belong to the newly created virtual environment. Even you can check whats the responsible Python here in this environment by the following command:

and you will see output similar to below,

which indicates that the python in this context is also belongs to the virtual environment. You are already feeling isolation, right? 🙂 So, lets install few packages here inside the virtual environment using it’s pip.

Again, lets check package list of this new environment:

Impressed? We are installing only our needed packages in this new virtual environment without messing around the native python environment or global package scope.

Using the Environment
Just after activating the environment, its ready to use. For example, lets create a Python script like following:

Keep in mind that, you are not bound to create Python scripts/apps inside the environment. You are free to create those files anywhere in your system. You just make use of a virtual environment by activating it and run any Python scripts/apps through it’s python executable. Check the following terminal activity:

Here I have moved to Desktop, created a file called test.py  and put the above code in it. Finally run it with python interpreter and got expected output. Keep in mind, my virtual environment is still in active mode.

Deactivating the Environment
It’s as easy as issuing the following command:

Did you notice, how the prepended environment just gone? It means you are now back not the normal shell.

Creating Environment based on Different Python Versions
So far have you ever think when we are creating a virtual environment, we are not downloading Python from anywhere? Still we are getting python executable inside the virtual environment. How does it happen? Well, it’s actually making a symbolic link of the Python  to which this  virtualenv  package belongs to. Lets check this out – enter into the virtual environment folder and look into all the files including hidden ones by issuing the command:

I hope, you can see a link to my system’s default Python which is located in /System/Library/Frameworks/Python.framework/Versions/2.7/Python . But, just like you, I don’t also want to use that old Python for my fresh new virtual environment, rather I want to use Python 3 with some fresh packages that I need for a project.

Fortunately its possible. Say, you have downloaded Python 3.X from the official website and installed it in your computer. Its also possible that, you downloaed anaconda or miniconda and that also installed another version of Python in your computer. But so far, you have come to know that, you just need the Python executable and you are free to make isolated environments. But, may be you don’t know where all the different Python versions actually reside. Let’s find those.

Yeah, I found some 2.X versions of Python. Lets try to find more:

Lets say, we want to make a new virtual environment based on Python 3.6 & from the above search, we know that our system has that installed already (or may be I once installed and forgot). So, issuing the following command will make a brand new Python virtual environment that will be based on Python 3.6:

Now, activate the new environment and check it’s Python’s version and identity,

Here, we can clearly see that, this environment’s Python is actually a Python3.6 that we wanted it to be. Sure, we can also check whether this is an isolated Python or not. Also, we can check which is the base of this Python interpreter.

and lastly, as its a new virtual environment and totally separated from the earlier one named myenvironment , is should show us nothing but some default package installed in a fresh mode ( I mean it should not contain the numpy  package that we installed on myenvironment  environment).

Managing an Environment
As we made a new virtual environment with our desired Python 3.6 and started again with a fresh ecosystem, let’s delete the old virtual environment. Oh yes, its as simple as deleting a directory:

As, I mentioned before, you are not supposed to put your actual app files inside the environment’s folder. Environment is just an environment definition, it should not contain your actual files and scripts. So, by deleting that unnecessary environment folder, you can get rid off that messed up Python environment. Is not it easy to throw away a messed up virtual environment that throwing away a full OS?

In the next two posts, I will discuss about conda  & venv  for similar purpose 🙂

Resources
https://virtualenv.pypa.io/en/stable/

Do you love Watching than Reading? Subscribe & Get Connected with my YouTube channel for Video version of all my Blog posts.

A Javascript Handbook as Quick Reference

Check the Handbook I’m talking about Here without further reading below.

As a response to the ongoing hype and trend of JS stack all over the world, recently I thought to have a quick and refreshed overview of this awesome language. I am loving the way ES6 is taking Javascript to a great level by introducing awesome features in it. Node.js is another reason I am focusing on this language lately to learn developing back-end and API centric application in a robust, scalable and asynchronous way. I love the concept of Event Driven, Single Threaded, Non-Blocking I/O based model that Node.js provides to the app developer.

So, last week I ended up writing a Hand Crafted Note of some major Javascript topics with examples taken from different sources, just to have a quick overview. I also put this note in a public GitHub repository and published it using GitHub pages (powered by Jekyll) for the readers and contributors. Check out the Handbook Here and feel free to fork and update the page by creating pull requests to the main repository. I always hope to learn from the community 🙂

Note: I will also share my high level (not the deep/detail) learning of Javascript in near future as an open source course for my native community under my initiative named HowToCode.com.bd on This Link

Have a great day!!! 🙂

ম্যাক এর জন্য ডেভেলপার বা প্রো-ইউজারদের প্রয়োজনীয় ৩০টি অ্যাপ সাজেশন

  1. Xcode যারা iOS, watchOS বা macOS এর জন্য অ্যাপ্লিকেশন ডেভেলপ করতে চান তাদের জন্য একান্ত প্রয়োজনীয় একটি IDE যার সাথে বিল্ট ইন আছে ইমুলেটর গুলোও। ম্যাক ইউজাররা ফ্রি তেই ডাউনলোড করতে পারবেন।
  2. chrome বর্তমান ওয়েব দুনিয়ায়, সব ব্রাউজারের ব্যবহার জরিপ অনুযায়ী শতকরা ৭০ ভাগেরও বেশি ব্যবহৃত হয় গুগলের তৈরি এই ব্রাউজারটি। বিশাল এক্সটেনশন এবং অ্যাপ মার্কেটপ্লেস এই ব্রাউজারকে করেছে আরও সমৃদ্ধ। এই ব্রাউজারে যেমন ক্লায়েন্ট সাইড ডিবাগিং, ইন্সপেকশন টুল বিল্ট আছে তেমনি এর জন্য এক্সটেনশন বা প্লাগিন তৈরি করাও বেশ সহজ। সবার জন্য ফ্রি।
  3. PhpStorm জেট ব্রেইন্স এর তৈরি সবচেয়ে পপুলার একটি IDE যার মাধ্যমে PHP -তে ওয়েব অ্যাপ ডেভেলপমেন্ট হতে পারে খুবি প্রোডাক্টিভ। স্টুডেন্টদের জন্য ফ্রি। এছাড়াও স্টার্ট আপ, ট্রেনিং সেন্টার বা ওপেন সোর্স প্রোডাক্ট ডেভেলপারদের জন্যও ফ্রি/ছাড়।
  4. PyCharm জেট ব্রেইন্স এর তৈরি আরেকটি বহুল পরিচিত পাইথন IDE যার একটি কমিউনিটি এডিশন আছে যেটি সবসময় বিনামূল্যে পাওয়া যায়। পাইথন অ্যাপ ডেভেলপার বা পাইথন স্ট্যাকে কাজ করেন এমন ইউজারদের জন্য খুবি প্রোডাক্টিভ একটি টুল। যারা Anaconda এর মত রেডি মেড প্ল্যাটফর্ম এর জন্য বাধ্য না, সেরকম ডাটা সায়েন্স ইঞ্জিনিয়াররাও এটায় কাজ করতে পারেন স্বাচ্ছন্দ্যে. এর প্রফেশনাল এডিশনটি স্টুডেন্টদের জন্য ফ্রি। এছাড়াও স্টার্ট আপ, ট্রেনিং সেন্টার বা ওপেন সোর্স প্রোডাক্ট ডেভেলপারদের জন্যও ফ্রি/ছাড়।
  5. Webstorm যাদের জাভাস্ক্রিপ্ট স্ট্যাক খুব পছন্দ এবং ক্লায়েন্ট সাইড অ্যাপ ডেভেলপমেন্টে ফোকাসড তাঁরা ব্যবহার করতে পারেন এই IDE টি. এমনকি MEAN স্ট্যাকে ডেভেলপমেন্ট করতে চাইলেও এই IDE হতে পারে প্রথম পছন্দ। স্টুডেন্টদের জন্য ফ্রি।
  6. IntelliJ IDEA জাভা ডেভেলপারদের জন্য অত্যন্ত চমৎকার ফিচার সমৃদ্ধ একটি IDE. স্কালা, গ্রুভি, কটলিন ল্যাঙ্গুয়েজের সাপোর্ট থেকে শুরু করে গিট সাপোর্ট এবং স্প্রিং এর মত ফ্রেমওয়ার্ক সাপোর্ট সবই আছে এতে। Android অ্যাপ ডেভেলপমেন্ট থেকে শুরু করে ওয়েব অ্যাপ ডেভেলপমেন্ট, সবই সম্ভব এই প্রোডাক্টিভ টুলটি ব্যবহারের মাধ্যমে। স্টুডেন্টদের জন্য ফ্রি।
  7. Android Studio অ্যান্ড্রয়েড অ্যাপ ডেভেলপমেন্ট এর জন্য একমাত্র অফিসিয়াল IDE. কোড এডিটিং, ডিবাগিং থেকে শুরু করে পারফরমেন্স টেস্টিং, ডিপ্লয়েমেন্ট, ইনস্ট্যান্ট বিল্ড ও অনেক অনেক ফিচার সমৃদ্ধ IDE টি অ্যান্ড্রয়েড অ্যাপ ডেভেলপারদের প্রথম পছন্দ। ফ্রি।
  8. Visual Studio Code মাইক্রোসফট এর তৈরি ফ্রি, ওপেন সোর্স এবং সুন্দর ইন্টারফেইস সমৃদ্ধ এই মাল্টি প্ল্যাটফর্ম কোড এডিটরটি লাইট ওয়েট এবং সাথে গিট ও ডিবাগিং ফিচার বিল্ট ইন। আরও আছে কমিউনিটির ডেভেলপ করা মারাত্মক সব এক্সটেনশন। ফ্রি.
  9. Docker এটি বর্তমানের সব চেয়ে পপুলার সফটওয়্যার কন্টেইনার প্ল্যাটফর্ম। মাল্টি প্ল্যাটফর্মে ডেভেলপমেন্ট, ফুল ডেভেলপমেন্ট এনভায়রনমেন্ট পোর্ট, অতঃপর দ্রুত ডেপ্লয়মেন্ট এবং সহজ স্কেল্যাব্লিটির জন্য সবাই এখন ব্যবহার করছে এই টুলটিকে। কমিউনিটি এডিশন ফ্রি।
  10. VirtualBox ম্যাকের মধ্যেই Windows বা Ubuntu বা অন্য কোন OS ইন্সটল দিতে চাইলে ভার্চুয়াল বক্স হতে পারে সলিড একটি সমাধান। এছাড়া ম্যাকে Vagrant ব্যবহার করতে হলেও এটি আগে ইন্সটল থাকতে হবে। ফ্রি তেই পাওয়া যাবে এই সফটওয়্যারটি।
  11. Vagrant ভার্চুয়াল বক্স ইউজ করে অন্য OS ইন্সটল দেয়ার পরেও কিছু সীমাবদ্ধতা থেকে যায় যেগুলো দূর করতে পারে এই কমান্ড লাইন অ্যাপটি। এটি ব্যবহার করে খুব দ্রুত যেকোনো হেড লেস OS ইন্সটল দেয়া এবং সাথে সাথে IP, Memory, Sync Folder, SSH ইত্যাদি কনফিগার করা যায় সহজেই। ফ্রি.
  12. Sequel Pro গ্র্যাফিক্যালি MySQL ডাটাবেজ ম্যানেজমেন্টের জন্য ম্যাকের উপযোগী খুব সুন্দর একটি অ্যাপ। ম্যাকের জন্য ফ্রিতেই পাওয়া যায়।
  13. Robomongo ক্রস প্ল্যাটফর্ম এবং ন্যাটিভ একটি গ্রাফিক্যাল টুল যা দিয়ে সহজেই MongoDB ম্যানেজ করতে পারেন।
  14. iTerm2 ম্যাকের বিল্ট ইন টার্মিনাল অ্যাপ এর চেয়ে অনেক বেশি কনফিগারেবল এবং অনেক অনেক ফিচার সমৃদ্ধ একটি টার্মিনাল ক্লায়েন্ট। ওপেন সোর্স এবং সম্পূর্ণ ফ্রি।
  15. Postman বর্তমানে সফটওয়্যার ডেভেলপমেন্ট এবং API ডেভেলপেমণ্ট প্রায় ওতপ্রোতভাবে জড়িত। আর পোষ্টম্যান হচ্ছে সেখানে অবশ্য প্রয়োজনীয় একটি অ্যাপ যার মাধ্যমে আপনার ডেভেলপ করা API এন্ডপয়েন্ট গুলোকে টেস্ট করতে পারবেন সহজেই।
  16. Homebrew এক কথায় একে বলা হয় The missing package manager for macOS. অর্থাৎ, যারা উবুন্টু বা এরকম ইউনিক্স সিস্টেমের বিল্ট ইন প্যাকেজ ম্যানেজার গুলোকে পছন্দ করেন এবং ম্যাকে এরকম একটি টুলকে মিস করেন তাদের জন্য লাইফ সেভার একটি টুল এটি। মজার বিষয় হচ্ছে, এটি কোন টুল ইন্সটল করার সময় এর নিজের একটি আলাদা লোকেশন ইন্সটল করে এবং সেটির একটি সিম্বোলিক লিঙ্ক ম্যাকের /usr/local ডিরেক্টরিতে তৈরি করে. আর তাই আপনার সিস্টেম ক্লিন থাকে।
  17. Github Desktop যদি আপনি একজন ওপেন সোর্স কন্ট্রিবিউটর হয়ে থাকেন এবং বিভিন্ন github রিপজিটরিতে খুব দ্রুত একটি গ্রাফিক্যাল টুল ইউজ করে কোলাবরেট করতে চান তাহলে এটি আপনার জন্য। এটি ফ্রি। Tower হচ্ছে এরকমই আরেকটি অ্যাপ যা আপনার সব গিট রিপজিটরির জন্য কিন্তু এটি পেইড অ্যাপ।
  18. FileZilla নানা কারণেই আপনার একটি FTP ক্লায়েন্ট দরকার হতে পারে যে ক্ষেত্রে এই ফ্রি, ওপেন সোর্স এবং ক্রস প্ল্যাটফর্ম অ্যাপটি হতে পারে প্রথম পছন্দের। FTP, SFPT সাপোর্ট রয়েছে এতে।
  19. Caffeine ছোট একটি টুলবার অ্যাপ যার মাধ্যমে নির্দিষ্ট সময়ের জন্য আপনার ম্যাককে স্লিপ মুডে যাওয়া থেকে বিরত রাখতে পারেন. ফ্রি।
  20. Spectacle ম্যাক ইউজারদের কাছে অনেক সময় বিরক্তির কারণ হয়ে দাড়ায় বিভিন্ন অ্যাপ উইন্ডোর সাইজকে ঠিক ঠাক করা। এই টুলবার অ্যাপ এবং এর কিবোর্ড শর্ট কাট এর মাধ্যমে খুব সহজেই কোন রানিং অ্যাপকে ফুল সাইজ করা, অর্ধেক ডানে বা অর্ধেক বামে করা ইত্যাদি নানা রকম প্লেসমেন্ট করা যায়। ফ্রি।
  21. Skype নতুন করে বলার কিছু নাই স্কাইপি নিয়ে। মার্কেটে অনেক সময় অনেক রকম কমিউনিকেশন টুল আসলেও এর অবস্থান অনড়। এখনও অনেক ইউজাররা মিটিং, স্ক্রিন শেয়ারিং, গ্রুপ কনভারসেশন এমনকি কলিং এর জন্য এর উপরেই ভরশা করে থাকেন. ফ্রি.
  22. Slack এটি আধুনিক একটি যোগাযোগের মাধ্যম যা চ্যাটিং ইন্টাফেইসকে ঘিরেই তৈরি। এটি বিশেষ করে ব্যবহৃত হয় অফিস বা টিমের মধ্যে। বিভিন্ন গ্রুপ বা চ্যানেল তৈরির মাধ্যমে মেম্বাররা নিজেদের মধ্যে চ্যাট, মেনশন, ফাইল শেয়ারিং ইত্যাদি করতে পারেন। এর জন্য বিভিন্ন বট তৈরি করেও একে আরও বেশি প্রয়োজনীয় এবং উপযোগী করে নিতে পারেন যে কেউ। ফ্রি.
  23. Dropbox ক্লাউড স্টোরেজের জন্য অত্যন্ত নির্ভরযোগ্য একটি প্ল্যাটফর্ম। এর ম্যাক অ্যাপটি টুলবারে থেকে খুব সহজেই আপনার প্রয়োজনীয় ফাইলকে ক্লাউডে সিঙ্ক করে নেয়। ম্যাক যেকোনো ফাইল তৈরি করার পর শুধু সেভ করার লোকেশনটি দেখিয়ে দিবেন Dropbox এর সিঙ্ক করা যেকোনো একটি ফোল্ডারে। সাথে সাথে এটি ক্লাউডে আপলোড হয়ে যাবে। অন্য ইউজারদের সাথে ফাইল শেয়ার করতেও ব্যবহার করা যায় এদের সার্ভিসকে। নির্দিষ্ট জায়গা পর্যন্ত ফ্রি।
  24. Office 365 যে যাই বলুক, মাইক্রোসফট এর তৈরি এই অফিস স্যুটটির ভাল কোন বিকল্প এখনও নেই। এর মধ্যে থাকে MS Word, MS Excel, MS Power Point এবং আরও কয়েকটি অত্যন্ত দরকারি অ্যাপ যা একাধারে ছাত্র, শিক্ষক, লেখক, হিসাবরক্ষক, চাকুরীজীবী সবার কাছেই গুরুত্বপূর্ণ। ছাত্রদের জন্য ফ্রি।
  25. Sketch অ্যাপ, ওয়েব পেইজ বা লে-আউট ডিজাইনাদের জন্য Photoshop এর বিকল্প এবং ম্যাকের জন্য বহুল ব্যবহৃত একটি অ্যাপ। যাদের Photoshop এর সব ফিচার দরকার নাই বা শুধুমাত্র অ্যাপ ডিজাইন নিয়েই ফোকাস করতে চান তাদের জন্য। এটি একটি পেইড অ্যাপ।
  26. VLC Media Player সবার অত্যন্ত পরিচিত একটি মিডিয়া প্লেয়ার। এটি ফ্রি এবং ওপেন সোর্স।
  27. uTorrent ম্যাকের জন্য একটি টরেন্ট ক্লায়েন্ট দরকার হলে এটি হতে পারে পছন্দের। যদিও অনেকে এই পারপাজে Transmission ব্যবহার করে থাকেন।
  28. Dash লিস্টের শেষের দিকে লিখছি মানেই যে এটি কম গুরুত্বপূর্ণ একটি অ্যাপ, বিষয়টি তা নয়। বরং, এটি লিস্টের শুরুতেও থাকতে পারতো। আপনার মাথায় যতরকম প্রোগ্রামিং ল্যাঙ্গুয়েজ, ফ্রেমওয়ার্ক বা ডেভেলপমেন্ট টুল এর নাম থাকতে পারে- প্রায় সবগুলোর ডকুমেন্টেশন অফলাইনেই ব্রাউজ করতে চাইলে এই অ্যাপের কোন বিকল্প নাই। এছাড়াও এতে আছে সুন্দর একটি snippet ম্যানেজার। ব্যাসিক ভার্সন ফ্রি.
  29. Dr. Cleaner ম্যাকের জন্য প্রয়োজনীয় একটি ইউটিলিটি অ্যাপ। এর মাধ্যমে একাধারে ডিস্ক ক্লিন আপ, মেমরি ক্লিনআপ এবং সিস্টেম অপটিমাইজেশনের মত কাজ গুলো সহজেই করা যায়। এর মাধ্যমে- সাইজ মোতাবেক পুরো ম্যাকের সব ফাইলকে লিস্ট করা যায় যাতে করে কোন ফাইল বা অ্যাপ কেমন জায়গা নিচ্ছে তার একটা আইডিয়া পাওয়া যায় এবং প্রয়োজনে সেটা ডিলিট বা রিমুভ করা যায়.
  30. AppCleaner ম্যাক থেকে যেকোনো রকম অ্যাপ, উইজেট বা প্লাগিন পুরোপুরি আনইন্সটল করতে চাইলে এই ছোট্ট অ্যাপটি আপনাকে সলিড কাজ করে দেখাবে।
বিঃ দ্রঃ এই লিস্টের বাইরেও আরও অনেক প্রয়োজনীয় এবং গুরুত্বপূর্ণ অ্যাপ/টুল আছে যেগুলো নির্দিষ্ট কাজের জন্য নির্দিষ্ট ইউজারের কাছে দরকারি।

macOS -এ আপনি কি কি অ্যাপ ব্যবহার করে থাকেন এবং কোন সাজেশন থাকলে কমেন্ট করুন নিচে

৫ টি পাইথন কথন

পাইথন কথন ১ঃ

এটা কি?

অনেক পাইথন স্ক্রিপ্ট এর শুরুতেই এরকম একটা লাইন দেখতে পাওয়া যায়। আসলে এর মাধ্যমে নির্দিষ্ট করে এই স্ক্রিপ্টটির ডিফল্ট ইন্টারপ্রেটার কোনটা হবে সেটা ডিফাইন করে দেয়া হয়।
অর্থাৎ টার্মিনালে chmod +x file.py কমান্ড দিয়ে file.py কে এক্সিউকিউটেবল বানিয়ে অতঃপর ./file.py কমান্ড দিয়ে সেটাকে এক্সিকিউট করতে চাইলে তার জন্য কোন ইন্টারপ্রেটার ব্যবহার হবে সেটা নির্ধারণ করে দেয়া হয়। এখানে Unix টাইপ সিস্টেমের ডিফল্ট পাইথনকে উক্ত স্ক্রিপ্ট বা ফাইলের ইন্টারপ্রেটার হিসেবে উল্লেখ্য করে দেয়া হচ্ছে। কিন্তু কিভাবে?
env  হচ্ছে Unix সিস্টেমের মধ্যে থাকা একটা এক্সিকিউটেবল বাইনারি যে কিনা উক্ত সিস্টেমের সব এনভ্যায়রনমেন্ট ভ্যারিয়েবল গুলোকে খুঁজে নিতে পারে। তাই এর মাধ্যমে বস্তুত Python এর এক্সিকিউটেবল python  -কে এই স্ক্রিপ্ট এর জন্য ব্যবহার করতে বলা হচ্ছে।
যেহেতু এই লাইনটির উদ্দেশ্য হচ্ছে Python কে চিনিয়ে দেয়া। তাই নিচের মত করেও এটা ডিফাইন করা যায়।

ধরে নিচ্ছি এটাই ওই সিস্টেমের Python এর পাথ। কিন্তু এটা অ্যাবস্যুলেট পাথ। এক এক সিস্টেমে এক এক পাথে Python থাকতে পারে। আমি আমার সিস্টেমে which python কমান্ড ইস্যু করে এটা পেয়েছি তাই এটা লিখলাম। এই অ্যাবস্যুলেট পাথের ঝামেলা মেটাতেই /usr/bin/env ব্যবহার করে Python কে খুঁজে (যেখানেই থাকুক) সেটাকে ব্যবহার করতে বলা হয়।
এতক্ষণে বুঝে ফেলার কথা কিভাবে আমার এক্সিকিউটেবল পাইথন স্ক্রিপ্ট গুলোকে আমি Python 3 দিয়ে সবসময় রান করাতে পারবো। আমি স্ক্রিপ্টের শুরুতে নিচের মত করে Shebang লিখবো,

পাইথন কথন ২ঃ
অনেকেই অফিসিয়াল ডকুমেন্টেশন থেকে বিভিন্ন ফাংশনের Signature পড়ার সময় বুঝে উঠতে পারে না আসলে এর প্যারামিটার গুলো কি। যেমন – round(number[, ndigits])
https://docs.python.org/3/library/functions.html#round

এটাকে বলে ফাংশন সিগনেচার। এর মাধ্যমে বুঝে নিতে হয় এই ফাংশনের প্যারামিটার গুলো কি এবং কেমন। যেমন এই ফাংশনের প্রথম প্যারামিটার ‘number’ অবশ্যই দিতে হবে অর্থাৎ Compulsory. আবার [, ] দিয়ে বোঝানো হয় এই প্যারামিটার গুলো Optional. আর তাই, [ ] এর বাইরে যেগুলো থাকবে সেগুলো অবশ্যই দিতে হবে আর ভিতরে যেগুলো থাকবে সেগুলো না দিলেও ওই ফাংশন কাজ করবে। কিন্তু,
[ ] এর মধ্যে থাকা অপশনাল প্যারামিটার গুলোর মধ্যে কিছু ডিপেন্ডেন্সিও থাকতে পারে। যেমন – RegexObject.match(string[, pos[, endpos]])
এখানে বোঝানো হয়েছে ‘endpos’ পাস করলে অবশ্যই ‘pos’ -ও পাস করতে হবে। তাই এগুলো একটা নেস্টেড ব্র্যাকেটের মধ্যে নির্দেশ করা হয়েছে। আবার শুধু ‘pos’ দিয়ে ‘endpos’ না দিলেও চলবে।

পাইথন কথন ৩ঃ
Python প্রোগ্রাম বলতে আমরা যা ব্যবহার করি তা হচ্ছে CPython. এই, CPython হচ্ছে আসলে Python এর একটা ডিফল্ট এবং বহুল ব্যবহৃত ইমপ্লিমেন্টেশন। এই ইমপ্লিমেন্টেশন জিনিষটা কি?
Python বা অন্য প্রোগ্রামিং ল্যাঙ্গুয়েজ গুলো হচ্ছে ফর্মাল ল্যাঙ্গুয়েজ অর্থাৎ একটু এদিক সেদিক করে এসব ভাষা ব্যবহার করলে কাজ হবে না। এটা বাংলা বা ইংলিশ এর মত ইনফর্মাল না যে – মুরাদ টাকলাদের ভাষাতেও কিছু লিখলে বুঝে নেয়া যায়।
যাই হোক সিমপ্লি, ল্যাঙ্গুয়েজ রেফারেন্স হিসেবে চিন্তা করলে Python -কে একটা ইন্টারফেসও বলা যেতে পারে। যারা প্রোগ্রামিং করেন তারা এই টার্ম সম্পর্কে জানেন – ইন্টারফেস হচ্ছে এক ধরণের অ্যাবসট্র্যাকশন যার মাধ্যমে নির্ধারণ করে দেয়া হয় একটা নির্দিষ্ট কাজ কিভাবে হবে কিন্তু ইমপ্লিমেন্টেশনটা যার যেমন ইচ্ছা সেভাবে করবে। তাই, CPython বস্তুত Python এর Language Reference মেনে C দিয়ে করা একটা ইমপ্লিমেন্টেশন। আবার, CPython -ই হচ্ছে Python প্রোগ্রামের ইন্টারপ্রেটার 😛

একটা পাইথন প্রোগ্রামের এক্সিকিউশনের ধাপ গুলো এরকমঃ

Python Source Code (.py) -> Compiler -> Bytecode (.pyc) -> Interpreter (VM/CPython) -> Output (Hello World!)

যখন নির্দিষ্ট কোন কাজের সাপেক্ষে বলা হয় Python স্লো বা ফাস্ট তখন আসলে দোষ বা বাহবা যেটাই দেয়া হোক, দিতে হবে CPython কে অথবা ওই নির্দিষ্ট ইমপ্লিমেন্টেশনকে 🙂
Python এর এরকম আরও অনেক ইমপ্লিমেন্টেশন আছে। যেমন- Jython, IronPython, PyPy ইত্যাদি। Jython এর ক্ষেত্রেও বিষয়টা একই। অর্থাৎ – Python নামক ফর্মাল ল্যাঙ্গুয়েজের ইমপ্লিমেন্টেশন করা হয়েছে Java তে। তাই Python এর এই ভার্সনেও স্বাভাবিক Python এর সিনট্যাক্স মোতাবেকই প্রোগ্রাম লেখা যাবে এবং প্রোগ্রাম রান করালে এর পিছনে আসলে কলকাঠি নাড়বে Java.
অন্যান্য প্রোগ্রামিং ল্যাঙ্গুয়েজের ক্ষেত্রেও বিষয়টা এরকম। যেমন, যদি বলা হয়ঃ C++ is implemented in C. এর মানে সহজ ভাবে বলতে গেলেঃ C++ এর কম্পাইলার C দিয়ে তৈরি 🙂
আরেকটা কথা, উপরের এক্সিকিউশনের ধাপ অনুযায়ী Python কে ইন্টারপ্রেটেড বা কম্পাইল্ড ল্যাঙ্গুয়েজ কোনটাই বলা যাবে না (সিরিয়াসলি?)। আসলে Python কিন্তু ইন্টারপ্রেটেড বা কম্পাইল্ড না। যদি এই বৈশিষ্ট্য কাউকে দিতেই হয় তাহলে CPython কে দিতে হবে।
CPython ইন্টারপ্রেটেড কিন্তু (আবার কি?) তার আগে একটা কম্পাইলেশন স্টেপ আছে 😛 যেটা [প্রোগ্রাম টু প্রসেসর] কনসেপ্ট অনুযায়ী এখানে অগ্রাহ্য)

পাইথন কথন ৪ঃ

এই কমেন্ট লাইনটাকে অনেক পাইথন স্ক্রিপ্টের শুরুতেই দেখা যায়। একটু একটু বোঝা যায় যে এখানে এনকোডিং ডিফাইন করে দেয়া হয়েছে। কিন্তু কিসের এবং কেন? কার জন্যই বা দরকার এটা?
প্রথমেই জানতে হবে কম্পিউটারের সাথে টেক্সট নিয়ে কাজ করতে হলে তাকে টেক্সট গুলো চেনাতে হয়, আর আমরা সবাই জানি কম্পিউটার 1, 0 ছাড়া আর কাউকেই চেনে না। তো এনকোডিং এর সহজ মানে হচ্ছে একটা ম্যাপিং টেবিল যেখানে বলা আছে A এর মানে 01000001 (এটা ASCII এনকোডিং/টেবিল)। কিন্তু এই টেবিলে দুনিয়ার সব ভাষার সব ক্যারেক্টার এর সাপেক্ষে এরকম কম্পিউটার উপযোগী কোড নাই। এদিকে আমাদের প্রোগ্রাম লিখতে বা টেক্সট ফাইল লিখতে সেই ক্যারেক্টার গুলো লাগতেই পারে। তাই এরকম আরও একটা বিশাল লম্বা টেবিল আছে, utf-8 এনকোডিং/টেবিল। এই টেবিলে বাংলা “ক” সাপেক্ষেও একটা বাইনারি পাওয়ার ব্যবস্থা আছে।
তো আমাদের পাইথন প্রোগ্রামে যদি এরকম ASCII এর বাইরের ক্যারেক্টার থাকে তাকে চেনাতে হলে ফাইলের শুরুতে বলে দিতে হবে যে – ভাই পাইথন তুমি আমার এই সোর্স ফাইলকে দয়া করে utf-8 টেবিল/এনকোডিং মোতাবেক পার্স করিয়ো নাহলে বুঝবা না আমি ফাইলে কি লিখছি 🙂
নিচের প্রোগ্রামটা যদি একটা Test.py  ফাইলে লিখে পাইথন ২ দিয়ে রান করাই,

তাহলে আউটপুট আসবে,

তাই ওই Test.py  কে আপডেট করে নিচের মত করতে হবে,

এবার ঠিকঠাক রান করবে। আর হ্যা, ঠিক # -*- coding: utf-8 -*- এভাবেই যে সোর্স ফাইলের এনকোডিং ডিফাইন করতে হবে তাও কিন্তু না। # Please encoding: utf-8 (সত্যি) এরকম লিখলেও পাইথন বুঝে যাবে 🙂
শেষ কথা, এই ঝক্কি ঝামেলা কিন্তু Python 3 তে করতে হবে না কারন পাইথন ৩ ডিফল্ট এনকোডিং হিসেবে utf-8 কেই ধরে নেয় 😀

পাইথন কথন ৫ঃ

এই লাইনটা অনেক পাইথন ফাইলে দেখে ঘাবড়ে যাবার কিছু নাই। আমরা বোঝার চেষ্টা করি কেন লোকজন এই অদ্ভুত if কন্ডিশনটাকে তাদের পাইথন স্ক্রিপ্টে লিখে।
পাইথন ইন্টারপ্রেটার একটি প্রোগ্রামের এক্সিকিউশনের আগে যখন একটি সোর্স ফাইলকে পার্স (পড়ে) করে তখন সে এর জন্য কিছু স্পেশাল ভ্যারিয়েবল সেট করে। যখন স্বাধীনভাবে কোন পাইথন স্ক্রিপ্টকে রান করানো হয় তখন স্বয়ংক্রিয়ভাবে এর জন্য একটি name নামের ভ্যারিয়েবল তৈরি হয় যার ভ্যালু সেট করা হয় স্ট্রিং “main” .
তাই আমরা যদি চাই আমাদের স্ক্রিপ্ট এর মধ্যেকার কিছু স্টেটমেন্ট শুধুমাত্র তখনি কাজ করুক যখন এটা একটা স্ট্যান্ডঅ্যালোণ স্ক্রিপ্ট হিসেবে রান করবে তখন বুদ্ধি করে এরকম একটা if কন্ডিশন লিখে তার মধ্যে ওগুলো লিখবো। কারন আমরা তো জানিই যে এই if কন্ডিশন তখনি সত্য হবে যখন এই স্ক্রিপ্টটা শুধু স্ক্রিপ্ট হিসেবেই রান হবে।
যেমন আমাদের যদি নিচের মত একটা প্রোগ্রাম থাকে Nuhil.py  ফাইলে,

তাহলে আমরা যখন python Nuhil.py  এভাবে একে রান করাবো তখন আউটপুট আসবে,

কিন্তু (আবার কি হল?),
যদি এই Nuhil.py  কে আরেকটি পাইথন ফাইল যেমন Mehdy.py  এর মধ্যে মডিউল হিসেবে import করি তখন কিন্তু পাইথন এই Nuhil.py  ফাইল পার্স (পড়ার সময়) করার সময় name  নামের ভ্যারিয়েবলের জন্য main  ভ্যালু সেট করবে না। আর তাই if কন্ডিশনটা মিথ্যা হবে। তো, Mehdy.py  এর কোড যদি হয় নিচের মত,

তাহলে আউটপুট আসবে,

এবং সুন্দর মত print("Nuhil") স্টেটমেন্টটি গোপনেই থেকে যাবে

ভিপিএস (VPS) কেনা, ব্যাসিক কনফিগারেশন, ল্যাম্প ইন্সটলেশন, ডোমেইন ম্যাপিং

ভূমিকা

VPS (Virtual Private Server) হচ্ছে একধরনের ভার্চুয়াল মেশিন বা ভার্চুয়াল কম্পিউটারও বলতে পারেন, যেটা একটা সার্ভিস হিসেবে কেনা যায় বিভিন্ন ক্লাউড সার্ভার প্রোভাইডারদের কাছ থেকে। এই ভার্চুয়াল মেশিন গুলোরও RAM আছে, হার্ডডিস্ক আছে, সিপিইউ আছে এবং সর্বোপরি একটা অপারেটিং সিস্টেম এর উপর চলে। মজার ব্যাপার হচ্ছে এরকম একটা মেশিনের বাস্তব কোন অস্তিত্ব নাই ঠিকই কিন্তু বাস্তব একটা ফিজিক্যাল মেশিনের মতই গঠন ও আচরণ। কিভাবে এই ভার্চুয়াল ইনফ্রাস্ট্রাকচার তৈরি ও মেইন্টেইনড হয় সেটা আজকে আমাদের আলোচনার মুল বিষয় নয়। বরং এরকম একটা ভার্চুয়াল সার্ভার মেশিনকে আমরা কিভাবে ওয়েব সার্ভার হিসেবে তৈরি করব সেখান থেকে কিভাবে ওয়েব কন্টেন্ট প্রোভাইড করবো সেটাই মুখ্য বিষয়।

কিনে ফেলি একটা ভার্চুয়াল প্রাইভেট সার্ভার

বিভিন্ন সার্ভার প্রোভাইডার তাদের মেশিনগুলোকে বিভিন্ন নামে ডাকে। যেমন অ্যামাজন এর ভাষায় এগুলো হচ্ছে ইন্সট্যান্স, Rackspace এর ভাষায় এগুলো ক্লাউড সার্ভার, DigitalOcean এর ভাষায় ড্রপলেট, ইত্যাদি। আমরা আজকের টিউটোরিয়ালের জন্য DigitalOcean এর কাছ থেকে একটি মিনিমাম কনফিগারেশনের সার্ভার কিনবো যেটাতে ৬৪ বিটের উবুন্টু ১৪.০৪ ইন্সটল করা থাকবে এবং আস্তে আস্তে এটা কফিগার করবো ওয়েব সার্ভার হিসেবে।
এই লিঙ্ক থেকে একটি সার্ভার কিনে ফেলতে পারেন (এটি আমার রেফারেল লিঙ্ক। এটা ব্যবহার করে সাইন আপ করলে $10 ক্রেডিট/ব্যালেন্স পাবেন, না করলে নাই) । প্রথমে অ্যাকাউন্ট ডিটেইল দিতে হবে এবং পরে ভ্যালিড পেমেন্ট মেথড অ্যাড করতে হবে। যদিও এরা এক মাস শেষ হলে পেমেন্ট মেথড থেকে বিল চার্জ করবে তার আগে না। আপনি চাইলে সার্ভার মাঝে মাঝে শাটডাউন করে রাখতে পারেন। সেই সময় গুলোতে বিল কাউন্ট হবে না।
Continue reading ভিপিএস (VPS) কেনা, ব্যাসিক কনফিগারেশন, ল্যাম্প ইন্সটলেশন, ডোমেইন ম্যাপিং

Understanding Big O notations – Algorithmic Efficiency

Well, if you are here by googling then I assume you already know what an Algorithm is. If not (somehow) then let me tell you what it means. An algorithm is a process or set of rules to be followed in calculations or other problem-solving operations, especially by a computer.

So, as per Computer Science context, to make a computer do anything, you have to write a computer program. To write a computer program, you have to tell the computer, step by step, exactly what you want it to do. The computer then “executes” the program, following each step mechanically, to accomplish the end goal. By mechanically it means, eventual machine code instructions the Computer Processor considers to do some basic operation like – input, output, math, conditional execution, repetition. Every program you’ve ever used, no matter how complicated, is made up of instructions that look more or less like these.

I have read and observed some contents from the internet to understand how the complexity of an Algorithm is determined and why its so important. I am writing this blog post about what I understood so far as one of my self notes and obviously for the readers if they find it useful.

Anyway, by determining the Big O notation of an algorithm we actually try to figure out how an specific algorithm scales as the amount of data involved in that operation increases. Its not for measuring the speed but for measuring the scalability of the computation based on different amount of handled data.

O(1):

First of all, Lets look at the following Java program,

Try it Online

Here we first initializing an integer Array with user defined size by the help of the class constructor. Later by the method addItemToArray, we are adding a new element (314 for example) to the first index of the initialized blank Array by calling this method from main method.
This is a simple program but has an algorithm too (to add elements to an Array). The most important instruction that has the impact on the performance of the algorithm is theArray[itemsInArray] = itemToBeAdded;. So, we have to inspect this instruction and decide whether this instruction is scalable for any amount of data or not.
Here, it does not matter how large an Array you are initializing. It will simply add a chosen element to its first index and its done. So, this algorithm will always take specific/constant amount of time (as per CPU) no matter how big the Array is. So, the complexity of this algorithm is O(1). 1 means constant in this context.

O(n):

Now, think about a hard working algorithm which has to do more work based on the amount of input data to be manipulated. For example – Linear Search in Array is a job where you have to find a specific element into an Array for which your program or algorithm or steps need to check every elements of that array. So, if the subject Array is small then the program needs less operation and if the Array is very very large then the program needs longer operation that will increase time complexity and also space complexity in some scenario.
Lets see the following program,

Try it Online

Before analyzing the actual algorithm, let me clear out few things on the above program. First of all, we are taking help of a method called generateRandomArray which simply creates some random integer elements and put into the theArray array. After doing the insertion it defines the final array size also.

Anyway, as per our experiment (we want to search linearly) the actual searching happens on the linearSearch method. It takes only one argument as the value which to search on the array. Inside the body we did some very basic coding by which we are comparing every elements of the array with our chosen one. If at any stage, a match found then we are setting a flag valueInArray to True.
You may be already getting the idea about this algorithm’s performance, Right? If the array is too large then this silly technique (algorithm) will be inefficient as it has to travel all way to the certain elements of the array till it find the matches. So, its performance depends on (decreases for large array) the number of elements (n) of the array.
We have put some statements to track the starting and ending time of the execution. Then, we are running the algorithm two times on two different arrays with different sizes. Each time you will run the program you will find more time consumption on the larger array than on the smaller array. Though time is not the factor to identify the performance here, but its showing you the decrement of performance in a way.

O(n^2):

Now we will talk about an algorithm to sort elements of an array. According to its technique, it needs one iteration inside another iteration. In programming we call it using loop inside another loop. For those who does not know how bubble sort works – it makes multiple passes through an array. A “pass” is defined as one full trip through the array comparing and if necessary, swapping, adjacent elements. Several passes have to be made through the array before it is finally sorted. It compares adjacent items and exchanges those that are out of order. Each pass through the list places the next largest value in its proper place. Thats why it needs two loops to make this technique work. Check the below program,

Try it Online

The important tasks that are happened inside the bubbleSort method are 1) Make all passes 2) Compare each adjacent (swap if needed) elements in each pass. So, this algorithm also performs differently based on the amount of data to be handled. Even, this algorithm become mad if the number of elements is too high. Because, both the “Number of Pass” and “Comparison & Swapping” increases by a square rate. Hence, we can say that, the complexity of this algorithm is O(n^2).

\(O(log_2 n)\)

Lastly we will checkout an algorithm which is also a searching algorithm like the Linear Search but it uses more intelligent trick to find out an element. What it does is – it takes a sorted Array and then divide all the elements into two parts and works only on one part. If the target value is larger than the middle of the split elements chain then it looks into the parts that contains higher half of elements. This algorithm divides its whole operational data elements into half every time it looks for the target elements. Thus, it makes the operational data amount half in each iteration.

Try it Online

So, like every other algorithm lets inspect how it scales based on assigned amount of data. We, know that the total number of times you can divide a number by 2 is \(O(log_2 n)\) This algorithm also acts like this way. So, if the number of assigned data elements is n then complexity of the above algorithm/technique which is called Binary Search Algorithm is \(O(log_2 n)\)

This is how we identify and calculate complexity, efficiency and performance of any Algorithm for any specific task. So, before implementing any algorithm in any computational problem, we should first inspect the complexity of that algorithm. Otherwise, it may work fast and smoothly for less number of data but not for large amount of data set. So, logic and calculation trick known as algorithm needs to be finalized first before diving into writing code.

Some resources:

https://visualgo.net/
https://interactivepython.org/runestone/static/pythonds/index.html
http://bigocheatsheet.com/

Days are coming of Wireless Sensor Network and Internet of Things

Wireless Sensor Network” (WSN) might be a known phrase to you and “Internet of Things” (IOT) might be a new one. However, according to my recent observations on several innovative ideas and inventions, I’ve become quite sure about the similarities and integration of these two terms in various contexts. I see no field of human life without these in upcoming years.

For example – Getting sms from your home refrigerator about buying milk for today’s meal or collaboration between your refrigerator with your neighbour’s one and letting you know that you can borrow urgently for today from them, getting serious and accurate weather report from a remote distance, Gathering information about any kind of extinction occurring on a forest without even going there frequently, Monitoring big size plant or setup that does deep searching and critical working to uptake natural resources like gas, oil etc. All these activities can be eventually must be handled by one of the most ultra safe and modern technology called Wireless Sensor Networks which is also related to Internet of Things.

My following analysis will firstly show the importance, benefits of WSNs and secondly will show the similarities with IOT.

Hope & Obstacles:
Lets start with a serious sector- Mining natural resources like oil or gas. Researchers tell that there is a huge opportunity to get enough resources from several areas of our earth but can not be cost effective because of maintaining and monitoring hostile areas where targeting resources reside. For example, you can identify oil or gas in a certain area but you will have to invest more than enough money to be connected with a harsh environment like deep sea or such unusual place to complete your whole mining process. Cost for what? Yes, for setting up wire communication between that site with the main control area which may reside thousand miles far than the actual site. Also, maintaining such cable infrastructures can not only be non-efficient but also be costly. Also, putting human observers or workers for long time in such an area for just gathering information is not a great idea.

Feasible Workaround:
Well, I think you already guessed a solution of such problem by setting up Wireless Networks. You are just near the actual solution though. It should be Wireless Sensor Network. I mean, not only to transfer data from remote site to main control area but also to re-arrange all the data consuming tools or sensors of the site into another network fashion. In detail, all kinds of needed sensor devices will act as nodes and they will communicate among them with network protocol and the whole network will communicate with a main control panel with another kind of wireless communication interface such as a gateway. A medium size network of sensors can communicate with another network of sensors just like Local Area Network or Wide Area Network.
Actually those nodes (sensors) can be arranged to work in a distributed system fashion. Thus, all nodes will be independent of resource sharing but dependent on information sharing among other nodes. In such scenario, whole communication can be done without wire with proper networking. Data can be transmit or receive over internet.
This kind of network also opens a door for interfacing and crowd sourcing information. For example – there can be an interface layer using which other parties can connect, communicate and finally contribute data to the network. Just like providing power to a national grid system 🙂 This features are already known as API in software field. Hardware/Network level API would be perfect in this case.

Obstacles Again:
Though imagination of such an infrastructure seems so feasible and better, number of threats to these kinds of communication systems are also huge. Lets assume, all of our sensors are self dependent so that overall data transmission can be continued without interruption even after failures of few nodes and connected to other nodes with regular network protocols. Also network of networks are connected to a central data storage system over similar wireless network protocol. In this situation, if any of the nodes is compromised or hacked then that hacker can join the whole wireless network that can destroy the full arrangements or can access valuable data. On the other hand, such wireless protocols are suitable targets of distributed denial of services attackers which may cause severe damage of the setup and authority.

Optimisation of the Ideas:
Considering few things can though make a Wireless Sensor Network more secured, scalable, reliable and isolate. I would like to mention one by one:
Fault Tolerant Computing – by which a node can survive with proper resource re-allocation in worst case.
Real Time Operating System – by which responding to a service is more important than efficiency and time complexity of the service.
Embedded Operating System – specially designed for specific hardware module, in this case the sensor devices. TinyOS, eCos, Robot OS are such promising examples.
Optimised Distributed Computing – by which a node will make sure that the destruction of it will not affect the network. Also, it will not expose information taking from other nodes to the compromiser source.
Self Powered and Manageable – If sensors or nodes become isolate, then their management should also be isolate. Sensors should be designed such a way that, they can be self manageable in worst situation and can be up and running for a certain period of time for example consuming nearby resource as its power source. Also, designing power efficient and least decorated hardware is important to be most cost effective.

Implementation:
If you can think all the things as a node of a big network then you will find the phrase Internet of Things more reasonable. I personally would like to think a Wireless Sensor Network as a upper layer of Internet of Things. Thats why I have entitled my blog post that way. Also, importance of WSNs along with IOT can be assumed clearly within few years when in one hand data transfer rate through wireless will be increased dramatically and on the other hand necessity of mining natural resources, gathering informations, predicting weather changes etc will be also increased dramatically.

Readings from: Wikipedia, Journals and Tech Magazines

laravel4 Eloquent ORM Model, Blade View & Simple Controller

So far we have completed four blog posts for the series on development of thisdayinbangladesh, a simple laravel4 live application. Those are following:

1. Creating virtual host
2. Installing laravel4
3. laravel4 migrations & seeding
4. laravel4 routing

In this post we will learn, how we can have Object Relational Mapping for our data model using Eloquent ORM that is built in with laravel4. Also we will render our view using Blade templating system. Finally we will create few very simple controllers that will do our basic tasks.

Model:

Laravel ships with a superb ORM: Eloquent. If you have used the Ruby on Rails framework, you will find Eloquent familiar, as it follows the ActiveRecord ORM style of database interaction.

At this current stage (state before merging with any other branch on github) of our application we need such a relationship among our database tables (days, facts, types, fact_type) so that;

i. A Day has many Facts: That means there would be a relation from “days” table to “facts” table that is One to Many. N. B. Currently “days” table contains 366 days in separate rows.
ii. A Fact belongs to a Day: That means in a certain case, one Or more Fact(s) will belong to a single Day. That is a reverse of One to Many relation from “facts” table to “days” table.
iii. A Type has many Facts & a Fact has many Types: For example a fact type named “politics” could have several facts for a certain day. On the other hand a fact titled “Independence day of Bangladesh” could have several types like “politics”, “good”, “revolutionary” etc. So, there would be a Many To Many relationship between “types” table & “facts” table.

Lets create our first Model called “Day.php” for our “days” table inside “app/models” directory with the following code.

Continue reading laravel4 Eloquent ORM Model, Blade View & Simple Controller